9-2-社會化數據的混合存儲和高效處理-任鑫琦

的混合存儲和高效處理謝擔任研發(fā)工作，后加入秒針系統(tǒng)負責明略，先后負責了NoahArk、 1社會化數據特點 2社會關系網絡的存儲架構 3混合存儲體系的落地實踐“社會化數據”11“社會化媒體數據”22情報分析融反洗錢控制偷稅漏稅業(yè)內審的數據難題如何做數據關聯分析？從業(yè)務視角看數據數據離散，價值低，從業(yè)務視角看數據數據離散，價值低，挖掘和變現能力難度大真正的大數據分析，全面系統(tǒng)包括挖掘，分析，關聯等的數據分析實現對于某一個人、某一件事或某一種社會狀態(tài)的現實態(tài)勢的聚焦，在時間序列上離散的、貌似各不相關的數據集合中，找到一種或多種與人的活動、事件的發(fā)展以及社會的運作有機聯系的連量量中會將不符合規(guī)則的數中會將不符合規(guī)則的數行刪除、修改，雖然符合了數據庫，然而這種操作的正變化時，接入-治理-表結構--業(yè)務一系列功能SCHEMA?據據整理，通常無法有效處本型或日志型數據，造成大計分析等過程獨立到不同整理，通常無法有效處本型或日志型數據，造成大 1社會化數據特點 2社會化關系網絡的存儲架構 3混合存儲體系的落地實踐冊話單冊話單息合 人型 手機人型車 錄車庫網庫網行籍庫住宿行知識工程事、地、物、組織弄清數據的本質：概念—關聯—應用—表示乘坐乘坐ZZ13車車廂號相同發(fā)到站相發(fā)到站相同鄰鄰座關聯同行人員E人員I人員人員I人員G人員G人員J人員A人員B人員J人員A人員B人員D人員C人員人員C人員Fsite圖引式圖Server 1社會化數據特點 2社會化關系網絡的存儲架構 3混合存儲體系的落地實踐ApplicationLayerApplicationLayerRestfulRestfulAPIpServiceAdhocQueryeGraphProcessingElasticeGraphProcessingElasticSearchTitanTitanGraphDatabaseHBaseHBase趟過的坑(1)11?Titan使用鄰接表存儲點邊?邊經過編碼后存儲和查找代價仍然很大?同類邊合并?原始信息使用其他存儲22?Titan對SuperNode有優(yōu)化，但效果不好?SuperNode標記趟過的坑(2) 3多點查詢效率?TinkerPop?TitanMultiVertexQuery接口?根據場景特定優(yōu)化 4索引性能和靈活度?優(yōu)化相應組件?復雜索引統(tǒng)一管理趟過的坑(355?并行導入=多進程+多線程?劃分子圖,并行處理?打開batch-loading，解決一致性問題?優(yōu)化參數，提高效率?調優(yōu)底層存儲，如避免hotspotting等據性能個數/秒)OnYarnContainerG存明略數據關聯關系挖掘的大數據解決方案提供商以自主研發(fā)的安全大數據平臺MDP為基礎，圍繞數據關聯分析挖掘產品SCOPA和分布式數據挖掘系統(tǒng)DI，憑借明略大數據科學家豐富的多領域知識積累，實現明略獨特的挖掘復雜數據價值的能力，幫助政府、公安、稅務、金融機構等客戶，在安全可靠的環(huán)境下，整理、分析、利用不同來源的結構化和非結構化數據。核心理念在于，利用數據的連接性，挖掘數據間的關系，激