360大數(shù)據(jù)平臺

1、360大數(shù)據(jù)平臺介紹唐會軍 360大數(shù)據(jù)規(guī)模&能力 大數(shù)據(jù)服務(wù)器規(guī)模超過30000臺 總存儲數(shù)據(jù)量接近1EB，每天新增超過1PB 每天各種數(shù)據(jù)計算任務(wù)10萬個，每天處理數(shù)據(jù)量10PB 具備一分鐘內(nèi)調(diào)動幾十萬顆CPU核參與計算能力 具備一秒鐘處理1TB數(shù)據(jù)能力 360大數(shù)據(jù)技術(shù)路線 利用最廉價的PC服務(wù)器+開源/自主開發(fā)軟件構(gòu)建而成 數(shù)據(jù)的可靠性，擴展性全部自主可控，成本不到IOE方案的1/100 360大數(shù)據(jù)業(yè)務(wù)(搜索 廣告 殺毒 語音圖像識別) 360大數(shù)據(jù)架構(gòu)圖產(chǎn)品計算存儲機器學(xué)習(xí)平臺實時計算平臺M/R計算平臺文件存儲平臺表格存儲平臺對象存儲平臺搜索安全廣告語音圖像底層云主機內(nèi)核硬

2、件流式計算平臺塊存儲平臺 HBase平臺（HDFS, M/R） 運行全球最大的HBase集群之一（3K節(jié)點） 存儲記錄總條數(shù)達到100萬億條 增加索引引擎，滿足關(guān)系型數(shù)據(jù)庫查詢需求 增加搜索引擎，對存入平臺的所有數(shù)據(jù)支持字符檢索 Cassandra平臺 Cassandra集群總規(guī)模全球第一（超過10K節(jié)點） 增加數(shù)據(jù)備份，數(shù)據(jù)冗余EC方案，索引等一系列功能 修復(fù)BUG無數(shù)，穩(wěn)定性經(jīng)受住線上7*24小時，一年365天無服務(wù)中斷考驗 機器學(xué)習(xí)平臺Euler應(yīng)用計算存儲MPI通信框架分布式向量作業(yè)管理&任務(wù)調(diào)度分類分布式矩陣計算框架聚類回歸 Euler平臺算法庫聚類 k-means 凝聚層次

3、聚類 minhash Disjoint-Set Query Clustering分類 隨機森林 GBDT LLGC 樸素貝葉斯主題模型 plsa Lda 協(xié)同過濾 User-based Item-based 回歸 邏輯回歸 機器翻譯 SMT EMBT 其它 PageRank：網(wǎng)頁排序 ALS：矩陣分解 Hadoop平臺（HDFS, M/R） 360內(nèi)部分支版本（從2010年開始） 單集群規(guī)模5K個節(jié)點，年底到10K節(jié)點 增加了權(quán)限管理，性能優(yōu)化一系列改進 大數(shù)據(jù)分析平臺云圖 語音識別 7人小團隊一年時間在搜索語音識別領(lǐng)域超過訊飛 利用公司海量數(shù)據(jù)優(yōu)勢和海量數(shù)據(jù)挖掘經(jīng)驗1.82%3.09%0.00%0.50%1.