360大數(shù)據(jù)平臺(tái)課件

360大數(shù)據(jù)平臺(tái)介紹唐會(huì)軍360大數(shù)據(jù)規(guī)模&能力大數(shù)據(jù)服務(wù)器規(guī)模超過30000臺(tái)總存儲(chǔ)數(shù)據(jù)量接近1EB，每天新增超過1PB每天各種數(shù)據(jù)計(jì)算任務(wù)10萬個(gè)，每天處理數(shù)據(jù)量10PB具備一分鐘內(nèi)調(diào)動(dòng)幾十萬顆CPU核參與計(jì)算能力具備一秒鐘處理1TB數(shù)據(jù)能力360大數(shù)據(jù)技術(shù)路線利用最廉價(jià)的PC服務(wù)器+開源/自主開發(fā)軟件構(gòu)建而成數(shù)據(jù)的可靠性，擴(kuò)展性全部自主可控，成本不到IOE方案的1/100360大數(shù)據(jù)業(yè)務(wù)(搜索廣告殺毒語音\圖像識(shí)別…)360大數(shù)據(jù)架構(gòu)圖產(chǎn)品計(jì)算存儲(chǔ)機(jī)器學(xué)習(xí)平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)M/R計(jì)算平臺(tái)文件存儲(chǔ)平臺(tái)表格存儲(chǔ)平臺(tái)對(duì)象存儲(chǔ)平臺(tái)搜索安全廣告語音圖像底層云主機(jī)內(nèi)核硬件流式計(jì)算平臺(tái)塊存儲(chǔ)平臺(tái)HBase平臺(tái)（HDFS,M/R）運(yùn)行全球最大的HBase集群之一（3K節(jié)點(diǎn)）存儲(chǔ)記錄總條數(shù)達(dá)到100萬億條增加索引引擎，滿足關(guān)系型數(shù)據(jù)庫查詢需求增加搜索引擎，對(duì)存入平臺(tái)的所有數(shù)據(jù)支持字符檢索Cassandra平臺(tái)Cassandra集群總規(guī)模全球第一（超過10K節(jié)點(diǎn)）增加數(shù)據(jù)備份，數(shù)據(jù)冗余EC方案，索引等一系列功能修復(fù)BUG無數(shù)，穩(wěn)定性經(jīng)受住線上7*24小時(shí)，一年365天無服務(wù)中斷考驗(yàn)機(jī)器學(xué)習(xí)平臺(tái)Euler應(yīng)用計(jì)算存儲(chǔ)MPI通信框架分布式向量作業(yè)管理&任務(wù)調(diào)度分類分布式矩陣計(jì)算框架聚類回歸…Euler平臺(tái)算法庫聚類k-means凝聚層次聚類minhashDisjoint-SetQueryClustering分類隨機(jī)森林GBDTLLGC樸素貝葉斯主題模型plsaLda協(xié)同過濾User-basedItem-based回歸邏輯回歸機(jī)器翻譯SMTEMBT其它PageRank：網(wǎng)頁排序ALS：矩陣分解Hadoop平臺(tái)（HDFS,M/R）360內(nèi)部分支版本（從2010年開始）單集群規(guī)模5K個(gè)節(jié)點(diǎn)，年底到10K節(jié)點(diǎn)增加了權(quán)限管理，性能優(yōu)化一系列改進(jìn)大數(shù)據(jù)分析平臺(tái)—云圖語音識(shí)別7人小團(tuán)隊(duì)一年時(shí)間在搜索語音識(shí)別領(lǐng)域超過訊飛利用公司海量數(shù)據(jù)優(yōu)勢(shì)和海量數(shù)據(jù)挖掘經(jīng)驗(yàn)謝謝！內(nèi)容總結(jié)360大數(shù)據(jù)平臺(tái)介紹。每天各種數(shù)據(jù)計(jì)算任務(wù)10萬個(gè)，每天處理數(shù)據(jù)量10PB。數(shù)據(jù)的可靠性，擴(kuò)展性全部自主可控，成本不到IOE方案的1/100。360大數(shù)據(jù)業(yè)務(wù)(搜索廣告殺毒語音\圖像識(shí)別。修復(fù)