Topsummit從零開始搭建大數(shù)據(jù)平臺(tái)-樂視網(wǎng)白德鑫

從零開始搭建大數(shù)據(jù)平臺(tái)白德鑫@leoobai摘要屌絲的數(shù)據(jù)分析土豪要和屌絲做朋友屌絲的進(jìn)化屌絲變土豪構(gòu)建電視分析數(shù)據(jù)平臺(tái)本案例是在為在為超級(jí)電視及樂視盒子數(shù)據(jù)提供用戶行為的數(shù)據(jù)分析及挖掘服務(wù)而啟動(dòng)的數(shù)據(jù)平臺(tái)項(xiàng)目的過程和經(jīng)驗(yàn)分享。對(duì)超級(jí)電視的用戶行為數(shù)據(jù)進(jìn)行實(shí)時(shí)和離線分析，為運(yùn)營提供決策支持。通過對(duì)電視數(shù)據(jù)挖掘來進(jìn)行系統(tǒng)優(yōu)化和服務(wù)提升。

白德鑫來自樂視網(wǎng)TV開放平臺(tái)事業(yè)部歷經(jīng)電信、游戲、互聯(lián)網(wǎng)三個(gè)行業(yè)，互聯(lián)網(wǎng)電視拓荒者，目前負(fù)責(zé)樂視網(wǎng)超級(jí)電視運(yùn)營平臺(tái)、LetvStore、TV數(shù)據(jù)挖掘分析平臺(tái)、TV開放平臺(tái)項(xiàng)目建設(shè)。微博:@leoobai

G粉，釣魚迷和摩托迷屌絲如何成為糕富帥苦逼屌絲配置兩臺(tái)MySQL（主從）記錄日志，通過CronJob加上SQL方式在Slave進(jìn)行統(tǒng)計(jì)分析發(fā)奮圖強(qiáng)的屌絲嘗試使用Cassandra將日志存儲(chǔ)，使用Hadoop進(jìn)行計(jì)算，然后把結(jié)果塞到MySQL里太多的數(shù)據(jù)組合，屌絲嘗試使用MySQL集群加上Kettle進(jìn)行統(tǒng)計(jì)分析鳥槍換炮屌絲開始使用大規(guī)模殺傷性武器Kafka、Storm、Hadoop、Hbase、Hive、Oozie、Sqoop苦逼屌絲的數(shù)據(jù)起點(diǎn)數(shù)據(jù)越來越大，需求越來越多，土豪上門了人員離職造成系統(tǒng)失控，Cassandra沒人維護(hù)了人員離職對(duì)系統(tǒng)影響很大不一定時(shí)刻都有合適的人接替招聘成本很高，因?yàn)橛屑夹g(shù)的土豪都不愿意和屌絲做朋友人員流失往往帶來技術(shù)的流失一個(gè)蘿卜一個(gè)坑，蘿卜走了坑要很久才能填上重回屌絲時(shí)代土豪和我們做朋友了數(shù)據(jù)量從年初的3個(gè)月翻一倍到目前每個(gè)月翻一倍數(shù)據(jù)每月一億條增長到每周一億條只用了半年不到超級(jí)電視及盒子的快速增長引起需求快速變化，從設(shè)備行為快速向用戶行為轉(zhuǎn)變一邊找土豪一邊增強(qiáng)自身能力為此成立了獨(dú)立的數(shù)據(jù)研發(fā)團(tuán)隊(duì)及數(shù)據(jù)分析人員從年初我們也開始了鳥槍換炮的工作增強(qiáng)內(nèi)功數(shù)據(jù)研發(fā)團(tuán)隊(duì)通過將近半年的努力，逐步搭建并完善了新的平臺(tái)新平臺(tái)通過Kafka接收其他系統(tǒng)、超級(jí)電視、樂視盒子等業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、以及其他元數(shù)據(jù)（包括內(nèi)容、應(yīng)用）然后整合加工Storme通過整合Kafka加工之后的數(shù)據(jù)存入MySQL及Hbase中去通過Hadoop及數(shù)據(jù)服務(wù)為AD-HOC、開放數(shù)據(jù)平臺(tái)、數(shù)據(jù)門戶對(duì)各個(gè)業(yè)務(wù)部門提供數(shù)據(jù)服務(wù)這些是人才依靠招聘和內(nèi)部自薦的方式進(jìn)行擴(kuò)充屌絲的豪華七件套數(shù)據(jù)入門第一套測(cè)試服務(wù)器兩臺(tái)4corecpu,6Gmemory，20個(gè)線程數(shù)據(jù)入門第一套測(cè)試服務(wù)器1臺(tái)4corecpu,6Gmemory，20個(gè)線程數(shù)據(jù)入門第一套測(cè)試服務(wù)器1臺(tái)4corecpu,6Gmemory，20個(gè)線程數(shù)據(jù)入門第二套Storm集群SpoutSpoutSpout…ParserBoltParserBoltParserBolt…BoltBoltBolt…CbaseKafka消息隨機(jī)…WriterBoltWriterBoltWriterBolt…組合計(jì)算數(shù)據(jù)入門第三套案例ROI分析數(shù)據(jù)量每月基本翻一倍，原有的系統(tǒng)架構(gòu)根本無法滿足新的數(shù)據(jù)需求Kettle方式的數(shù)據(jù)整合時(shí)間越來越久采用Hadoop+Storm等方案，數(shù)據(jù)量增長不會(huì)對(duì)數(shù)據(jù)挖掘產(chǎn)生特別大的影響。數(shù)據(jù)從原來每日抽取報(bào)表到實(shí)時(shí)數(shù)據(jù)隨意查詢整合還有很多事情要做案例啟示不同的階段選擇不同的方案人員流失會(huì)導(dǎo)致技術(shù)流失技術(shù)儲(chǔ)備和內(nèi)部自薦要比招聘牛人更快對(duì)于新業(yè)務(wù)