Topsummit從零開(kāi)始搭建大數(shù)據(jù)平臺(tái)-樂(lè)視網(wǎng)白德鑫

從零開(kāi)始搭建大數(shù)據(jù)平臺(tái)白德鑫@leoobai摘要屌絲的數(shù)據(jù)分析土豪要和屌絲做朋友屌絲的進(jìn)化屌絲變土豪構(gòu)建電視分析數(shù)據(jù)平臺(tái)本案例是在為在為超級(jí)電視及樂(lè)視盒子數(shù)據(jù)提供用戶行為的數(shù)據(jù)分析及挖掘服務(wù)而啟動(dòng)的數(shù)據(jù)平臺(tái)項(xiàng)目的過(guò)程和經(jīng)驗(yàn)分享。對(duì)超級(jí)電視的用戶行為數(shù)據(jù)進(jìn)行實(shí)時(shí)和離線分析，為運(yùn)營(yíng)提供決策支持。通過(guò)對(duì)電視數(shù)據(jù)挖掘來(lái)進(jìn)行系統(tǒng)優(yōu)化和服務(wù)提升。

白德鑫來(lái)自樂(lè)視網(wǎng)TV開(kāi)放平臺(tái)事業(yè)部歷經(jīng)電信、游戲、互聯(lián)網(wǎng)三個(gè)行業(yè)，互聯(lián)網(wǎng)電視拓荒者，目前負(fù)責(zé)樂(lè)視網(wǎng)超級(jí)電視運(yùn)營(yíng)平臺(tái)、LetvStore、TV數(shù)據(jù)挖掘分析平臺(tái)、TV開(kāi)放平臺(tái)項(xiàng)目建設(shè)。微博:@leoobai

G粉，釣魚迷和摩托迷屌絲如何成為糕富帥苦逼屌絲配置兩臺(tái)MySQL（主從）記錄日志，通過(guò)CronJob加上SQL方式在Slave進(jìn)行統(tǒng)計(jì)分析發(fā)奮圖強(qiáng)的屌絲嘗試使用Cassandra將日志存儲(chǔ)，使用Hadoop進(jìn)行計(jì)算，然后把結(jié)果塞到MySQL里太多的數(shù)據(jù)組合，屌絲嘗試使用MySQL集群加上Kettle進(jìn)行統(tǒng)計(jì)分析鳥(niǎo)槍換炮屌絲開(kāi)始使用大規(guī)模殺傷性武器Kafka、Storm、Hadoop、Hbase、Hive、Oozie、Sqoop苦逼屌絲的數(shù)據(jù)起點(diǎn)數(shù)據(jù)越來(lái)越大，需求越來(lái)越多，土豪上門了人員離職造成系統(tǒng)失控，Cassandra沒(méi)人維護(hù)了人員離職對(duì)系統(tǒng)影響很大不一定時(shí)刻都有合適的人接替招聘成本很高，因?yàn)橛屑夹g(shù)的土豪都不愿意和屌絲做朋友人員流失往往帶來(lái)技術(shù)的流失一個(gè)蘿卜一個(gè)坑，蘿卜走了坑要很久才能填上重回屌絲時(shí)代土豪和我們做朋友了數(shù)據(jù)量從年初的3個(gè)月翻一倍到目前每個(gè)月翻一倍數(shù)據(jù)每月一億條增長(zhǎng)到每周一億條只用了半年不到超級(jí)電視及盒子的快速增長(zhǎng)引起需求快速變化，從設(shè)備行為快速向用戶行為轉(zhuǎn)變一邊找土豪一邊增強(qiáng)自身能力為此成立了獨(dú)立的數(shù)據(jù)研發(fā)團(tuán)隊(duì)及數(shù)據(jù)分析人員從年初我們也開(kāi)始了鳥(niǎo)槍換炮的工作增強(qiáng)內(nèi)功數(shù)據(jù)研發(fā)團(tuán)隊(duì)通過(guò)將近半年的努力，逐步搭建并完善了新的平臺(tái)新平臺(tái)通過(guò)Kafka接收其他系統(tǒng)、超級(jí)電視、樂(lè)視盒子等業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、以及其他元數(shù)據(jù)（包括內(nèi)容、應(yīng)用）然后整合加工Storme通過(guò)整合Kafka加工之后的數(shù)據(jù)存入MySQL及Hbase中去通過(guò)Hadoop及數(shù)據(jù)服務(wù)為AD-HOC、開(kāi)放數(shù)據(jù)平臺(tái)、數(shù)據(jù)門戶對(duì)各個(gè)業(yè)務(wù)部門提供數(shù)據(jù)服務(wù)這些是人才依靠招聘和內(nèi)部自薦的方式進(jìn)行擴(kuò)充屌絲的豪華七件套數(shù)據(jù)入門第一套測(cè)試服務(wù)器兩臺(tái)4corecpu,6Gmemory，20個(gè)線程數(shù)據(jù)入門第一套測(cè)試服務(wù)器1臺(tái)4corecpu,6Gmemory，20個(gè)線程數(shù)據(jù)入門第一套測(cè)試服務(wù)器1臺(tái)4corecpu,6Gmemory，20個(gè)線程數(shù)據(jù)入門第二套Storm集群SpoutSpoutSpout…ParserBoltParserBoltParserBolt…BoltBoltBolt…CbaseKafka消息隨機(jī)…WriterBoltWriterBoltWriterBolt…組合計(jì)算數(shù)據(jù)入門第三套案例ROI分析數(shù)據(jù)量每月基本翻一倍，原有的系統(tǒng)架構(gòu)根本無(wú)法滿足新的數(shù)據(jù)需求Kettle方式的數(shù)據(jù)整合時(shí)間越來(lái)越久采用Hadoop+Storm等方案，數(shù)據(jù)量增長(zhǎng)不會(huì)對(duì)數(shù)據(jù)挖掘產(chǎn)生特別大的影響。數(shù)據(jù)從原來(lái)每日抽取報(bào)表到實(shí)時(shí)數(shù)據(jù)隨意查詢整合還有很多事情要做案例啟示不同的階段選擇不同的方案人員流失會(huì)導(dǎo)致技術(shù)流失技術(shù)儲(chǔ)備和內(nèi)部自薦要比招聘牛人更快對(duì)于新業(yè)務(wù)