中國(guó)移動(dòng)省分公司數(shù)據(jù)流量與監(jiān)控系統(tǒng)

Yonghong大數(shù)據(jù)案例：中國(guó)移動(dòng)省分公司數(shù)據(jù)流量與監(jiān)控系統(tǒng)2013年5月，Yonghong收到一個(gè)電話線索，客戶需要支持幾十億數(shù)據(jù)量的實(shí)時(shí)查詢與分析，包括數(shù)據(jù)抓取和存儲(chǔ)，讓我們先出報(bào)價(jià)。在實(shí)時(shí)大數(shù)據(jù)分析領(lǐng)域，Yonghong的產(chǎn)品和服務(wù)是很有競(jìng)爭(zhēng)力的。不過(guò)，當(dāng)客戶拿到我們的報(bào)價(jià)后，還是覺(jué)得比他們的預(yù)算貴一些，決定自己招聘Hadoop團(tuán)隊(duì)，實(shí)施該系統(tǒng)……半個(gè)月后，客戶打來(lái)第二個(gè)電話，明確表示Hadoop未能滿足需求，決定接受我們的報(bào)價(jià)，并愿意預(yù)付一半的費(fèi)用?？蛻粢笪覀儾粌H出產(chǎn)品，還要負(fù)責(zé)實(shí)施……于是乎，開(kāi)工！

項(xiàng)目?jī)r(jià)值CMNET網(wǎng)間流量分析與監(jiān)控系統(tǒng)（簡(jiǎn)稱流控系統(tǒng)），是中國(guó)移動(dòng)省分公司的一個(gè)項(xiàng)目。項(xiàng)目要求能基于時(shí)間、地區(qū)、運(yùn)營(yíng)商、業(yè)務(wù)、App、IP分組、域名等維度對(duì)全省的上網(wǎng)流量進(jìn)行實(shí)時(shí)分析和報(bào)告。這些分析報(bào)告能給客戶帶來(lái)如下好處：實(shí)現(xiàn)對(duì)接入鏈路和基站的全程監(jiān)控。例如，一旦來(lái)自某鏈路或基站的流量很低，可及時(shí)對(duì)鏈路和基站進(jìn)行檢修，這將大大降低故障率。由于具備了對(duì)鏈路和基站進(jìn)行全程監(jiān)控的能力，客戶可以對(duì)鏈路和基站的帶寬進(jìn)行動(dòng)態(tài)調(diào)整，基于需求進(jìn)行合理的資源配置。覆蓋全省的全量數(shù)據(jù)，能提供基于業(yè)務(wù)/地域/App/行業(yè)/域名等維度的數(shù)據(jù)分析報(bào)告，具備100%的可信度和極高的商業(yè)價(jià)值。數(shù)據(jù)流向上網(wǎng)數(shù)據(jù)從硬件設(shè)備中抓取出來(lái)，形成壓縮的日志文件存儲(chǔ)在服務(wù)器上，服務(wù)器每五分鐘生成新的日志文件。該服務(wù)器提供FTP訪問(wèn)。Yonghong承擔(dān)的流控系統(tǒng)，將通過(guò)FTP每五分鐘訪問(wèn)一次日志文件服務(wù)器，將新生成的壓縮日志文件抽取出來(lái)。這是一個(gè)典型的、增量更新的ETL過(guò)程，如下：Extract:定期抽取的日志文件并解壓縮。Transform:解析出上網(wǎng)信息，同MySQL的維度表進(jìn)行關(guān)聯(lián)，生成包括業(yè)務(wù)/地域/App/行業(yè)/域名等維度的寬表。Load:將數(shù)據(jù)裝載入Yonghong分布式集市。初期驗(yàn)證（POC）中國(guó)移動(dòng)的日志數(shù)據(jù)分G類(lèi)和A類(lèi)，各取幾塊樣本日志文件，驗(yàn)證數(shù)據(jù)流向的可行性以及性能。我們很快完成了ETL的整個(gè)過(guò)程，寬表數(shù)據(jù)被成功地裝載入Yonghong分布式集市。性能上，我們按照用戶提出的每天數(shù)據(jù)量5000萬(wàn)條增量，計(jì)算出支持100天50億數(shù)據(jù)量的分布式集群所需的磁盤(pán)空間、內(nèi)存總量、和CPU總量。由于客戶一再?gòu)?qiáng)調(diào)預(yù)算有限，于是配置了6臺(tái)低配PCserver：1cpux4core，32G內(nèi)存，1T硬盤(pán)。我們模擬了常用的用戶場(chǎng)景，整個(gè)系統(tǒng)的響應(yīng)能力基本滿足需求。系統(tǒng)架構(gòu)如下：案例總結(jié)1.項(xiàng)目的數(shù)據(jù)量非常大，100天超過(guò)600億條日志；2.項(xiàng)目的預(yù)算非常有限，采購(gòu)了6臺(tái)低端PCServer。硬件投入不大，軟件性價(jià)比也很高；3.ETL過(guò)程難度較高，隨著降維的需求加入，BI層難度也相應(yīng)提高；4.為達(dá)到秒級(jí)響應(yīng)，以支持探索式BI