中國移動省分公司數(shù)據(jù)流量與監(jiān)控系統(tǒng)

中國移動省分公司數(shù)據(jù)流量與監(jiān)控系統(tǒng)Yonghong大數(shù)據(jù)案例：中國移動省分公司數(shù)據(jù)流量與監(jiān)控系統(tǒng)2013年5月，Yonghong收到一個電話線索，客戶需要支持幾十億數(shù)據(jù)量的實時查詢與分析，包括數(shù)據(jù)抓取和存儲，讓我們先出報價。在實時大數(shù)據(jù)分析領域，Yonghong的產(chǎn)品和服務是很有競爭力的。不過，當客戶拿到我們的報價后，還是覺得比他們的預算貴一些，決定自己招聘Hadoop團隊，實施該系統(tǒng)……半個月后，客戶打來第二個電話，明確表示Hadoop未能滿足需求，決定接受我們的報價，并愿意預付一半的費用?？蛻粢笪覀儾粌H出產(chǎn)品，還要負責實施……于是乎，開工！

項目價值CMNET網(wǎng)間流量分析與監(jiān)控系統(tǒng)（簡稱流控系統(tǒng)），是中國移動省分公司的一個項目。項目要求能基于時間、地區(qū)、運營商、業(yè)務、App、IP分組、域名等維度對全省的上網(wǎng)流量進行實時分析和報告。這些分析報告能給客戶帶來如下好處：實現(xiàn)對接入鏈路和基站的全程監(jiān)控。例如，一旦來自某鏈路或基站的流量很低，可及時對鏈路和基站進行檢修，這將大大降低故障率。由于具備了對鏈路和基站進行全程監(jiān)控的能力，客戶可以對鏈路和基站的帶寬進行動態(tài)調(diào)整，基于需求進行合理的資源配置。間內(nèi)提供外網(wǎng)連接。因而，我們先把整個系統(tǒng)的ETL工作開發(fā)完成之后，才正式申請了外網(wǎng)連接進行數(shù)據(jù)裝載。從開始進行上網(wǎng)數(shù)據(jù)的ETL工作，我們就發(fā)現(xiàn)數(shù)據(jù)量與預期嚴重不符。預期的上網(wǎng)數(shù)據(jù)是每天不超過5000萬條，但實際上每天的上網(wǎng)數(shù)據(jù)在6億條以上，100天保存的數(shù)據(jù)量將會達到驚人的六百億條。6臺低配PCserver有點小馬拉大車的感覺，完全達不到“海量數(shù)據(jù)、實時分析”的設計目標。我們趕緊聯(lián)系客戶，確定上網(wǎng)數(shù)據(jù)每天6億條以上，而不是之前預估的每天5000萬條左右。怎么辦？系統(tǒng)重構經(jīng)過與客戶的詳細溝通和理性分析，大家一致決定進行系統(tǒng)重構。上網(wǎng)數(shù)據(jù)的日志文件是5分鐘粒度的。我們將上網(wǎng)數(shù)據(jù)按照分析需求分為兩類：細節(jié)數(shù)據(jù)：保留三天的細節(jié)數(shù)據(jù)（5分鐘粒度），共約20億條。這樣，由于保留了細節(jié)數(shù)據(jù)，客戶可以對近三天的上網(wǎng)數(shù)據(jù)進行任意的探索式BI分析。匯總數(shù)據(jù)：在認真研究了流控系統(tǒng)的分析報告需求之后，我們將五分鐘的細節(jié)數(shù)據(jù)匯總為兩小時的匯總數(shù)據(jù)。這樣數(shù)據(jù)量可以降到約為原來的1/10，100天的數(shù)據(jù)總量大約60億條。重構之后的數(shù)據(jù)流如下：數(shù)據(jù)流圖后期，我們陸續(xù)進行了一些系統(tǒng)調(diào)優(yōu)，包括JVM調(diào)優(yōu)、存儲調(diào)優(yōu)、計算調(diào)優(yōu)等等。客戶打開一個Dashboard的響應時間基本控制在秒級，最極端的分析報告也能在一分鐘之內(nèi)生成。基本實現(xiàn)了“海量數(shù)據(jù)、實時分析”：系統(tǒng)定期推送日報、周報和月報。系統(tǒng)支持探索式BI分析。多數(shù)分析請求達到了秒級響應。案例總結1.項目的數(shù)據(jù)量非常大，100天超過600億條日志；2.項目的預算非常有限，采購了6臺低端PCServer。硬件投入不大，軟件性價比也很高；3.ETL過程難度較高，隨著降維的需求加入，BI層難度也相應提高；4.為達到秒級響應，以支持探索