華為商業(yè)職能BI云

華為電信BI云化方案匯報提綱BI云計算的理解BI云計算方案BI云計算案例123BI云化的業(yè)界理解Gartner公司的一份最新報告指出，云服務(wù)中的分析不只是一個基于SaaS的商業(yè)智能應用或者托管數(shù)據(jù)倉庫(盡管它確實包含了這些東西)，而是指六個關(guān)鍵要素之中的任何一個。按照Gartner公司的定義：“云分析是指任何在云服務(wù)中實現(xiàn)了一個或多個這些要素的分析成果，無論是公共的還是私有的?！边@六個要素是：數(shù)據(jù)源，數(shù)據(jù)模型，流程應用，計算能力，分析模型，共享或存儲結(jié)果。Page3近年來業(yè)界BI技術(shù)發(fā)展變化特征DW2.0architecture層次化的數(shù)據(jù)服務(wù)提供，主數(shù)據(jù)，輕度匯總和低時延DataService非結(jié)構(gòu)化支撐和文本挖掘?數(shù)據(jù)處理量加速增長，PB級應用開始出現(xiàn)，數(shù)據(jù)分析和數(shù)據(jù)挖掘需要高性能并行計算能力；?互聯(lián)網(wǎng)快速發(fā)展，大量的非結(jié)構(gòu)數(shù)據(jù)分析和社會網(wǎng)數(shù)據(jù)分析應用呈現(xiàn)；?操作型BI和實時BI應用涌現(xiàn)，低時延RTD/CEP技術(shù)開始得到應用，需要基于信息流預測分析、決策技術(shù)；?傳統(tǒng)數(shù)據(jù)倉庫向DW2.0(HybridBI)架構(gòu)演進趨勢明顯，云計算技術(shù)的在商業(yè)智能領(lǐng)域的應用開始逐步增多；?高交互UCD，面向業(yè)務(wù)語義數(shù)據(jù)和信息可視化成為分析呈現(xiàn)和應用的熱點；DataVisualization基于算法模型提供一種可交互的應用，讓數(shù)據(jù)的使用者自己去分析，甚至去創(chuàng)造DataVisualization數(shù)據(jù)的可視化，主要是用直觀、清晰、有效的方式將數(shù)據(jù)間的關(guān)系，信息的關(guān)聯(lián)展示出來InfoGraphics信息圖形化，主要是將信息、知識、數(shù)據(jù)用一種圖形化的方式來表達Page4匯報提綱BI云計算的理解BI云計算方案BI云計算案例123傳統(tǒng)數(shù)據(jù)倉庫解決方案背景現(xiàn)狀大規(guī)則數(shù)據(jù)多表關(guān)聯(lián)匯總功能通過是ETL系統(tǒng)中性能開銷占比重最大的部分，一般采用昂貴的小型機調(diào)用數(shù)據(jù)庫存儲過程實現(xiàn)。HAPage6業(yè)務(wù)發(fā)展后舊有架構(gòu)遇到的困境瓶頸與挑戰(zhàn)設(shè)備性能增長需要幾何級數(shù)增長的投入投入規(guī)模大，需購買昂貴的設(shè)備與存儲維護成本高維護依賴單一廠家，響應不及時數(shù)據(jù)庫資源有限，且擴展困難動態(tài)擴展性差出現(xiàn)故障，影響面積大現(xiàn)有設(shè)備已接近可利用上限Page7云化BI系統(tǒng)架構(gòu)圖Page8ELT調(diào)度早期數(shù)據(jù)加工云平臺接口層后期匯總數(shù)據(jù)倉庫云平臺高性能查詢庫云平臺清單歷史庫云平臺數(shù)據(jù)封裝層AAE\ADS（應用層云平臺）知識庫平臺\智能規(guī)則引擎\AAOC（中間服務(wù)云平臺）門戶平臺元數(shù)據(jù)數(shù)據(jù)質(zhì)量運營監(jiān)控平臺自助分析平臺營銷管理平臺客戶分析研究平臺產(chǎn)品分析研究平臺Page8關(guān)鍵點：計算與存儲能力分拆40GE以上的INFINIBAND分布式數(shù)據(jù)計算(計算能力)分布式數(shù)據(jù)存儲（存儲能力）含超大規(guī)模數(shù)據(jù)的關(guān)聯(lián)計算使用自己的高速緩沖區(qū)支持連續(xù)復雜計算大容量的數(shù)據(jù)保存高性能IO低成本平滑擴容數(shù)據(jù)服務(wù)獲取復雜的大數(shù)據(jù)處理結(jié)果開放的應用開放的應用開放的應用直接數(shù)據(jù)提取隨著網(wǎng)絡(luò)傳輸技術(shù)與分布式計算技術(shù)的發(fā)展，數(shù)據(jù)倉庫存儲與計算職能分拆已成為大勢所趨。業(yè)內(nèi)部分數(shù)據(jù)倉庫（特點是計算業(yè)務(wù)比較單一）已經(jīng)通過使用NOSQL技術(shù)完成了這種分離改造，我們的數(shù)據(jù)倉庫也在探索使用新技術(shù)將海量數(shù)據(jù)關(guān)聯(lián)計算分拆成獨立服務(wù)。Page9存儲云與計算云支撐的數(shù)據(jù)倉庫Page10早期數(shù)據(jù)匯總加工——分布式SQL數(shù)據(jù)處理引擎上層匯總——萬兆網(wǎng)或IB支持的多節(jié)點RACORACLE內(nèi)存數(shù)據(jù)庫支撐的高性能查詢數(shù)據(jù)庫計算云（x86架構(gòu)設(shè)備）存儲云（x86架構(gòu)設(shè)備）分布式匯總組件裝置目標場景一：數(shù)據(jù)倉庫ETL任務(wù)分布式改造ETLControlCenterTask指令序列數(shù)據(jù)文件數(shù)據(jù)倉庫匯總層匯總數(shù)據(jù)命令流數(shù)據(jù)流元數(shù)據(jù)系統(tǒng)應用系統(tǒng)數(shù)據(jù)文件FTP接口分布式數(shù)據(jù)匯總裝置完成占廣義ETL性能開銷比重最大的“大規(guī)模數(shù)據(jù)多表關(guān)聯(lián)匯總功能”，以控制指令方式接受ETL調(diào)度服務(wù)的管理，替代原來由數(shù)據(jù)庫存儲過程完成處理的模式，設(shè)計目標要求同等TCO的處理性能達到過去的3倍以上。Page11目標場景二、基于分布式組件的歷史庫實現(xiàn)Master運算節(jié)點運算節(jié)點運算節(jié)點存儲裝載節(jié)點存儲存儲裝載過程信息流運算過程信息流文件接口機ETL服務(wù)器客戶端數(shù)據(jù)裝載接口文件通過ETL工具傳輸?shù)窖b載節(jié)點；裝載節(jié)點從Master節(jié)點獲取目標表的信息，根據(jù)表類型及分布鍵將數(shù)據(jù)并行裝載到多個節(jié)點同時支持從DB2、Oracle等數(shù)據(jù)庫裝載數(shù)據(jù)

數(shù)據(jù)運算Master節(jié)點接收客戶端的數(shù)據(jù)查詢請求Master節(jié)點通過SQL解析、SQL重寫、SQL優(yōu)化功能，最終將形成的執(zhí)行計劃分發(fā)到多個運算節(jié)點做執(zhí)行Master節(jié)點匯總計算節(jié)點的執(zhí)行結(jié)果，最終將結(jié)果返回給客戶端Page12目標場景三：結(jié)合內(nèi)存技術(shù)實現(xiàn)高性能數(shù)據(jù)讀寫ODBCODBCODBC消息隊列集群MASTER集群訪問代理內(nèi)存DBMS（磁盤DBMS）HAHAHA任務(wù)分解、歸并分布式存儲數(shù)據(jù)路由動態(tài)數(shù)據(jù)遷移負責路由、任務(wù)分解、結(jié)果組合、平衡命中率的MASTER服務(wù)面向訪問封裝的PROXY服務(wù)支撐高速并行查詢及寫入下層訪問Page13匯報提綱BI云計算的理解BI云計算方案BI云計算案例123中移動某省公司的BI云化演進

選取3個主攻方向—數(shù)據(jù)倉庫、非結(jié)構(gòu)化數(shù)據(jù)處理和實時應用的云化演進過程中取得重大進展和收益。數(shù)據(jù)倉庫云化演進ETL演進為分布式結(jié)構(gòu)，支持根據(jù)業(yè)務(wù)量增加服務(wù)器彈性擴展實現(xiàn)庫外完成計算量較大的關(guān)聯(lián)匯總逐步完成分級存儲，降低主數(shù)據(jù)倉庫壓力收益：主數(shù)據(jù)倉庫訪問壓力和擴容壓力減輕非結(jié)構(gòu)化數(shù)據(jù)處理云化采用Hadoop和分布式搜索技術(shù)，并以API方式提供服務(wù)，支撐互聯(lián)網(wǎng)用戶行為分析收益：充分利舊和采購廉價設(shè)備和存儲，統(tǒng)一的API界面降低開發(fā)成本、提升開發(fā)效率實時應用支撐云化演進BI云化云化內(nèi)存技術(shù)支撐低時延多渠道實時營銷；云化營銷觸發(fā)引擎支撐密集實時計算。收益：投入規(guī)模顯著縮減，可動態(tài)擴展Page15案例1.云化ETL支撐大數(shù)據(jù)處理采用云化ETL—根據(jù)業(yè)務(wù)量需求，逐漸擴充到5臺高性價比HPPCServer(CPU:4P4C,內(nèi)存:64G)支撐：每日近7億話單，其中近2.5億語音話單，總數(shù)據(jù)量達到1.5T的ETL過程Page16日均接觸機會總服務(wù)客戶規(guī)模4000萬客戶業(yè)務(wù)資源服務(wù)全天侯24小時每天繳費辦理量180萬筆每天網(wǎng)站服務(wù)量3000次每天短信服務(wù)量1000萬次每天客服服務(wù)量950萬次每天服務(wù)量2300萬次每天業(yè)務(wù)辦理量120萬筆每天1500個坐席提供服務(wù)每天30000個營業(yè)終端提供服務(wù)每天為超過600萬戶直接提供服務(wù)數(shù)據(jù)來源2009年6月案例2.云化技術(shù)支撐智慧運營抓住客戶接觸機會進行實時精確營銷，提高企業(yè)營銷能力。采用云化方案，移動實時營銷響應平均速度小于2秒可通過增加刀片設(shè)備進行線性擴展，采用近100片HP+ATAE刀片組成集群（可擴展），支撐低時延數(shù)據(jù)服務(wù)、營銷觸發(fā)服務(wù)和事件沉淀Page17用戶行為行為分析業(yè)務(wù)系統(tǒng)網(wǎng)頁內(nèi)容索引上網(wǎng)日志用戶檢索服務(wù)發(fā)送服務(wù)請求所有網(wǎng)頁內(nèi)容提供查詢服務(wù)返回用戶群列表網(wǎng)頁搜索索引視頻搜索索引購物搜索索引音樂搜索索引圖片搜索索引其它索引域建立索引百度等網(wǎng)頁搜條件谷歌等視頻搜索條件必應等購物搜條件百度等音樂搜條件谷歌等圖片搜索條件其它內(nèi)容游戲歌曲支付手機閱讀Page18案例3.非結(jié)構(gòu)化數(shù)據(jù)處理云化利舊20臺PCServer，采用Hadoop每天更新多大5000萬URL(過濾后)，近100G索引存儲到分布式文件系統(tǒng)，滿足用戶行為分析、營銷、個性化推薦等諸多應用需求。HadoopThankYou.

謝謝！www.huawei.comCopyright?2010HuaweiTechnologiesCo.,Ltd.AllRightsReserved.Theinformationcontained