(華為)大數(shù)據(jù)時代的大機(jī)遇v2.52

1、HUAWEI TECHNOLOGIES CO., LTD目錄目錄一大數(shù)據(jù)蘊(yùn)含大價值二華為大數(shù)據(jù)解決方案介紹三大數(shù)據(jù)平臺建設(shè)探討HISILICON SEMICONDUCTOR華為華為TECHNOLOGIES CO., LTD.Page 3華為Confidential 大數(shù)據(jù)定義n廣義大數(shù)據(jù)：是物理世界到數(shù)字世界的映射和提煉，通過發(fā)現(xiàn)其中的數(shù)據(jù)特征和規(guī)律，最終實(shí)現(xiàn)提升人們生活質(zhì)量、提高生產(chǎn)效率的目的；n狹義大數(shù)據(jù)：是指圍繞著海量數(shù)據(jù)的智能存儲、智能挖掘和智能分析；由于數(shù)據(jù)量過于龐大，在同樣的約束條件下(性能和成本)，使用傳統(tǒng)的IT技術(shù)無法完成數(shù)據(jù)的管理和分析滿足4V(Volume、Variety、

2、Velocity、Value，即容量大、種類多、流量快、價值高)指標(biāo)的數(shù)據(jù)稱為大數(shù)據(jù)大數(shù)據(jù)是指難以實(shí)現(xiàn)存儲、搜索、共享、可視化和分析的大型數(shù)據(jù)集Page Page 4 4HUAWEI TECHNOLOGIES CO., LTD.HUAWEI TECHNOLOGIES CO., LTD.數(shù)據(jù)，已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)領(lǐng)域，數(shù)據(jù)，已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)領(lǐng)域，洞見本質(zhì)、預(yù)測趨勢、指引未來是洞見本質(zhì)、預(yù)測趨勢、指引未來是Big DataBig Data時代的核心時代的核心用未來牽引現(xiàn)在，用現(xiàn)在保證未來！用未來牽引現(xiàn)在，用現(xiàn)在保證未來！HUAWEI TECHNOLOGIES CO., LTD.5

3、運(yùn)營商需要依據(jù)大數(shù)據(jù)發(fā)展趨勢進(jìn)行戰(zhàn)略選擇數(shù)據(jù)用途數(shù)據(jù)用途(提供者角度提供者角度)數(shù)據(jù)來源數(shù)據(jù)來源(使用者角度使用者角度) 數(shù)據(jù)用于向外部數(shù)據(jù)用于向外部客客戶戶提供服提供服務(wù)務(wù) 數(shù)據(jù)分析數(shù)據(jù)分析結(jié)結(jié)果用于果用于解決自身解決自身業(yè)務(wù)問題業(yè)務(wù)問題 從外界有從外界有償獲償獲取取需要的數(shù)據(jù)和服需要的數(shù)據(jù)和服務(wù)務(wù) 自有自有資資源和源和業(yè)務(wù)業(yè)務(wù)數(shù)據(jù)采集分析數(shù)據(jù)采集分析HUAWEI TECHNOLOGIES CO., LTD.6 華為Confidential 新技術(shù)的大量涌現(xiàn)，運(yùn)營商如何選擇？內(nèi)存分析流式計算IBM Streams、Apache StormSAP HANA、Oracle ExalyticsMP

4、P數(shù)據(jù)倉庫NoSQL多維分析Oracle Essbase、IBM Cognos數(shù)據(jù)挖掘/預(yù)測分析文本分析Hadoop發(fā)行版Dremel、Spanner、Impala、EMC HAWQNewSQLCloudera、MapR、HortonworksHbase/Hive、Cassandra、MongoDBExadata、GP、Teradata、NetezzaSAS、SPSS、R、MahoutSplunk自然語言處理社交圖譜分析Siri、IBM Watson媒體智能分析大數(shù)據(jù)技術(shù)棧Pregel、Neo4jVideosurf軟硬一體機(jī)Oracle Exadata、IBM Puredata 小型機(jī)數(shù)據(jù)庫分

5、析多樣智能化：智能決策從結(jié)構(gòu)化數(shù)據(jù)分析向文本、語音視頻媒體的智能分析、社交化圖譜分析方向發(fā)展分析實(shí)時化：分析計算向自助式ad-hoc多維分析、實(shí)時內(nèi)存分析、流式計算發(fā)展管理集中化：數(shù)據(jù)管理從數(shù)據(jù)倉庫、Hadoop向支持海量數(shù)據(jù)集中化管理、交互式SQL查詢的NewSQL發(fā)展軟硬一體化：傳統(tǒng)基礎(chǔ)設(shè)施從小型機(jī)向軟硬整合一體機(jī)方向發(fā)展數(shù)據(jù)治理Datastage大數(shù)據(jù)技術(shù)向海量、實(shí)時和智能發(fā)展。在實(shí)際的應(yīng)用過程中按需采用。HUAWEI TECHNOLOGIES CO., LTD.7 目前為止半數(shù)以上的運(yùn)營商已經(jīng)開始部署大數(shù)據(jù)，針對具體應(yīng)用的方案占多數(shù)Source: Informa Telecoms &a

6、mp; Media N:240 (All base) 結(jié)論1 半數(shù)以上已經(jīng)開始部署大數(shù)據(jù)，但是規(guī)模不一；結(jié)論二 相比規(guī)劃和部署端到端大數(shù)據(jù)方案，針對具體應(yīng)用/目的的大數(shù)據(jù)方案占多數(shù)；HUAWEI TECHNOLOGIES CO., LTD.8 TMF 34個大數(shù)據(jù)分析應(yīng)用場景企業(yè)管理欺詐管理業(yè)務(wù)流程優(yōu)化市場營銷網(wǎng)絡(luò)優(yōu)化客戶體驗(yàn)網(wǎng)頁瀏覽個性化推薦Checkout個性化推薦實(shí)時互動個性化推薦基于位置實(shí)時個性化推薦基于業(yè)務(wù)使用的實(shí)時個性化推薦基于價值的網(wǎng)絡(luò)規(guī)劃新企業(yè)用戶訂單影響分析基于策略的網(wǎng)絡(luò)性能管理個性化的實(shí)時交互人工服務(wù)適時的客戶接觸關(guān)懷客戶離網(wǎng)風(fēng)險預(yù)測客戶離網(wǎng)原因預(yù)測個性化的挽留營銷活動挽留

7、營銷活動的效果評估網(wǎng)絡(luò)故障檢測和恢復(fù)基于價值的實(shí)時網(wǎng)絡(luò)擁塞管理實(shí)時Wifi轉(zhuǎn)移(四網(wǎng)協(xié)同）收入保障合作伙伴價值優(yōu)化基于設(shè)備的實(shí)時個性化推薦基于互聯(lián)網(wǎng)記錄進(jìn)行精準(zhǔn)廣告產(chǎn)品分析產(chǎn)品優(yōu)化產(chǎn)品設(shè)計和開發(fā)產(chǎn)品引入分析數(shù)據(jù)貨幣化沉默用戶（服務(wù)）主動關(guān)懷客戶自服務(wù)渠道效率分析渠道和時間偏好分析客戶體驗(yàn)差的時候主動關(guān)懷網(wǎng)絡(luò)故障的時候主動關(guān)懷市場分析&監(jiān)控客戶對產(chǎn)品的購買概率分析HUAWEI TECHNOLOGIES CO., LTD.9 華為大數(shù)據(jù)應(yīng)用情況截止到2013年11月份，全球拓展86個大數(shù)據(jù)市場項(xiàng)目，其中39個交付中（11個已經(jīng)商用）商業(yè)智能商業(yè)智能流量經(jīng)營流量經(jīng)營網(wǎng)絡(luò)運(yùn)維網(wǎng)絡(luò)運(yùn)維客戶關(guān)懷客

8、戶關(guān)懷大數(shù)據(jù)基礎(chǔ)設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施施精準(zhǔn)營銷精準(zhǔn)營銷大數(shù)據(jù)分析和數(shù)據(jù)開放大數(shù)據(jù)分析和數(shù)據(jù)開放HUAWEI TECHNOLOGIES CO., LTD.10 11個商用項(xiàng)目簡介（按正式商用時間先后排序）產(chǎn)品名稱（產(chǎn)品名稱（OfferingOffering）項(xiàng)目名稱項(xiàng)目名稱項(xiàng)目描述項(xiàng)目描述商用時間商用時間SDP彩鈴尼日利亞彩鈴MTN主要是預(yù)測分析（流失率預(yù)測、訂購行為預(yù)測）以及關(guān)聯(lián)推薦營銷，Smartminer用戶分類分析能力2012年11月日志詳單天津私有云提供超大容量100臺節(jié)點(diǎn)的訪問和管理能力提供便捷的安裝部署能力提供高很高的吞吐量和高并發(fā)的業(yè)務(wù)訪問2012年12月CBS巴林VIVO CBS項(xiàng)

9、目用于AR/GL/Report等模塊，實(shí)現(xiàn)模塊間數(shù)據(jù)集成；提供產(chǎn)品配置、匹配、訂購的規(guī)則引擎2013年6月SDP游戲基地SDP游戲基地（BDI）游戲基地：將分布式數(shù)據(jù)庫Teastore中的數(shù)據(jù)同步到BI系統(tǒng)進(jìn)行經(jīng)分分析。要求每月全量同步一次，每天增量同步一次，同時同步的數(shù)據(jù)要按照客戶的要求進(jìn)行聚合。2013年8月CBS不丹Tashi CBS項(xiàng)目用于AR/GL/Report等模塊，實(shí)現(xiàn)模塊間數(shù)據(jù)集成；提供產(chǎn)品配置、匹配、訂購的規(guī)則引擎2013年10月eCommerce電子渠道河北移動（BDI）業(yè)務(wù)方目前已完成部分流程的配置，jdbc抽取、jdbc加載節(jié)點(diǎn)使用最多，數(shù)據(jù)庫都是oracle。中間偶爾

10、會有過濾等少量轉(zhuǎn)換節(jié)點(diǎn)。 正在和第三方討論方案，已決定文本的處理。調(diào)度方面存在三個：1、分鐘 目前有5個分鐘調(diào)度， 1個1分鐘調(diào)度，4個兩分鐘調(diào)度，大多數(shù)據(jù)量是1條，5個調(diào)度總共7條數(shù)據(jù)。2、日 大約15至20個?？倲?shù)據(jù)量不超過100條。3、月 目前有3個，數(shù)據(jù)量和日調(diào)度一致，總數(shù)據(jù)量不超過100條。2013年10月RBT音樂平臺菲律賓Smart項(xiàng)目BDI,SM,RTD,Hadoop共計4個組件。新用戶因其不存在用戶評分記錄，這個時候可以基于用戶特性、標(biāo)簽通過業(yè)務(wù)規(guī)則來推薦，用戶特性或標(biāo)簽本身可以來源于數(shù)據(jù)挖掘分析或者是數(shù)據(jù)鉆取分析。2013年10月BI( 一體化營銷項(xiàng)目)山東移動一體化營銷項(xiàng)

11、目提供事件決策平臺，引入實(shí)時和精確營銷能力 Hbase客戶畫像，RTD實(shí)時決策能力2013年11月VASCloud Report多米尼加（BDI）支持7個報表產(chǎn)品，合計100個左右的作業(yè)調(diào)度。報表接受系統(tǒng)定時(默認(rèn)2-30分鐘之間)采集生成的統(tǒng)計數(shù)據(jù)文件。部分話單包括和配置表關(guān)聯(lián)衍生字段。 按一般消息400字節(jié)計算，具備單機(jī)2萬/行的入庫能力。支持單機(jī)和集群部署，集群一般場景是雙機(jī)2013年11月Hybird Video卡塔爾卡電（BDI）提供BDI2013年11月SDP音樂基地四川移動音樂基地（BDI）四川移動音樂基地：將分布式數(shù)據(jù)庫Teastore中的數(shù)據(jù)同步到BI系統(tǒng)進(jìn)行經(jīng)分分析。每天增

12、量同步一次，全量只同步一次，同時同步的數(shù)據(jù)要按照需求進(jìn)行聚合。2013年11月HUAWEI TECHNOLOGIES CO., LTD.11 中移動集團(tuán)私有云/南方基地日志詳單系統(tǒng)背景介紹：l 北方基地私有云和南方基地，為中移動集團(tuán)的南北兩大云計算基地，集中建設(shè)海量日志詳單系統(tǒng)，用于集團(tuán)各省公司共享式地使用Hadoop存儲日志詳單數(shù)據(jù)；l 系統(tǒng)規(guī)模為1xx節(jié)點(diǎn)，存儲容量1.x PB業(yè)務(wù)描述：l 基于HDFS的清單數(shù)據(jù)存儲服務(wù)。l 基于MR和Hive的清單數(shù)據(jù)統(tǒng)計分析服務(wù)。成功經(jīng)驗(yàn)：l 系統(tǒng)2013年初成功上線商用，已經(jīng)支撐上線的業(yè)務(wù)系統(tǒng)包括防騷擾電話、垃圾彩信，等等。數(shù)據(jù)查詢服務(wù)層數(shù)據(jù)存儲服務(wù)

13、層數(shù)據(jù)接口和訪問層日志詳單數(shù)據(jù)存儲系統(tǒng)邏輯功能視圖HUAWEI TECHNOLOGIES CO., LTD.12 華為Confidential 菲律賓PLDT大數(shù)據(jù)存儲ETL (Extract, Transfer, Loading)ProductAnalyticReportingInquiryData WarehouseExadata(160T)BIHadoopStructured dataMPPUnstructured dataHuawei Big Data SolutionLoadArchiveSimpleInquery&Analytic痛點(diǎn)訴求如左圖，機(jī)會1：A(結(jié)構(gòu)化數(shù)據(jù)存儲)

14、+B(非結(jié)構(gòu)化數(shù)據(jù)存儲)；機(jī)會2：ETL基礎(chǔ)數(shù)據(jù)處理。提供的方案硬件采用x86服務(wù)器，軟件系統(tǒng)采用OI平臺，提供A+B+C的整體解決方案，超出客戶需求?？臻g和進(jìn)展一期已開始交付；二期需求主要是B和C，投資預(yù)算超$500萬。后續(xù)該大數(shù)據(jù)存儲中心可作為IT網(wǎng)改中的核心部件，為上層各應(yīng)用（BI/Report/CRM等）提供統(tǒng)一的數(shù)據(jù)接口和服務(wù)。IndicatorPOC ResultRequirementQuery Performance 2-4s delay with 300 concurrent queries10sLoading Performance 83+MB/S with 13 nodes

15、11MB/SExport Performance 135+MB/S with 13 nodes11MB/S需求驅(qū)動來源隨著MBB發(fā)展，用戶上網(wǎng)數(shù)據(jù)暴增，DWH撐爆，話單查詢需數(shù)十秒甚至分鐘級。當(dāng)前的存儲服務(wù)器老舊，已無法擴(kuò)容，急需新的存儲解決方案。客戶需求描述對6個月以上的話單進(jìn)行歸檔和簡單查詢，查詢延時最長10秒；對非結(jié)構(gòu)數(shù)據(jù)（如網(wǎng)絡(luò)日志）海量存儲查詢。一期目標(biāo)是結(jié)構(gòu)化數(shù)據(jù)的存儲，數(shù)據(jù)量規(guī)模300T。HUAWEI TECHNOLOGIES CO., LTD.13 山東移動綜合分析系統(tǒng)與山東移動合作進(jìn)行網(wǎng)絡(luò)綜合分析系統(tǒng)一期建設(shè)：p完成了HADOOP+MPP的大數(shù)據(jù)架構(gòu)的搭建；p打通與Gn信令系

16、統(tǒng)、綜合資源系統(tǒng)、經(jīng)分系統(tǒng)、流控系統(tǒng)、話務(wù)網(wǎng)管、數(shù)據(jù)網(wǎng)管、網(wǎng)優(yōu)系統(tǒng)、撥測系統(tǒng)8個系統(tǒng)的接口；p初步建立網(wǎng)絡(luò)數(shù)據(jù)融合分析模型和指標(biāo)體系；應(yīng)用層數(shù)據(jù)倉庫層數(shù)據(jù)源基礎(chǔ)數(shù)據(jù)層 流控系統(tǒng)經(jīng)營分析系統(tǒng)EOMS系統(tǒng)Gn分析系統(tǒng)話務(wù)網(wǎng)管系統(tǒng)數(shù)據(jù)網(wǎng)管系統(tǒng)綜合資源系統(tǒng)數(shù)據(jù)質(zhì)量管理四網(wǎng)協(xié)同價值小區(qū)應(yīng)用專題自定義分析HBaseM/RHiveHDFSHUAWEI TECHNOLOGIES CO., LTD.14 互聯(lián)網(wǎng)用戶行為分析支撐個性化營銷，提升營銷效率用戶上網(wǎng)行為用戶上網(wǎng)行為實(shí)施案例：實(shí)施案例：河南移動互聯(lián)網(wǎng)分析系統(tǒng)黑龍江移動互聯(lián)網(wǎng)分析系統(tǒng)廣東聯(lián)通精細(xì)化運(yùn)營平臺 互聯(lián)網(wǎng)行為分析互聯(lián)網(wǎng)行為分析支撐個性化營銷支撐個性

17、化營銷實(shí)施前情況實(shí)施后效果HUAWEI TECHNOLOGIES CO., LTD.15 借助互聯(lián)網(wǎng)分析進(jìn)行全內(nèi)容智能分發(fā)全內(nèi)容智能分發(fā)平臺，功能建設(shè)方面已經(jīng)實(shí)現(xiàn)全內(nèi)容管理、渠道信息管理、個性化推薦管理和互聯(lián)網(wǎng)渠道運(yùn)營等模塊，并構(gòu)建了一個包含閱讀、視頻、音樂、游戲等欄目的手機(jī)版全內(nèi)容聚合portal；內(nèi)容方面已實(shí)現(xiàn)手機(jī)閱讀、無線音樂、手機(jī)游戲、手機(jī)動漫等業(yè)務(wù)的內(nèi)容數(shù)據(jù)接入，手機(jī)視頻在12月初完成數(shù)據(jù)接入。截止到11月26日，通過139導(dǎo)航小說欄目月推薦小說覆蓋數(shù)達(dá)10568本，累計達(dá)14826本，累計訪問用戶數(shù)達(dá)152842個，成功點(diǎn)播用戶數(shù)達(dá)58996個，共閱讀4321101章節(jié),月均閱讀約

18、217萬章節(jié)， 月均收入約19.53萬元，預(yù)計全年可實(shí)現(xiàn)收入約234.36萬元。HUAWEI TECHNOLOGIES CO., LTD.16 某省精確營銷系統(tǒng)案例Page 16事件類型事件量級觸發(fā)事件觸發(fā)規(guī)則適合的營銷活動業(yè)務(wù)/分析事件500萬+/天繳費(fèi)辦理事件客戶到營業(yè)廳或代理商交話費(fèi)推薦網(wǎng)上交話費(fèi)送話費(fèi)、手機(jī)支付網(wǎng)銀交話費(fèi)等優(yōu)惠活動用戶信息錄入事件用戶是某營銷活動的目標(biāo)客戶通過BOSS雙屏向營銷員側(cè)和用戶側(cè)推薦相應(yīng)的營銷活動信息，比如終端類營銷活動、存話費(fèi)送禮品營銷活動短信營業(yè)廳接觸事件用戶發(fā)給短信營業(yè)廳的短信為特定指令進(jìn)行關(guān)聯(lián)產(chǎn)品推薦，比如訂購來電提醒時向客戶推薦短信回執(zhí)、訂購手機(jī)閱讀

19、時向客戶推薦熱門書籍、初次訂購GPRS套餐時向客戶推薦熱門應(yīng)用網(wǎng)廳、掌廳登錄事件用戶是某營銷活動的目標(biāo)客戶在優(yōu)惠活動專區(qū)醒目地展示特定營銷活動信令事件5億+/天語音呼叫、接聽事件撥打長途電話發(fā)生漫游通話撥打查號、訂票類電話推薦長途12593、長途包推薦非常假期、兩城一家推薦12580業(yè)務(wù)短信發(fā)送、接收事件與飛信用戶短信往來收發(fā)特定短信網(wǎng)關(guān)的短信推薦短信套餐、飛信業(yè)務(wù)推薦自有替代業(yè)務(wù)或相關(guān)業(yè)務(wù)位置更新事件、位置切換事件處于機(jī)場、商業(yè)中心等特定區(qū)域處于漫游狀態(tài)推薦WLAN業(yè)務(wù)、商家聯(lián)盟等業(yè)務(wù)推薦手機(jī)閱讀、手機(jī)導(dǎo)航等數(shù)據(jù)業(yè)務(wù)開機(jī)事件用戶未訂購來電提醒業(yè)務(wù)用戶處于漫游狀態(tài)推薦來電提醒業(yè)務(wù)推薦12580

20、、移動氣象站等業(yè)務(wù)互聯(lián)網(wǎng)事件（接入中）40億+/天（估計）使用手機(jī)軟件事件使用手機(jī)軟件訪問互聯(lián)網(wǎng)推薦移動同類產(chǎn)品或業(yè)務(wù)搜索事件歌曲搜索、小說搜索時觸發(fā)推薦相同類型的歌曲或小說音樂試聽事件在音樂平臺點(diǎn)擊音樂試聽推薦相同類型歌曲HUAWEI TECHNOLOGIES CO., LTD.17 與XX移動開展基于熱線大數(shù)據(jù)挖掘的終端銷售提升活動STEP1：定向抽取錄音到語音分析引擎，作為重要數(shù)據(jù)輸入STEP2：深入研究客戶熱線交互行為數(shù)據(jù)，輸出換機(jī)關(guān)聯(lián)強(qiáng)度信息STEP3：匯集熱線大數(shù)據(jù)與BI標(biāo)簽信息，對典型換機(jī)用戶進(jìn)行聚類分析，區(qū)分不同購機(jī)驅(qū)動力用戶群體STEP4：通過專業(yè)數(shù)據(jù)挖掘算法，計算輸出用戶終

21、端興趣指數(shù)STEP5：生成個性化手機(jī)選擇過濾器，匹配出用戶偏好終端機(jī)型STEP6：將用戶購機(jī)興趣指數(shù)、偏好等熱線數(shù)據(jù)挖掘成果應(yīng)用到在線呼入、外呼/直復(fù)營銷實(shí)踐支持支持30%錄錄音音結(jié)結(jié)構(gòu)化入構(gòu)化入庫庫， ，語語音音識別識別率從率從 35% 提升到了提升到了 80%文本分析及文本分析及終終端端興興趣挖掘模型趣挖掘模型此次此次熱線終熱線終端端營銷營銷目目標(biāo)標(biāo)機(jī)型是機(jī)型是低價智能機(jī)低價智能機(jī)，從模型，從模型輸輸出的出的34562名用名用戶戶中匹配出中匹配出6457人人呼出量接通量接通率外呼成功率配送成功量配送成功率感興趣量興趣率6457231935.9%8.62%12462%48520.9%客服客服

22、語語音數(shù)據(jù)是最能體音數(shù)據(jù)是最能體現(xiàn)現(xiàn)客客戶戶真真實(shí)實(shí)需求、客需求、客戶滿戶滿意度的數(shù)據(jù)，通意度的數(shù)據(jù)，通過語過語音數(shù)據(jù)的文本音數(shù)據(jù)的文本轉(zhuǎn)換轉(zhuǎn)換，可以達(dá)到數(shù)據(jù)價，可以達(dá)到數(shù)據(jù)價值值的深入挖掘。的深入挖掘。聚類分析；決策樹分析；關(guān)聯(lián)分析；文本挖掘分析；HUAWEI TECHNOLOGIES CO., LTD.18 數(shù)據(jù)開放相關(guān)進(jìn)展沃爾瑪24小時人群流量曲線圖選定區(qū)域人群偏好分布人群歸屬地查詢不同區(qū)域人群對比分析目前，沃爾瑪采取的是人工蹲點(diǎn)方式進(jìn)行采樣分析；每個潛在新址花費(fèi)約幾萬元江蘇移動、湖北移動均對數(shù)據(jù)開放非常關(guān)注，當(dāng)前湖北正在考慮進(jìn)行實(shí)際系統(tǒng)落地。主要考慮“開店選址”：根據(jù)用戶的選擇的區(qū)域，

23、以數(shù)據(jù)地圖的形式展示該區(qū)域的人群特征和統(tǒng)計報表，為大賣場和專業(yè)連鎖客戶開店選址提供依據(jù).HISILICON SEMICONDUCTOR華為華為TECHNOLOGIES CO., LTD.Page 19華為Confidential 運(yùn)營商對大數(shù)據(jù)的需求總結(jié)1.1.大數(shù)據(jù)自助大數(shù)據(jù)自助ad hocad hoc交互式分析交互式分析( (中國移動、中國聯(lián)通、中國移動、中國聯(lián)通、VDF)VDF)2.2.低成本的低成本的100PB100PB級數(shù)據(jù)存儲級數(shù)據(jù)存儲( (中國移動、中國聯(lián)通、中國移動、中國聯(lián)通、VDF)VDF)3.3.海量數(shù)據(jù)的一致性，分布式事務(wù)管理能力海量數(shù)據(jù)的一致性，分布式事務(wù)管理能力 (

24、(中國移動中國移動) )海量數(shù)據(jù)存儲1.1.實(shí)時數(shù)據(jù)展現(xiàn)（實(shí)時數(shù)據(jù)展現(xiàn)（dashboarddashboard等），實(shí)時分析等），實(shí)時分析( (中國移動、中國移動、MobilyMobily) )2.2.CEP/CEP/流計算能力流計算能力( (中國移動、中國聯(lián)通、中國移動、中國聯(lián)通、VDFVDF、MobilyMobily) )3.3.實(shí)時決策引擎實(shí)時決策引擎( (中國移動、中國聯(lián)通、中國移動、中國聯(lián)通、VDFVDF、MobilyMobily) )實(shí)時大數(shù)據(jù)分析1.1.支持自然語言處理、網(wǎng)頁支持自然語言處理、網(wǎng)頁/ /文本分析、社交圖譜等數(shù)據(jù)分析文本分析、社交圖譜等數(shù)據(jù)分析( (中國移動、中國聯(lián)通

25、中國移動、中國聯(lián)通) )2.2.支持音視頻等媒體數(shù)據(jù)智能分析，基于大數(shù)據(jù)的人工智能算法支持音視頻等媒體數(shù)據(jù)智能分析，基于大數(shù)據(jù)的人工智能算法全面智能化1.1.分析結(jié)果對廣告系統(tǒng)開放數(shù)據(jù)能力，發(fā)掘數(shù)據(jù)價值分析結(jié)果對廣告系統(tǒng)開放數(shù)據(jù)能力，發(fā)掘數(shù)據(jù)價值( (湖北移動、廣東聯(lián)通湖北移動、廣東聯(lián)通) )2.2.地理位置數(shù)據(jù)分析報告開放能力地理位置數(shù)據(jù)分析報告開放能力( (湖北移動、廣東聯(lián)通湖北移動、廣東聯(lián)通) )數(shù)據(jù)開放1.1.多租戶能力，在存儲、計算、分析層實(shí)現(xiàn)資源隔離，提供云服務(wù)多租戶能力，在存儲、計算、分析層實(shí)現(xiàn)資源隔離，提供云服務(wù)( (中國移動中國移動) )2.2.資源虛擬化，統(tǒng)一存儲，統(tǒng)一管理

26、資源虛擬化，統(tǒng)一存儲，統(tǒng)一管理( (中國移動中國移動) )云化能力海量低成本清單庫混合型存儲Hadoop平臺高性能文件系統(tǒng)分布式事務(wù)型存儲存儲&查詢加速事件分析和決策Stream/CEP內(nèi)存分析決策平臺/AMStore計算能力加速Stream ETL傳統(tǒng)ETL云托管和開放云化多租戶開放集成框架報表系統(tǒng)/BICPMOLAP引擎數(shù)據(jù)挖掘/SmartMiner數(shù)據(jù)智能加速實(shí)時決策非結(jié)構(gòu)化數(shù)據(jù)分析/NLP媒體數(shù)據(jù)分析大數(shù)據(jù)中間件技術(shù)目錄目錄一大數(shù)據(jù)蘊(yùn)含大價值二華為大數(shù)據(jù)解決方案介紹三大數(shù)據(jù)平臺建設(shè)探討HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Pag

27、e 21華為大數(shù)據(jù)上升為公司戰(zhàn)略，持續(xù)投入南京：BDI/SmartMiner/RTD/IA（電軟研發(fā)中心）深圳：Hadoop/AMStore（電軟研發(fā)中心）印度研究所：Streaming（電軟研發(fā)中心）Hadoop（電軟研發(fā)中心）Data Visualization（中央軟件院）美研所：Gauss DB（高斯實(shí)驗(yàn)室）Data Mining（諾亞實(shí)驗(yàn)室）MOLAP（電軟研發(fā)中心）歐研所：SmartSwitch（電軟研發(fā)中心）杭州：SmartStream（香農(nóng)實(shí)驗(yàn)室）徐直軍：大數(shù)據(jù)、云計算、社交網(wǎng)絡(luò)、移動化是華為公司未來投入戰(zhàn)略方向。大數(shù)據(jù)未來保持上千人規(guī)模重點(diǎn)投入。HUAWEI TECHNOLO

28、GIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 22華為大數(shù)據(jù)解決方案概覽（內(nèi)部視角）Hardware LayerPlatform LayerApplication LayerBig Data server(OSCA/ATAE3.0)Big Data Storage(Dsware/DiskArray)Big DataInfinibandBig Data Hardware Accelerator(FPGA Compress/Filter/Process)Business Consulting ServiceBusiness Process OutsourcingResourc

29、e Managed ServiceData Asset Trade Service (TBD)Real-time DecisionNetwork dynamic congestion controlReal-time recommendationExperience EnhancementPrecise MarketingImprove EfficiencyInnovative BusinessPersonalized recommendationDetailed Weblog InquiryOffering optimizationPackage design for specific OT

30、T OperationVisualizationCentralized Customer ProfileCapability exposureData exposureBI/SOP/SmartPCC/SDP/UP/CRM/SmartCare/DaaSOceanInsightIDC/存儲/服務(wù)器HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 23端到端提供大數(shù)據(jù)解決方案（外部視角）聚焦技術(shù)分析平臺和價值應(yīng)用，構(gòu)建開放、合作的生態(tài)環(huán)境HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 24大數(shù)據(jù)業(yè)務(wù)能力

31、體系框架商業(yè)價值精細(xì)化運(yùn)營（融合）客戶洞察（深刻）客戶全視圖（全面）大數(shù)據(jù)運(yùn)營（變革）商業(yè)價值拓展（創(chuàng)新）業(yè)務(wù)能力開放共享自動探索自動監(jiān)控實(shí)時決策精準(zhǔn)營銷場景營銷自助分析搜索分析智能決策數(shù)據(jù)模型客戶終端位置體驗(yàn)產(chǎn)品接觸內(nèi)容合作統(tǒng)一指標(biāo)庫（B、O、M域融合）交互分析數(shù)據(jù)可視化消費(fèi)能力模型話務(wù)需求模型上網(wǎng)行為模型交往圈模型終端偏好模型位置軌跡模型社會身份模型渠道接觸模型需求變化預(yù)測客戶群微分內(nèi)容需求偏好健康度分析生命周期管理離網(wǎng)傾向預(yù)測敏感度分析行為習(xí)慣分析資源效益評估數(shù)據(jù)開放客戶體驗(yàn)提升多波次營銷產(chǎn)品交叉銷售價值向上銷售多渠道聯(lián)動位置信息經(jīng)營社交信息經(jīng)營客戶知識經(jīng)營產(chǎn)品實(shí)時決策精準(zhǔn)實(shí)時營銷實(shí)時滿

32、意度維系資源效率優(yōu)化反欺詐反騷擾價值提升能力提升應(yīng)用模型與場景產(chǎn)業(yè)鏈服務(wù)分析過程可視化分析結(jié)論可視化HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 25數(shù)據(jù)開放當(dāng)前聚焦的應(yīng)用場景精準(zhǔn)營銷客戶滿意度維系產(chǎn)品優(yōu)化資源優(yōu)化DecisionOperation內(nèi)容應(yīng)用推薦基于業(yè)務(wù)使用的實(shí)時個性化推薦基于位置實(shí)時個性化推薦客戶對產(chǎn)品的購買概率分析市場監(jiān)控NPS分析個性化的挽留營銷活動客戶體驗(yàn)差的時候主動關(guān)懷用戶流量詳單查詢渠道和時間偏好分析基于客戶價值的網(wǎng)絡(luò)規(guī)劃基于客戶價值的實(shí)時網(wǎng)絡(luò)擁塞管理基于用戶行為的網(wǎng)絡(luò)資源投放異動客戶資費(fèi)歸位基于信息熱點(diǎn)的資費(fèi)單元設(shè)

33、計實(shí)時業(yè)務(wù)監(jiān)控廣告數(shù)據(jù)開放區(qū)域價值服務(wù)數(shù)據(jù)管理平臺精準(zhǔn)實(shí)時營銷客戶滿意度維系產(chǎn)品優(yōu)化資源優(yōu)化策略數(shù)據(jù)開放l訂購率可達(dá)傳統(tǒng)群發(fā)的10倍l使?fàn)I銷上市周期從9天縮短為2小時l全流程自動化，減少人工干預(yù)，節(jié)省的人力l不滿意事件的前置處理減少30%投訴量l增加客戶電渠便利度，提升運(yùn)營效率l單次服務(wù)耗時從6分鐘下降到4分鐘l產(chǎn)品設(shè)計從3個月降為1個月l主要資費(fèi)產(chǎn)品匹配度從50%提升到77%l不匹配客戶離網(wǎng)率下降3%l相同投放成本下，后者帶來的流量提升是前者的150%l價值小區(qū)客戶得到優(yōu)先保障，投訴率下降25%l增加收入來源HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止

34、擴(kuò)散Page 26數(shù)據(jù)開放：將數(shù)據(jù)作為商品，提供開放服務(wù)分析能力開放報告開放數(shù)據(jù)開放數(shù)據(jù)開放場景場景1、業(yè)務(wù)用戶分析能力場景2、情境分析能力場景3、情境推薦分析 地點(diǎn)推測狀態(tài)推測社交推測習(xí)慣推測電信情境 終端情境物理情境 社交情境132多種推薦能力互聯(lián)網(wǎng)分析業(yè)務(wù)用戶關(guān)聯(lián)分析競爭分析業(yè)務(wù)知識庫人群分析45678購車一族美容族白領(lǐng)商務(wù)人士97-1506-XXXXXX場景4、標(biāo)簽開放與推薦場景5、授權(quán)登陸的標(biāo)簽開放場景6、自定義人群過濾 場景7、商機(jī)洞察與人群流向場景8、產(chǎn)品競爭報告 ID 授權(quán)第三方購車一族運(yùn)營商APP人群A實(shí)時人群過濾購車一族女性服飾投資族自定義DSOP 人群分布地圖查詢商鋪選址

35、人群流向和預(yù)測輸入品牌：華為AscendHonor自動生成競爭分析報告HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 27華為大數(shù)據(jù)給運(yùn)營商帶來的獨(dú)特價值31542p專業(yè)的大數(shù)據(jù)平臺建設(shè)和維護(hù)能力p電信級安全標(biāo)準(zhǔn)要求，保障系統(tǒng)數(shù)據(jù)安全安全/可靠/專業(yè)pX86化的計算云，存儲云，緩解IOE擴(kuò)容帶來的成本壓力p集中化的采集、處理，解決煙囪式系統(tǒng)的冗余浪費(fèi)低成本低成本p全球需求分析與管理，版本規(guī)劃業(yè)界領(lǐng)先p全球商業(yè)模式洞察，創(chuàng)新模式快速響應(yīng)p業(yè)界資源匯聚整合，行業(yè)經(jīng)驗(yàn)共享全球視野借鑒p架構(gòu)開放，支持運(yùn)營商構(gòu)建應(yīng)用百花齊放的局面p預(yù)置更加智能化/自動化

36、的專項(xiàng)應(yīng)用如精準(zhǔn)營銷/滿意度維系p自研系列產(chǎn)品，易提供定制工具，快速響應(yīng)需求開放開放/預(yù)預(yù)置置/易集成易集成p專業(yè)實(shí)驗(yàn)室提供業(yè)界領(lǐng)先技術(shù)支撐p內(nèi)嵌業(yè)界領(lǐng)先的分析技術(shù)和模型領(lǐng)領(lǐng)先技先技術(shù)創(chuàng)術(shù)創(chuàng)新新實(shí)實(shí)踐踐目錄目錄一大數(shù)據(jù)蘊(yùn)含大價值二華為大數(shù)據(jù)解決方案介紹三大數(shù)據(jù)平臺建設(shè)探討HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 29基礎(chǔ)數(shù)據(jù)倉庫X86集群Hadoop云平臺精準(zhǔn)營銷能力電子商城傳統(tǒng)電子渠道互聯(lián)網(wǎng)客服數(shù)據(jù)理解、融合、建模數(shù)據(jù)開放能力實(shí)時接觸渠道合作伙伴平臺建設(shè)所需關(guān)注的IT能力HUAWEI TECHNOLOGIES CO., LTD.華為保密

37、信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 30B域數(shù)據(jù)與O域數(shù)據(jù)融合建模分層實(shí)現(xiàn)：系統(tǒng)數(shù)據(jù)來源廣泛，潛在使用部門和人員眾多，需求多樣化、個性化，前端要求具有很高的響應(yīng)性能和分析能力，后端要求廣泛的數(shù)據(jù)集成能力和海量數(shù)據(jù)的處理、存儲能力。單一的模型很難同時滿足以上諸多的需求。采用分層實(shí)現(xiàn)的方式就是把綜合分析系統(tǒng)模型劃分為多個層次模型，每層次模型只滿足特定的需求，這樣分開的結(jié)果既簡化了模型的設(shè)計，又滿足了系統(tǒng)對模型提出的各種挑戰(zhàn)。明確定位：各層次模型都可以滿足運(yùn)用系統(tǒng)某方面的特定需求，但各層次模型無法獨(dú)立完成整個系統(tǒng)的全部模型需求。因此，各層次模型功能都必須有明確的功能定位，只有把各層次模型的功能定位清楚以

38、后才能針對其功能的特點(diǎn)有針對性的展開模型設(shè)計。區(qū)別對待：各層次模型功能都不一樣，在其內(nèi)部的建模的時候遇到的問題和挑戰(zhàn)也會存在很大的差別，建模方法自然也就需要區(qū)別對待才能更好解決建模中遇到的問題和挑戰(zhàn)?？傮w建模原則以用戶為視角實(shí)現(xiàn)B域O域數(shù)據(jù)的關(guān)聯(lián)HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 31提供OceanInsight Hadoop作為大數(shù)據(jù)平臺的基礎(chǔ)Hadoop：獨(dú)有二級索引技術(shù)、colocation、電信級HA和大規(guī)模集群管理機(jī)制超越競爭對手。HDFS性能比社區(qū)版提升23倍，M/R性能提升310倍，HBase批量入庫性能超越Intel

39、 23倍達(dá)到35MB/s，利用二級索引機(jī)制查詢性能提升10倍以上；移動研究院詳測試結(jié)果表明OceanInsight Hadoop性能超越主要競爭對手。分布式文件存儲Hadoop 管理臺NoSql 數(shù)據(jù)庫批處理運(yùn)算數(shù)據(jù)倉庫、SQL 查詢分布式協(xié)調(diào)安裝、配置、監(jiān)控、任務(wù)調(diào)度安裝、配置、監(jiān)控、任務(wù)調(diào)度分布式存儲HUAWEI TECHNOLOGIES CO., LTD.華為保密信息，未經(jīng)授權(quán)禁止擴(kuò)散Page 32430.12287.64510.720100200300400500600ClouderaIntelHuawei (OI)170.33140.46190.6502040608010012014

40、0160180200ClouderaIntelHuawei (OI)21.8211.674501020304050ClouderaIntelHuawei (OI)70.5627.5589.58020406080100ClouderaIntelHuawei (OI)OceanInsight Hadoop性能對比測試結(jié)果Tested on 5 Node RH2288 ClusterStorage Per Node: 12x 1.8TBCores Per Node: 6x 4Memory Per Node: 189GBNetwork: 10Gbps EthernetOS:SUSE Linux (x8

41、6 64 bit)NMSMaster Nodes(Active-Standby)Worker NodesRead Throughput (MB/Second/Node)Higher the betterHDFSHDFSWrite Throughput (MB/Second/Node)Higher the betterMRHbaseJob Throughput (MB/Second/Node)Higher the betterData Load Throughput (MB/Second/Node)Higher the betterHuaweiHuaweiClouderaClouderaInte

42、lIntelApacheApacheHadHadoopoopHadoop 2.1.0Hadoop 2.0.0-cdh4.4.0Hadoop 1.0.3-IntelHadoop 2.0.5-alphaHBaHBasesehbase-0.94.11-securityHBase 0.94.6-cdh4.4.0HBase 0.94.1-Intelhbase-0.94.9-securityHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 33華為提供云化ETL工具支撐統(tǒng)一數(shù)據(jù)處理大MapReduce任務(wù)mapmapmapreducemapm

43、apbdi基于可視化組件拖拽實(shí)現(xiàn)，在可維護(hù)性、標(biāo)準(zhǔn)化封裝、靈活性等方面更具優(yōu)勢；Hadoop在分任務(wù)處理時，任務(wù)之間是通過文件進(jìn)行交換的，通過流程優(yōu)化，將多個map任務(wù)整合成一個任務(wù)，剔除了不必要的文件交換，可極大地提高處理性能圖形化拖拽流程編排及自動執(zhí)行優(yōu)化HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 34河南現(xiàn)場云ETL性能對比HUAWEI-BDI云化ETL產(chǎn)品同類ETL產(chǎn)品主機(jī)配置曙光640AMD 6136*2(x8) 2.4GHZ4G*16SAS ST91000640SS 1T*12 曙光A-620r-G AMD 61

44、36*2(x8) 2.4GHZ 4G*16 SAS ST91000640SS 1T*12 DataNode數(shù)量5臺67臺每天數(shù)據(jù)處理量1T8T數(shù)據(jù)處理時間9小時17.5小時單服務(wù)器計算能力22.756G/小時6.987G/小時對比結(jié)論華為BDI云化ETL產(chǎn)品數(shù)據(jù)計算能力是同類ETL產(chǎn)品數(shù)據(jù)計算能力的3.257倍HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 35數(shù)據(jù)倉庫建設(shè)需要滿足高容量、高性能以及高穩(wěn)定性要求，同時又要具備其開放性要求，華為基于高性能開放應(yīng)用平臺FusionCube+Oracle Rac的數(shù)據(jù)倉庫方案，在軟硬件

45、兩方面提升數(shù)據(jù)倉庫處理能力和滿足穩(wěn)定性要求。存儲節(jié)點(diǎn)PCI-e SSDSSD存儲節(jié)點(diǎn)PCI-e SSDSSD計算節(jié)點(diǎn)PCI-e SSDPCI-e SSDCPUIBIB網(wǎng)絡(luò)(56G FDR)(56G FDR)計算節(jié)點(diǎn)PCI-e SSDSSDCPU存儲節(jié)點(diǎn)PCI-e SSDSSD存儲節(jié)點(diǎn)PCI-e SSDSSD計算節(jié)點(diǎn)PCI-e SSDSSDCPUIBIB網(wǎng)絡(luò)(56G FDR)(56G FDR)計算節(jié)點(diǎn)PCI-e SSDSSDCPU存儲節(jié)點(diǎn)PCI-e SSDSSD存儲節(jié)點(diǎn)PCI-e SSDSSD計算節(jié)點(diǎn)PCI-e SSDSSDCPUIBIB網(wǎng)絡(luò)(56G FDR)(56G FDR)計算節(jié)點(diǎn)PCI-e SSDCPUIBIB網(wǎng)絡(luò)(56G FDR)(56G FDR)華為FusionCubeFusionCube硬件平臺華為FusionCubeFusionCube硬件平臺華為FusionCubeFusionCube硬件平臺開放性：基于X86開放平臺大內(nèi)存，單節(jié)點(diǎn)128G快網(wǎng)絡(luò)，采用IB 56GE閃存盤，采用PCI-eSSD存儲華為FusionCubeFusionCube硬件平臺特點(diǎn)：基于華為高性能硬件的基礎(chǔ)數(shù)據(jù)倉庫解決方案HUAWEI TECHNO