大數(shù)據(jù)技術應用方向和推動發(fā)展的探討

大數(shù)據(jù)技術應用方向和推動發(fā)展的探討LightYourBusiness目錄

大數(shù)據(jù)產(chǎn)業(yè)鏈洞察及商業(yè)價值

大數(shù)據(jù)應用領域及平臺建設案例介紹

華為大數(shù)據(jù)解決方案介紹浙江移動大數(shù)據(jù)能力構建研討與建議大數(shù)據(jù)成為實現(xiàn)企業(yè)智慧運營轉型的核心引擎合作伙伴商業(yè)創(chuàng)新企業(yè)運營優(yōu)化客戶價值創(chuàng)新融合智慧開放實時電商云政企金融服務……客戶研究精準營銷產(chǎn)品創(chuàng)新客戶維系客戶體驗融合服務……運營效率提升經(jīng)營能力提升服務水平提升管理能力提升大數(shù)據(jù)平臺商業(yè)架構企業(yè)架構應用架構網(wǎng)絡資源為中心客戶體驗及生態(tài)圈為中心封閉開放、用戶驅動、實時知識Silo云化,業(yè)務感知,自編排智慧運營轉型數(shù)字經(jīng)濟驅動運營商徹底進行數(shù)字化重構，企業(yè)運營以“網(wǎng)絡資源為中心”必將轉變?yōu)椤耙钥蛻趔w驗及生態(tài)圈為中心”；大數(shù)據(jù)作為發(fā)動機引擎驅動客戶價值創(chuàng)新、企業(yè)運營優(yōu)化、合作伙伴商業(yè)創(chuàng)新，實現(xiàn)企業(yè)智慧運營轉型大數(shù)據(jù)業(yè)界通用的分層架構模型規(guī)劃咨詢與集成交付服務企業(yè)知識引擎StatisticsDataMiningCEPMachineLearningPredictiveAnalytics大數(shù)據(jù)基礎設施數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)源（BSS|OSS|MSS|Internet|Applog|……)數(shù)據(jù)集成智慧中心集成商業(yè)應用OfflineIngestion(MED/Crawler)Real-timeIngestion(Probe/DPI)DWHMPPDBHadoopIn-MemoryAnalyticsStreaming客戶知識庫產(chǎn)品知識庫渠道知識庫業(yè)務知識庫實時決策策略管理精準營銷產(chǎn)品優(yōu)化客戶體驗服務優(yōu)化數(shù)據(jù)貨幣化運營數(shù)據(jù)信息智慧知識碎片化的大數(shù)據(jù)生態(tài)系統(tǒng)與其他領域不同，電信行業(yè)大數(shù)據(jù)生態(tài)系統(tǒng)碎片化嚴重，缺少E2E集成解決方案存儲計算層計算層硬件2012：流數(shù)據(jù)處理StreamSmart數(shù)據(jù)倉庫HBASEHIVEHadoop內(nèi)存庫軟件：AMStoreCEP引擎Greenplum流處理SmartMiner，Miner數(shù)據(jù)挖掘BDIETL2012：GaussDBCEP2012：Gauss內(nèi)存庫StormEsperKafka/FlumeIT產(chǎn)品線：FusionInsight應用精準實時營銷體驗提升數(shù)據(jù)開放數(shù)據(jù)倉庫MPP內(nèi)存庫dellSAS分析模型

IBM,oracle分析模型unicaPontisopenX服務AccentureTATA外包運營服務網(wǎng)絡優(yōu)化SmartPCCGFKIBMSQMOracleBIAppsE\\\，NSN業(yè)務能力層HP技術能力層SplunkSmartcareEricsson華為能力短板GuavusGuavusGuavusE\\\，NSNGuavusGuavusGuavus分析引擎業(yè)務分析華為的優(yōu)勢在于：1）擁有自研的大數(shù)據(jù)處理核心組件和引擎（超越IT廠商）；2）電信數(shù)據(jù)和業(yè)務的深度運營能力（OCS/SDP/核心網(wǎng)/CRM等）的長期積累；3）全球客戶項目接觸界面，知識和經(jīng)驗的沉淀電信領域企業(yè)級大數(shù)據(jù)中心分層建設的方案趨勢非常明顯三類大數(shù)據(jù)技術/服務提供者可以提供完整的大數(shù)據(jù)技術平臺、分析工具；可提供部分場景的應用解決方案及相關的分析服務。IBM：數(shù)據(jù)治理方法論創(chuàng)建者，將大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)中心結合起來，提供豐富、完整的產(chǎn)品套件，構建新一代混合型數(shù)據(jù)中心。TeraData：傳統(tǒng)DWH的Top1廠商轉型。提供高度可伸縮的并行處理能力，行列混合存儲MPP架構，統(tǒng)一數(shù)據(jù)庫服務與計算層，集成SQL與SQL-MapReduce。SAS：數(shù)據(jù)分析與挖掘預測領域領導廠商，在運營商領域主要提供用戶細分、用戶保有、交叉營銷等基于B域數(shù)據(jù)的垂直應用方案。華為主要是互聯(lián)網(wǎng)巨頭，提供云化的大數(shù)據(jù)分析服務Google：提供企業(yè)級的云端大數(shù)據(jù)分析處理服務；TB數(shù)據(jù)秒級響應；

通過PredictionAPI，提供分類/預測9大類云服務。騰訊：支持單集群萬臺規(guī)模，存儲容量100PB，每天Job數(shù)100萬+，掃描數(shù)據(jù)量6.5PB；通用的分布式實時推薦平臺，日推薦量1萬億＋；使用滑動時間窗口訓練模型，最小窗口粒度5分鐘。阿里：基于阿里云的計算和存儲能力，打造以數(shù)據(jù)為中心的共享平臺；提供基于工具鏈（ODPS，M/R，Python，R，Xlab/Xlib）的一站式數(shù)據(jù)開發(fā)引擎。百度：通過百度云、數(shù)據(jù)工廠、百度大腦開放大數(shù)據(jù)引擎；以深度學習為主的機器學習有全球規(guī)模最大的人工神經(jīng)網(wǎng)絡（200億向量）。數(shù)據(jù)存儲規(guī)模超過1EB，日處理100PB級，秒級時延的數(shù)據(jù)總線BigPipe。在單點技術上具有獨特價值SAP：分布式列式內(nèi)存數(shù)據(jù)庫HANA業(yè)界第一；Splunk：分布式多源數(shù)據(jù)采集，打造低成本實時分析能力。Cloudera：提供成熟可靠的Hadoop套件，擁有影響Hadoop開源代碼的能力。Tableau：數(shù)據(jù)可視化領域業(yè)界最佳。TeraData/GreenPlum：

Teradata作為MPPDB行業(yè)標桿，性能、可靠性好；GreenPlum作為開源廠家，價格便Informatica：在數(shù)據(jù)脫敏、主數(shù)據(jù)管理等方面均處于行業(yè)領導地位。解決方案供應商技術供應商分析服務供應商目錄

大數(shù)據(jù)產(chǎn)業(yè)鏈洞察及商業(yè)價值

大數(shù)據(jù)應用領域及平臺建設案例介紹

華為大數(shù)據(jù)解決方案介紹浙江移動大數(shù)據(jù)能力構建研討與建議概述：全球1、2線運營商向客戶資產(chǎn)經(jīng)營轉型，數(shù)據(jù)成為資產(chǎn)，大數(shù)據(jù)成為其提升運營、洞察客戶的重要手段，同時積極嘗試對外變現(xiàn)

外部數(shù)據(jù)面向客戶內(nèi)部數(shù)據(jù)面向運營社交媒體經(jīng)濟數(shù)據(jù)人口統(tǒng)計定價彈性與消費模式研究競爭對手分析品牌與廣告推廣客戶忠誠度&保有移動設備信息產(chǎn)品和服務性能市場研究設備和技術能力評估帶寬成本客戶宣傳客戶投訴地理空間數(shù)據(jù)網(wǎng)絡性能可視化網(wǎng)絡利用率網(wǎng)絡規(guī)劃與覆蓋欺詐和泄露客戶體驗客戶LTV營銷成本與效果評估營銷效率客戶網(wǎng)絡體驗計費和支付CDR和交易

訂購及配置客戶使用模式城市發(fā)展規(guī)劃網(wǎng)絡監(jiān)控市場&客戶洞察運營洞察網(wǎng)絡優(yōu)化提升運營收入和風險管理優(yōu)化網(wǎng)絡投資預測和提高網(wǎng)絡容量和性能優(yōu)化網(wǎng)絡維護和資源管理呼叫中心的資源優(yōu)化客服的規(guī)范指導訂購配置和激活跟蹤收入保障和欺詐檢測客戶信用評估拓展市場促進銷售改善客戶服務評估新產(chǎn)品和服務的需求產(chǎn)品與服務創(chuàng)新產(chǎn)品和服務的價格和性能優(yōu)化競爭洞察和快速響應有針對性的，實時的營銷基于事件營銷客戶細分市場下一個最好的報價基于位置的廣告客戶保留客戶體驗分析交叉營銷呼叫減少/偏轉客戶的網(wǎng)絡體驗運營商大數(shù)據(jù)價值應用全景圖當前聚焦的應用場景大數(shù)據(jù)在電信運營商行業(yè)的價值——金字塔模型金字塔模型展現(xiàn)的是冰山上的顯性需求；隨著管道資產(chǎn)驅動增長遇到瓶頸，經(jīng)營客戶資產(chǎn)變成戰(zhàn)略焦點，企業(yè)級大數(shù)據(jù)中心成為其支撐其戰(zhàn)略轉型重要使能。解決內(nèi)部的風險監(jiān)控解決外部的風險監(jiān)控既有業(yè)務的更好運營解決業(yè)務擴展問題解決業(yè)務方向問題需求FusionInsight/UniverseSQM(SmartCare）CVM/UniverseISA(Universe)Campaign(Universe)DataMiner(Universe)聚合與運營AEP(SDP)Universe戰(zhàn)略規(guī)劃企業(yè)經(jīng)營管理數(shù)據(jù)開放和交易精細化運營和營銷用戶體驗管理運營/運維風險管理大數(shù)據(jù)分析平臺大數(shù)據(jù)基礎設施戰(zhàn)略規(guī)劃競爭分析收入分析專題分析數(shù)據(jù)貨幣化數(shù)據(jù)可視化自助數(shù)據(jù)分析活動收益提升用戶個性化推薦和生命周期管理用戶行為分析產(chǎn)品體驗分析&監(jiān)測異常智能監(jiān)控&分析大數(shù)據(jù)分析平臺StrategicPerformanceManagement大數(shù)據(jù)基礎架構自下而上，對于人的依賴性越來越強自上而下，自動化程度越來越高主題大數(shù)據(jù)應用需求和特征B（Business）I（information）A（application)S(system)Level4數(shù)字經(jīng)營，建立與OTT差異化的業(yè)務優(yōu)勢構建對外數(shù)據(jù)交換和交易能力開放生態(tài)，聚合合作伙伴，創(chuàng)新商業(yè)模式大數(shù)據(jù)中心提供對外的可管可控可運營的數(shù)據(jù)交易和變現(xiàn)能力具備靈活的內(nèi)外部數(shù)據(jù)交換和整合能力行業(yè)大數(shù)據(jù)應用；面向個人客戶的appmarket生態(tài)；數(shù)據(jù)開放和交易在level3的基礎上，增加數(shù)據(jù)變現(xiàn)能力平臺Level3構建和OTT廠商持平的互聯(lián)網(wǎng)化的運營能力建設集中化的企業(yè)級大數(shù)據(jù)中心（四川聯(lián)通大數(shù)據(jù)中心）建設統(tǒng)一的平臺級大數(shù)據(jù)中心面向客服，營銷、支撐等領域提供OnDemand的大數(shù)據(jù)服務整合跨領域全量數(shù)據(jù)，建立靈活的數(shù)據(jù)供應鏈系統(tǒng)，對外開放融合的信息服務通過開放信息服務，數(shù)據(jù)和應用解耦，全面繁榮大數(shù)據(jù)應用終端營銷、內(nèi)容營銷分層解耦的大數(shù)據(jù)系統(tǒng)建設Level2解決特定業(yè)務領域問題應用場景牽引，建立垂直的大數(shù)據(jù)應用（SmartCare/流量經(jīng)營等）針對精準營銷、CEM、客戶維挽等具體的應用場景牽引，規(guī)劃和建設應用級大數(shù)據(jù)系統(tǒng)場景應用牽引整合共享域內(nèi)數(shù)據(jù)SmartCare/CEM/精準營銷垂直的煙囪式系統(tǒng)構建（含大數(shù)據(jù)分析部件+RTD部件+場景應用）Level1大數(shù)據(jù)技術解決單點業(yè)務問題原數(shù)據(jù)系統(tǒng)的存儲和性能能力的擴展（詳單云等）簡單應用場景，如客戶查詢上網(wǎng)詳單，流量詳單和計費詳單相關聯(lián)等整合應用所需的信息詳單云、計費詳單和流量詳單關聯(lián)Hadoop/BDI/定制業(yè)務系統(tǒng)如何構建——運營商實施大數(shù)據(jù)的能力成熟度評估模型Now20102017LTE明顯提升客戶體驗，XXXX需要穩(wěn)固存量市場，避免用戶流失，尤其對高ARPU值的用戶維挽非常關鍵。上海XX案例：業(yè)務困境&突圍思路運營商間激烈的同質競爭增量經(jīng)營向精細化存量經(jīng)營轉變精準：基于大數(shù)據(jù)用戶洞察，微營銷敏捷：基于場景和事件觸發(fā)的自動營銷開放：渠道合作/能力開放，數(shù)據(jù)價值變現(xiàn)來自互聯(lián)網(wǎng)替代競爭越來越激烈預計到2016年，在發(fā)達市場，OTT玩家將捕獲差不多15％的用戶移動語音分鐘數(shù)，電信運營商話音收入開始下降，運營商需要進行運營模式變革。運營商增值業(yè)務缺乏競爭力不斷被OTT替換。產(chǎn)品互聯(lián)網(wǎng)化：用戶需求洞察，個性化產(chǎn)品開渠道互聯(lián)網(wǎng)化：用戶渠道洞察，個性化精準營運營互聯(lián)網(wǎng)化：敏捷實時運營監(jiān)控，主動維系全渠道、全覆蓋、精細化觸點運作單手機用戶維系成本14元，維系成本/用戶貢獻的關系為1:30線上/線下渠道發(fā)展成本比1：7，后付費維系成本比為1：32012年運營商在信息產(chǎn)業(yè)的價值占比為21%，預計2020年下降至16%2014年存量和增量的收入比已經(jīng)達到2:1，新增用戶ARPU水平持續(xù)下降，新老用戶的單用戶貢獻比為1:1.4后付費用戶價值保有率提升1個點，全年收入可提升XXXX萬預付費用戶生命周期延長1個月，全年可提升收入1XXX萬上海XX案例：“基于大數(shù)據(jù)的互聯(lián)網(wǎng)化存量經(jīng)營”的UseCase全視圖用戶生命周期大數(shù)據(jù)變現(xiàn)

價值提升對內(nèi)對外社會效應用戶維系行業(yè)考察期提升期成熟期衰退期離網(wǎng)期垂直行業(yè)線上廣告集客咨詢公司市政公共流量刺激精準營銷疊加包/升級包精準營銷終端機精準營銷預付費潛在離網(wǎng)用戶維挽后付費潛在離網(wǎng)用戶維挽對外對內(nèi)定向包精準營銷離網(wǎng)—基站關聯(lián)分析2G->3G套餐升級精準營銷移動生活指數(shù)沃家庭增值戶外數(shù)字媒體價值評估戶外非數(shù)字媒體價值評估戶外移動媒體價值評估城市和交通規(guī)劃交通擁塞指數(shù)智慧旅游大數(shù)據(jù)精準廣告零售業(yè)洞察為垂直行業(yè)推薦精準客戶虛擬社會/虛擬形象集客用戶精準營銷OTT數(shù)據(jù)開放(金融、保險)APP/內(nèi)容推薦后向收費用戶維挽提升業(yè)務使用量對外價值圖例說明：3G->4G套餐升級精準營銷上海XX案例：大數(shù)據(jù)應用場景建設端到端分解視圖預付費潛在離網(wǎng)用戶維挽后付費潛在離網(wǎng)用戶維挽3G->4G套餐升級精準營銷離網(wǎng)-基站關聯(lián)分析流量刺激精準營銷2G->3G套餐升級精準營銷定向包精準營銷疊加包/升級包精準營銷沃家庭增值戶外數(shù)字媒體價值評估戶外非數(shù)字媒體價值評估戶外移動媒體價值評估城市和交通規(guī)劃智慧旅游虛擬社會/虛擬形象移動生活指數(shù)集客用戶精準營銷終端機精準營銷商業(yè)UseCase客戶來源、去向、重入網(wǎng)、異常用戶識別預付費/后付費用戶分類用戶生命周期模型用戶離網(wǎng)成本評估模型用戶價值評估模型用戶離網(wǎng)預測模型用戶關系圈模型用戶終端信息及偏好用戶消費能力及價值觀偏好用戶套餐匹配用戶忙閑時/活躍時段用戶位置軌跡模型用戶興趣偏好評估模型(靜態(tài)/動態(tài))用戶渠道偏好模型模型用戶資源偏好評估模型營銷效果評估用戶消費熱點發(fā)掘用戶行為監(jiān)控影響經(jīng)營結果分析模型/規(guī)則營帳經(jīng)分DM固網(wǎng)寬帶MR業(yè)務系統(tǒng)Gn網(wǎng)管互聯(lián)網(wǎng)數(shù)據(jù)源賬單套餐訂購OTT交換語音短信話單終端信息增值業(yè)務訂購禮品/積分兌換紀錄充值記錄對手客服接觸記錄業(yè)務質量網(wǎng)絡質量用戶體驗流量包訂購記錄用戶位置信息APP使用記錄瀏覽內(nèi)容訪問網(wǎng)頁鏈接城市地圖POI城市交通網(wǎng)絡營業(yè)廳地圖分布渠道反饋數(shù)據(jù)數(shù)據(jù)需求上海XX案例：大數(shù)據(jù)應用效果營銷成功率大幅上升全生命周期體驗精準洞察和深度干預每月發(fā)布2~3款大數(shù)據(jù)標準化能力各類微營銷場景50個以上微營銷平均用戶規(guī)模從9萬下降至3萬/單活動，減少無效用戶打擾1100萬人次華為4個月完成23個用戶洞察模型開發(fā)和驗證，并應用于190多次營銷活動六維用戶標簽體系（1228個）實現(xiàn)對用戶的全覆蓋”用戶離網(wǎng)預測模型”準確率達90%，遠高于業(yè)界平均的70%戶均流量提升50M；300M用戶提升7%占比達到35.1%……上海XX案例：新商業(yè)模式探索人流軌跡數(shù)據(jù)產(chǎn)品開放合作伙伴：XXXX客戶：上海煙草、GFK行業(yè)：戶外廣告位估價、店面選址評估價值：100m*100m柵格掃，開放單位時間內(nèi)柵格的人流統(tǒng)計信息定價：按單柵格*時間進行基礎定價用戶興趣標簽產(chǎn)品合作伙伴：晶贊科技行業(yè)：RTB(互聯(lián)網(wǎng)實時廣告)價值：向互聯(lián)網(wǎng)廣告代理提供基于用戶興趣標簽的產(chǎn)品推薦定價：按流量人次定價基于用戶行為洞察的聯(lián)合營銷合作伙伴：中青旅行業(yè)：零售，幫助中青旅高端旅游產(chǎn)品尋找潛在用戶，精準營銷價值：用戶偏好與用戶行為的實時洞察、用戶相似性比較分析定價：傭金分成行業(yè)指數(shù)用戶位置、行為、偏好等聚類分析，提升企業(yè)品牌案例：TelcomSel（現(xiàn)狀、架構、近期應用重點）2013年6月，集團IT規(guī)劃提出了DataAnalytics和CEM的發(fā)展方向應用Case：規(guī)劃了大數(shù)據(jù)分析平臺建設路徑，分析能力演進，數(shù)據(jù)分析usecases等系統(tǒng)架構：利用現(xiàn)有系統(tǒng)（Netezza,SPSS）、采用clouderahadoop平臺、補助實時數(shù)據(jù)處理部件，為集團構建了大數(shù)據(jù)基礎平臺和大數(shù)據(jù)分析平臺分析服務：Telkom集團與本地三家IT公司合作，將規(guī)劃的usecases在大數(shù)據(jù)平臺上落地1、規(guī)劃了一系列的分析Case，偏重營銷、社交媒體分析、地理位置分析等2、當前的痛點（1）Local廠商分析（尤其是對網(wǎng)絡側數(shù)據(jù)）能力弱，分析Case進展慢（2）沒有統(tǒng)一的數(shù)據(jù)視圖和管理框架，看似完備的基礎設施效果有待驗證。TLF集團：構建數(shù)據(jù)整合DataHub，聚焦數(shù)據(jù)變現(xiàn)解決方案架構項目背景關鍵價值業(yè)務場景2013年TLF集團組織整合，以CMO和CIO驅動構建GlobalIT，增強集團對各個子網(wǎng)的控制。其中集團大數(shù)據(jù)平臺為核心訴求之一2014年初TLF集團向各個vendor發(fā)出RFI，華為提出Proposal并完成技術方案交流，得到初步認可數(shù)據(jù)集中化和拉通共享：構建集團統(tǒng)一的大數(shù)據(jù)基礎設施，統(tǒng)一管控各個子網(wǎng)的數(shù)據(jù)資產(chǎn)，實現(xiàn)數(shù)據(jù)整合和共享，支撐集團經(jīng)營決策數(shù)據(jù)資產(chǎn)銷售：向合作伙伴銷售數(shù)據(jù)，提供數(shù)據(jù)咨詢服務客戶維挽：利用客戶數(shù)據(jù)資產(chǎn)進行深度分析，提升客戶保留率業(yè)務促銷和多業(yè)務交叉銷售：以客戶數(shù)據(jù)為中心，關聯(lián)產(chǎn)品、網(wǎng)絡數(shù)據(jù)，實現(xiàn)業(yè)務精細化運營，提升業(yè)務收入數(shù)據(jù)變現(xiàn)三部曲數(shù)據(jù)采集Collectrawdata數(shù)據(jù)采集是為數(shù)據(jù)洞察做準備，其包括:File-basedRealtimestream-based實時分析和營銷需求對實時流數(shù)據(jù)分析能力提出要求。數(shù)據(jù)洞察Generateinsight數(shù)據(jù)洞察是一個迭代的基于一定假設和前提的數(shù)據(jù)分析活動，目的是探索數(shù)據(jù)隱藏的內(nèi)在聯(lián)系和價值。海量的數(shù)據(jù)分析和洞察需要Hadoop基礎設施和服務能力的支撐。價值呈現(xiàn)Exploitinsight外部價值呈現(xiàn)需要通過洞察后的數(shù)據(jù)資產(chǎn)的對外銷售，而內(nèi)部價值呈現(xiàn)則是通過數(shù)據(jù)洞察提升營銷效率（包括傳統(tǒng)的營銷場景和實施營銷場景）實時營銷提升需要實時決策能力的支撐廣東XX深刻洞察用戶的互聯(lián)網(wǎng)行為愛游戲利用RSS、爬蟲等解析互聯(lián)網(wǎng)站及各級頻道，按照客戶訪問行為進行分類，建立集團統(tǒng)一的客戶訪問互聯(lián)網(wǎng)行為分類規(guī)范URL:當前平臺累計完成超過10萬個URL地址一級域名、二級域名、三級域名的歸類整理，能夠識別出80%以上的URL訪問，一級分類有47個，二級分類有273個。關鍵詞：系統(tǒng)每天能檢索出2000萬條的用戶搜索詞，并匹配到121中關鍵詞分類中。標簽：平臺通過基礎屬性和標簽組合的方式，目前可呈現(xiàn)出超過1000多種的業(yè)務特征。軌跡：平臺能夠當前沉淀出廣、深、東、佛四地市的客戶軌跡信息。經(jīng)過半年的輔助運營，XXXX流量KPI在集團排名全面提升2013-102013-02Source:2013年10月聯(lián)通集團流量經(jīng)營省份排名情況50M以上用戶占比873.4%300M以上用戶占比戶均流量5272.68M手機上網(wǎng)收入占收比139.21%9203.30M667.84%1623.96%834.9%1623.4%流量單價80.145￥200.122￥流量經(jīng)營團隊高效率響應和全方位的支撐下，XXXX流量KPI綜合排名得到大幅度的提升。133集團綜合排名總結：大數(shù)據(jù)技術已成熟、但大多數(shù)運營商尚未形成如何從大數(shù)據(jù)中獲益的能力、人才、流程和組織分類問題描述運營商數(shù)據(jù)采集問題數(shù)據(jù)種類不足：如網(wǎng)絡域的WLAN和有線寬帶日志、用戶級網(wǎng)絡質量數(shù)據(jù)、業(yè)務平臺日志、財務、人力、流程等管理類數(shù)據(jù)；及時性不足：網(wǎng)絡事件、實時位置、質量數(shù)據(jù)等因采集流程、傳輸、轉換、加載等問題延時（3~30分鐘），很多情況下達不到實時應用場景的需要；互聯(lián)網(wǎng)數(shù)據(jù)分析能力不足：網(wǎng)頁（文本、圖片、表格）分析能力和AppDPI能力不足。上海聯(lián)通安徽移動四川聯(lián)通河南移動TelcomPLDT……….數(shù)據(jù)質量問題終端信息庫：終端識別率只有70%左右；URL信息庫：URL分類規(guī)則只能覆蓋主流網(wǎng)站，URL內(nèi)容分類只能達到二級，層級不細；DPI特征庫：流量DPI識別率不足70%，能夠識別的應用不足500項；位置信息庫：沒有統(tǒng)一的位置信息庫，無法支撐邏輯區(qū)域位置的營銷；狀態(tài)碼庫：沒有各廠家網(wǎng)絡狀態(tài)口徑的集中管理，無法支撐網(wǎng)絡質量的統(tǒng)一分析。數(shù)據(jù)應用問題數(shù)據(jù)解析能力不足：對網(wǎng)絡數(shù)據(jù)（如Mr、CHR）的解析和應用能力不足；精確營銷應用尚處于初級階段，客戶畫像和內(nèi)容分類仍需細化，營銷實時性仍需提升，覆蓋渠道尚不完善；存量、流量、終端、寬帶等應用模型還需要進一步完善；網(wǎng)絡運維中應用較少，跨數(shù)據(jù)域的融合應用依然不多。數(shù)據(jù)運營問題各系統(tǒng)獨立建設、數(shù)據(jù)分別存儲，數(shù)據(jù)大量冗余；數(shù)據(jù)同步頻繁，消耗網(wǎng)絡和系統(tǒng)資源，且存在數(shù)據(jù)口徑不一致性問題；缺少對數(shù)據(jù)資產(chǎn)的統(tǒng)一管理，沒有公司級數(shù)據(jù)模型，尚未形成跨廠商、跨部門統(tǒng)一開發(fā)、調(diào)度環(huán)境；Hadoop、MPP、流處理平臺的運維、應用開發(fā)能力不足；新技術、新平臺運維和數(shù)據(jù)挖掘等專業(yè)人才不足。缺少各部門專題分析系統(tǒng)的分析作業(yè)的資源統(tǒng)一分配、執(zhí)行優(yōu)先級統(tǒng)一調(diào)度；需要一個開放的ecoSystem，各廠商可以在統(tǒng)一作業(yè)平臺按照標準的規(guī)范流程進行開發(fā)、測試和發(fā)布上線目錄

大數(shù)據(jù)產(chǎn)業(yè)鏈洞察及商業(yè)價值

大數(shù)據(jù)應用領域及平臺建設案例介紹

華為大數(shù)據(jù)解決方案介紹浙江移動大數(shù)據(jù)能力構建研討與建議中國(南京)BDISmartMinerRTDVisualization中國(深圳/香港)HadoopArtificialIntelligenceBigDataMiningIn-memoryDBGaussDBStreamingOverallArchitecture印研HadoopStreamingVisualization美研MPPDBDataMiningMOLAP

歐研SmartSwitchRTDSecurity中國(杭州)SmartStream大數(shù)據(jù)是華為公司級別TOP戰(zhàn)略

2013年華為確立大數(shù)據(jù)是公司級TOP戰(zhàn)略產(chǎn)品地域分布團隊規(guī)模Hadoop平臺印研/深圳300人團隊內(nèi)存分析深圳/以色列80人團隊GaussMPPDB美研所50人團隊流計算杭州50人團隊BDI南京100人團隊數(shù)據(jù)挖掘南京/美研/諾亞200人團隊多維分析美研25人團隊RTD實時決策南京50人團隊CEP復雜事件處理歐研/南京50人團隊大數(shù)據(jù)可視化印度研究所150人團隊截止到2014年6月份，全球拓展104個大數(shù)據(jù)市場項目商業(yè)智能流量經(jīng)營網(wǎng)絡運維客戶關懷大數(shù)據(jù)基礎設施精準營銷大數(shù)據(jù)分析和數(shù)據(jù)開放華為在大數(shù)據(jù)領域深耕細作5%技術積累實戰(zhàn)經(jīng)驗全球業(yè)界領軍人物華為的積累組織支撐平臺團隊+業(yè)務團隊+解決方案咨詢?nèi)藛T全部大數(shù)據(jù)達到兩千多人在不同領域針對大數(shù)據(jù)應用積累了不同的經(jīng)驗：江蘇移動、聯(lián)通集團的詳單查詢；和記電信的hadoop應用；山東移動、河北移動不同MPPDB的使用；安徽移動的大數(shù)據(jù)量流式處理；廣西移動、福建移動、河南移動等地的互聯(lián)網(wǎng)分析應用。大數(shù)據(jù)相關技術專利49項（42項已有專利號，7項正在申請中）中國區(qū)咨詢解決方案海外咨詢解決方案運營商產(chǎn)品線

大數(shù)據(jù)分析能力服務平臺(挖掘/分析/CEP/能力開放)

IT產(chǎn)品線

大數(shù)據(jù)存儲和計算平臺（Hadoop/Spark/MPP）

2012實驗室/中軟/諾亞/外研IRDr.LiHang

DMandMLDr.FanWeiHCIDaiWenyuanDMandMLProf.YangQiang華為Hadoop社區(qū)貢獻與成就電信行業(yè)唯一一家Apache基金銀牌贊助商；向社區(qū)貢獻HDFS的HA方案，Hbase二級索引方案和代碼，正在準備貢獻MR的HA方案，以在電信領域高可靠、高性能的長期積累為社區(qū)版本的高可靠和高性能做出巨大貢獻。2009年開始，積極參與Hadoop社區(qū)建設，年平均提交補丁600多個；在Hadoop社區(qū)，擁有PMC1名，Committer4名2011年Huawei向社區(qū)提交的補丁數(shù)和代碼行排名第七，超過了Facebook。2013年根據(jù)華為統(tǒng)計，華為貢獻排名上升到第4名。DevarajKHadoopYARNCommitterSource：/who.html#Hadoop+CommittersRajeshbabuHBaseCommitterSource：/team-list.htmlNO.72013年排名NO.4華為Universe運營商行業(yè)大數(shù)據(jù)解決方案的定位SETI3=ServiceIntegratorEcosystemIntegratorTechnologyIntegratorNewBusinessModelDataOpennessPlatformPartnerEcosystemOOTBSuitesValueApplicationsE2EintegratedsolutionproviderInnovationecosystemvaluechainleaderDeliveryServiceConsultingEcosystemIntegratorServiceIntegratorLightYourBusinessTechnologyIntegrator憑借對運營商的業(yè)務和網(wǎng)絡的深度理解，華為構建了以一套參考架構BDRA、三個套件、三種領域能力為核心的運營商行業(yè)大數(shù)據(jù)解決方案。Universe解決方案參考架構BDRA（BigDataReferenceArchitecture）創(chuàng)新商業(yè)模式云圖合作伙伴生態(tài)系統(tǒng)數(shù)據(jù)云圖商業(yè)云圖柔性大數(shù)據(jù)供應鏈數(shù)據(jù)安全與隱私架構概述產(chǎn)品組件交付模型標準規(guī)范架構跪安業(yè)務流用例非功能需求++BDRA提供如何使用華為大數(shù)據(jù)技術創(chuàng)建大數(shù)據(jù)平臺及應用的規(guī)范性指導BDRA包括部署大數(shù)據(jù)應用的流程，參考模塊及其規(guī)范性指導文檔BDRA中的參考模塊作為該技術專題的權威參考通過BDRA，可以幫助運營商減少部署大數(shù)據(jù)應用的投資和上市時間利用完善的架構及原則，可以快速開發(fā)數(shù)據(jù)應用，減少失誤，提升效率，并滿足安全、性能、可擴展性等需求確定需求，并使用向導工具開始使用數(shù)據(jù)供應鏈系統(tǒng)和服務創(chuàng)建大數(shù)據(jù)應用和數(shù)據(jù)供應鏈系統(tǒng)所需的架構概述12確定大數(shù)據(jù)應用和數(shù)據(jù)供應鏈系統(tǒng)的產(chǎn)品組合3根據(jù)參考架構確定創(chuàng)建大數(shù)據(jù)應用的過程和詳細的技術方案對各相關技術指標或方案的要求3a3b商業(yè)需求調(diào)研客戶化定制+企業(yè)運營優(yōu)化商業(yè)模式創(chuàng)新數(shù)字經(jīng)營智慧中心數(shù)據(jù)工廠企業(yè)運營客服財務市場運維數(shù)字交換生態(tài)OTT電商云教育政企零售…數(shù)據(jù)資產(chǎn)管理客戶產(chǎn)品服務網(wǎng)絡互聯(lián)網(wǎng)…HadoopMPPDB數(shù)據(jù)倉庫知識發(fā)現(xiàn)引擎客戶洞察產(chǎn)品洞察渠道洞察服務洞察互聯(lián)網(wǎng)分析…數(shù)據(jù)開放框架數(shù)據(jù)交換總線消息總線開放管理Universe解決方案3個套件預置電信領域全域數(shù)據(jù)地圖面向業(yè)務概念的數(shù)據(jù)資產(chǎn)管理面向商業(yè)問題預置56個領域分析知識提供面向業(yè)務人員的使用體驗分析模型TTM從數(shù)月降低到天安全的、可自定義/自編排的API框架多種開發(fā)模式，構建數(shù)據(jù)生態(tài)圈分析結果的開放分析能力的開放第三方數(shù)據(jù)的引入Universe解決方案3種領域能力（商業(yè)云圖、數(shù)據(jù)云圖、技術云圖）業(yè)務對象模型企業(yè)知識數(shù)據(jù)模型原始數(shù)據(jù)模型產(chǎn)品知識客戶知識渠道知識營銷知識終端知識網(wǎng)絡知識合作伙伴知識O域數(shù)據(jù)告警日志信令事件統(tǒng)計B域數(shù)據(jù)產(chǎn)品帳務數(shù)據(jù)用戶數(shù)據(jù)客服渠道業(yè)務M域數(shù)據(jù)財務數(shù)據(jù)企業(yè)數(shù)據(jù)MBB域數(shù)據(jù)內(nèi)容終端業(yè)務互聯(lián)網(wǎng)域數(shù)據(jù)社交搜索新聞其他第三方數(shù)據(jù)零售數(shù)據(jù)行業(yè)報告…游戲電商…服務

參與人事件資源營銷賬務企業(yè)擴展屬性基本屬性事件明細維度參考數(shù)據(jù)高維特征服務

參與人事件資源營銷賬務企業(yè)應用數(shù)據(jù)模型整合營銷商業(yè)智能客戶體驗管理……數(shù)據(jù)開放DataInformationKnowledgeWisdom數(shù)據(jù)訪問數(shù)據(jù)存儲與計算數(shù)據(jù)開放分布式文件系統(tǒng)HDFS文檔數(shù)據(jù)庫MongoDBBigTableHbase/CassandraKVDBRedis數(shù)據(jù)倉庫Oracle/DB2/SQLServer列式內(nèi)存庫HANA/RTANAMPP數(shù)據(jù)庫TeraData/GP/Gauss語義數(shù)據(jù)庫流數(shù)據(jù)庫批量計算MR/Spark流計算Storm/SparkS/StreamSMART內(nèi)存批量計算Spark圖計算PowerGraph/GraphChi/Petuum/SparkGraphX交互式分析和查詢Shark/Imala/Presto多維分析引擎Kylin搜索引擎Elasticsearch/Splunk數(shù)據(jù)透明訪問（屏蔽異構數(shù)據(jù)存儲，數(shù)據(jù)路由，數(shù)據(jù)緩存）SASAccess/IBMFederationServer、DataExplorer計算透明調(diào)度（統(tǒng)一多計算引擎編程接口，計算任務協(xié)同）YARN圖數(shù)據(jù)庫Neo4j數(shù)據(jù)可視化（報表/監(jiān)控，Dashboard，共享）Tableau實時決策引擎（策略中心，實時分析，決策執(zhí)行）亞信數(shù)據(jù)探索（拖拽式操作，預統(tǒng)計，特征探索）Splunk/Tableau索引分析（異構數(shù)據(jù)索引，關聯(lián)分析）SplunkNLP應用分析（方言，多國多區(qū)域，情感分析）文語轉換（多語言、方言，情緒）科大訊飛互聯(lián)網(wǎng)分析（Web行為分析，網(wǎng)頁點擊流，廣告優(yōu)化）客戶畫像（客戶模型、客戶屬性，客戶標簽）亞信客戶體驗（網(wǎng)絡類體驗，非網(wǎng)絡類體驗，滿意度模型）SmartCare元數(shù)據(jù)管理（集中化，元模型驅動、自動化）IBMMetadataserver、Workbench地理位置引擎（用戶位置獲取、地圖，實時上報）社交分析（社交傾聽、社交圖譜分析、傳播路徑）DataSift多媒體智能分析（音視頻、圖片實體提取、摘要）文本分析（文本分類，情感分析，主題模型等）SASTextMinerIoT應用分析（車聯(lián)網(wǎng)應用、穿戴計算）實時處理數(shù)據(jù)采集和傳輸事件收集（實時事件清洗過濾）高性能數(shù)據(jù)傳輸（實時，大容量、智能化）百度Bigpipe數(shù)據(jù)源對接（支持的協(xié)議數(shù)量，性能，可擴展性）HPeIUM/BDI網(wǎng)絡爬蟲（自動化，深度跟蹤，深度分析）云化ETL（批量、流式ETL處理、數(shù)據(jù)清洗轉換）SASETLStudio設備探針（無線，客服，可實施性）HPDragonBlue調(diào)度框架PaaS基礎能力集（云化部署，組件服務化，多租戶，彈性伸縮，云運維，灰度發(fā)布，安全，開發(fā)環(huán)境框架）阿里鷹眼/騰訊灰度發(fā)布/亞馬遜彈性伸縮、DevOps數(shù)據(jù)質量（數(shù)據(jù)清洗，數(shù)據(jù)聯(lián)邦、數(shù)據(jù)整合，質量評價）SASDataQuality/IBMInformationServer數(shù)據(jù)價值（關聯(lián)，預測，描述，時間、再生）阿里數(shù)據(jù)安全（分類，評估，加固，審計）亞信主數(shù)據(jù)管理（生命周期管理，層次及關系管理、事件管理）IBM/Infomatica數(shù)據(jù)治理分析建模（自動化建模、模型管理評估、特征工程）SAS/IBM/R數(shù)據(jù)挖掘領域知識客戶流失管理（流失原因，預測模型）業(yè)務洞察（業(yè)務知識，KPI）機器學習（算法并行化、神經(jīng)網(wǎng)絡、大規(guī)模ML）Petuum/百度/Google/IBMWatson數(shù)據(jù)開放（分析結果開放、分析能力開放，應用及數(shù)據(jù)托管）數(shù)據(jù)交易（DMP，AdExchange）數(shù)據(jù)地圖（標準化建模，統(tǒng)一視圖）IBM深度報文檢測（1000＋協(xié)議）SmartDPICEP引擎（長時間復雜事件處理，規(guī)則引擎，預定義事件）OCEP/ESPER/AICEP/PME數(shù)據(jù)復制（實時連續(xù)復制，1:1、1:N、雙向、級聯(lián)復制）IBMDataReplication應用開發(fā)一站式圖形化開發(fā)（E2E開發(fā)、組件圖元化，開發(fā)圖形化）商業(yè)云圖：快速檢索商業(yè)運營問題根源并給出解決建議UseCase數(shù)據(jù)云圖：參照eTom模型定義可擴展的運營商數(shù)據(jù)資產(chǎn)目錄標準技術云圖：深度參與和跟蹤大數(shù)據(jù)業(yè)界技術堆棧各種技術的發(fā)展統(tǒng)一Workbench降低大數(shù)據(jù)應用門檻，實現(xiàn)商業(yè)敏捷管理人員業(yè)務人員數(shù)據(jù)分析師IT工程師統(tǒng)一WORKBENCH數(shù)據(jù)探索數(shù)據(jù)資產(chǎn)展現(xiàn)商業(yè)知識展現(xiàn)數(shù)據(jù)開放展現(xiàn)數(shù)據(jù)供應編排統(tǒng)一Workbench數(shù)據(jù)運營合作伙伴數(shù)據(jù)工廠集成智慧中心集成數(shù)據(jù)開放集成第三方任務集成統(tǒng)一數(shù)據(jù)編排數(shù)據(jù)工廠智慧中心數(shù)據(jù)運營平臺第三方系統(tǒng)三大套件滿足運營商不同角色對大數(shù)據(jù)解決方案關鍵訴求（誠邀補充）數(shù)據(jù)/知識供應者數(shù)據(jù)/知識消費者采購決策者系統(tǒng)管理者IT架構設計者戰(zhàn)略決策者CEO：“柔性”，商業(yè)敏捷，組織敏捷，商業(yè)價值CMO：商業(yè)問題驅動業(yè)務增長（收入、利潤、用戶）CIO：“彈性”系統(tǒng)架構適應未來變化業(yè)務人員：自助、協(xié)作、實時，面向商業(yè)問題的易用性數(shù)據(jù)運營人員：多層次數(shù)據(jù)開放能力（數(shù)據(jù)開放、APIs開放、分析能力開放）數(shù)據(jù)工程師：整合數(shù)據(jù)供應，全域數(shù)據(jù)視圖，自動化數(shù)據(jù)供應機制，最大化數(shù)據(jù)整合效率數(shù)據(jù)分析師：預置的分析能力，敏捷，智能，知識