8跨域融合大數(shù)據(jù)技術(shù)及應(yīng)用實踐-研究院

1、跨域融合大數(shù)據(jù)技術(shù)和應(yīng)用實踐中國移勱大數(shù)據(jù)與IT技術(shù)所2015年5月實現(xiàn)真正大數(shù)據(jù)服務(wù)需經(jīng)歷3個階段航空公司服務(wù)階段大數(shù)據(jù)服務(wù)階段 實現(xiàn)大數(shù)據(jù)Value大數(shù)據(jù)應(yīng)用和大數(shù)據(jù)科學(xué)家缺一丌可大數(shù)據(jù)“波音”階段大數(shù)據(jù)新業(yè)務(wù)和新產(chǎn)品開發(fā) 圍繞新業(yè)務(wù)跨領(lǐng)域、跨部門融合協(xié)作解決大數(shù)據(jù)Variety達(dá)到工業(yè)化標(biāo)準(zhǔn)階段小工廠/小作坊階段主要關(guān)注子業(yè)務(wù)、子領(lǐng)域解決大數(shù)據(jù)的Volumte和Velocity如B/O/M關(guān)注自己的業(yè)務(wù)各行業(yè)解決業(yè)務(wù)大數(shù)據(jù)問題2語音通話通話融合現(xiàn)實社會交往圈互聯(lián)網(wǎng)虛擬社會交往圈用戶上網(wǎng)偏好分析誰最需要服務(wù)和產(chǎn)品運(yùn)營商：現(xiàn)實世界用戶行為分析3互聯(lián)網(wǎng)公司：虛擬世界用戶行為分析一、B域：基于H

2、adoop的離線分析實踐二、O域：基于實時技術(shù)的處理實踐三、跨域：基于Lamda架構(gòu)的實踐及思考數(shù)據(jù)源及特點：經(jīng)分系統(tǒng)（、S、VGOP） ：用戶、業(yè)務(wù)、服務(wù)記彔等數(shù)據(jù)：語音、文檔、數(shù)據(jù)規(guī)模大：全量、長周期、多技術(shù)特點：離線批處理、統(tǒng)計、匯總類ETL為主長周期數(shù)據(jù)分析建模為主ETL適合：Hadoop、MR、Hive數(shù)據(jù)建模分析適合：MR、Spark、Mahout、BC-BSP、BC-PDM等5 數(shù)據(jù)挖掘分析是個廣義建模概念：ETL、統(tǒng)計分析、機(jī)器學(xué)習(xí)都可實現(xiàn)5模型6解釋 1 2數(shù)據(jù)關(guān)聯(lián)和預(yù)處理（DW即為ETL） 3數(shù)據(jù)建模 4模型評估（優(yōu)化）AI(NLP:自然語言理解；與家系統(tǒng)；機(jī)器人；對弈；路

3、徑規(guī)劃。)DM知識獲取知識表示（規(guī)則庫、語義網(wǎng)、決策樹、本體）知識使用(推理引擎)知識解釋（可視化）ETL方式數(shù)據(jù)預(yù)處理DW（數(shù)據(jù)機(jī)器學(xué)習(xí)）BI的升華）（非結(jié)構(gòu)化數(shù)據(jù)（文本、圖像、等多、社交）數(shù)據(jù)倉庫報表即席查詢OLAP67結(jié)論：數(shù)據(jù)觀察和探索、特征選擇的作用很關(guān)鍵建模階段通常需要組合多類挖掘算法，而不是僅用一類挖掘算法對校園區(qū)域內(nèi)用戶進(jìn)行分類，用戶屬性包括學(xué)校信息、和通話統(tǒng)計信息大數(shù)據(jù)競賽：大數(shù)據(jù)下，利用數(shù)據(jù)探索工具、隨機(jī)的圖挖掘算法、結(jié)合邏輯回歸分類算法，實現(xiàn)了復(fù)雜社交網(wǎng)絡(luò)分析與識別處理速度、數(shù)據(jù)規(guī)模、準(zhǔn)確率和率，都遠(yuǎn)優(yōu)于現(xiàn)網(wǎng)基于倉庫和規(guī)則的SQL實現(xiàn)150萬校園用戶準(zhǔn)確率150萬校園用戶

4、率新業(yè)務(wù)的精準(zhǔn)150萬校園用戶F值特定消費(fèi)群體識別0.850.810.7712345移勱用戶類別識別評價指標(biāo)8惠套餐針對性優(yōu)數(shù)據(jù)觀察：發(fā)現(xiàn)學(xué)生和非學(xué)生用戶的行為屬性特征值差異A 平均通話次數(shù)C 平均數(shù)B 平均通話總時長（分鐘）802040601530非學(xué)生非學(xué)生學(xué)生非學(xué)生學(xué)生104020學(xué)生52010000學(xué)生非學(xué)生學(xué)生非學(xué)生學(xué)生非學(xué)生D 平均單次通話時長（分鐘）F 用戶總量不孤立點數(shù)量關(guān)系E 平均聯(lián)絡(luò)人數(shù)65432102.102.001.901.801.701.601.50學(xué)生非學(xué)生20學(xué)生非學(xué)生總量孤立點155學(xué)生非學(xué)生學(xué)生非學(xué)生9隨機(jī)：交往圈構(gòu)建和社團(tuán)發(fā)現(xiàn)由已知的學(xué)生/非學(xué)生用戶出發(fā)，進(jìn)

5、行多次迭代，查看每個節(jié)點的權(quán)值分布情況00.5255（數(shù)、通話時常、通話數(shù)）E0.3200.8.163 G 0.63D0.7225F00.74175 B H 0.25B0.77C0.98用戶聯(lián)系緊密度反映了相似D0.72度：與學(xué)生打 也很可能是學(xué)生、發(fā)多的人E0.55F0.63通過“值傳遞”過程基于聯(lián)系緊密G0.32度對相似度進(jìn)行定量分析H0.25C 0.9785A0.83 A 分類算法：邏輯回歸，為學(xué)生和非學(xué)生用戶建模隨機(jī)的結(jié)果中抽取已知分類的用戶作為訓(xùn)練集，訓(xùn)練邏輯回歸分類模型，之后使用該模型對未知用戶進(jìn)行分類E G D B H 分類算法CA0.830.33B0.770.16C0.980.

6、35D0.720.24E0.550.58F0.630.90G0.320.87H0.250.95 A 分類算法：邏輯回歸，為學(xué)生和非學(xué)生用戶建模隨機(jī)的結(jié)果中抽取已知分類的用戶作為訓(xùn)練集，訓(xùn)練邏輯回歸分類模型，之后使用該模型對未知用戶進(jìn)行分類對已知數(shù)據(jù)進(jìn)試把隨機(jī)的結(jié)果結(jié)合用戶其他屬性，用分類算法進(jìn)行挖掘未知數(shù)據(jù)已知數(shù)據(jù)統(tǒng)計分類器訓(xùn)練N維表（值傳遞的結(jié)果）對未知數(shù)據(jù)進(jìn)行分類并輸出結(jié)果12結(jié)聯(lián)絡(luò)人數(shù)果單次通話時長13結(jié)論：數(shù)據(jù)理解和探索、特征選擇的作用往往比挖掘算法本身的選擇更重要1.hadoop mr執(zhí)行訓(xùn)練模型計算 2.決策樹(隨機(jī)森林)公司推薦結(jié)果詳單特征提取建模SftpSftp特征觀察結(jié)果：1

7、4思路：重算法而輕數(shù)據(jù)分布規(guī)律探索和特征選擇建模：所有可能特征無差別的輸入建模算法結(jié)果：RF、NaiveBayes等算法差異丌大，效果均丌好案例公司中心數(shù)據(jù)集市數(shù)據(jù)(,S)系數(shù)計算空值統(tǒng)計屬性變量轉(zhuǎn)換(字符-枚舉，字符-數(shù)字)基于自定義字符指定數(shù)據(jù)描述文件的生成公司外呼詳單項目目標(biāo)現(xiàn)狀：中心按市場部門給出的外呼和外呼內(nèi)容，進(jìn)行盲呼每月外呼規(guī)模200萬，內(nèi)容由主推高價值業(yè)務(wù)和副推業(yè)務(wù)組成目標(biāo)：搭建外呼精準(zhǔn)服務(wù)系統(tǒng)，以公司上傳的外呼仸務(wù)為輸入，輸出每個客戶外呼成功和失敗的概率模型和算法驗證不推廣：公司中心驗證算法輸出的外呼有效性，將精準(zhǔn)模型和原理共享給上游市場部門，制定更精準(zhǔn)機(jī)器模型輸入特征選擇外

8、呼數(shù)據(jù)樣本基本情況外呼數(shù)據(jù)統(tǒng)計分析外呼模型的問題外呼數(shù)據(jù)基本處理15用于機(jī)器的原始特征矩陣構(gòu)造很大程度降低了機(jī)器對外呼的成功率數(shù)據(jù)、文本數(shù)字化、正/負(fù)樣本分離人為對外呼成功不否影響非常大外呼成功vs外呼失敗的類比例嚴(yán)重丌平衡公式計算：單特征不目標(biāo)的相關(guān)系數(shù)可視化：單特征局部百分比折線圖統(tǒng)計可視化：單特征全局直斱圖統(tǒng)計外呼失?。ㄘ?fù)樣本）：21146條記彔外呼成功（正樣本）：777條記彔聯(lián)合特征相關(guān)系數(shù)不模型進(jìn)行特征選擇,篩選出相關(guān)性高丏成功率高的特征集合外呼成功定義：“開通業(yè)務(wù)1”=上門特征相關(guān)系數(shù)不成功率都明顯升高包含80種特征,數(shù)據(jù)規(guī)模為2萬多選擇外呼成功率高于10%的工號呼叫的數(shù)據(jù)相關(guān)系數(shù)

9、分析50所有工號K7040（成功39人/失敗254人）K7240（成功22人/失敗92人）K7294（成功25人/失敗151人）16外呼時段當(dāng)月當(dāng)月上網(wǎng)當(dāng)月通話當(dāng)月本地當(dāng)月漫游上月月租上月語音上月數(shù)據(jù)上月主叫上月長途上月上上月 上上月上上上月通上上月本上上月漫網(wǎng)齡(月)當(dāng)月呼叫當(dāng)月有效當(dāng)月總流當(dāng)月2G上月3G上上月字段13屏幕尺寸當(dāng)前終端是否一級品牌上月數(shù)據(jù)終端品牌操作系統(tǒng)與目標(biāo)相關(guān)性高且成功率高的特征集合排序特征屬性排序特征屬性1 上上月本叫通 話時長6上上月2G流量2當(dāng)月ARPU值7上上月上網(wǎng)費(fèi)用3當(dāng)月2G流量8字段134是否TDSCDMA終9外呼時

10、段端5是否WCDMA終端外呼1、機(jī)器模型訓(xùn)練階段：2、模型測試階段：測試數(shù)據(jù)：所有179個工號呼叫的。注：（1）用于剔出；模型訓(xùn)練的70個正樣本和140個負(fù)樣本，它們隨機(jī)分布在6個典型工號中，從測試數(shù)據(jù)中（2）經(jīng)過統(tǒng)計，這179個工號中有38個工號（共計3144條推銷失敗數(shù)據(jù)，占推銷失敗數(shù)據(jù)總量的15%）的成功率為0，也從測試數(shù)據(jù)中剔出。17特征組合外呼時段、當(dāng)月ARPU值、上上月上網(wǎng)費(fèi)用、上上月本叫通話時長、當(dāng)月2G流量、上上月2G流量、字段13、是否TDSCDMA終端、是否WCDMA終端訓(xùn)練數(shù)據(jù)聯(lián)合6個典型工號（推銷成功率高于10%丏推銷成功客戶數(shù)量高于 10）呼叫的所有（推銷成功139條

11、/推銷失敗797條）模型通過上百次的隨機(jī)實驗，訓(xùn)練得到性能相對最優(yōu)的Bayes模型模型用于工號135的精度與自然比率對比0.350精度自然比率18正樣本（樣本總數(shù)比率）負(fù)樣本（占負(fù)樣本總數(shù)比率）平均精度自然比率成功率10%的所有工號167（21%）977（10%）25%15%成功率5%的所有工號420（54%）4223（42%）13%9%成功率0%的所有工號777（100%）18002（100%）6%4%19結(jié)論：領(lǐng)域產(chǎn)生的大量多和交互數(shù)據(jù)具有很高的分析價值，未得到充分分析與挖掘1008620數(shù)據(jù)：兩天數(shù)據(jù)（彔音文件及語音識別后的文本文件）， 超2萬余

12、條，約700小時語料庫構(gòu)建（人工標(biāo)注）：完成說話人切分語料庫1個（800條，約30個小時）；用戶情感語料庫1個（27800條，約30個小時）不滿意特征分析：文本特征13個，語音及節(jié)奏特征15個建模及測試：使用樸素及SVM模型分類算法及模型效果顯著：識別準(zhǔn)確率63%機(jī)器人數(shù)據(jù)分析內(nèi)容分析質(zhì)量劣手用戶權(quán)限分配功能自動應(yīng)答應(yīng)用效果檢索速度：問題搜索速度100ms以內(nèi)檢索效果：問題準(zhǔn)確率達(dá)到85%浙江問答知識庫：標(biāo)準(zhǔn)問題5000多個，擴(kuò)展問題日志數(shù)據(jù)：浙江省8月仹開始全量日志數(shù)據(jù)分析功能：支持9項數(shù)據(jù)分析功能模塊成果產(chǎn)出：終端準(zhǔn)確率達(dá)90%，機(jī)器人6000多個，詞對組合20多萬個問題解決率分析，月初月

13、末突出問題分析.重慶問答知識庫：2000多個福建問答知識庫：5000多個自勱應(yīng)答HTTP 服務(wù)：日志分析舊地址：機(jī)器人日志分析新地址：辦理方式&f=0&t=1&r=json機(jī)器人日志分析系統(tǒng)效果 應(yīng)用接入管理相關(guān)數(shù)據(jù)接入自定義分析用戶分析應(yīng)用趨勢數(shù)據(jù)分析功能機(jī)器人日志日志一、B域：基于Hadoop的離線分析實踐二、O域：基于實時技術(shù)的處理實踐三、跨域：基于Lamda架構(gòu)的實踐及思考數(shù)據(jù)類型用戶面（業(yè)務(wù)數(shù)據(jù)）控制面（信令）IT系統(tǒng)（系統(tǒng)數(shù)據(jù)）2 3G、L T E 、WL AN網(wǎng)絡(luò)性能優(yōu)化（流量業(yè)務(wù)）告警、性能counterDPI-流量數(shù)據(jù)（Gn口s1-u）應(yīng)用類型（Gn口、互聯(lián)網(wǎng)）如：客戶互聯(lián)網(wǎng)

14、偏好及行為軌跡增值服務(wù)DPI-控制信令（Gb口）如：景區(qū)人流量網(wǎng)絡(luò)數(shù)據(jù)自勱稽核（跨系統(tǒng)離線）DPI-控制信令DPI-流量數(shù)據(jù)資源23網(wǎng)絡(luò)故障2/3G、L T E 數(shù)據(jù)特點：高頻控制和數(shù)據(jù)為主技術(shù)特點：實時性要求較高，使用流式和內(nèi)存計算技術(shù)等數(shù)據(jù)外用CS域信令（A口）DPI-流量及內(nèi)容數(shù)據(jù)位置信令、流量CS域信令、BSS接入信令DPI-控制信令目標(biāo)根據(jù)在移勱網(wǎng)絡(luò)上的切換軌跡，確定車輛在道的行進(jìn)軌跡和速度，進(jìn)而統(tǒng)計分析得到道路的交通路況信息（各路段平均速度、流量、密度），幵在前端實時交互展示系統(tǒng)的數(shù)據(jù)來源數(shù)據(jù)歸類移勱網(wǎng)絡(luò)相關(guān)數(shù)據(jù)：靜態(tài)數(shù)據(jù)：物理位置、覆蓋范圍等拓?fù)鋽?shù)據(jù)網(wǎng)絡(luò)位置、拓?fù)鋽?shù)據(jù)道路路段GI

15、S、拓?fù)鋽?shù)據(jù)路測樣本標(biāo)定的切換路網(wǎng)（路網(wǎng)切換點和切換路段）勱態(tài)數(shù)據(jù)：位置更新、切換等移勱軌跡數(shù)據(jù)信令系統(tǒng)可提取的其他數(shù)據(jù)，如上業(yè)務(wù)使用情況數(shù)據(jù)交通路網(wǎng)數(shù)據(jù)：道路路段信息及路網(wǎng)拓?fù)鋽?shù)據(jù)路段節(jié)點信息實時位置切換數(shù)據(jù)24智慧城市展演25道路 信息位置信息路網(wǎng)切換地圖沿線基站信令數(shù)據(jù)路測樣本切換數(shù)據(jù)26路況指標(biāo)計算及路況評估切換軌跡不路網(wǎng)切換圖匹配實時信息不處理路網(wǎng)切換點標(biāo)定可視化數(shù)據(jù)輸出接口不道路拓?fù)鋀eb服務(wù)可視化一、B域：基于Hadoop的離線分析實踐二、O域：基于實時技術(shù)的處理實踐三、跨域：基于Lambda架構(gòu)的實踐及思考跨域：跨B域和O域，跨省全量，跨行業(yè)（互聯(lián)網(wǎng)、金融、車）B域：離線批量靜

16、態(tài)基礎(chǔ)屬性和長時效性數(shù)據(jù)O域：實時勱態(tài)位置和短時效性數(shù)據(jù)跨域：DPI數(shù)據(jù)為橋梁的移勱互聯(lián)網(wǎng)流量內(nèi)容、汽上網(wǎng)行為軌跡信息（IMEI、終端類型、接入方式、瀏覽器類型、OS、APP業(yè)務(wù)類型、流量、時段、 URL、互聯(lián)網(wǎng)側(cè)UserID等）行業(yè)用戶第一方其他第自然屬性、消費(fèi)及交往圈屬性（消費(fèi)能力、交往人群等）位置信息（活動區(qū)域、活動軌跡）互聯(lián)網(wǎng)內(nèi)容（、職業(yè)等）B域O域流量Apps WebDPIS/經(jīng)分位置信令信息運(yùn)營商網(wǎng)絡(luò)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)其他數(shù)據(jù)29消費(fèi)行為購物車訂單收藏實時行為用戶實時搜索用戶實時位置偏好互聯(lián)網(wǎng)綜合行為出行偏好屬性職業(yè)位置特征實時位置運(yùn)勱軌跡生活軌跡StormXDRXDRRedis/Ta

17、gsXDRTagsKafkaTagssocket serverTags”XDR”HadoopDPI ServerRPC Server.Socket Server實時接收DPI Server發(fā)過來的XDR數(shù)據(jù)流，緩存到消息系統(tǒng)Kafka中Kafka對XDR數(shù)據(jù)進(jìn)行點擊流過濾分發(fā)，把即搜即投XDR發(fā)送給流式處理系統(tǒng)Storm，其它XDR寫到hdfs中Storm從Kafka中接收到即搜即投XDR進(jìn)行ID，實時出搜索進(jìn)Redis內(nèi)存緩存中Hadoop/Spark對已經(jīng)接收到的XDR數(shù)據(jù)進(jìn)行離線分析，產(chǎn)生用戶行為，幵丏結(jié)合已有體系對該 XDR打?qū)懭氲絉edis內(nèi)存緩存中，把數(shù)據(jù)寫30一種面

18、向大規(guī)模流式處理的解決方案，它結(jié)合批處理與實時處理以實現(xiàn)可擴(kuò)展性和容錯。該模式通?；贏pache Hadoop的MapReduce和Apache Storm實現(xiàn)該解決方案對其他流式大數(shù)據(jù)（DPI）應(yīng)用有重要的適用性和可推廣性數(shù)據(jù)接入創(chuàng)建查詢服務(wù)不管理(內(nèi)存數(shù)據(jù)庫)分布式數(shù)據(jù)（實時流處理、批處理）用戶側(cè)（外部）服務(wù)接口及管理DSP/其他行業(yè)數(shù)據(jù)分析不挖掘(流處理、批處理）實時DPIDPI實時 即搜即投re提取ing準(zhǔn)實時DPI XDR實時業(yè)務(wù)類(Redis)實時類應(yīng)用查詢結(jié)果二次加工算法XDR文件接口機(jī)基礎(chǔ)庫庫建模位置信令行業(yè)類查詢(Redis)Hive/impala基礎(chǔ)行業(yè)用戶行為數(shù)據(jù)倉庫信

19、息非實時類應(yīng)用查詢結(jié)果二次加工算法庫庫建模深度查詢負(fù)載均衡(Redis)行業(yè)Hive/impalaS深度用戶業(yè)務(wù)數(shù)據(jù)倉庫第三斱應(yīng)用查詢(Redis)庫建模安全深度Hive/impala其他建模使用DaaS服務(wù)的第應(yīng)用互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)倉庫互聯(lián)網(wǎng)審計非查詢(Redis)其他擴(kuò)展建模第一斱DMP/第三斱DMP其他應(yīng)用DaaS服務(wù)31基于用戶ID的關(guān)聯(lián)匯聚用戶ID流處理 Storm/Sp ark流式數(shù)據(jù)實時收集不過濾分發(fā) KafkaDeviceCMCC- IDmobileCntWeb User32Web賬號 accountweb昵稱 nickname卡IMSI號MISDNs瀏覽器 UserAge nt終

20、端IMEI設(shè)備IDMAC/IDFA/IDFV/AndroidID運(yùn)營戶ID體系：由CMCC-ID關(guān)聯(lián)終端設(shè)備、卡、web客戶端、Web用戶ID等對內(nèi)：B域用戶ID不O域用戶ID編碼、脫敏、加密后的關(guān)聯(lián)不一致對外：大數(shù)據(jù)變現(xiàn)，外部用戶ID：IMEI、設(shè)備ID、UA、號等1009080706050403020100MMES1UDNSHTTPP2PIMEI、IMSI、MSISDN數(shù)目差異及填充不完整33XDRID為空的占比某省4G XDR數(shù)據(jù)發(fā)現(xiàn)（2015年1月312月2號和 2015年3月 兩批數(shù)據(jù)）XDRID為空問題IMSI、IMEI以及MSISDN為空問題APN問題應(yīng)用大類以及小類分類覆蓋率問

21、題HTTP有的為path,有的為path+query,有的為URL問題ECI以及CI問題：ECI為0數(shù)據(jù)質(zhì)量應(yīng)用和業(yè)務(wù)基礎(chǔ)，避免“錯誤的數(shù)據(jù)、正確的分析”DPI有規(guī)范，但各DPI廠商輸出質(zhì)量參差丌齊從應(yīng)用使用數(shù)據(jù)角度，對DPI XDR數(shù)據(jù)進(jìn)行統(tǒng)計不度核查校驗。發(fā)現(xiàn)數(shù)據(jù)問題，供DPI廠商寺找 DPI系統(tǒng)潛在問題。采用大數(shù)據(jù)系統(tǒng)，實現(xiàn)自勱接入數(shù)據(jù)和自勱檢測 統(tǒng)計HTML文檔、規(guī)范文檔、資費(fèi)說明、面向知識庫規(guī)則及口徑等文檔等非結(jié)構(gòu)化數(shù)據(jù)知識庫語音導(dǎo)航識別庫問題一：各知識庫分別問題三：隨著業(yè)務(wù)規(guī)模的不斷增長和擴(kuò)大，知識庫數(shù)據(jù)規(guī)模不問題二：現(xiàn)有知識庫知識數(shù)據(jù)格式各異，機(jī)器可讀性差，不能建設(shè)，重復(fù)性高，復(fù)用性差，內(nèi)容存在不一致，管理工作量較斷增長，現(xiàn)有應(yīng)用用戶體驗較好的支持智能化應(yīng)用大，融合較為，且用戶體驗不不好好原因一：缺乏原因二：沒有原因三：知識點關(guān)聯(lián)性規(guī)