運(yùn)營(yíng)商大數(shù)據(jù)基礎(chǔ)能力建設(shè)方案

1、運(yùn)營(yíng)商大數(shù)據(jù)基礎(chǔ)能力建設(shè)方案1引言隨著互聯(lián)網(wǎng)業(yè)務(wù)和應(yīng)用的迅猛發(fā)展以及移動(dòng)互聯(lián)網(wǎng)的爆炸式增長(zhǎng)，電信運(yùn)營(yíng)商客戶基礎(chǔ)屬性、 行為數(shù)據(jù)、信令數(shù)據(jù)和終端數(shù)據(jù)等海量數(shù)據(jù)的存儲(chǔ)與分析日益成為電信運(yùn)營(yíng)商的重要挑戰(zhàn)，大數(shù)據(jù) 技術(shù)的出現(xiàn)與機(jī)器學(xué)習(xí)的發(fā)展為電信運(yùn)營(yíng)商深挖數(shù)據(jù)提供了新的技術(shù)手段，同時(shí)也為其更好地服務(wù) 客戶提供了新的機(jī)遇。運(yùn)營(yíng)商通過(guò)大數(shù)據(jù)平臺(tái)的建設(shè)、海量數(shù)據(jù)的加載、豐富的畫(huà)像標(biāo)簽沉淀以及上層機(jī)器學(xué)習(xí)算法 的深入研究，針對(duì)幾大相關(guān)行業(yè)進(jìn)行了深入探索和實(shí)踐，也推出了系列創(chuàng)新產(chǎn)品，在支撐金融風(fēng)險(xiǎn) 控制、用戶征信領(lǐng)域和商業(yè)決策等方面發(fā)揮著越來(lái)越重要的作用。本文以中國(guó)移動(dòng)通信集團(tuán)浙江有限公司為例，從平臺(tái)、數(shù)據(jù)和技

2、術(shù)3方面闡述了運(yùn)營(yíng)商的大數(shù)據(jù) 能力，并結(jié)合企業(yè)實(shí)踐和探索，分享了浙江移動(dòng)在移動(dòng)信用評(píng)分和智能選址產(chǎn)品的案例。2大數(shù)據(jù)基礎(chǔ)能力2.1平臺(tái)架構(gòu)中國(guó)移動(dòng)通信集團(tuán)浙江有限公司（以下簡(jiǎn)稱浙江移動(dòng)）大數(shù)據(jù)平臺(tái)經(jīng)過(guò)兩期建設(shè)，已建成 Hadoop、MPP、流處理和內(nèi)存數(shù)據(jù)庫(kù)等平臺(tái)，集群規(guī)模已達(dá)1400+，日均處理離線數(shù)據(jù)100多 TB、實(shí)時(shí)數(shù)據(jù)千億條，融合了 OSS（ operation support system，運(yùn)營(yíng)支撐系統(tǒng)）、BOSS（business support system，業(yè)務(wù)支撐系統(tǒng)）、MSS（ management support system，管理支 撐系統(tǒng)）三域內(nèi)部數(shù)據(jù)+互聯(lián)網(wǎng)外采多

3、維數(shù)據(jù)，為大數(shù)據(jù)應(yīng)用提供有力的PaaS能力支撐。浙江移動(dòng) 大數(shù)據(jù)平臺(tái)如圖1所示。圖1浙江移動(dòng)大數(shù)據(jù)平臺(tái)2.2數(shù)據(jù)標(biāo)簽?zāi)芰\(yùn)營(yíng)商在數(shù)據(jù)方面天然具有優(yōu)勢(shì)，擁有壟斷的通話關(guān)系網(wǎng)數(shù)據(jù)，最實(shí)時(shí)、最全面的位置數(shù)據(jù)， 最豐富的上網(wǎng)行為數(shù)據(jù)，最全面的終端行為數(shù)據(jù)，最權(quán)威的用戶身份信息數(shù)據(jù)，最詳細(xì)的通訊消費(fèi) 數(shù)據(jù)。以下是各類數(shù)據(jù)的特點(diǎn)和價(jià)值。通話關(guān)系網(wǎng)數(shù)據(jù)通話社交關(guān)系數(shù)據(jù)：基于通話交往圈的大小、主被叫及時(shí)間規(guī)律，就掌握了任何一個(gè)用戶的社交特 征，比如某人的影響力，人與人之間的親密程度，人群之間的上下屬關(guān)系，甚至可以得到人脈路 徑。通話時(shí)序數(shù)據(jù)：通話的頻次、時(shí)序、時(shí)長(zhǎng)及對(duì)端等重要數(shù)據(jù)，又可以用來(lái)挖掘用戶的性格甚至

4、身份 特質(zhì)，作息規(guī)律等。位置數(shù)據(jù)全方位的信令位置數(shù)據(jù)：運(yùn)營(yíng)商的位置數(shù)據(jù)不單單是需要通話、上網(wǎng)、短信才能獲取，而是通過(guò)定 期基站切換、周期性位置上報(bào)而直接獲取用戶全方位位置數(shù)據(jù)，不依賴用戶是否登錄使用某一手機(jī) 應(yīng)用，這是較GPRS( general packetradio service，通用分組無(wú)線服務(wù)技術(shù))定位最大的優(yōu)勢(shì)。實(shí)時(shí)性強(qiáng)：具備實(shí)時(shí)的流處理分鐘級(jí)的用戶位置數(shù)據(jù)，可用于各類實(shí)時(shí)位置服務(wù)應(yīng)用。上網(wǎng)數(shù)據(jù)擁有移動(dòng)用戶手機(jī)上網(wǎng)的所有行為數(shù)據(jù)，經(jīng)過(guò)DPI( deeppacket inspection，深度分組檢測(cè)技 術(shù))內(nèi)容解析，互聯(lián)網(wǎng)商品最深可到7級(jí)，APP( application，應(yīng)用程序

5、)識(shí)別近9000個(gè)；用戶搜索行為數(shù)據(jù)：用戶手機(jī)上的搜索行為是用戶近期最強(qiáng)的需求指向，只要進(jìn)行語(yǔ)義解析并結(jié) 合一定的知識(shí)庫(kù)，就可以在精確營(yíng)銷中發(fā)揮巨大價(jià)值。(4 )用戶終端信息用戶使用的終端信息：包括型號(hào)，品牌，換機(jī)頻次，品牌忠誠(chéng)度等，可以掌握終端市場(chǎng)，可以從 終端看用戶檔次；用戶換機(jī)軌跡：可以用于分析終端品牌之間的流向。(5)身份信息數(shù)據(jù)實(shí)名制普遍推廣后，運(yùn)營(yíng)商的身份數(shù)據(jù)質(zhì)量極高，包括身份證號(hào)碼、姓名等真實(shí)信息。(6)通信消費(fèi)數(shù)據(jù)-用戶每月的通信支出、支出分布、充值情況、充值頻次等，一定程度上可以體現(xiàn)用戶的消費(fèi)習(xí) 慣，收入水平?；谟脩舢?huà)像維度和運(yùn)營(yíng)商數(shù)據(jù)特點(diǎn)，標(biāo)簽體系從上往下結(jié)構(gòu)化分為七大類

6、60小類，分別從客 戶的基礎(chǔ)屬性、通信屬性、習(xí)慣偏好、社交關(guān)系、App行為、線上事件和位置軌跡進(jìn)行展現(xiàn)，標(biāo)簽 規(guī)模突破了 10萬(wàn)。浙江移動(dòng)標(biāo)簽體系如圖2所示。mat性世奔甲I 頓址咬JITHI 如成M遇心smat性世奔甲I 頓址咬JITHI 如成M遇心sE朝SSft-H.竹劇懺gw枇非期伸瞄* 皿乍唯不-H-YI時(shí) 砒暗乏至總圖2浙江移動(dòng)標(biāo)簽體系2.3技術(shù)能力云爬蟲(chóng)平臺(tái)為豐富數(shù)據(jù)類型和規(guī)模，浙江移動(dòng)自主研發(fā)了云爬蟲(chóng)平臺(tái)來(lái)獲取外部數(shù)據(jù)并提供分詞和自然語(yǔ)言 的解析能力。云爬蟲(chóng)平臺(tái)可以抓取一切調(diào)用API訪問(wèn)的網(wǎng)站內(nèi)容，支持定制化的垂直爬取需求，租 戶能夠自主指定各主流網(wǎng)站所要爬取的數(shù)據(jù)。目前，云爬蟲(chóng)

7、平臺(tái)可實(shí)現(xiàn)日均1億URL的采集量，有 效爬取數(shù)據(jù)存儲(chǔ)能力大于500TB，日均處理請(qǐng)求1500萬(wàn)+，日均爬取數(shù)據(jù)量超過(guò)2TB。目前已采 集了工商企信、個(gè)人征信和POI（ point of interest，興趣點(diǎn)）等外部信息。MRffl準(zhǔn)定位MR ( measurementreport,測(cè)量報(bào)告)精準(zhǔn)定位模型利用MR和OTT ( over the top，通過(guò) 互聯(lián)網(wǎng)向用戶提供各種應(yīng)用服務(wù))數(shù)據(jù)，通過(guò)定位算法對(duì)移動(dòng)終端用戶進(jìn)行精準(zhǔn)定位，能夠精確到 50m以內(nèi)，可精準(zhǔn)輸出目標(biāo)用戶的位置規(guī)律，為解讀用戶的位置行為研究提供數(shù)據(jù)保障。當(dāng)前，浙 江移動(dòng)的MR精準(zhǔn)定位模型已經(jīng)開(kāi)展全量數(shù)據(jù)處理和試用，定位精度

8、從基站的300500m可有效 提升到50100m，定位誤差達(dá)到商用要求。DPI 深度解析技*浙江移動(dòng)運(yùn)用DPI針對(duì)每天500億網(wǎng)頁(yè)進(jìn)行解析，已解析9000+款A(yù)pp，涵蓋金融、購(gòu)物、游 戲、娛樂(lè)、閱讀等19大類，網(wǎng)頁(yè)內(nèi)容解析后，識(shí)別圖書(shū)、視頻、音樂(lè)、資訊、商品、點(diǎn)評(píng)等26大 類8000細(xì)類。3運(yùn)營(yíng)商大數(shù)據(jù)案例分享3.1移動(dòng)信用評(píng)分應(yīng)用3.1.1項(xiàng)目背景隨著P2P市場(chǎng)的野蠻生長(zhǎng)和消費(fèi)金融在中國(guó)的興起，個(gè)人征信市場(chǎng)的需求大幅爆發(fā)。在2015年 1月，央行發(fā)布通知要求芝麻信用、騰訊征信等8家公司機(jī)構(gòu)做好個(gè)人征信的準(zhǔn)備工作，這一舉動(dòng) 說(shuō)明征信業(yè)正式向市場(chǎng)化發(fā)展，同時(shí)，也標(biāo)志著中國(guó)征信業(yè)正式進(jìn)入2.0時(shí)

9、代。2.0時(shí)代的個(gè)人征信 業(yè)存在兩個(gè)特征：一是征信機(jī)構(gòu)的多元主體化，征信牌照的發(fā)放使更多的機(jī)構(gòu)進(jìn)入市場(chǎng)，這有利于 豐富和完善個(gè)人征信的服務(wù)體系；二是技術(shù)產(chǎn)品的創(chuàng)新，隨著大數(shù)據(jù)的到來(lái)，數(shù)據(jù)規(guī)模越來(lái)越多， 在征信數(shù)據(jù)源和征信模型方面都有較多的創(chuàng)新和突破，征信體系有很多的改善空間。中國(guó)移動(dòng)擁有全國(guó)近10億用戶的通信行為數(shù)據(jù)、用戶位置數(shù)據(jù)及全網(wǎng)移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)以及公 共事業(yè)單位擁有的日常支付消費(fèi)數(shù)據(jù)。這些數(shù)據(jù)擁有全面性、及時(shí)性、形式多樣性和可信度高等優(yōu) 勢(shì)。中國(guó)移動(dòng)可以依據(jù)多年積累的大數(shù)據(jù)技術(shù)，充分應(yīng)用這些數(shù)據(jù)搭建個(gè)人征信評(píng)分體系，用于服 務(wù)自身傳統(tǒng)業(yè)務(wù)運(yùn)營(yíng)以及提供給其他征信金融機(jī)構(gòu)作為個(gè)人信用評(píng)估標(biāo)準(zhǔn)

10、或征信數(shù)據(jù)源的補(bǔ)充。3.1.2模型介紹浙江移動(dòng)在充分借鑒FICO、芝麻信用等行業(yè)標(biāo)桿先進(jìn)做法的基礎(chǔ)上，基于浙江移動(dòng)的大數(shù)據(jù)平 臺(tái)，充分整合客戶身份、通話、上網(wǎng)和位置等核心數(shù)據(jù)，利用決策樹(shù)、邏輯回歸和隨機(jī)森林等數(shù)據(jù) 挖掘模型，從身份特征、消費(fèi)能力、行為偏好、人脈關(guān)系和信用記錄五個(gè)維度構(gòu)建客戶信用評(píng)分模 型，實(shí)現(xiàn)了對(duì)客戶信用的客觀評(píng)價(jià)，并通過(guò)欠費(fèi)、壞賬、行業(yè)違約等數(shù)據(jù)的驗(yàn)證，來(lái)不斷迭代和優(yōu) 化模型。移動(dòng)信用評(píng)分體系如圖3所示，移動(dòng)信用評(píng)分建模過(guò)程如圖4所示。圖3移動(dòng)信用評(píng)分體系圖4移動(dòng)信用評(píng)分建模過(guò)程3.1.3 模型效果模型在測(cè)試樣本下預(yù)測(cè)的準(zhǔn)確率如圖5所示。圖中可以看出，該模型ROC曲線的AUC

11、值能達(dá) 到80%，說(shuō)明模型預(yù)測(cè)效果不錯(cuò)。模型在測(cè)試樣本下K-S曲線如圖6所示。從測(cè)試樣本的K-S曲線來(lái)看，個(gè)人信用分的最大K-S值能達(dá)到0.7，區(qū)分度較好。KEL.U 胃座KEL.U 胃座圖5模型在測(cè)試樣本下預(yù)測(cè)的準(zhǔn)確率1計(jì)占此1計(jì)占此哉 g 如，由炬啊種西m推奇*般f30035040045050055。600650700750分！1：三段人SHI正祥琳古比JKil旃樣本占此圖6模型在測(cè)試樣本下K-S曲線3.1.4產(chǎn)品應(yīng)用浙江移動(dòng)首選欠費(fèi)免停機(jī)場(chǎng)景作為試點(diǎn)業(yè)務(wù)啟動(dòng)，針對(duì)不同的星級(jí)客戶給予了不同的信用額度 (透支額度)。當(dāng)客戶產(chǎn)生的欠費(fèi)在信用額度內(nèi)時(shí)，對(duì)用戶進(jìn)行停機(jī)操作。通過(guò)該試點(diǎn)業(yè)務(wù)，在當(dāng) 前

12、的星級(jí)體系下找出星級(jí)較低但是信用分較高的群體，賦予他們更高的信用額度，以減少用戶的停 機(jī)可能，提升收入同時(shí)控制欠費(fèi)風(fēng)險(xiǎn)。(1 )目標(biāo)客戶撈取從客戶星級(jí)和信用分兩個(gè)維度綜合考慮欠費(fèi)率情況，最終撈取信用分在700分以上，但星級(jí)在 五星以下的客戶提供免停機(jī)服務(wù)。(2)信用額度調(diào)整針對(duì)目標(biāo)客戶群體，根據(jù)不同的信用分等級(jí)，將其提升至不同檔次的信用額度。高信用低星級(jí) 用戶信用額度調(diào)整規(guī)則如圖7所示。信用妙存神句, 目壬ET的用戶五=5轂螟作信用奸在7舛瑚00之間，日五早LXF的用戶值用時(shí)吞用00以上， 且玉星頃F的用盧五易輟拍卡5 成人圖7高信用低星級(jí)用戶信用額度調(diào)整規(guī)則（3 ）目標(biāo)用戶體驗(yàn)基于信用的話費(fèi)

13、透支額度提升體驗(yàn)活動(dòng)于8月1日開(kāi)始在浙江多地開(kāi)展，目標(biāo)用戶中隨機(jī)選取用 戶進(jìn)行外呼，8月份累計(jì)外呼25.6萬(wàn)人，其中接通11.3萬(wàn)人，成功7.1萬(wàn)人，最終轉(zhuǎn)化率為27.6%。 在8月份期間，共有2.2萬(wàn)人使用了話費(fèi)透支服務(wù)（即8月份發(fā)生過(guò)欠費(fèi)），占所有參與活動(dòng)客戶 33%。應(yīng)用成效顯著，主要體現(xiàn)在以下方面：停機(jī)得到明顯改善。由于信用額度的提升，停機(jī)用戶 數(shù)下降98%以上，客戶的服務(wù)感知得到了提升和改善。收入提升顯著。為了排除自然增長(zhǎng)等因素的 影響，與全省同條件且未參加活動(dòng)的用戶相比，參加活動(dòng)的用戶8月份ARPU（ averagerevenue per user,用戶平均收入）提升2.17元。欠

14、費(fèi)風(fēng)險(xiǎn)較低。活動(dòng)客戶8月的欠費(fèi)率為0.49%（39天后）， 顯著小于全網(wǎng)客戶同期的欠費(fèi)率1.1%。3.1.5產(chǎn)品展望基于信用評(píng)分應(yīng)用浙江公司當(dāng)前已規(guī)劃了六大基于信用分的場(chǎng)景，對(duì)內(nèi)逐步從欠費(fèi)免停機(jī)、國(guó) 內(nèi)漫漫免預(yù)存、信用購(gòu)機(jī)方面開(kāi)展；對(duì)外將從消費(fèi)貸、免押金騎行和酒店信用住等領(lǐng)域拓展合作。3.2智能選址3.2.1項(xiàng)目背景選址一直是實(shí)體商業(yè)、城市規(guī)劃、基礎(chǔ)設(shè)施建設(shè)領(lǐng)域的重要課題。目前，在學(xué)術(shù)界一直有非常 廣泛的研究和探索。才鑫等主要基于移動(dòng)通信用戶的上網(wǎng)數(shù)據(jù)、通話數(shù)據(jù)及位置更新數(shù)據(jù)對(duì)用戶社 會(huì)化行為進(jìn)行有效分析，通過(guò)對(duì)具有相似興趣的用戶軌跡進(jìn)行聚類、預(yù)測(cè)及可視化顯示，來(lái)進(jìn)行商 業(yè)選址，而沒(méi)有將交通、

15、環(huán)境、競(jìng)爭(zhēng)等因素考慮進(jìn)去；同時(shí)，并不能解決系統(tǒng)自動(dòng)決策網(wǎng)點(diǎn)位置的 問(wèn)題。黎夏等將遺傳算法、蟻群算法、粒子群算法等人工智能算法應(yīng)用到多點(diǎn)選址問(wèn)題屯黎海波等 利用多目標(biāo)粒子群優(yōu)化算法和區(qū)域形狀變異算法相結(jié)合來(lái)解決復(fù)雜的空間選址問(wèn)題，取得了較好的 效果。但這些都是基于GIS（ geographic information system,地理信息系統(tǒng)）體系的POI（ point of information,信息點(diǎn)）數(shù)據(jù)體系來(lái)構(gòu)建的選址體系，都沒(méi)有考慮人類活動(dòng)的因素，造成選址結(jié)果 與人們真實(shí)需要往往存在一定差距。隨著信息技術(shù)的發(fā)展，手機(jī)信令數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)等大數(shù)據(jù) 漸漸發(fā)揮出重要的作用，大數(shù)據(jù)技術(shù)就

16、是將原本看起來(lái)很難利用的數(shù)據(jù)抽絲剝繭，發(fā)現(xiàn)其中的真正 內(nèi)涵，整合多方數(shù)據(jù)進(jìn)行選址也成為可能。浙江移動(dòng)大數(shù)據(jù)體系目前已經(jīng)整合用戶特征數(shù)據(jù)、用戶通信行為數(shù)據(jù)、用戶位置數(shù)據(jù)、用戶互 聯(lián)網(wǎng)行為數(shù)據(jù)以及外部的POI數(shù)據(jù)和商業(yè)網(wǎng)點(diǎn)數(shù)據(jù)，形成了涵蓋地理空間、產(chǎn)業(yè)和居民的全量數(shù)據(jù)體 系，具備了進(jìn)行智能選址的數(shù)據(jù)基礎(chǔ)。同時(shí)，鑒于目前大量的選址研究還僅僅是停留在GIS熱力圖展 示的定性化研究的現(xiàn)狀，本文將基于浙江移動(dòng)大數(shù)據(jù)建模和分析平臺(tái)能力，結(jié)合全量數(shù)據(jù)體系，提出基于地理數(shù)據(jù)、產(chǎn)業(yè)數(shù)據(jù)和用戶數(shù)據(jù)的智能選址體系，對(duì)傳統(tǒng)的單純基開(kāi)01或人”的選址方法 進(jìn)行優(yōu)化補(bǔ)充，構(gòu)建智能推薦和決策的選址系統(tǒng)。3.2.2方案介紹整合

17、信令位置、客戶特征、POI 3方面數(shù)據(jù)，采用分布式+MPP并行數(shù)據(jù)處理架構(gòu)，構(gòu)建基于 地圖網(wǎng)格式分析模型，實(shí)現(xiàn)智能選址應(yīng)用。為規(guī)模性的連鎖機(jī)構(gòu)或高價(jià)值、低頻次的大型商場(chǎng)提供 商圈初篩、商圈分析、商圈對(duì)比等功能，輔助商家決策更加合適的選址點(diǎn)。對(duì)內(nèi)提供區(qū)域客戶對(duì)實(shí) 體渠道、擺攤方式的需求評(píng)估、周邊客戶的效能評(píng)估、競(jìng)爭(zhēng)環(huán)境監(jiān)測(cè)與分析等能力，輔助評(píng)估備選 點(diǎn)是否適合開(kāi)實(shí)體渠道或進(jìn)行擺攤。對(duì)內(nèi)對(duì)外均可通過(guò)特征選取、導(dǎo)入客群、相似客群挖掘3種方 式提取潛在客戶，采用圖形化界面展示目標(biāo)客戶的特征和分布，便于選擇最佳營(yíng)銷觸點(diǎn)方式和營(yíng)銷 策略，力求更科學(xué)的精準(zhǔn)營(yíng)銷，只能選址產(chǎn)品技術(shù)如圖8所示。圖8智能選址產(chǎn)品技術(shù)3.2.3應(yīng)用效果選址應(yīng)用在對(duì)外應(yīng)用方面，已經(jīng)與房地產(chǎn)、商場(chǎng)零售等各行業(yè)商家開(kāi)展選址、拓客合作。在對(duì) 內(nèi)應(yīng)用方面，