貴州移動大數(shù)建設(shè)方案10

貴州移動大數(shù)據(jù)分析與

應(yīng)用平臺方案重慶大學(xué)2015年2月目錄TOC\o"1-5"\h\z\o"CurrentDocument"1背景 4\o"CurrentDocument"2系統(tǒng)簡介 5\o"CurrentDocument"3系統(tǒng)設(shè)計 6\o"CurrentDocument"3.1通用業(yè)務(wù) 73.1.1 用戶行為特征分析 73.1.2 經(jīng)營分析和市場監(jiān)測 73.1.3 指標(biāo)靈活查詢 8\o"CurrentDocument"3.2專用業(yè)務(wù) 83.2.1 客戶關(guān)懷與客戶生命周期管理 83.2.2 套餐經(jīng)營精細化 83.2.3 市場與精準(zhǔn)營銷 93.2.3.1 客戶畫像 93.2.3.2 關(guān)系鏈研究 93.2.3.3 精準(zhǔn)營銷和實時營銷 93.2.3.4 個性化推薦 10\o"CurrentDocument"3.3 業(yè)務(wù)支撐 103.3.1 報告系統(tǒng) 103.3.2 報表系統(tǒng) 10\o"CurrentDocument"3.4 技術(shù)支撐 103.4.1 指標(biāo)管理 103.4.2 配置管理 10\o"CurrentDocument"3.5數(shù)據(jù)商業(yè)化 103.5.1 對外出售數(shù)據(jù) 113.5.2 提供數(shù)據(jù)服務(wù) 11\o"CurrentDocument"4技術(shù)方案 11\o"CurrentDocument"4.1系統(tǒng)架構(gòu) 114.2HADOOP簡介 134.2.1 HDFS 134.2.2YARN 144.3SPARK簡介 151背景全球的商用移動通信總的來說自上世紀(jì)70年代末以來,大致經(jīng)歷了四代發(fā)展,1G、2G、3G以及4G時代。第一代移動通信技術(shù)，釆用模擬通信技術(shù)，其代表作就是我們熟知的霸氣外露大哥大時代。到了上世紀(jì)90年代初期,第二代也就是2G移動通信技術(shù)開始投入商用，完成了從模擬技術(shù)到數(shù)字通信技術(shù)的過渡。進入21世紀(jì)，定位于多媒體數(shù)據(jù)業(yè)務(wù)、以寬帶CDMA技術(shù)為核心的3G移動通技術(shù)的第三代開始產(chǎn)生并被廣泛投入使用。現(xiàn)在移動通信技術(shù)正在走進LTE和4G時代，容量更大、速率更高、功能更強的4G把移動通信從窄帶推向?qū)拵?。移動通信寬帶化和寬帶通信移動化是未來通信技術(shù)發(fā)展的必然趨勢。隨著中國運營商的3G網(wǎng)絡(luò)的廣泛使用和4G時代的到來，蘋果、三星、HTC、華為、中興、iPAD等智能手機和移動終端的不斷推廣，微博、微信、facebook、Twitter社交網(wǎng)絡(luò)等應(yīng)用平臺的廣泛使用，電信運營商進人了薪新的移動增值業(yè)務(wù)運營時代，和過去相比，打電話、發(fā)短信已經(jīng)不再是唯一的消費方式，“免費”業(yè)務(wù)和移動增值業(yè)務(wù)之間的矛盾沖突也越加明顯。2012年Skype、WhatsApp、微信等OTT業(yè)務(wù)已經(jīng)分流全球電信運營商近140億美元利潤,運營商正面臨被管道化、收入降低、流量價值下降等三大問題。如何在薪新的時代準(zhǔn)確了解用戶的真正需求，讓移動增值業(yè)務(wù)的客戶體驗和服務(wù)質(zhì)量超過這些“免費”業(yè)務(wù)，讓數(shù)據(jù)流量的收費更加具有合理性，增強用戶粘度及提高用戶忠誠度等等，是當(dāng)前中國運營商非常緊迫且必須認真對待的事情。當(dāng)前客戶的信息消費需求呈現(xiàn)出多樣化、個性化等明顯特征，中國運營商需要提供多種多樣的增值業(yè)務(wù)，來滿足客戶的不同消費需求，從而提高企業(yè)差異化競爭力，增強客戶粘性。只有提供優(yōu)質(zhì)化、體貼及高質(zhì)量的增值業(yè)務(wù)和產(chǎn)品，運營商才能避免被管道化的風(fēng)險。4G時代帶來了更多豐富多彩的數(shù)據(jù)業(yè)務(wù)應(yīng)用，同時隨著客戶群體越來越向小眾化、復(fù)雜化發(fā)展，用戶對多元化業(yè)務(wù)的需要也不斷提高，這對運營商精準(zhǔn)營銷能力提出了新的挑戰(zhàn)?！盀榭蛻籼峁┱嬲枰漠a(chǎn)品”已經(jīng)成為運營商移動增值業(yè)務(wù)開發(fā)和營銷創(chuàng)新的重點所在。在21世紀(jì)網(wǎng)絡(luò)快速發(fā)展的時代，移動增值業(yè)務(wù)已從賣方市場轉(zhuǎn)變?yōu)橘I方市場，運營商需要進行營銷理念轉(zhuǎn)變，必須依靠先進的技術(shù)手段和方案來實現(xiàn)電信業(yè)務(wù)的深度運營和精準(zhǔn)營銷，實現(xiàn)產(chǎn)品、管理及商務(wù)模式的創(chuàng)新,從粗放式營銷向精準(zhǔn)營銷和深度營銷轉(zhuǎn)變。隨著移動互聯(lián)網(wǎng)的不斷發(fā)展,移動增值業(yè)務(wù)已經(jīng)是運營商的非常重要經(jīng)營業(yè)務(wù)主體。綜上所述，分析和利用移動用戶話單與上網(wǎng)行為數(shù)據(jù)信息，可以更好地服務(wù)于用戶，為運營商獲取更大的利潤。系統(tǒng)簡介基于大數(shù)據(jù)的移動用戶行為特征分析與應(yīng)用是基于用戶話單、上網(wǎng)行為數(shù)據(jù)，采用“全樣本”（相對于傳統(tǒng)的抽樣）的大數(shù)據(jù)分析方法與技術(shù)，分析出用戶的行為特征，并將其應(yīng)用于經(jīng)營分析與市場監(jiān)測、客戶關(guān)懷與客戶生命周期管理、套餐經(jīng)營精細化、市場精準(zhǔn)營銷和對外數(shù)據(jù)服務(wù)，以充分挖掘和利用數(shù)據(jù)的價值，更好地服務(wù)于用戶，為運營商獲取更大的利潤。如下圖：臺合貴州移動大數(shù)據(jù)分析與應(yīng)用平臺系統(tǒng)設(shè)計貴州移動大數(shù)據(jù)分析與應(yīng)用平臺主要分為五大功能模塊分別是通用業(yè)務(wù)專用業(yè)務(wù)、業(yè)務(wù)支撐、技術(shù)支撐以及數(shù)據(jù)商業(yè)化。平臺框架如下：

貴州移動大數(shù)據(jù)分析與應(yīng)用平臺業(yè)務(wù)支撐報告系統(tǒng) 報表系統(tǒng)技術(shù)支撐指標(biāo)管理 配置管理數(shù)據(jù)商業(yè)化貴州移動大數(shù)據(jù)分析與應(yīng)用平臺業(yè)務(wù)支撐報告系統(tǒng) 報表系統(tǒng)技術(shù)支撐指標(biāo)管理 配置管理數(shù)據(jù)商業(yè)化對外出售數(shù)據(jù) 提供數(shù)據(jù)服務(wù)3.1通用業(yè)務(wù)3.1.1用戶行為特征分析移動用戶行為特征主要從通話詳單和上網(wǎng)行為來分析，通過通話詳單進行分析主要理解用戶的社交圈子，以及圈子的特征，通過用戶上網(wǎng)行為分析可獲得用戶上網(wǎng)時變特征、空間特征以及上網(wǎng)內(nèi)容。3.1.2經(jīng)營分析和市場監(jiān)測通過數(shù)據(jù)分析對業(yè)務(wù)和市場經(jīng)營狀況進行總結(jié)和分析，主要分為經(jīng)營日報、周報、月報、季報以及專題分析等。數(shù)據(jù)來源主要是企業(yè)內(nèi)部的業(yè)務(wù)和用戶數(shù)據(jù)，以及通過大數(shù)據(jù)手段采集的外部社交網(wǎng)絡(luò)數(shù)據(jù)、技術(shù)和市場數(shù)據(jù)。

3.1.3指標(biāo)靈活查詢按照設(shè)置好的指標(biāo)靈活的進行查詢分析，主要為滿足運營商自定義的查詢需求。3.2專用業(yè)務(wù)3.2.1客戶關(guān)懷與客戶生命周期管理客戶生命周期管理包括新客戶獲取、客戶成長、客戶成熟、客戶衰退和客戶離開等五個階段的管理?？蛻臬@取階段：通過算法挖掘發(fā)現(xiàn)高潛客戶。客戶成長階段：通過關(guān)聯(lián)規(guī)則等算法進行交叉銷售，提升客戶人均消費額。客戶成熟期：進行客戶分群（RFM、聚類等）并進行精準(zhǔn)推薦，同時對不同客戶實時忠誠計劃?？蛻羲ネ似冢盒枰M行流失預(yù)警，提前發(fā)現(xiàn)高流失風(fēng)險客戶，并作相應(yīng)的客戶關(guān)懷?？蛻綦x開階段：通過大數(shù)據(jù)挖掘高潛回流客戶。通過分析用戶的使用行為，在用戶做出離開決定之前，推出符合用戶興趣的業(yè)務(wù)，防止用戶流失。3.2.2套餐經(jīng)營精細化套餐經(jīng)營精細化主要包括基準(zhǔn)套餐推薦、定制應(yīng)用專屬流量套餐。基準(zhǔn)套餐推薦：基于用戶歷史套餐使用情況進行分析，預(yù)測下月套餐使用情況，推薦用戶按需要調(diào)低或調(diào)高套餐標(biāo)準(zhǔn)，滿足用戶真實需求，提高用戶粘度。定制應(yīng)用專屬流量套餐：基于用戶上網(wǎng)行為分析，針對不同的APP應(yīng)用，定制專屬流量套餐。如中國聯(lián)通為QQ音樂定制音樂流量套餐。3.2.3市場與精準(zhǔn)營銷市場與精準(zhǔn)營銷包括客戶畫像、關(guān)系鏈研究、精準(zhǔn)營銷、實時營銷和個性化推薦。3.2.3.1客戶畫像基于客戶終端信息、位置信息、通話行為、手機上網(wǎng)行為軌跡等豐富的數(shù)據(jù)，為每個客戶打上人口統(tǒng)計學(xué)特征、消費行為、上網(wǎng)行為和興趣愛好標(biāo)簽，并借助數(shù)據(jù)挖掘技術(shù)（如分類、聚類、RFM等）進行客戶分群，完善客戶的360度畫像，幫助運營商深入了解客戶行為偏好和需求特征。3.2.3.2關(guān)系鏈研究通過分析客戶通話行為、網(wǎng)絡(luò)社交行為以及客戶資料等數(shù)據(jù)，開展交往圈分析。尤其是利用各種聯(lián)系記錄形成社交網(wǎng)絡(luò)來豐富對用戶的洞察，并進一步利用圖挖掘的方法來發(fā)現(xiàn)各種圈子，發(fā)現(xiàn)圈子中的關(guān)鍵人員，以及識別家庭和政企客戶；或者分析社交圈子尋找營銷機會。如在一個行為同質(zhì)化圈子里面，如果這個圈子大多數(shù)為高流量用戶，并在這個圈子中發(fā)現(xiàn)異網(wǎng)的用戶，我們可以推測該用戶也是高流量的情況，便可以通過營銷的活動把異網(wǎng)高流量的用戶引導(dǎo)到自己的網(wǎng)絡(luò)上，對其推廣4G套餐，提升營銷轉(zhuǎn)化率?？傊?，我們可以利用社交圈子提高營銷效率，改進服務(wù)，低成本擴大產(chǎn)品的影響力。3.2.3.3精準(zhǔn)營銷和實時營銷在客戶畫像的基礎(chǔ)上對客戶特征的深入理解，建立客戶與業(yè)務(wù)、資費套餐、終端類型、在用網(wǎng)絡(luò)的精準(zhǔn)匹配，并在在推送渠道、推送時機、推送方式上滿足客戶的需求，實現(xiàn)精準(zhǔn)營銷。如可以利用大數(shù)據(jù)分析用戶的終端偏好和消費能力，預(yù)測用戶的換機時間尤其是合約機到期時間，并捕捉用戶最近的特征事件，從而預(yù)測用戶購買終端的真正需求，通過短信、呼叫中心、營業(yè)廳等多種渠道推送相關(guān)的營銷信息到用戶手中。3.2.3.4個性化推薦利用客戶畫像信息、客戶終端信息、客戶行為習(xí)慣偏好等，提供客戶定制化的服務(wù)，優(yōu)化產(chǎn)品、流量套餐和定價機制，實現(xiàn)個性化營銷和服務(wù)，提升客戶體驗與感知；或者在應(yīng)用商城實現(xiàn)個性化推薦，在電商平臺實現(xiàn)個性化推薦，在社交網(wǎng)絡(luò)推薦感興趣的好友。3.3業(yè)務(wù)支撐3.3.1報告系統(tǒng)按照指標(biāo)導(dǎo)出報告。3.3.2報表系統(tǒng)按照指標(biāo)導(dǎo)出報表。3.4技術(shù)支撐3.4.1指標(biāo)管理制定報告框架，設(shè)置數(shù)據(jù)分析和統(tǒng)計維度等。3.4.2配置管理設(shè)置系統(tǒng)可配置項目，如數(shù)據(jù)字典等。3.5數(shù)據(jù)商業(yè)化數(shù)據(jù)商業(yè)化指通過企業(yè)自身擁有的大數(shù)據(jù)資產(chǎn)進行對外商業(yè)化，獲取收導(dǎo)出對用戶隱私（如姓名、年齡等）處理之后的數(shù)據(jù)，直接售賣。3.5.2提供數(shù)據(jù)服務(wù)利用大數(shù)據(jù)資產(chǎn)優(yōu)勢，將數(shù)據(jù)封裝成服務(wù)，提供給相關(guān)行業(yè)的企業(yè)用戶，為合作伙伴提供數(shù)據(jù)分析能力。技術(shù)方案4.1系統(tǒng)架構(gòu)基于大數(shù)據(jù)的移動增值業(yè)務(wù)精準(zhǔn)營銷平臺采用SparkOnYarn平臺架構(gòu)，使用HadoopHDFS分布式文件系統(tǒng)存儲數(shù)據(jù)，采用HadoopYarn對集群計算資源進行調(diào)度，使用Spark進行分布式計算。平臺架構(gòu)如下圖所示：應(yīng)用層數(shù)據(jù)預(yù)處理邏輯層規(guī)則分析器Spark查詢引擎丿J 丿胃B服務(wù)器 服務(wù)器應(yīng)用層數(shù)據(jù)預(yù)處理邏輯層規(guī)則分析器Spark查詢引擎丿J 丿胃B服務(wù)器 服務(wù)器本平臺自底向上由物理層、數(shù)據(jù)存儲層、邏輯層、接口層組成。各功能層的詳細描述如下：物理層，指由多臺計算機和網(wǎng)絡(luò)交換機構(gòu)成的局域網(wǎng)，是部署和運行云計算Hadoop平臺的硬件基礎(chǔ)。其中，包含了一臺或多臺Master計算節(jié)點，若干臺Slave計算節(jié)點。由于Hadoop平臺自身具備優(yōu)秀的可伸縮性，節(jié)點數(shù)可根據(jù)實際計算任務(wù)中涉及的數(shù)據(jù)量大小任意擴展。數(shù)據(jù)存儲層，指運行于物理層計算機局域網(wǎng)之上的HadoopHDFS分布式文件系統(tǒng)。該層提供了文件以數(shù)據(jù)塊的方式進行分布式存儲。文件的分發(fā)、容錯、備份等功能均由Hadoop平臺自帶功能實現(xiàn)。另外，該層還為框架中邏輯層在進行Spark分布式計算時提供臨時文件交換基礎(chǔ)。邏輯層，基于HadoopYarn的Spark分布式計算環(huán)境構(gòu)建，實現(xiàn)對大規(guī)模數(shù)據(jù)的查詢和推理任務(wù)，主要包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)適配器、查詢與規(guī)則分析ES器。接口層，是云服務(wù)端與外界實現(xiàn)信息傳遞和數(shù)據(jù)交換的接口，負責(zé)云服務(wù)端的負載均衡以及訪問的身份驗證、權(quán)限分配以及云計算安全監(jiān)控與管理等。4.2Hadoop簡介Hadoop源于兩個開源的項目Lucene和Nutch。Lucene是一個用Java開發(fā)的開源高性能全文檢索工具包，Nutch是一個以Lucene為基礎(chǔ)實現(xiàn)的開源搜索引擎應(yīng)用。Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺，用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個優(yōu)點：高可靠性：Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。高擴展性：Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。高效性：Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非常快。高容錯性：Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。低成本：與一體機、商用數(shù)據(jù)倉庫以及QlikView、YonghongZ-Suite等數(shù)據(jù)集市相比，Hadoop是開源的，項目的軟件成本因此會大大降低。Hadoop主要由HDFS和YARN兩大組件組成。4.2.1HDFSHDFS是Hadoop架構(gòu)下的一個分布式文件系統(tǒng)，其采用主從結(jié)構(gòu)體系。其架構(gòu)如下圖所示：

Metadata(Namerreplicas,/home/foo/data,3,.HDFS的集群是由一個或多個命名節(jié)點(NameNode)和多個數(shù)據(jù)節(jié)點(DataNode)組成。其中NameNode用來管理系統(tǒng)的命令空間以及文件的元數(shù)據(jù)，此外NameNode還負責(zé)監(jiān)聽DataNode和客戶端的請求，執(zhí)行對應(yīng)操作，比如打開、關(guān)閉、重命名文件或者目錄等，并且負責(zé)監(jiān)控DataNode的狀態(tài)。DataNode要定期向NameNode發(fā)送心跳(Heartbeat)信息，如果DataNode一段時間內(nèi)沒有反應(yīng)，NameNode則將此DataNode標(biāo)記為“死”節(jié)點，并將處理由此DataNode節(jié)點的離線所導(dǎo)致的副本數(shù)量不足而產(chǎn)生的數(shù)據(jù)復(fù)制操作。DataNode用來存儲文件的數(shù)據(jù)，處理文件客戶端的讀寫請求：創(chuàng)建、刪除、復(fù)制數(shù)據(jù)塊等。4.2.2YarnYarn是一個分布式的資源管理系統(tǒng)，用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、10、網(wǎng)絡(luò)、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。所以Yarn具有更好的擴展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計算框架外的更多的計

算框架（如SparkOnYarn）。其架構(gòu)圖如下:Conl-ain-erClientAppMstrContainerConlain-erCcntaineirNM已ManagerNodeStatusResnurr:已Re