基于大數(shù)據(jù)的電信信息化系統(tǒng)建設(shè)的探討

1、基于大數(shù)據(jù)的電信信息化系統(tǒng)建設(shè)的探討摘要 信息時代的到來，伴隨著移動聯(lián)網(wǎng)等技術(shù)的更新?lián)Q代，我國電信企業(yè)的發(fā)展進入了高效化發(fā)展時代，不同于電信運營商的初期發(fā)展階段，云計算、物聯(lián)網(wǎng)、智能終端等新技術(shù)及新應用的不斷革新，國內(nèi)市場逐漸趨于飽和，所以目前電信運營商正步入質(zhì)量發(fā)展階段，立足于數(shù)字化社會的發(fā)展，為提高流量收益以及業(yè)務(wù)效益，電信信息化系統(tǒng)的建設(shè)正在加快， 電信運營商客戶行為數(shù)據(jù)、網(wǎng)絡(luò)運維數(shù)據(jù)以及信令數(shù)據(jù)等等海量信息中蘊含的價值越來越高，基于數(shù)據(jù)挖掘及分析構(gòu)建電信信息化系統(tǒng)，實現(xiàn)客戶消費、接觸行為等，進行智能化業(yè)務(wù)推薦以及建立客戶離網(wǎng)模型，對高危用戶進行有針對性的挽留活動都成為信息化系統(tǒng)功能框架

2、基礎(chǔ)。 關(guān)鍵詞：大數(shù)據(jù)；電信信息化；系統(tǒng)建設(shè)引言 基于大數(shù)據(jù)建設(shè)信息化系統(tǒng)，是利用電信數(shù)據(jù)分析及挖掘的需求，通過 Hadoop系統(tǒng)的建設(shè)設(shè)計電信業(yè)務(wù)功能，以統(tǒng)一、標準及可視化的基礎(chǔ)實現(xiàn)數(shù)據(jù)信息價值的挖掘以及業(yè)務(wù)推薦。移動互聯(lián)網(wǎng)的發(fā)展一方面帶動了我國電信運營商的流量收益，另一方面對電信運行商的業(yè)務(wù)體系以及工作系統(tǒng)形成沖擊，在挑戰(zhàn)與機遇的雙重背景下，電信運行商典型實現(xiàn)信息化系統(tǒng)的構(gòu)建，轉(zhuǎn)變傳統(tǒng)業(yè)務(wù)推薦以及服務(wù)方式，針對客戶的行為消費以及數(shù)據(jù)分析，實現(xiàn)業(yè)務(wù)的智能化服務(wù)，并實現(xiàn)客戶的個性化客戶視圖，實現(xiàn)人工與智能化的業(yè)務(wù)并行，提高電信運行商的工作效率以及發(fā)展水平。并且通過客戶離網(wǎng)模型的構(gòu)建，實現(xiàn)業(yè)務(wù)服

3、務(wù)的智能化以及全面化，實現(xiàn)電信企業(yè)的效益的最大化。1、 基于大數(shù)據(jù)的信息化建設(shè)1大數(shù)據(jù)技術(shù)的特點大數(shù)據(jù)的定義是數(shù)量規(guī)模龐大到用目前主流軟件工具在合理時間內(nèi)，挖掘，管理，處理并整合成能夠利于企業(yè)決策發(fā)展的資訊。很多企業(yè)，平臺所產(chǎn)生的數(shù)據(jù)中十分具有價值，但需要進行挖掘，由于信息還具有時效性，所以目前大數(shù)據(jù)的處理很收重視，但企業(yè)與平臺等很難在合理時間內(nèi)對大數(shù)據(jù)進行整合處理，近年來由于資源發(fā)展迅速，為大數(shù)據(jù)處理提供了便利。大數(shù)據(jù)技術(shù)有5V1C的特點，即 Varietv(多樣化)。Volume(海量)，Velocitv(快速)，Vitality(靈活)，價值(value)，Complexity(復雜)。

4、多樣化指的大數(shù)據(jù)有多種數(shù)據(jù)類型，一般有網(wǎng)絡(luò)日志，社交媒體，互聯(lián)網(wǎng)搜索等，不同的數(shù)據(jù)類型處理與分析方式大不相同； 海量指的是大數(shù)據(jù)的產(chǎn)生是極為龐大的，基本是成“J”型；快速指的是數(shù)據(jù)具有時效性，如不能快速處理就會失去價值；靈活指的是大數(shù)據(jù)的處理分析必須能夠適應業(yè)務(wù)頻率的快速改變；價值指的是大數(shù)據(jù)蒸鍋整合處理后能夠?qū)ξ磥碲厔菁澳Ｊ教峁┓治鰞r值；復雜指的是大數(shù)據(jù)分析處理的復雜性，不僅難度高所采用的處理方式與工具也不同。2大數(shù)據(jù)信息化系統(tǒng)的構(gòu)建大數(shù)據(jù)信息系統(tǒng)的構(gòu)建，是以數(shù)據(jù)中心構(gòu)建為核心，實現(xiàn)數(shù)據(jù)倉庫體系的統(tǒng)一規(guī)劃，根據(jù)不同區(qū)域級別的信息區(qū)數(shù)據(jù)，將整個區(qū)域的信息網(wǎng)絡(luò)進行整合，新城同意而全局數(shù)據(jù)構(gòu)建全局

5、數(shù)據(jù)網(wǎng)絡(luò)，形成信息數(shù)據(jù)平臺。大數(shù)據(jù)信息系統(tǒng)構(gòu)建中，是以集成為主，將設(shè)備以及設(shè)施基層，實現(xiàn)數(shù)據(jù)信息的渠道的多樣化以及統(tǒng)一化，將多個用戶產(chǎn)生的數(shù)據(jù)，通過不同數(shù)據(jù)挖掘工具挖掘，例如Python實現(xiàn)各個平臺數(shù)據(jù)的收集以及傳輸?shù)鹊龋?EAI平臺及各種功能為主，例如網(wǎng)絡(luò)服務(wù)、數(shù)據(jù)集成與處理轉(zhuǎn)換工具，這對不同區(qū)域級別的訪問針對性服務(wù)借口進行安全優(yōu)化以及數(shù)據(jù)傳輸渠道構(gòu)建，確保信息平臺的安全性以及數(shù)據(jù)多樣化集成。系統(tǒng)的建設(shè)主要是根據(jù)企業(yè)的需求為主，不同企業(yè)的信息化規(guī)范以及體系不同，因此其系統(tǒng)結(jié)構(gòu)以及系統(tǒng)技術(shù)應用差別較大，目前Hadoop的數(shù)據(jù)建模平臺是主要形式，結(jié)合不同技術(shù)的應用，實現(xiàn)信息系統(tǒng)化體系的全方位落

6、實。 3電信企業(yè)基于大數(shù)據(jù)的信息化系統(tǒng)建設(shè) 電信的大數(shù)據(jù)平臺是以Hadoop為基礎(chǔ)，結(jié)合Hive開發(fā)應用平臺，以電信行業(yè)的業(yè)務(wù)系統(tǒng)核心設(shè)計信息化系統(tǒng)的架構(gòu)以及技術(shù)層面。目前電信行業(yè)的業(yè)務(wù)系統(tǒng)在移動互聯(lián)網(wǎng)發(fā)展下不斷地創(chuàng)新，呈現(xiàn)出新業(yè)務(wù)形態(tài)以及數(shù)據(jù)類型，尤其是微信、微博、qq等快速的發(fā)展加快了電信行業(yè)的數(shù)據(jù)量增長，雖然非結(jié)構(gòu)化語言記錄、音頻、圖片和視頻等數(shù)據(jù)等等在運行商中得到儲存于管理，但是處理這些數(shù)據(jù)挖掘出其商業(yè)潛在價值處于革新狀況1。因此電信大數(shù)據(jù)信息化系統(tǒng)的構(gòu)建。以Hadoop為基礎(chǔ)，結(jié)合Hive實現(xiàn)信息系統(tǒng)建設(shè)，將其產(chǎn)生的有用數(shù)據(jù)結(jié)果反饋到業(yè)務(wù)系統(tǒng)，例如電信BSS系統(tǒng)，以Hive 和 Ha

7、doop 關(guān)系以及平臺架構(gòu)完善系統(tǒng)服務(wù)數(shù)據(jù)中心，實現(xiàn)與信息化平臺數(shù)據(jù)庫的對接，將Hive 建立在 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)上，利用Hive的系列工具實現(xiàn)數(shù)據(jù)提取轉(zhuǎn)化與加載（ETL），通過與業(yè)務(wù)系統(tǒng)現(xiàn)有的數(shù)據(jù)管理系統(tǒng)以及儲存系統(tǒng)的對接，將儲存、查詢以及分析結(jié)果儲存在 Hadoop 中，利用SQL用戶查詢數(shù)據(jù)，處理內(nèi)建中難以完成的復雜數(shù)據(jù)分析，將數(shù)據(jù)分析結(jié)果通過Hadoop可視化數(shù)據(jù)平臺反饋給BSS業(yè)務(wù)系統(tǒng)。 以Hadoop為基礎(chǔ)，結(jié)合Hive開發(fā)應用平臺，實現(xiàn)與電信業(yè)務(wù)各大系統(tǒng)的聯(lián)合，形成信息系統(tǒng)的設(shè)計方案，比對起現(xiàn)有以 Hadoop的數(shù)據(jù)建模、Hadoopdesigner 系統(tǒng)模型為主的

8、大數(shù)據(jù)信息系統(tǒng)具有更強得實用性，推動電信業(yè)務(wù)的發(fā)展。二、基于大數(shù)據(jù)的電信信息化系統(tǒng)建設(shè) 1利用分區(qū)以及數(shù)據(jù)管理實現(xiàn)用戶類型劃分利用Hive的超大數(shù)據(jù)集設(shè)計的計算/擴展能力based on Hadoop、支持SQL like查詢語言、統(tǒng)一的元數(shù)據(jù)管理等優(yōu)勢實現(xiàn)大數(shù)據(jù)信息系統(tǒng)的建設(shè)，針對大數(shù)據(jù)平臺數(shù)據(jù)的非關(guān)系型，首要就是利用Hive通過分區(qū)以及數(shù)據(jù)管理，對數(shù)據(jù)結(jié)構(gòu)、類型、信息價值等等進行挖掘與處理，尤其是電信的大數(shù)據(jù)平臺現(xiàn)有數(shù)據(jù)類型MBOSS基礎(chǔ)數(shù)據(jù)、DPI、無線側(cè)CDR話單、計費話單、客戶受理訂單、消費數(shù)據(jù)、手機位置更新數(shù)據(jù)、其他外部數(shù)據(jù)，根據(jù)不同的用戶標簽以及分析標準實現(xiàn)數(shù)據(jù)的歸類與整理，針對

9、各種數(shù)據(jù)的分析結(jié)果反饋不用的標簽，例如話費消費數(shù)據(jù)，制定不同的標準，例如在2970以內(nèi)是一般消費群眾，70120以內(nèi)屬于中等消費，120以上則是高消費人群，流量套餐在超過10000M的校園網(wǎng)套餐是大學生，大1000 M以上流量用在購物軟件中為購物達人，根據(jù)用戶多方面的數(shù)據(jù)進行各類標簽的制定，并將標簽與消費結(jié)構(gòu)等數(shù)據(jù)共同構(gòu)成用戶數(shù)據(jù)庫，針對不同的消費人群進行相似性劃分，例如具有相同流量消費趨向以及同一個地區(qū)話費繳納等等，從地域、消費類型、職業(yè)等等入手綜合性完善對用戶的評價，按照統(tǒng)一、規(guī)范的標準給出各類標簽，從而將混亂的數(shù)據(jù)進行統(tǒng)一化，以用戶自身消費數(shù)據(jù)以及服務(wù)需求為主，完善用戶數(shù)據(jù)中心，將非關(guān)系

10、型的數(shù)據(jù)以人和服務(wù)為連接進行科學、統(tǒng)一的劃分，便于營業(yè)員提取以及個性化服務(wù)提供，形成元數(shù)據(jù)管理中心后集成為數(shù)據(jù)中心，導入到Hadoop可視化數(shù)據(jù)平臺中，形成信息系統(tǒng)的數(shù)據(jù)中心。2 業(yè)務(wù)系統(tǒng)對大數(shù)據(jù)平臺數(shù)據(jù)應用的要求 BSS系統(tǒng)是電信運行商的業(yè)務(wù)系統(tǒng)，電信業(yè)務(wù)信息系統(tǒng)關(guān)系主要有以下四個要求：一決策分析指導，以用戶數(shù)據(jù)為主，以成熟的經(jīng)營分析技術(shù)，根據(jù)提供的資源以及決策需要提高企業(yè)的數(shù)據(jù)資源利用能力，實現(xiàn)企業(yè)的科學化的決策以及整體運行效率；二客戶關(guān)系管理，客戶關(guān)系管理是實現(xiàn)智能業(yè)務(wù)推薦的重要需求，以實時信息為基礎(chǔ)指導企業(yè)運營的優(yōu)化，對客戶服務(wù)需求以及服務(wù)產(chǎn)品的個性化設(shè)計，從用戶以及相關(guān)產(chǎn)品進行關(guān)聯(lián)性

11、的分析，推薦符合系統(tǒng)分析的業(yè)務(wù)，以此增加新客戶以及提高客戶的忠誠度，降低客戶流失率；三精準營銷推薦，這是實現(xiàn)智能化營銷的直接行為，精準營銷的關(guān)鍵點在于“精準”二字，根據(jù)客戶關(guān)系管理，以匯聚用戶業(yè)務(wù)使用數(shù)據(jù)為主，以整體化及個性化的雙角度分析每一個用戶的消費能力以及交往圈等等，根據(jù)用戶的使用記錄以及行為數(shù)據(jù)，以渠道接觸點、應用接觸點以及服務(wù)接觸點等等為主，智能化篩選用戶的界面功能銜接點，引導客戶消費以及提供智能化服務(wù)。3電信業(yè)務(wù)系統(tǒng)應用大數(shù)據(jù)平臺數(shù)據(jù)BSS系統(tǒng)應用大數(shù)據(jù)平臺的數(shù)據(jù)，首要是明確算法以及技術(shù)對接對象。根據(jù)業(yè)務(wù)系統(tǒng)對數(shù)據(jù)應用的要求，最后所有數(shù)據(jù)分析結(jié)果都要在可視化數(shù)據(jù)平臺中展現(xiàn)，針對目前

12、大數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)挖掘工具而言，是以Hive為主，用 HDFS 進行存儲，利用 MapReduce 進行計算。利用 Hadoop儲存數(shù)據(jù)，以Hive構(gòu)建數(shù)據(jù)模型，由 Hive完成查詢語句的解釋、優(yōu)化、生成查詢計劃，從而實現(xiàn)將查詢計劃轉(zhuǎn)變?yōu)?MapReduce 任務(wù)在 Hadoop 中執(zhí)行，以UTF-8編碼為統(tǒng)一標準實現(xiàn)數(shù)據(jù)傳輸以及轉(zhuǎn)化。因此數(shù)據(jù)分析主要是通過Hive，創(chuàng)建一個制定名字的表，如果處理中發(fā)現(xiàn)具有相同名字的表，利用IF NOT EXIST 選項來忽略異常，采用LIKE 允許用戶復制現(xiàn)有的表結(jié)構(gòu)但不復制數(shù)據(jù)，然后構(gòu)建分區(qū)表，將分區(qū)單獨存在一個目錄下，根據(jù) CLUSTERED BY 操作

13、操作列，放置在一個bucket中，利用SORT BY 對數(shù)據(jù)進行排序，將各個分區(qū)的名字轉(zhuǎn)變?yōu)椴煌臉撕烆愋?，例如網(wǎng)購達人、上班族、醫(yī)生、老師、費用敏感型、大學生、老年人等等，根據(jù)標簽評價標準利用算法進行分類。例如DPI記錄進行標簽判定，DPI記錄的表現(xiàn)類型主要是網(wǎng)頁、終端、APP等，以APP 標簽為例，首先根據(jù)不同的終端，電腦是建立熱點，手機的連接熱點使用APP，利用Wireshark抓取手機使用app產(chǎn)生的數(shù)據(jù)包，通過分析，提取app相應的規(guī)則，整理規(guī)則錄入app標簽，通過管理員審核，規(guī)則一小時可生效通過查詢Hive中的表，打上所屬的標簽。 所屬標簽打上之后就可以通過元數(shù)據(jù)管理的用戶信息資料

14、中通過可視化平臺，看到用戶的基本資料以及標簽，業(yè)務(wù)員或者是自動服務(wù)終端，根據(jù)這些標簽通過Hadoop數(shù)據(jù)中心與BSS、OSS、MSS、客服系統(tǒng)等等系統(tǒng)接口的對接，將Hive對用戶數(shù)據(jù)的分析結(jié)果通過儲存在Hadoop中，便于BSS系統(tǒng)、OSS、MSS、客服系統(tǒng)通過在Hadoop的大數(shù)據(jù)平臺中調(diào)取數(shù)據(jù)，查閱到用用戶標簽以及數(shù)據(jù)信息，自動性實現(xiàn)用戶數(shù)據(jù)庫與用戶消費和服務(wù)行為的對接，確保能夠快速鎖定用戶的消費系統(tǒng)。Hadoop的大數(shù)據(jù)可視化平臺主要是以Python的可視化數(shù)據(jù)分析平臺為主，在Hadoop基礎(chǔ)上，利用Hive對用戶數(shù)據(jù)的分析的處理，將數(shù)據(jù)中心的數(shù)據(jù)以Python技術(shù)語法簡潔，數(shù)據(jù)獲取較為

15、快速、兼容性較強，支持跨平臺服務(wù)等優(yōu)勢，實現(xiàn)數(shù)據(jù)的跨平臺及系統(tǒng)應用，確保電信的多個信息化子系統(tǒng)能夠通過Python可視化平臺實現(xiàn)對數(shù)據(jù)的跨平臺使用。Python可視化數(shù)據(jù)分析平臺采用Mysql-python、Numpy等第三方模塊撰寫配置算法，以B/S平臺技術(shù)構(gòu)建系統(tǒng)平臺，HTML、CSS、JS展示網(wǎng)絡(luò)，采用Django技術(shù)完成后臺處理，實現(xiàn)高效的可視化數(shù)據(jù)展示以及數(shù)據(jù)分析，根據(jù)K-means算法對文件中的維數(shù)制作成圖表，并匹配上結(jié)果圖和文字說明，以便于用戶能夠通過圖表直接得到大致的數(shù)據(jù)分析結(jié)果，也可以對數(shù)據(jù)文件進行降維處理，輸入原始數(shù)據(jù)后就可以根據(jù)用戶需求選擇要降的維數(shù)，采用PCA算法就能夠

16、完成所需的降維處理并且保留原始數(shù)據(jù)主要成分，根據(jù)原始詩句結(jié)果圖以及相應的降維結(jié)果圖實現(xiàn)可視化。這樣一來通過Hive內(nèi)建算法以及Python外建算法，就可以實現(xiàn)用戶數(shù)據(jù)得整體規(guī)劃、標簽從屬以及數(shù)據(jù)跨平臺使用等要求，滿足電信業(yè)務(wù)系統(tǒng)對數(shù)據(jù)以及數(shù)據(jù)價值的快速、高效運用。不僅是標簽，客戶到廳（營業(yè)廳）、在線辦理業(yè)務(wù)、撥打客服熱線、或者營銷人員主動外呼客戶時，有針對性的營銷的時候，根據(jù)Hadoop架構(gòu)中Hive的MapReduce 進行用戶數(shù)據(jù)類型以及從屬情況計算，根據(jù)電信企業(yè)自身的經(jīng)營規(guī)范以及業(yè)務(wù)系統(tǒng)的劃分，將用戶數(shù)據(jù)集成為表，根據(jù)各個分布的標簽名稱完善用戶個人數(shù)據(jù)庫，然后根據(jù)Python可視化數(shù)據(jù)分

17、析平臺設(shè)計實現(xiàn)個性化客戶視圖的展現(xiàn)，從Python的數(shù)據(jù)分析優(yōu)勢入手，根據(jù)可視化數(shù)據(jù)分析的需求，實現(xiàn)在線數(shù)據(jù)分析，滿足營業(yè)員對客戶數(shù)據(jù)的利用需求，根據(jù)目前海量數(shù)據(jù)中的數(shù)據(jù)分析功能需求探索性數(shù)據(jù)、數(shù)據(jù)預處理和挖掘建模，將復雜混亂的客戶初步數(shù)據(jù)進行處理，盡可能少的設(shè)置數(shù)據(jù)分析因素，以各種數(shù)學形式，例如作圖、制表、方程擬合等方式對數(shù)據(jù)的結(jié)構(gòu)以及規(guī)律進行探索，利用均值、標準差、變異系數(shù)等數(shù)據(jù)特征將初步數(shù)據(jù)的規(guī)律及結(jié)構(gòu)反饋給業(yè)務(wù)員；掘建模則是利用決策樹、K-means、PCA、線性回歸等等方法分析用戶數(shù)據(jù)實現(xiàn)可視化展示，例如將客戶的網(wǎng)絡(luò)行為數(shù)據(jù)進行聚類分析，通過文件輸入將數(shù)據(jù)進行分類，根據(jù)K-means

18、算法對文件中的維數(shù)制作成圖表，并匹配上結(jié)果圖和文字說明，以便于營業(yè)員能夠通過圖表直接得到大致的數(shù)據(jù)分析結(jié)果，掌握客戶的喜好、作息時間等，進行精準營銷，通過合適適合外呼、上門營銷等營銷手段，提高營業(yè)廳業(yè)務(wù)數(shù)量以及服務(wù)質(zhì)量。結(jié)語 綜上所述全球化發(fā)展的發(fā)展需要各大電信運行商緊隨大數(shù)據(jù)發(fā)展，通過對海量資料的軟件工具分析，加快數(shù)據(jù)擷取、管理、處理、整理的時間以及效果促進企業(yè)經(jīng)營決策，形成統(tǒng)一標準化的數(shù)據(jù)規(guī)范處理，平臺及系統(tǒng)設(shè)計與實現(xiàn)中難以引入大數(shù)據(jù)處理以及營銷支持工具。重新構(gòu)建電信信息化系統(tǒng)，基于大數(shù)據(jù)以及營銷支持工具設(shè)計系統(tǒng)結(jié)構(gòu)以及服務(wù)框架，確保電信運行商的信息化系統(tǒng)能夠滿足移動互聯(lián)網(wǎng)發(fā)展下的客戶服務(wù)需求以及