大數(shù)據(jù)在電信行業(yè)的應(yīng)用

大數(shù)據(jù)在電信行業(yè)的應(yīng)用

1電信行業(yè)的應(yīng)用趨勢(shì)大數(shù)據(jù)是云計(jì)算之后的另一個(gè)熱點(diǎn)技術(shù)。這是互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)發(fā)展的一個(gè)重要發(fā)展趨勢(shì)。電信行業(yè)是大數(shù)據(jù)技術(shù)應(yīng)用的一個(gè)重要領(lǐng)域,天然地具備大數(shù)據(jù)存儲(chǔ)和分析技術(shù)應(yīng)用的一些關(guān)鍵因素,如海量數(shù)據(jù)、數(shù)據(jù)實(shí)時(shí)性處理的需求。對(duì)大數(shù)據(jù)的一些關(guān)鍵性技術(shù)組成,如大數(shù)據(jù)存儲(chǔ)和分析技術(shù)在電信行業(yè)應(yīng)用的分析及其應(yīng)用接口標(biāo)準(zhǔn)化方面的探討將有益于這些需求問題的解決。2大數(shù)據(jù)廣泛應(yīng)用于電信行業(yè)2.1應(yīng)用方向(1)基于海量數(shù)據(jù)的分析目前運(yùn)營商在大數(shù)據(jù)上的投入,從實(shí)踐上來看80%~90%的應(yīng)用主要聚焦在提升運(yùn)營商自身的運(yùn)營效率上,即網(wǎng)絡(luò)管理維護(hù)優(yōu)化方面。這部分應(yīng)用可劃分為提升網(wǎng)絡(luò)質(zhì)量和提高運(yùn)營管理水平兩個(gè)層面的應(yīng)用?！裉嵘W(wǎng)絡(luò)質(zhì)量方面的應(yīng)用利用大數(shù)據(jù)技術(shù)對(duì)海量的信令數(shù)據(jù)、網(wǎng)絡(luò)日志信息等具備鮮明大數(shù)據(jù)特征的數(shù)據(jù)進(jìn)行分析,能夠彌補(bǔ)采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫技術(shù)以及傳統(tǒng)的數(shù)據(jù)分析工具在這種應(yīng)用場(chǎng)景,尤其是對(duì)分析實(shí)時(shí)性要求比較高的場(chǎng)合中使用的不足。此外,對(duì)于這類數(shù)據(jù)的分析有時(shí)需要與Billing、客戶關(guān)系管理(CustomerRelationshipManagement,CRM)、增值業(yè)務(wù)服務(wù)(Value-addedService,VAS)等外部系統(tǒng)的數(shù)據(jù)結(jié)合,才能滿足其需求。大數(shù)據(jù)技術(shù)在這些方面的應(yīng)用可以顯著提升網(wǎng)絡(luò)質(zhì)量?！裉岣哌\(yùn)營管理水平方面的應(yīng)用在網(wǎng)絡(luò)運(yùn)營管理方面,利用大數(shù)據(jù)技術(shù)可以解決運(yùn)營商現(xiàn)有網(wǎng)絡(luò)管理系統(tǒng)中由于海量數(shù)據(jù)所帶來的問題,一方面可以節(jié)約成本,另一方面可以使應(yīng)用的功能更加完善。(2)營商視角下的新價(jià)值創(chuàng)造這部分應(yīng)用是大數(shù)據(jù)未來最有前途的應(yīng)用,也是運(yùn)營商轉(zhuǎn)型的機(jī)會(huì)所在。對(duì)運(yùn)營商來說,這部分應(yīng)用可以幫助運(yùn)營商創(chuàng)造新的價(jià)值,并利用這些有價(jià)值的數(shù)據(jù)形成新的收入增長(zhǎng)點(diǎn)。這一類應(yīng)用主要包括:基于海量動(dòng)態(tài)位置信息的大數(shù)據(jù)服務(wù)、基于用戶行為分析的廣告推薦、智能交通、智慧城市、物聯(lián)網(wǎng)應(yīng)用等。2.2電信行業(yè)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)在電信行業(yè)的應(yīng)用有其自身的特點(diǎn),如圖1所示。首先,從數(shù)據(jù)源上看,電信行業(yè)的數(shù)據(jù)主要來自于網(wǎng)絡(luò),包括來自基站、信令、日志文件、終端設(shè)備以及外部IT系統(tǒng)(比如計(jì)費(fèi)、營業(yè)、CRM、財(cái)務(wù)等)。目前來看,結(jié)構(gòu)化數(shù)據(jù)仍然是電信行業(yè)的主流數(shù)據(jù),因此,電信行業(yè)的大數(shù)據(jù)主要具備數(shù)據(jù)量大和實(shí)時(shí)性要求高這兩個(gè)特征。其次,電信行業(yè)的大數(shù)據(jù)應(yīng)用實(shí)施主要包括四個(gè)階段:第一個(gè)階段是積累數(shù)據(jù),主要是各種類型的數(shù)據(jù)收集與存儲(chǔ),應(yīng)用了大數(shù)據(jù)存儲(chǔ)的一些關(guān)鍵技術(shù)及數(shù)據(jù)采集工具。第二個(gè)階段是將積累的數(shù)據(jù)經(jīng)過初步篩選過濾變成有價(jià)值的信息,稱之為信息檢索過濾,這一階段的很多應(yīng)用都比較成熟,也是目前大數(shù)據(jù)在電信行業(yè)應(yīng)用最廣泛的一類。第三個(gè)階段是對(duì)信息進(jìn)行深度挖掘,從信息中發(fā)現(xiàn)知識(shí),這部分應(yīng)用大部分還在探索階段,正在逐步成熟,個(gè)別應(yīng)用已經(jīng)可以商用。最后一個(gè)階段就是大數(shù)據(jù)的至高境界:智慧,這個(gè)層次的應(yīng)用具備精確的預(yù)測(cè)功能,并且可以對(duì)未來出現(xiàn)的事件采取適當(dāng)?shù)拇胧?促進(jìn)或者抑制其發(fā)生。最后,大數(shù)據(jù)應(yīng)用實(shí)施在不同的層次所采用的技術(shù)也是不同的,隨著層次不斷提高,數(shù)據(jù)挖掘的深度和難度都隨之增加。3大數(shù)據(jù)存儲(chǔ)和分析技術(shù)3.1數(shù)據(jù)庫設(shè)計(jì)。數(shù)據(jù)庫數(shù)據(jù)是一個(gè)數(shù)據(jù)庫,數(shù)據(jù)庫的開發(fā)可以提高數(shù)據(jù)庫的建設(shè)和完善數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫及數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫及數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫及數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫及數(shù)據(jù)庫的數(shù)據(jù)庫的數(shù)據(jù)庫及數(shù)據(jù)庫的數(shù)據(jù)庫等信息。數(shù)據(jù)庫的數(shù)據(jù)庫數(shù)據(jù)是一個(gè)數(shù)據(jù)庫大數(shù)據(jù)技術(shù)涵蓋了從數(shù)據(jù)的海量存儲(chǔ)、處理到應(yīng)用的多方面技術(shù),包括異構(gòu)數(shù)據(jù)源融合、海量分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫、并行計(jì)算框架、實(shí)時(shí)流數(shù)據(jù)處理以及數(shù)據(jù)挖掘、商業(yè)智能和數(shù)據(jù)可視化等。一個(gè)典型的大數(shù)據(jù)處理系統(tǒng)可分為五層:數(shù)據(jù)采集、存儲(chǔ)、處理、分析、應(yīng)用及展現(xiàn)等,其技術(shù)體系如圖2所示。3.2通信運(yùn)營商的大數(shù)據(jù)存儲(chǔ)和分析技術(shù)3.2.1應(yīng)用展現(xiàn)層:大數(shù)據(jù)存儲(chǔ)和分析技術(shù)從大數(shù)據(jù)在電信行業(yè)的應(yīng)用特點(diǎn)看,面向電信運(yùn)營商的大數(shù)據(jù)應(yīng)用技術(shù)也體現(xiàn)了軟件分層的概念,其技術(shù)應(yīng)用框架如圖3所示。其中,數(shù)據(jù)整合層負(fù)責(zé)數(shù)據(jù)的抽取、凈化等,數(shù)據(jù)服務(wù)層提供數(shù)據(jù)的存儲(chǔ)和處理,應(yīng)用分析層對(duì)數(shù)據(jù)的價(jià)值做進(jìn)一步深入挖掘和分析,應(yīng)用展現(xiàn)層為用戶提供數(shù)據(jù)的應(yīng)用及可視化。大數(shù)據(jù)存儲(chǔ)和分析技術(shù)是大數(shù)據(jù)技術(shù)體系的核心技術(shù),也是大數(shù)據(jù)在電信行業(yè)成功應(yīng)用的關(guān)鍵,涉及了圖2大數(shù)據(jù)技術(shù)體系的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和分析應(yīng)用等部分,并位于圖3的數(shù)據(jù)服務(wù)層和應(yīng)用分析層。從數(shù)據(jù)服務(wù)的視角看,大數(shù)據(jù)存儲(chǔ)技術(shù)位于圖3的數(shù)據(jù)服務(wù)層,可以作為基礎(chǔ)的數(shù)據(jù)服務(wù)為上層應(yīng)用提供多種類型的數(shù)據(jù)處理和存儲(chǔ)功能,而流數(shù)據(jù)等復(fù)雜事件處理(ComplexEventProcessing,CEP)技術(shù)可以作為高級(jí)數(shù)據(jù)服務(wù)功能。大數(shù)據(jù)分析技術(shù)不僅包括流數(shù)據(jù)處理的高級(jí)數(shù)據(jù)服務(wù),還包括對(duì)數(shù)據(jù)進(jìn)一步的深入挖掘和應(yīng)用分析,即圖3的應(yīng)用分析層,如數(shù)據(jù)挖掘、數(shù)據(jù)搜索、在線分析處理(OnlineAnalyticsProcessing,OLAP)、統(tǒng)計(jì)分析、報(bào)表等。3.2.2技術(shù)組件組合、技術(shù)應(yīng)用部署軟件分層的大數(shù)據(jù)技術(shù)框架由各種類型的技術(shù)組件組成,每一個(gè)組件位于不同的層次,采用相互獨(dú)立的技術(shù),應(yīng)用于不同的應(yīng)用場(chǎng)景。大數(shù)據(jù)存儲(chǔ)和分析技術(shù)所構(gòu)成的技術(shù)組件包括內(nèi)存數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、分布式文件系統(tǒng)、對(duì)象存儲(chǔ)系統(tǒng)、實(shí)時(shí)流處理引擎、數(shù)據(jù)挖掘、數(shù)據(jù)搜索、OLAP分析、統(tǒng)計(jì)分析、報(bào)表等。面向電信行業(yè)的大數(shù)據(jù)技術(shù)解決方案,在實(shí)際應(yīng)用部署時(shí)可以考慮各種技術(shù)組件的有效組合,聚焦于具體應(yīng)用,強(qiáng)調(diào)“最合適的就是最好的”這一理念。以大數(shù)據(jù)存儲(chǔ)和分析技術(shù)的應(yīng)用部署為例,通過采用最簡(jiǎn)單的技術(shù)和組件組合,迅速形成應(yīng)用的原型系統(tǒng),然后再根據(jù)運(yùn)營商的具體需求不斷完善。圖4是中興通訊針對(duì)基于海量動(dòng)態(tài)位置信息的大數(shù)據(jù)服務(wù)而提供的大數(shù)據(jù)存儲(chǔ)和分析技術(shù)應(yīng)用的實(shí)際部署架構(gòu)示意圖。4大數(shù)據(jù)存儲(chǔ)和分析技術(shù)的應(yīng)用接口標(biāo)準(zhǔn)化4.1應(yīng)用接口設(shè)計(jì)作為基礎(chǔ)支撐技術(shù)的大數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展相對(duì)比較成熟,其應(yīng)用接口類型由分布式文件系統(tǒng)接口、對(duì)象存儲(chǔ)系統(tǒng)接口和各種類型的數(shù)據(jù)庫系統(tǒng)接口構(gòu)成,如表1所示。多數(shù)應(yīng)用級(jí)的分布式文件系統(tǒng)提供基于C或C++語言的應(yīng)用接口,有些還提供其他語言的應(yīng)用接口,如Java等。除了一些主流廠商提供的各種應(yīng)用級(jí)分布式文件系統(tǒng),如Google分布式文件系統(tǒng)(GoogleFileSystem,GFS)、MogileFS、FastFS等,開源平臺(tái)Hadoop也提供了以GFS為原型的Hadoop分布式文件系統(tǒng)(HadoopDistributeFileSystem,HDFS)。HDFS提供基于Java、C和HTTP語言的應(yīng)用接口類型,不遵循POSIX規(guī)范,其數(shù)據(jù)操作接口支持對(duì)文件和文件夾的操作,管理接口則提供自動(dòng)副本復(fù)制、系統(tǒng)容錯(cuò)性等功能。對(duì)象存儲(chǔ)系統(tǒng)的市場(chǎng)應(yīng)用相對(duì)較少,有代表性的除了AmazonS3提供基于對(duì)象操作語義的簡(jiǎn)單存儲(chǔ)服務(wù)外,開源組織OpenStack的Swift項(xiàng)目研究對(duì)象存儲(chǔ)器,用于存儲(chǔ)PB級(jí)的可用數(shù)據(jù),支持REST(REpresentationalStateTransfer,表述性狀態(tài)轉(zhuǎn)移)接口。REST是一種針對(duì)網(wǎng)絡(luò)應(yīng)用的設(shè)計(jì)和開發(fā)方式,可以降低開發(fā)的復(fù)雜性,提高系統(tǒng)的可伸縮性。數(shù)據(jù)庫系統(tǒng),除了傳統(tǒng)的分布式關(guān)系型數(shù)據(jù)庫系統(tǒng)提供對(duì)結(jié)構(gòu)化數(shù)據(jù)存放的SQL、JDBC、ODBC等應(yīng)用接口類型外,NoSQL數(shù)據(jù)庫系統(tǒng)針對(duì)不同的數(shù)據(jù)處理提供了四種數(shù)據(jù)模型:鍵值對(duì)(Key-Value)、列式(Column-Oriented)、文檔型(Document-Oriented)、圖型(Graph-Oriented)。NoSQL數(shù)據(jù)庫系統(tǒng)往往不支持SQL應(yīng)用接口類型,每種數(shù)據(jù)模型的NoSQL數(shù)據(jù)庫系統(tǒng)支持的應(yīng)用接口類型也不一樣,如HTTP/REST等,并提供基于Java、C等語言的應(yīng)用編程接口(ApplicationProgrammingInterface,API)。4.2api應(yīng)用接口大數(shù)據(jù)分析技術(shù)包括離線數(shù)據(jù)處理、實(shí)時(shí)數(shù)據(jù)處理和數(shù)據(jù)分析技術(shù),目前主要應(yīng)用于計(jì)算處理框架和數(shù)據(jù)分析模型,并為上層應(yīng)用提供基于類SQL、PMML等語言的API應(yīng)用接口。PMML全稱預(yù)言模型標(biāo)記語言,利用可擴(kuò)展標(biāo)記語言(XML)描述和存儲(chǔ)數(shù)據(jù)挖掘模型,是一個(gè)已經(jīng)被萬維網(wǎng)聯(lián)盟所接受的標(biāo)準(zhǔn)。例如,開源Hadoop項(xiàng)目的并行計(jì)算框架MapReduce,對(duì)離線數(shù)據(jù)提供簡(jiǎn)單的并行計(jì)算處理,并通過類SQL語言,如Hive、Pig等封裝成簡(jiǎn)單的API接口,為上層應(yīng)用提供計(jì)算服務(wù)。4.3應(yīng)用接口的標(biāo)準(zhǔn)化電信行業(yè)的大數(shù)據(jù)目前主要還是以結(jié)構(gòu)化數(shù)據(jù)為主,在大數(shù)據(jù)技術(shù)應(yīng)用上則以大數(shù)據(jù)存儲(chǔ)技術(shù)和大數(shù)據(jù)分析技術(shù)為主。大數(shù)據(jù)存儲(chǔ)技術(shù)的應(yīng)用接口類型多樣,而以分布式文件系統(tǒng)的應(yīng)用最為成熟,通過提取其體系結(jié)構(gòu)及應(yīng)用接口的通用特性,為這部分應(yīng)用接口的標(biāo)準(zhǔn)化提供了可行性。但是,對(duì)象存儲(chǔ)系統(tǒng)和NoSQL數(shù)據(jù)系統(tǒng)的技術(shù)應(yīng)用還不成熟,一些開源OpenStack、Hadoop技術(shù)目前還處于反復(fù)嘗試階段,無法確認(rèn)哪一個(gè)組件最適合處理某種工作負(fù)載。大數(shù)據(jù)分析技術(shù)的應(yīng)用接口主要通過類SQL、PMML等語言進(jìn)行封裝,為上層應(yīng)用提供API應(yīng)用接口。由于配置環(huán)境不同及開源Hadoop技術(shù)的不成熟,統(tǒng)一起來比較困難。因此,大數(shù)據(jù)技術(shù)在電信行業(yè)應(yīng)用的標(biāo)準(zhǔn)化,除了較為成熟的應(yīng)用級(jí)分布式文件系統(tǒng)的應(yīng)用接口外,其他類型的大數(shù)據(jù)存儲(chǔ)技術(shù)和大數(shù)據(jù)分析技術(shù)的應(yīng)用接口標(biāo)準(zhǔn)化可行性目前并不大。5技術(shù)組件組合大數(shù)據(jù)技術(shù)不是一種單一的技術(shù),而是各種技術(shù)的綜合運(yùn)用。大數(shù)據(jù)技術(shù)在電信行業(yè)的應(yīng)用集中體現(xiàn)在提升運(yùn)營商自身的運(yùn)營效率和數(shù)據(jù)經(jīng)營上,其應(yīng)用特點(diǎn)也體現(xiàn)了大數(shù)據(jù)技術(shù)的軟件分層的