運(yùn)營(yíng)商大數(shù)據(jù)典型業(yè)務(wù)場(chǎng)景

1、 2013 IBM Corporation運(yùn)營(yíng)商大數(shù)據(jù)典型業(yè)務(wù)場(chǎng)景運(yùn)營(yíng)商面臨的挑戰(zhàn) 移動(dòng)互聯(lián)網(wǎng)時(shí)代，運(yùn)營(yíng)商傳統(tǒng)增值業(yè)務(wù)的“后花園”圍墻已經(jīng)倒塌，運(yùn)營(yíng)商苦心經(jīng)營(yíng)的通訊網(wǎng)絡(luò)，成為互聯(lián)網(wǎng)企業(yè)甚至獨(dú)立開(kāi)發(fā)人員和團(tuán)隊(duì)的“藍(lán)?！?，終端、應(yīng)用APP成為主角，傳統(tǒng)業(yè)務(wù)如：語(yǔ)音和短信等也被逐漸蠶食。運(yùn)營(yíng)商在移動(dòng)互聯(lián)網(wǎng)價(jià)值鏈中被邊緣化，網(wǎng)絡(luò)的流量與收入之間的落差越來(lái)越大，即常言所說(shuō)的“被管道化”。運(yùn)營(yíng)商的創(chuàng)新策略途徑有三方面：運(yùn)營(yíng)商的創(chuàng)新策略途徑有三方面：途徑一：途徑一：進(jìn)一步壓縮網(wǎng)絡(luò)運(yùn)營(yíng)成本，運(yùn)營(yíng)商利用大數(shù)據(jù)分析能力，對(duì)網(wǎng)絡(luò)運(yùn)營(yíng)實(shí)現(xiàn)以投入產(chǎn)出比為導(dǎo)向的優(yōu)化，是降低運(yùn)營(yíng)成本的重要途徑；途徑二：途徑二：拓展新業(yè)務(wù)，

2、進(jìn)入OTT業(yè)務(wù)范圍，運(yùn)營(yíng)商利用大數(shù)據(jù)分析能力，轉(zhuǎn)型營(yíng)銷(xiāo)模式，結(jié)合客戶(hù)行為分析實(shí)現(xiàn)個(gè)性化、定制化和精確化營(yíng)銷(xiāo)；途徑三：途徑三：對(duì)流量進(jìn)行整合，以智能管道為目標(biāo)，通過(guò)業(yè)務(wù)創(chuàng)新獲得流量?jī)r(jià)值，運(yùn)營(yíng)商利用業(yè)務(wù)分析和集成能力，建設(shè)以業(yè)務(wù)策略為導(dǎo)向、大數(shù)據(jù)平臺(tái)為基礎(chǔ)的智能管道架構(gòu)設(shè)計(jì)和業(yè)務(wù)創(chuàng)新的設(shè)計(jì)。電信運(yùn)營(yíng)商的大數(shù)據(jù)業(yè)務(wù)應(yīng)用BSS域: 計(jì)費(fèi)系統(tǒng)架構(gòu)優(yōu)化、上網(wǎng)詳單查詢(xún)、內(nèi)容計(jì)費(fèi)OSS域: 實(shí)時(shí)信令檢測(cè)、無(wú)線網(wǎng)絡(luò)優(yōu)化EDA域: 流量分析、實(shí)時(shí)流量預(yù)警、輕量級(jí)數(shù)據(jù)匯總、批量數(shù)據(jù)關(guān)聯(lián)、歷史數(shù)據(jù)查詢(xún)MSS域: 企業(yè)大數(shù)據(jù)檢索市場(chǎng)與營(yíng)銷(xiāo)（MBO）: 客戶(hù)洞察、互聯(lián)網(wǎng)行為分析、位置分析、實(shí)時(shí)營(yíng)銷(xiāo)、輿情分析3Big Da

3、ta計(jì)費(fèi)計(jì)費(fèi)流程流程4固網(wǎng)固網(wǎng)業(yè)務(wù)業(yè)務(wù)移移動(dòng)業(yè)務(wù)動(dòng)業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)業(yè)務(wù)業(yè)務(wù)其他其他業(yè)務(wù)業(yè)務(wù)原始原始話單話單預(yù)處預(yù)處理理 采集采集 批批 價(jià)價(jià) 合合 帳帳 優(yōu)優(yōu) 惠惠 入入 庫(kù)庫(kù)查詢(xún)帳務(wù)采用大數(shù)據(jù)分布式處理技術(shù)優(yōu)化現(xiàn)有計(jì)費(fèi)系統(tǒng)架構(gòu)，采用大數(shù)據(jù)分布式處理技術(shù)優(yōu)化現(xiàn)有計(jì)費(fèi)系統(tǒng)架構(gòu)，支持流量計(jì)費(fèi)與海量上網(wǎng)詳單存儲(chǔ)于查詢(xún)支持流量計(jì)費(fèi)與海量上網(wǎng)詳單存儲(chǔ)于查詢(xún)海量分布式數(shù)據(jù)存儲(chǔ)與分析平臺(tái)海量分布式數(shù)據(jù)存儲(chǔ)與分析平臺(tái) 流量流量 話單話單 文件文件批量快速加載入批量快速加載入HBASE批量快速加載入批量快速加載入HBASE詳單查詢(xún)流量預(yù)警匯總分析不斷增大支持分級(jí)存儲(chǔ)、支持分級(jí)存儲(chǔ)、生命周期管理、生命周期管理、快照、

4、復(fù)制、快照、復(fù)制、全兼容文件操作全兼容文件操作.計(jì)費(fèi)系統(tǒng)架構(gòu)優(yōu)化計(jì)費(fèi)計(jì)費(fèi)流程流程5固網(wǎng)固網(wǎng)業(yè)務(wù)業(yè)務(wù)移移動(dòng)業(yè)務(wù)動(dòng)業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)業(yè)務(wù)業(yè)務(wù)其他其他業(yè)務(wù)業(yè)務(wù)語(yǔ)語(yǔ)音音話單話單預(yù)處預(yù)處理理 采集采集 批批 價(jià)價(jià) 合合 帳帳 優(yōu)優(yōu) 惠惠 入入 庫(kù)庫(kù)查詢(xún)帳務(wù)采用大數(shù)據(jù)分布式處理技術(shù)優(yōu)化現(xiàn)有計(jì)費(fèi)系統(tǒng)架構(gòu)，采用大數(shù)據(jù)分布式處理技術(shù)優(yōu)化現(xiàn)有計(jì)費(fèi)系統(tǒng)架構(gòu)，支持流量計(jì)費(fèi)與海量上網(wǎng)詳單存儲(chǔ)于查詢(xún)支持流量計(jì)費(fèi)與海量上網(wǎng)詳單存儲(chǔ)于查詢(xún)海量分布式數(shù)據(jù)存儲(chǔ)與分析平臺(tái)海量分布式數(shù)據(jù)存儲(chǔ)與分析平臺(tái)詳單查詢(xún)流量預(yù)警匯總分析支持分級(jí)存儲(chǔ)、支持分級(jí)存儲(chǔ)、生命周期管理、生命周期管理、快照、復(fù)制、快照、復(fù)制、全兼容文件操作全兼容文件操作.流量流

5、量話單話單裝載裝載 流量流量 話單話單 文件文件批量快加載入批量快加載入HBASE計(jì)費(fèi)系統(tǒng)架構(gòu)優(yōu)化-續(xù)流量流量話單話單6海量分布式數(shù)據(jù)存儲(chǔ)與分析平臺(tái)海量分布式數(shù)據(jù)存儲(chǔ)與分析平臺(tái)流量流量話單話單文件裝載文件裝載 流量流量 話單話單 文件文件實(shí)時(shí)流量預(yù)警流量流量預(yù)預(yù)警警預(yù)處預(yù)處理理 采集采集 批批 價(jià)價(jià)查詢(xún) 實(shí)實(shí) 時(shí)時(shí) 流流 量量 匯匯 總總 實(shí)時(shí)流量實(shí)時(shí)流量累計(jì)對(duì)比累計(jì)對(duì)比預(yù)警 用戶(hù)流量用戶(hù)流量 監(jiān)控表監(jiān)控表基于歷史數(shù)據(jù)基于歷史數(shù)據(jù) 挖掘預(yù)測(cè)挖掘預(yù)測(cè)設(shè)定設(shè)定預(yù)警預(yù)警閥值閥值批量快加載入批量快加載入HBASE2013 IBM Corporation7 7預(yù)處理中心預(yù)處理中心可查詢(xún)的歸檔可查詢(xún)的歸檔

6、 存儲(chǔ)海量歸檔歷史數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)流數(shù)據(jù)處理海量數(shù)據(jù)著陸區(qū)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)結(jié)合非結(jié)構(gòu)化信息 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)1查找和查看數(shù)據(jù)數(shù)據(jù)探索微秒級(jí)延遲的在線分析數(shù)據(jù)分析 數(shù)據(jù)挖掘數(shù)據(jù)挖掘報(bào)表展現(xiàn)探索性分析探索性分析23與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的融合匯總存儲(chǔ)海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)8Ingest數(shù)據(jù)緩沖、分析、沙箱區(qū)數(shù)據(jù)緩沖、分析、沙箱區(qū)Indexes, facetsHive/HBaseCol StoresDocumentsIn Variety of FormatsAnalyticsMapReduceRepository, Workbench實(shí)時(shí)數(shù)據(jù)攝取與提煉區(qū)實(shí)時(shí)數(shù)據(jù)攝取與提煉區(qū)DataSinksFil

7、ter, TransformIngestCorrelate, ClassifyExtract, Annotate數(shù)據(jù)倉(cāng)庫(kù)區(qū)數(shù)據(jù)倉(cāng)庫(kù)區(qū)Enterprise WarehouseData MartsQuery EnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearch數(shù)據(jù)分析區(qū)數(shù)據(jù)分析區(qū)元數(shù)據(jù)與數(shù)據(jù)治理區(qū)元數(shù)據(jù)與數(shù)據(jù)治理區(qū)連接器連接器整合的經(jīng)營(yíng)分析平臺(tái)架構(gòu) 2012 IBM Corporation9DPI爬爬蟲(chóng)蟲(chóng)Internet分分詞詞URL詞庫(kù)詞庫(kù) URL 分類(lèi)庫(kù)分類(lèi)庫(kù)網(wǎng)絡(luò)信令URL分類(lèi)分類(lèi)上網(wǎng)日志

8、上網(wǎng)日志 上網(wǎng)話單上網(wǎng)話單( (含含URL標(biāo)簽標(biāo)簽）客戶(hù)資料客戶(hù)資料數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)流量流向流量流向 等等分析分析挖掘挖掘工具工具URL分析 App應(yīng)用分析流量分析 客戶(hù)消費(fèi)分析關(guān)聯(lián)分析挖掘預(yù)測(cè) 數(shù)據(jù)數(shù)據(jù) 集市集市 高擴(kuò)展、實(shí)時(shí)高擴(kuò)展、實(shí)時(shí) 流計(jì)算引擎流計(jì)算引擎 對(duì)海量上網(wǎng)日志對(duì)海量上網(wǎng)日志實(shí)時(shí)分類(lèi)和打標(biāo)簽實(shí)時(shí)分類(lèi)和打標(biāo)簽 流計(jì)算引擎處理流計(jì)算引擎處理URL，實(shí)時(shí)分詞，實(shí)時(shí)分詞分布式海量數(shù)據(jù)存儲(chǔ)與分布式海量數(shù)據(jù)存儲(chǔ)與分析平臺(tái)，提供對(duì)海量分析平臺(tái)，提供對(duì)海量上網(wǎng)話單的高效存儲(chǔ)和上網(wǎng)話單的高效存儲(chǔ)和查詢(xún)?cè)L問(wèn)查詢(xún)?cè)L問(wèn)BigInsight 強(qiáng)大的強(qiáng)大的 統(tǒng)計(jì)分析展現(xiàn)統(tǒng)計(jì)分析展現(xiàn)與數(shù)據(jù)挖掘平臺(tái)與數(shù)據(jù)挖掘

9、平臺(tái) 內(nèi)存數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)提升提升URL分類(lèi)庫(kù)分類(lèi)庫(kù) 的比對(duì)性能的比對(duì)性能 ETL與數(shù)據(jù)倉(cāng)與數(shù)據(jù)倉(cāng)庫(kù)解決方案庫(kù)解決方案BigSQL/DataStage/ISAS/Netezza互聯(lián)網(wǎng)行為分析 2010 IBM Corporation10Raw Data1. CDR_SMS2. CDR_Voice3. Network4. IN5. ReloadEND POINTS1. Call Center2. SMSC3. Email4. IVR5. Etc.Event CodeSubscriber No.011380110020001139020230080213504212345Etc.。Real Tim

10、e Analytical ProcessingPromotion Event Tables Repository 1.Real Time Events monitoring2. Insert detected data into event tables3. Unica timely scan the event table for event based Campaign processing Method 1： Streams & Unica integrate via database tablesEvent CodeDescription013 drop calls within 1

11、days025 International call within 3 daysEtc.。event tables4. Streams directly trigger Unica pre-defined triggers for event based Campaign processing 基于流計(jì)算的實(shí)時(shí)營(yíng)銷(xiāo)Method 2： Streams & Unica integrate via trigger Unica triggers 2010 IBM Corporation大數(shù)據(jù)平臺(tái)數(shù)據(jù)分析展現(xiàn)通過(guò)Stream流計(jì)算集群對(duì)短信數(shù)據(jù)流中的失敗標(biāo)志位進(jìn)行實(shí)時(shí)過(guò)濾將失敗短信（包括失敗原因）加載到

12、HBASE展現(xiàn)前臺(tái)對(duì)分析結(jié)果進(jìn)行呈現(xiàn)BigInsights存儲(chǔ)海量失敗短信基于流計(jì)算的失敗短信處理失敗短信實(shí)時(shí)過(guò)濾全量短信數(shù)據(jù)流失敗短信數(shù)據(jù)加載短信短信網(wǎng)關(guān)網(wǎng)關(guān)短信短信詳單詳單 2012 IBM Corporation12StepDescription1Offline Analytic Toolkit built the initial white, black and grey lists 2SMS records of senders in grey list or new numbers will be sent to Real time Temporal Pattern Analyze

13、r3Suspicious numbers sent to Topology Graph Analyzer for social network analysis4Statistical results are visually displayed with Online Decision Support Tool 5Operator finally identifies spammers6Operator updates White, black and grey lists垃圾短信檢測(cè)器垃圾短信檢測(cè)器離線垃圾短信分析在線垃圾短信分析在線垃圾短信分析短信中心白名單黑名單新號(hào)碼灰名單社交網(wǎng)絡(luò)分析

14、決策支持展現(xiàn)統(tǒng)計(jì)分析與社交網(wǎng)絡(luò)分析結(jié)果，幫助運(yùn)營(yíng)商最終確認(rèn)垃圾短信號(hào)碼后臺(tái)系統(tǒng)計(jì)費(fèi)CRM經(jīng)分AdminNetwork基于歷史數(shù)據(jù)的垃圾短信預(yù)測(cè)分析236145實(shí)時(shí)短信記錄時(shí)序分析流計(jì)算處理與社交網(wǎng)絡(luò)分析模型實(shí)現(xiàn)精準(zhǔn)垃圾短信處理 2012 IBM Corporation1313Forrester Wave關(guān)于大數(shù)據(jù)的報(bào)告 2012 IBM Corporation14企業(yè)級(jí)大數(shù)據(jù)平臺(tái) BigInsightsInfoSphere Data Explorer NEW & BUNDLED: Indexing and “on the glass” integrationInfoSphere Streams

15、BUNDLED: Enables real-time, continuous analysis of data on the flyInfoSphere Guardium NEW: AuditingNetezzaNEW: Query and join data using UDFsCognos Business IntelligenceNEW & BUNDLED: Support for Hive; Business Intelligence capabilitiesInfoSphere BigInsightsAdministration & SecurityWorkload Optimiza

16、tionConnectorsAdvanced EnginesVisualization & ExplorationDevelopment ToolsOpen source Hadoop componentsInfoSphere DataStageData collection and integrationPlatform Computing NEW: High performance, low-latency platform computing gridR NEW: Application that allows users to execute R jobs directly from BigInsights web consoleDB2 and JDBCHigh speed parallel read-write for DB2 and JDBC connectivityWebSphereNEW: WAS 8.5 Liberty Profile high performance secure REST accessRatio