基于寬表的自助取數(shù)系統(tǒng)設(shè)計(jì)說(shuō)明

1、基于寬表的自助取數(shù)網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)摘 要：電信運(yùn)營(yíng)商在日益激烈的市場(chǎng)競(jìng)爭(zhēng)中，對(duì)營(yíng)銷IT支撐系統(tǒng)的依賴程度越來(lái)越高。營(yíng)業(yè)人員在營(yíng)銷活動(dòng)中，如何與時(shí)地獲取針對(duì)不同客戶的營(yíng)銷數(shù)據(jù)，成為直接影響營(yíng)銷效果的關(guān)鍵因素之一。在分析營(yíng)銷人員個(gè)性化實(shí)時(shí)取數(shù)需求的基礎(chǔ)上，構(gòu)建一種基于不同分析主題寬表的自助取數(shù)網(wǎng)絡(luò)系統(tǒng)，方便營(yíng)銷人員通過(guò)簡(jiǎn)單的界面操作實(shí)現(xiàn)快捷、實(shí)時(shí)的自助取數(shù)功能。關(guān)鍵詞：電信運(yùn)營(yíng)商；企業(yè)數(shù)據(jù)倉(cāng)庫(kù)；針對(duì)性營(yíng)銷；寬表；自助取數(shù)中圖分類號(hào)：TP393.08 文獻(xiàn)標(biāo)志碼：ADesign of Intelligent Data Acquire Network System Based on Wide TableX

2、iang Yong1,Zhang Qing1, WangHaixia1,Liu Ming2（1China Telecom Corporation Ltd. Guangzhou Research Institute, Guangzhou 510630, China；2University of Electronic Science and Technology of China, Chengdu 610054, China）Abstract: Under the increasingly fierce market competition circumstance, telecom operat

3、ors depend more and more on marketing IT support system. To promptly acquire different marketing data for different customers becomes a key factor to the effect of sale. In this assay, based on the analysis of the needs for ad-hoc and real-time marketing data access, we construct wide tables for dif

4、ferent topics and design an auto-data fetch functional framework, which enables the sales staff retrieve marketing data conveniently, quickly and real-timely, through simple UI operation.Key words: Telecom operators; Enterprise data warehouse; Targeted marketing; Wide table; Intelligent data acquire

5、1 引言中國(guó)電信業(yè)競(jìng)爭(zhēng)越來(lái)越激烈，市場(chǎng)情況瞬息萬(wàn)變。為促進(jìn)企業(yè)有效益、可持續(xù)發(fā)展，有效控制離網(wǎng)率和流失率，電信運(yùn)營(yíng)商開(kāi)展了一系列針對(duì)性營(yíng)銷活動(dòng)。所謂針對(duì)性營(yíng)銷，是指根據(jù)客戶的消費(fèi)需求、消費(fèi)特征等對(duì)客戶進(jìn)行細(xì)分，針對(duì)不同需求特征的客戶群，提供差異化的產(chǎn)品、套餐或服務(wù)的營(yíng)銷過(guò)程。在此過(guò)程中，離不開(kāi)各類營(yíng)銷數(shù)據(jù)的決策支持，這些都不同程度地需要使用和依賴于各種IT支撐系統(tǒng)。通常情況下，營(yíng)銷過(guò)程所需的各類數(shù)據(jù)都由功能齊全、系統(tǒng)復(fù)雜的經(jīng)營(yíng)分析類系統(tǒng)提供。由于這類系統(tǒng)通常都直接建立在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)之上，分析主題相對(duì)固定，運(yùn)算量較大，因此，其數(shù)據(jù)獲取的實(shí)效性和個(gè)性化都存在明顯的不足。本文針對(duì)當(dāng)前營(yíng)銷支撐系統(tǒng)中存

6、在的取數(shù)效率不足的問(wèn)題，提出了一種用于營(yíng)銷人員以自助方式獲取數(shù)據(jù)支持的網(wǎng)絡(luò)系統(tǒng)功能框架。文章其他部分組織如下：第2節(jié)對(duì)相關(guān)工作進(jìn)行說(shuō)明；第3節(jié)對(duì)本文的系統(tǒng)定位和功能設(shè)計(jì)等進(jìn)行描述；第4節(jié)給出系統(tǒng)參考實(shí)現(xiàn)和使用效果描述；最后總結(jié)全文。2 相關(guān)工作本文提出的自助取數(shù)系統(tǒng)，是在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上，建立由不同主題寬表構(gòu)成的數(shù)據(jù)集市，需要運(yùn)用到數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的相關(guān)知識(shí)、技術(shù)和手段。文獻(xiàn)1-4只是從數(shù)據(jù)倉(cāng)庫(kù)基本概念，到數(shù)據(jù)挖掘方法和技術(shù)，進(jìn)行了較為詳實(shí)的介紹；文獻(xiàn)5對(duì)數(shù)據(jù)集市相關(guān)知識(shí)做了介紹。這些文獻(xiàn)都沒(méi)涉與到自助取數(shù)的相關(guān)介紹。而自助取數(shù)功能的設(shè)計(jì)，將直接提高營(yíng)銷人員在營(yíng)銷活動(dòng)中取得的效果。3 系統(tǒng)

7、設(shè)計(jì)自助取數(shù)，是通過(guò)B/S模式（用戶使用瀏覽器）提供了一系列的取數(shù)方式（如模板取數(shù)、客戶細(xì)分、自定義取數(shù)等），使分析人員可以不直接訪問(wèn)數(shù)據(jù)庫(kù)或在沒(méi)有IT支撐的情況下通過(guò)web界面方便、快捷、簡(jiǎn)單地獲取所需數(shù)據(jù)。自助取數(shù)能夠降低針對(duì)性營(yíng)銷IT支撐的成本，提高業(yè)務(wù)人員對(duì)IT支撐的滿意度。營(yíng)銷人員可以依托自助取數(shù)功能實(shí)現(xiàn)閉環(huán)的針對(duì)性營(yíng)銷，提高針對(duì)性營(yíng)銷中營(yíng)銷數(shù)據(jù)獲取的方便性和快捷性，幫助多個(gè)角度分析客戶，培養(yǎng)用數(shù)據(jù)說(shuō)話、科學(xué)營(yíng)銷的習(xí)慣和技能，從而促進(jìn)業(yè)務(wù)人員在營(yíng)銷策劃、管理中的發(fā)散性思維。自助取數(shù)網(wǎng)絡(luò)系統(tǒng)，由數(shù)據(jù)庫(kù)（用作寬表數(shù)據(jù)集市等）、應(yīng)用服務(wù)（自助取數(shù)業(yè)務(wù)邏輯處理模塊）和web服務(wù)（營(yíng)銷人員操作

8、門戶）組成。本文主要介紹數(shù)據(jù)庫(kù)寬表設(shè)計(jì)和自助取數(shù)功能框架設(shè)計(jì)。3.1 功能定位針對(duì)性營(yíng)銷全過(guò)程分為客戶理解、營(yíng)銷策劃、營(yíng)銷執(zhí)行和營(yíng)銷評(píng)估等四個(gè)階段。從業(yè)務(wù)操作、功能應(yīng)用的角度出發(fā)，自助取數(shù)功能主要應(yīng)用于客戶理解階段。同時(shí)，也對(duì)其它階段予以支持。階段功能體現(xiàn)如下：1）客戶理解階段：營(yíng)銷策劃和管理人員通過(guò)自助取數(shù)得到目標(biāo)客戶的帳單費(fèi)用和通話行為等信息后，輔以其他的手段深入分析客戶消費(fèi)與行為特征，更好支持客戶理解。2）營(yíng)銷策劃階段：獲取客戶的屬性類、擁有類、行為類、價(jià)值類和反饋等數(shù)值后，用戶可以利用excel等常用軟件，進(jìn)行相對(duì)簡(jiǎn)單的營(yíng)銷策劃。3）營(yíng)銷執(zhí)行階段：營(yíng)銷執(zhí)行人員可以通過(guò)自助取數(shù)功能得到需

9、要關(guān)注客戶的每日購(gòu)買、通話和消費(fèi)行為。4）營(yíng)銷評(píng)估階段：可以將目標(biāo)客戶清單導(dǎo)入到自助取數(shù)功能模塊中，獲取目標(biāo)客戶連續(xù)多個(gè)帳務(wù)月的帳單和通話量指標(biāo)，再利用excel等常用軟件，實(shí)現(xiàn)對(duì)目標(biāo)客戶群簡(jiǎn)單的效果評(píng)估分析。3.2 寬表設(shè)計(jì)圖1描述了自助取數(shù)功能的數(shù)據(jù)架構(gòu)。為了保證數(shù)據(jù)的一致性，避免系統(tǒng)資源的浪費(fèi)，自助取數(shù)功能建議直接從EDW/ODS系統(tǒng)獲取數(shù)據(jù)。圖1 自助取數(shù)功能的數(shù)據(jù)架構(gòu)自助取數(shù)數(shù)據(jù)集市的寬表，根據(jù)加載頻度可分為以下兩類：1） 按月加載的匯總表。包括帳單信息匯總表、通話信息匯總表和小靈通短消息信息匯總表等。根據(jù)目標(biāo)對(duì)象，分別有產(chǎn)品實(shí)例月匯總表、月匯總表和客戶月匯總表。這些表中的帳單、話單

10、等指標(biāo)按帳務(wù)月進(jìn)行匯總，相對(duì)數(shù)據(jù)挖掘?qū)挶矶?，指?biāo)的粒度要適當(dāng)歸并以適應(yīng)自助取數(shù)的需求。各省需要根據(jù)EDW的性能、存儲(chǔ)空間等實(shí)際情況，基于數(shù)據(jù)挖掘?qū)挶硪砸晥D的形式生成月匯總表，或者ETL生成獨(dú)立的月匯總表。2） 按日增量或者全量加載的日更新表。日更新表中保存的是從EDW中直接抽取的數(shù)據(jù)，主要是產(chǎn)品實(shí)例和客戶的基本屬性的最新數(shù)據(jù)。針對(duì)營(yíng)銷策劃分析和管理人員對(duì)自助取數(shù)的業(yè)務(wù)需求，可以將其分為三大主題：1） 帳務(wù)月取數(shù)：主要是基于按月匯總的帳單、通話量等指標(biāo)進(jìn)行數(shù)值約束的查詢?nèi)?shù)，所以也稱為數(shù)值約束取數(shù)。具體包括收入取數(shù)、通話量取數(shù)等；2） 日期段取數(shù)：包括新增清單、拆機(jī)清單、到達(dá)清單和到期清單等二

11、級(jí)取數(shù)主題，具體又涉與主產(chǎn)品實(shí)例、附屬產(chǎn)品實(shí)例、單產(chǎn)品優(yōu)惠、優(yōu)惠和群組優(yōu)惠的清單取數(shù)?？紤]到寬帶的特殊性，需要單列寬帶產(chǎn)品實(shí)例清單取數(shù)和寬帶優(yōu)惠清單取數(shù)。同時(shí)，由于群組優(yōu)惠和優(yōu)惠下往往關(guān)聯(lián)多個(gè)產(chǎn)品實(shí)例，還需要單列群組優(yōu)惠關(guān)聯(lián)產(chǎn)品清單取數(shù)和優(yōu)惠關(guān)聯(lián)產(chǎn)品清單取數(shù)。因?yàn)榭偸切枰x定一個(gè)時(shí)間窗，所以稱為日期段取數(shù)。具體包括主產(chǎn)品實(shí)例業(yè)務(wù)量取數(shù)、附屬產(chǎn)品實(shí)例業(yè)務(wù)量取數(shù)、寬帶產(chǎn)品實(shí)例業(yè)務(wù)量取數(shù)、單產(chǎn)品優(yōu)惠業(yè)務(wù)量取數(shù)、賬戶優(yōu)惠業(yè)務(wù)量取數(shù)、群組優(yōu)惠業(yè)務(wù)量取數(shù)等；3） 數(shù)據(jù)挖掘打分?jǐn)?shù)據(jù)取數(shù)：獲取數(shù)據(jù)挖掘打分寬表中的打分?jǐn)?shù)據(jù)。具體包括客戶分群取數(shù)、客戶價(jià)值取數(shù)、客戶忠誠(chéng)度取數(shù)和流失預(yù)警取數(shù)等。各種取數(shù)主題交叉組合

12、，會(huì)產(chǎn)生更加復(fù)雜的取數(shù)需求，需要基于自助取數(shù)的主題劃分，進(jìn)行數(shù)據(jù)準(zhǔn)備，設(shè)計(jì)界面和功能。3.3 功能設(shè)計(jì)營(yíng)銷和管理人員的自助取數(shù)業(yè)務(wù)（操作）流程，一般分為四步，如圖2所示：圖2 自助取數(shù)業(yè)務(wù)流程示意圖為了覆蓋完整的業(yè)務(wù)流程，同時(shí)，為了更好地體現(xiàn)模塊化設(shè)計(jì)思想，可將自助取數(shù)的功能模塊劃分成七個(gè)子模塊：配置管理、智能取數(shù)、取數(shù)結(jié)果管理、取數(shù)任務(wù)管理、用戶管理、統(tǒng)計(jì)審計(jì)和自組織管理。其功能框架如下圖3所示。圖3 自助取數(shù)功能框架下面對(duì)各個(gè)功能子模塊進(jìn)行介紹。3.3.1 配置管理通過(guò)配置管理得到各種約束參數(shù)模板和結(jié)果字段模板，利用這些配置模板來(lái)滿足各種差異化的取數(shù)需求。約束參數(shù)指標(biāo)很多，用戶需要的只會(huì)是

13、一小部分，過(guò)多的約束參數(shù)會(huì)導(dǎo)致使用難度很大。為了降低使用難度，要針對(duì)不同的取數(shù)主題設(shè)定約束參數(shù)模板。約束參數(shù)可分為兩大類：Ø 數(shù)值指標(biāo)的約束參數(shù)：各種帳單指標(biāo)、通話量指標(biāo)等。應(yīng)該支持同類數(shù)值指標(biāo)的簡(jiǎn)單運(yùn)算，生成新的數(shù)值指標(biāo)。Ø 屬性的約束參數(shù)：客戶的營(yíng)銷服務(wù)屬性、客戶等級(jí)等基本屬性，對(duì)于產(chǎn)品實(shí)例包括產(chǎn)品類型屬性、關(guān)聯(lián)的附屬產(chǎn)品類型、產(chǎn)品落地區(qū)域、關(guān)聯(lián)的套餐等。所謂的“結(jié)果字段”，是結(jié)果文件清單中的顯示信息，主要是產(chǎn)品實(shí)例與其客戶的各種基本屬性、套餐購(gòu)買信息、附屬產(chǎn)品實(shí)例擁有信息等。不同用戶、在不同的取數(shù)主題中對(duì)結(jié)果字段的需不一樣的。結(jié)果字段的配置管理，就是針對(duì)不同的取數(shù)主題

14、，把一般需要的字段設(shè)置為結(jié)果字段，并保存為模板。3.3.2 智能取數(shù)智能取數(shù)功能子模塊主要包含以下三個(gè)功能點(diǎn)：1) 規(guī)則定義取數(shù)：用戶對(duì)數(shù)據(jù)的需非常多樣化的，需要通過(guò)設(shè)定時(shí)間、產(chǎn)品、套餐、地域等維度約束、設(shè)定各種帳務(wù)月指標(biāo)和通話量指標(biāo)的數(shù)值圍來(lái)實(shí)現(xiàn)。這種通過(guò)界面設(shè)定約束參數(shù)的過(guò)程，就是一個(gè)規(guī)則定義的過(guò)程?；诮缑嫔显O(shè)定的規(guī)則，再生成取數(shù)SQL，提交執(zhí)行以獲得清單結(jié)果。規(guī)則定義中，能夠?qū)?shù)值型約束參數(shù)限定數(shù)值圍：即：X1<=約束指標(biāo)A<=X2，其中的X1,X2為用戶填寫的數(shù)值變量。用戶可以只填一個(gè)變量，或者同時(shí)填寫兩個(gè)變量。如果都不填寫，則約束指標(biāo)A不會(huì)作為取數(shù)中的查詢約束參數(shù)。2)

15、 文件上傳取數(shù)：把特定類型的數(shù)值或者字符存放于EXCEL或者TXT等格式的文件中，上傳該文件實(shí)現(xiàn)取數(shù)?？梢曰?、客戶編號(hào)、編號(hào)、寬帶、VPN群組號(hào)等字段類型進(jìn)行上傳。用戶可以基于“規(guī)則定義取數(shù)”模塊，在取數(shù)界面上設(shè)定各種規(guī)則參數(shù)的值或者值圍，以作為取數(shù)的約束條件，進(jìn)行參數(shù)過(guò)濾查詢。3) SQL模板取數(shù)：IT人員定義SQL取數(shù)模板，業(yè)務(wù)人員使用SQL模板取數(shù)的模式。SQL模板中的變量參數(shù)設(shè)定規(guī)則中，對(duì)于某些變量參數(shù)，例如日期、地域、套餐、產(chǎn)品等應(yīng)該盡可能提供界面進(jìn)行選取。3.3.3 取數(shù)結(jié)果管理取數(shù)結(jié)果管理主要包括如下功能：1) 結(jié)果文件管理：主要從取數(shù)任務(wù)狀態(tài)顯示、取數(shù)任務(wù)查看、取數(shù)任務(wù)刪除和

16、取數(shù)任務(wù)執(zhí)行等角度，來(lái)管理取數(shù)結(jié)果文件。2) 取數(shù)任務(wù)邏輯復(fù)用：用戶點(diǎn)擊打開(kāi)已經(jīng)結(jié)束的取數(shù)任務(wù)，在舊的取數(shù)邏輯基礎(chǔ)上進(jìn)行一定的修改，從而復(fù)用以往的取數(shù)任務(wù)邏輯，提高取數(shù)工作效率。3) 結(jié)果文件格式轉(zhuǎn)換：取數(shù)任務(wù)結(jié)束后，自助取數(shù)功能模塊根據(jù)用戶要求生成了特定格式的清單文件。3.3.4 取數(shù)任務(wù)管理取數(shù)任務(wù)管理子功能包括以下三個(gè)功能點(diǎn)：1) 結(jié)果文件生成：根據(jù)用戶需要的文件格式，生成對(duì)應(yīng)格式的清單文件。該文件保存于服務(wù)器硬盤上，用戶可以下載應(yīng)用。2) 任務(wù)的執(zhí)行控制：出于系統(tǒng)的性能考慮，需要對(duì)系統(tǒng)的任務(wù)執(zhí)行情況作相應(yīng)的調(diào)度和控制。取數(shù)任務(wù)被提交時(shí)，檢測(cè)該用戶是否有正在執(zhí)行的取數(shù)任務(wù)。如果有，則將提

17、交的任務(wù)強(qiáng)制轉(zhuǎn)為預(yù)約取數(shù)，否則立即執(zhí)行該任務(wù)。即需要保證用戶在一個(gè)時(shí)間點(diǎn)只能有一個(gè)取數(shù)任務(wù)被執(zhí)行。3) 取數(shù)結(jié)束通知：取數(shù)任務(wù)執(zhí)行結(jié)束后，無(wú)論成功或者失敗，都可以通過(guò)小靈通短信或者等方式通知用戶。3.3.5 自組織管理自助取數(shù)功能模塊實(shí)現(xiàn)自組織功能，實(shí)現(xiàn)自我學(xué)習(xí)、持續(xù)優(yōu)化，從而提高自助取數(shù)的靈活性和客戶滿意度。主要包括如下功能點(diǎn)：1) 預(yù)約取數(shù)的自組織：對(duì)取數(shù)主題進(jìn)行劃分后，統(tǒng)計(jì)不同取數(shù)主題下任務(wù)執(zhí)行所需的平均時(shí)間。根據(jù)時(shí)間長(zhǎng)短從高到低進(jìn)行排序，將排在前面20%的取數(shù)主題定義為低效取數(shù)主題。這樣，用戶提交取數(shù)任務(wù)后，自助取數(shù)功能模塊將屬于低效取數(shù)主題的取數(shù)任務(wù)強(qiáng)制轉(zhuǎn)為預(yù)約取數(shù)。屬于低效取數(shù)主題

18、的取數(shù)任務(wù)被要求在系統(tǒng)空閑時(shí)間執(zhí)行，當(dāng)IT人員優(yōu)化了其SQL邏輯后，預(yù)約取數(shù)的自組織功能才會(huì)將低效取數(shù)主題重新定義為非低效取數(shù)主題。2) 約束參數(shù)的自組織：約束參數(shù)的自組織功能，簡(jiǎn)而言之就是根據(jù)約束參數(shù)的被使用次數(shù)，對(duì)約束參數(shù)進(jìn)行界面顯示的動(dòng)態(tài)排序，使用次數(shù)越多的約束參數(shù)越排在前面。主要體現(xiàn)在兩個(gè)方面：定義約束參數(shù)模板時(shí)，待選的約束參數(shù)動(dòng)態(tài)排序，便于用戶選擇常用的約束參數(shù)進(jìn)入?yún)?shù)模板；基于模板在界面上顯示約束參數(shù)列表時(shí)，模板的約束參數(shù)基于約束參數(shù)排序記錄將參數(shù)在界面上顯示出來(lái)。使用頻次越多的參數(shù)排在界面的前面。這種排序顯示能夠不斷提高常用約束參數(shù)的顯示排序，從而逐漸自組織地改善參數(shù)顯示的合理性

19、，提高用戶的使用滿意度。3) 結(jié)果字段的自組織：根據(jù)結(jié)果字段的使用頻次，對(duì)結(jié)果字段進(jìn)行自動(dòng)排序。使用次數(shù)越多的結(jié)果字段，在定義結(jié)果字段模板時(shí)，其界面顯示順序就越靠前。這種自組織的動(dòng)態(tài)排序，能夠降低用戶定義結(jié)果字段模板的難度。由于結(jié)果字段往往很多，常用的結(jié)果字段排在前列，有利于用戶選擇使用。4) 存儲(chǔ)空間的自組織：取數(shù)結(jié)果以文件的形式保存在計(jì)算機(jī)硬盤上，硬盤空間不夠會(huì)導(dǎo)致結(jié)果文件生成失敗。存儲(chǔ)空間的自組織管理自動(dòng)監(jiān)控硬盤剩余空間，當(dāng)剩余空間小于預(yù)設(shè)值時(shí)自動(dòng)告警，并自動(dòng)刪除部分取數(shù)結(jié)果文件。3.3.6 統(tǒng)計(jì)與審計(jì)從多種角度、層次記錄、分析和統(tǒng)計(jì)各應(yīng)用、用戶的訪問(wèn)情況和取數(shù)情況，有助于后續(xù)的開(kāi)發(fā)與運(yùn)

20、維支撐工作的開(kāi)展，也有助于管控?cái)?shù)據(jù)的獲取、防止客戶資料的泄漏。3.3.7 用戶管理主要包括的增、刪、改、查操作，以與用戶權(quán)限的控制，并能進(jìn)行用戶個(gè)性化定制設(shè)置，如取數(shù)結(jié)果文件格式、自助取數(shù)條件保存和復(fù)用等。4 系統(tǒng)效果圖4 自助取數(shù)系統(tǒng)中條件配置界面圖5 自助取數(shù)系統(tǒng)中執(zhí)行取數(shù)界面圖4和圖5是某電信運(yùn)營(yíng)商自助取數(shù)系統(tǒng)中的相關(guān)界面。從系統(tǒng)上線后投入實(shí)際運(yùn)營(yíng)的使用情況來(lái)看，本文提出的自助取數(shù)網(wǎng)絡(luò)系統(tǒng)功能設(shè)計(jì)方案，可以有效解決營(yíng)銷過(guò)程中存在的以下關(guān)鍵問(wèn)題： 1）取數(shù)流程過(guò)長(zhǎng)目前的IT數(shù)據(jù)支撐流程中，營(yíng)銷人員從擬定取數(shù)工作聯(lián)系單到最終獲得數(shù)據(jù)，往往需要經(jīng)過(guò)較多的工序，反復(fù)溝通的成本較大、周期較長(zhǎng)。營(yíng)銷人員自助取數(shù)方式，能夠有效地減少取數(shù)環(huán)節(jié)，實(shí)現(xiàn)快速取數(shù)響應(yīng)。 2）取數(shù)需求過(guò)于集中日常工作中的取數(shù)需求通常在時(shí)間上較為集中，根據(jù)經(jīng)驗(yàn)，取數(shù)需求主要集中在月初和月中。這容易導(dǎo)致取數(shù)需求難以得到快速響應(yīng)。營(yíng)銷人員自助取數(shù)方式，能夠有效緩解I