浙江紹興電信綜合營銷系統(tǒng)（IMS）建設方案

1、1附件一紹興電信綜合營銷系統(tǒng)（IMS）方案建議目 錄TOC o 2-3 t 標題 1,11系統(tǒng)綜述 PAGEREF _Toc54429752 h 62系統(tǒng)總體設計 PAGEREF _Toc54429753 h 72.1建設策略建議 PAGEREF _Toc54429754 h 72.1.1集中解決目前急需問題 PAGEREF _Toc54429755 h 72.1.2以客戶為中心建立數(shù)據(jù)集市 PAGEREF _Toc54429756 h 72.1.3簡化數(shù)據(jù)來源 PAGEREF _Toc54429757 h 82.1.4功能上應有取有舍 PAGEREF _Toc54429758 h 82.1.

2、5以數(shù)據(jù)集市為核心組織基礎數(shù)據(jù) PAGEREF _Toc54429759 h 82.2系統(tǒng)建設原則 PAGEREF _Toc54429760 h 92.3系統(tǒng)的業(yè)務架構 PAGEREF _Toc54429761 h 102.3.1以針對性營銷為核心的分析架構 PAGEREF _Toc54429762 h 102.3.2以營銷自動化為核心的處理架構 PAGEREF _Toc54429763 h 112.3.3以多角色支持為核心的界面架構 PAGEREF _Toc54429764 h 112.4系統(tǒng)的技術架構 PAGEREF _Toc54429765 h 122.4.1數(shù)據(jù)獲取層 PAGEREF

3、_Toc54429766 h 132.4.2數(shù)據(jù)存儲層 PAGEREF _Toc54429767 h 132.4.3數(shù)據(jù)展現(xiàn)層 PAGEREF _Toc54429768 h 142.4.4元數(shù)據(jù) PAGEREF _Toc54429769 h 152.5系統(tǒng)功能結構 PAGEREF _Toc54429770 h 153數(shù)據(jù)獲取層 PAGEREF _Toc54429771 h 163.1數(shù)據(jù)源分析 PAGEREF _Toc54429772 h 163.1.1系統(tǒng)接口分析 PAGEREF _Toc54429773 h 163.2ETL過程 PAGEREF _Toc54429774 h 193.2.1

4、數(shù)據(jù)抽取 PAGEREF _Toc54429775 h 203.2.2數(shù)據(jù)轉換 PAGEREF _Toc54429776 h 213.2.3數(shù)據(jù)加載 PAGEREF _Toc54429777 h 233.2.4數(shù)據(jù)審核 PAGEREF _Toc54429778 h233.2.5ETL過程管理 PAGEREF _Toc54429779 h 243.2.6ETL具體實現(xiàn) PAGEREF _Toc54429780 h 254數(shù)據(jù)存儲層 PAGEREF _Toc54429781 h 274.1數(shù)據(jù)倉庫信息模型設計原則 PAGEREF _Toc54429782 h 274.2模型設計方法 PAGEREF

5、 _Toc54429783 h 274.3數(shù)據(jù)倉庫信息模型 PAGEREF _Toc54429784 h 294.4數(shù)據(jù)集市構建方法 PAGEREF _Toc54429785 h 314.5OLAP分析模型 PAGEREF _Toc54429786 h 324.5.1OLAP分析模型建模方法 PAGEREF _Toc54429787 h 324.5.2OLAP分析技術實現(xiàn)方法 PAGEREF _Toc54429788 h 324.5.3客戶情況分析模型 PAGEREF _Toc54429789 h 344.5.4業(yè)務發(fā)展分析模型 PAGEREF _Toc54429790 h 344.5.5收益

6、情況分析模型 PAGEREF _Toc54429791 h 354.5.6市場競爭分析模型 PAGEREF _Toc54429792 h 365數(shù)據(jù)展現(xiàn)層 PAGEREF _Toc54429793 h 375.1綜合查詢 PAGEREF _Toc54429794 h 375.1.1自定義查詢功能 PAGEREF _Toc54429795 h 375.1.2主題查詢功能 PAGEREF _Toc54429796 h 375.1.3即席查詢功能 PAGEREF _Toc54429797 h 385.2統(tǒng)計分析報表 PAGEREF _Toc54429798 h 395.2.1統(tǒng)計報表數(shù)據(jù)來源 PAG

7、EREF _Toc54429799 h 405.2.2統(tǒng)計報表要素分類 PAGEREF _Toc54429800 h 415.3預定義報表 PAGEREF _Toc54429801 h 425.3.1省公司報表 PAGEREF _Toc54429802 h 435.3.2本地網(wǎng)報表 PAGEREF _Toc54429803 h 435.4關鍵指標展示報表 PAGEREF _Toc54429804 h 445.4.1今日視點 PAGEREF _Toc54429805 h 445.4.2每月聚焦 PAGEREF _Toc54429806 h 445.4.3年度回眸 PAGEREF _Toc5442

8、9807 h 485.4.4競爭前沿 PAGEREF _Toc54429808 h 525.5營銷渠道支撐 PAGEREF _Toc54429809 h 555.5.1營銷管理平臺 PAGEREF _Toc54429810 h 555.5.2片區(qū)經理/高級客戶經理營銷服務平臺 PAGEREF _Toc54429811 h 555.5.3社區(qū)經理/客戶經理營銷服務平臺 PAGEREF _Toc54429812 h 555.5.4系統(tǒng)管理平臺 PAGEREF _Toc54429813 h 565.6話務量針對性營銷 PAGEREF _Toc54429814 h 565.6.1客戶信息查詢 PAGE

9、REF _Toc54429815 h 565.6.2話務量營銷支撐 PAGEREF _Toc54429816 h 575.6.3信息反饋支撐 PAGEREF _Toc54429817 h 585.7數(shù)據(jù)分析支撐（OLAP分析） PAGEREF _Toc54429818 h 595.7.1客戶情況分析 PAGEREF _Toc54429819 h 595.7.2業(yè)務發(fā)展分析 PAGEREF _Toc54429820 h 635.7.3收益情況分析 PAGEREF _Toc54429821 h 645.7.4市場競爭分析 PAGEREF _Toc54429822 h 685.8領導駕駛艙 PAGE

10、REF _Toc54429823 h 705.8.1儀表顯示 PAGEREF _Toc54429824 h 705.8.2圖表顯示 PAGEREF _Toc54429825 h 716元數(shù)據(jù)管理 PAGEREF _Toc54429826 h 726.1ETL、數(shù)據(jù)倉庫、數(shù)據(jù)集市、前端展現(xiàn)的元數(shù)據(jù)管理 PAGEREF _Toc54429827 h 726.2管理對象 PAGEREF _Toc54429828 h 746.3元數(shù)據(jù)互聯(lián) PAGEREF _Toc54429829 h 747系統(tǒng)管理 PAGEREF _Toc54429830 h 757.1.1用戶管理 PAGEREF _Toc5442

11、9831 h 757.1.2用戶劃分 PAGEREF _Toc54429832 h 757.1.3工號維護 PAGEREF _Toc54429833 h 757.1.4工號密碼維護 PAGEREF _Toc54429834 h 757.2預警管理 PAGEREF _Toc54429835 h 767.2.1預警管理功能描述及標識 PAGEREF _Toc54429836 h 767.2.2系統(tǒng)預警的對象 PAGEREF _Toc54429837 h 767.2.3系統(tǒng)預警的功能 PAGEREF _Toc54429838 h 767.3系統(tǒng)日志管理 PAGEREF _Toc54429839 h

12、777.3.1功能描述 PAGEREF _Toc54429840 h 777.3.2子模塊功能描述 PAGEREF _Toc54429841 h 777.4權限管理 PAGEREF _Toc54429842 h 787.5系統(tǒng)備份 PAGEREF _Toc54429843 h 788系統(tǒng)平臺建議方案 PAGEREF _Toc54429844 h 808.1綜合營銷系統(tǒng)平臺簡介 PAGEREF _Toc54429845 h 808.2本期系統(tǒng)平臺建議 PAGEREF _Toc54429846 h 818.3設備配置建議 PAGEREF _Toc54429847 h 828.3.1存儲系統(tǒng)配置 P

13、AGEREF _Toc54429848 h 828.3.2服務器系統(tǒng)配置 PAGEREF _Toc54429849 h 848.3.3整體配置方案建議 PAGEREF _Toc54429850 h 86系統(tǒng)綜述為適應日趨激烈的市場競爭環(huán)境，提升紹興電信的企業(yè)核心競爭力，應充分利用業(yè)務支撐系統(tǒng)產生的大量寶貴的數(shù)據(jù)資源，盡快建立綜合營銷系統(tǒng)，以便可以進行“保、挖、搶”等針對性營銷，并支持多層面的用戶使用，為市場經營工作提供及時、準確、科學的決策依據(jù)。綜合營銷系統(tǒng)利用先進的計算機和網(wǎng)絡技術對營銷渠道進行支撐，同時對客戶、帳務、計費、結算等業(yè)務數(shù)據(jù)進行多層次、多角度、多種方式的統(tǒng)計分析，揭示客戶、業(yè)務

14、的內在規(guī)律和發(fā)展趨勢，形成極具管理決策價值的戰(zhàn)略信息，使決策者能始終把握大局，從容應對紛繁復雜、快速多變的電信競爭市場。建設綜合營銷系統(tǒng)IMS可以達到下列應用目標：協(xié)助企業(yè)進行“保、挖、搶”等針對性營銷。及時提供真實可靠的企業(yè)經營信息，為經營管理人員科學地進行決策提供經營信息支持。幫助企業(yè)建立整體信息視圖（one view），協(xié)調紹興電信內部各部門之間的合作關系。系統(tǒng)總體設計建設策略建議本著急用先行，簡單有效的原則，我們建議本期系統(tǒng)建設采取如下建設策略：集中解決目前急需問題本期系統(tǒng)應該解決目前紹興電信面臨的最需要解決的問題：即對于全網(wǎng)經營情況的把握和針對性營銷的支撐。鑒于急用先行原則，我們建議

15、本期綜合營銷系統(tǒng)的目標定位為以下幾點：提供對全網(wǎng)市場經營情況的全方位視圖；解決目前面對競爭的針對性營銷的支撐需求；提供面向營銷的各類分析數(shù)據(jù)。以客戶為中心建立數(shù)據(jù)集市目前企業(yè)最缺乏的分析功能，是基于各類客戶和客戶行為的統(tǒng)計分析，包括營銷渠道支撐系統(tǒng)的建立，也體現(xiàn)著以客戶為中心進行各種營銷和服務的思想。因此，本期系統(tǒng)主要考慮以客戶為中心建立的數(shù)據(jù)集市，其中的主要內容如下：客戶基本信息：包括與經營分析相關的各種客戶信息，如客戶類別、所屬區(qū)間、行業(yè)、收入、信用度、忠誠度等信息的分析結果；客戶擁有的服務信息：即客戶擁有服務的相關信息，如號碼，服務類別、服務特性、SLA等信息的分析結果；客戶消費行為信息

16、：包括其消費詳單、賬單、繳費流水、客戶的業(yè)務受理情況（包括新增、拆機等）等的分析結果；客戶其他行為信息：如投訴、建議、資源、障礙申告等信息的分析結果；客戶網(wǎng)間消費行為：如跨網(wǎng)的消費情況（從網(wǎng)間數(shù)據(jù)得到）等的分析結果。簡化數(shù)據(jù)來源綜合營銷系統(tǒng)的上線工作中，各類數(shù)據(jù)的收集整理占了很大比重。因此，本期系統(tǒng)，應該大大簡化系統(tǒng)的數(shù)據(jù)來源，只對最主要的數(shù)據(jù)來源進行采集，對不太重要的數(shù)據(jù)源，可以先放到二期再進行處理。具體地，我們建議把系統(tǒng)的數(shù)據(jù)來源限定在：計費帳務系統(tǒng)：本期綜合營銷系統(tǒng)的數(shù)據(jù)采集重點應該在計費帳務系統(tǒng)中，計費帳務系統(tǒng)提供主要的客戶消費行為數(shù)據(jù)，在營銷所需要的數(shù)據(jù)中，計費帳務系統(tǒng)可以提供80的

17、數(shù)據(jù)來源；九七系統(tǒng)：要從九七系統(tǒng)中采集客戶基本信息和客戶服務信息，以及客戶的受理信息收集；網(wǎng)間結算數(shù)據(jù)：從中抽取各種客戶網(wǎng)間消費行為的數(shù)據(jù)；其他系統(tǒng)：其他系統(tǒng)的信息收集主要考慮以收集客戶行為信息為主。功能上應有取有舍完整的綜合營銷系統(tǒng)可以包含很多功能，尤其有強大的數(shù)據(jù)采集和管理功能，但是，目前紹興電信建設這種大而全的綜合營銷系統(tǒng)并未突出紹興電信急需的功能。因此，我們建議紹興電信本期系統(tǒng)在功能方面應有取有舍：一方面，在功能方面，應該對系統(tǒng)管理、數(shù)據(jù)采集、數(shù)據(jù)管理等功能，盡可能地進行精簡，只留下最小的功能集合，以突出營銷分析的主題；另一方面，應該加入領導駕駛艙等功能，以使系統(tǒng)更能支持多角色使用，支

18、撐針對性營銷的實際需求。以數(shù)據(jù)集市為核心組織基礎數(shù)據(jù)在本地網(wǎng)級進行經營活動的各種監(jiān)控和分析，可以主要是利用統(tǒng)計好的數(shù)據(jù)而不是清單進行處理。因此，建議本期系統(tǒng)將重點放在建設數(shù)據(jù)集市方面，系統(tǒng)主要保留統(tǒng)計好的歷史數(shù)據(jù)在集市中，以便進行各種縱向分析和比較。而對于一些詳單的查詢要求，可以直接從計費系統(tǒng)中讀取，以節(jié)省存儲空間。系統(tǒng)建設原則綜合營銷系統(tǒng)涉及到數(shù)據(jù)庫、聯(lián)機分析處理（OLAP）等多種學科與技術的交叉。在技術實現(xiàn)上涉及到多種系統(tǒng)平臺與工具的集成。因此，在系統(tǒng)的技術實現(xiàn)上應充分考慮多種技術和平臺的無縫集成。因此，系統(tǒng)建設必須遵循以下要求：開放性：為保證系統(tǒng)的開放性，系統(tǒng)構建中要使用世界主流的硬件平

19、臺（主機、網(wǎng)絡設備等）和軟件平臺，基于業(yè)界開放式標準，支持系統(tǒng)建設中涉及的各種網(wǎng)絡協(xié)議、硬件接口、數(shù)據(jù)接口等，為未來的系統(tǒng)擴展奠定基礎。同時，為了保證系統(tǒng)的開放性，在數(shù)據(jù)模型建立時，數(shù)據(jù)存儲中應充分考慮對未來業(yè)務發(fā)展的最大支持（如：客戶數(shù)據(jù)/用戶數(shù)據(jù)的處理上考慮較為全面的采集，模型建立中使用獨立的客戶數(shù)據(jù)域，為CRM系統(tǒng)使用客戶/用戶數(shù)據(jù)奠定基礎），使相關系統(tǒng)能夠順利地訪問和使用該系統(tǒng)數(shù)據(jù)。靈活性與可擴展性：全局數(shù)據(jù)存儲模型的設計采用面向企業(yè)整體信息的主題域方式，保證信息的完整性和信息主題的穩(wěn)定性。將來新業(yè)務數(shù)據(jù)和分析需求出現(xiàn)，新（業(yè)務）數(shù)據(jù)的加入可以按照域歸屬的方式進行增加，在無主題域可依的

20、情況下，采用建立新域的方式進行數(shù)據(jù)擴展。分析模型可以通過數(shù)據(jù)集市對主題域進行多次重構，系統(tǒng)能保證重構后的分析模型符合數(shù)據(jù)要求，這樣也保證了對未來相關系統(tǒng)的數(shù)據(jù)支撐。安全可靠性：綜合營銷系統(tǒng)使用集中的管理模塊和集中的數(shù)據(jù)處理，有利于對系統(tǒng)的整體管理和安全控制。這種安全機制不僅能定義數(shù)據(jù)的安全性，而且能定義應用級的安全性。系統(tǒng)的安全管理能夠通過門戶方式與其它應用集成為一體。實用性：結合不同部門、不同的業(yè)務需求，合理的構建分析模型（按主題、地市、部門建立不同的OLAP分析模型），以及合理地組織數(shù)據(jù)（特別是有效又合理的數(shù)據(jù)粒度、分析模型的數(shù)據(jù)總量控制），保證了查詢效率與響應時間。對現(xiàn)有業(yè)務運營系統(tǒng)影響

21、小，是系統(tǒng)的設計基本要求，采取恰當?shù)臄?shù)據(jù)抽取策略和控制機制（晚間自動抽取控制）來達到這一目標。系統(tǒng)對大多數(shù)使用人員提供通過瀏覽器訪問方式，并且提供多種圖表展現(xiàn)方式（如：柱狀圖、餅圖、多維透視表等），只要會使用瀏覽器，就會使用本系統(tǒng)。通過門戶與OA融合，向個性化的方向發(fā)展，提供短消息以及語音的訪問方式，使人機接口、展現(xiàn)方式多樣化，實用化，靈活方便。系統(tǒng)的業(yè)務架構系統(tǒng)的體系結構應分為業(yè)務架構和技術架構，以下說明系統(tǒng)的業(yè)務架構：以針對性營銷為核心的分析架構目前，電信市場的競爭已經非常劇烈，移動、聯(lián)通等運營商通過準單向收費、VPN、大客戶打包優(yōu)惠等方式進行競爭，不但使中國電信在客戶方面造成流失，而且也

22、導致了話務量的大量分流。因此，目前的當務之急是要動員中國電信的營銷力量，立即展開針對性營銷。要開展好針對性營銷，綜合營銷系統(tǒng)的支撐幾乎是必不可少的先決條件。首先，要支撐針對性營銷，本期綜合營銷系統(tǒng)必須要能夠提供目前各類客戶的各種消費情況的分析和波動情況分析，從中發(fā)現(xiàn)現(xiàn)有客戶的各種異動情況，以及這些異動情況的特點和分布，以便盡早發(fā)現(xiàn)各種客戶流失或者話務流失的先兆，采取措施盡可能地保住現(xiàn)有客戶及其話務量。另外，要完成此目標，系統(tǒng)還必須具備從各本地網(wǎng)的社區(qū)營銷等系統(tǒng)中提取競爭對手信息的數(shù)據(jù)進行分析處理，以便針對競爭對手的動態(tài)開展有針對性的營銷活動；其次，本期綜合營銷系統(tǒng)還應該能夠通過各種過網(wǎng)數(shù)據(jù)分析

23、和客戶的消費分析，發(fā)現(xiàn)潛在用戶的發(fā)展可能方向，并據(jù)此得出結論，進而指導營銷方案的制訂和推廣，同時達到挖掘潛在話務量的目的。最后，本期綜合營銷系統(tǒng)應能整合各類與競爭對手的客戶有關的信息源（包括網(wǎng)間數(shù)據(jù)，各類含競爭對手話務的清單數(shù)據(jù)等），進行綜合統(tǒng)計和分析，尤其是發(fā)現(xiàn)競爭對手的有價值客戶的基本特點和分布情況，以便有針對性地采取營銷措施，對競爭對手的客戶進行搶奪，力爭化被動為主動，最終改變中國電信的競爭態(tài)勢。以上這些需求，宏智科技的綜合營銷系統(tǒng)都以專題分析的方式提供了較為完整和體系化的支持，用戶能夠在這些專題的導引下，方便地進行各種類別的針對性營銷分析。以營銷自動化為核心的處理架構系統(tǒng)的處理架構應圍

24、繞著營銷自動化的思路展開，完成發(fā)現(xiàn)和確認營銷目標(比如要對零費用的所有用戶等)分解營銷任務分解考核指標實施營銷反饋營銷實施情況分析營銷實施效果完成考核這樣的一個全流程的管理，其目的是：社區(qū)經理/客戶經理的工作難度（我原先的想法是強調社區(qū)經理的主觀能動性，主動從數(shù)據(jù)中挖掘營銷目標），降低對他們的要求；分工明確（社區(qū)經理/客戶經理、營銷分析人員、營銷管理人員職責明確）；提高營銷過程效率；實現(xiàn)營銷過程閉環(huán)管理。同時，針對性營銷的最終目的要落實到營銷方案的制訂和推行上，尤其是紹興電信總部更是要負責制訂出營銷方案或營銷策略的指導意見。因此，系統(tǒng)要能對營銷方案進行全流程的監(jiān)控，包括在營銷方案推出前的預評估

25、，營銷方案進行中的跟蹤以及營銷方案定期的效果評估等。比如預評估指的是系統(tǒng)應能預先鎖定營銷方案針對的客戶群、話務集合進行數(shù)據(jù)統(tǒng)計和分析，得出營銷方案涉及的客戶數(shù)量、涉及的話務量、涉及的金額等，從而方案的盈虧平衡點或者是營銷方案的成本等，從而供決策層進行綜合分析和評估。以多角色支持為核心的界面架構綜合營銷系統(tǒng)將有不同層面的用戶進行使用，不同層面用戶的要求是不同的，尤其是本系統(tǒng)作為本地網(wǎng)級的綜合營銷系統(tǒng)，這方面的特點尤其突出。宏智科技建議的三層界面架構如下：例如對于紹興電信的高層領導來說，他們沒有太多精力了解計算機技術，在數(shù)據(jù)利用的尺度上也比較宏觀，因此系統(tǒng)就為他們專門設計了領導駕駛艙系統(tǒng)，以簡單直

26、觀的圖表方式提供數(shù)據(jù)的展現(xiàn)，使決策人員能一目了然地發(fā)現(xiàn)問題所在，并通過本系統(tǒng)層層深入地發(fā)現(xiàn)問題發(fā)生的原因，從而做出正確的反應和決策。對于紹興市電信的中層干部來說，他們需要向下貫徹公司高層領導的戰(zhàn)略意圖，并指導本部門基層干部將其演變?yōu)榫唧w的營銷動作或者變?yōu)橹笇Ц鳡I銷渠道的營銷策略，同時他們要對本部門所提出的各種營銷建議進行決策或提交高層決策。因此，系統(tǒng)界面以體現(xiàn)結果的各類預定義報表為主，但這些報表本身都可以做為分析的起始點進行深度挖掘和分析。使中層干部一開始可以將注意力集中在關心的業(yè)務、指標和營銷方案實施的基本情況上，但同時也可以對自己關心的數(shù)據(jù)進行各種聯(lián)機分析和處理。同時，系統(tǒng)應能夠提供對于營

27、銷方案制訂的全流程支持，使分析的結果能迅速落實為營銷方案或營銷策略的建議。另外，系統(tǒng)應提供靈活且易用的報表定義功能，使基層干部能夠將分析的結果存為報表提供給各層領導做為決策依據(jù)和分析的起始點。對于紹興市電信的基層人員來說，他們需要對自己負責的業(yè)務或者客戶群進行細致的分析，發(fā)現(xiàn)趨勢及問題所在，并提出初步的營銷方案的建議或者采取具體的銷售動作。因此，系統(tǒng)應提供完善的清單功能和統(tǒng)計功能。同時，由于考核指標將是激勵基層人員的重要手段，因此，應提供圍繞考核指標提供各種統(tǒng)計和因素分析支持。系統(tǒng)的技術架構綜合營銷系統(tǒng)采用本地網(wǎng)集中的模式，在本地網(wǎng)建立數(shù)據(jù)中心，再通過這些數(shù)據(jù)存儲提取數(shù)據(jù)集市進行分析和呈現(xiàn)。綜

28、合營銷系統(tǒng)從各業(yè)務系統(tǒng)、非業(yè)務系統(tǒng)中將相關業(yè)務數(shù)據(jù)進行抽?。ㄤ浫耄⑶逑?、加工、整理、加載到數(shù)據(jù)倉庫中，在數(shù)據(jù)倉庫中形成基礎的分析數(shù)據(jù)的存儲，然后根據(jù)業(yè)務及管理等實際的需要在數(shù)據(jù)倉庫上建立適合各種應用的數(shù)據(jù)集市。數(shù)據(jù)倉庫、數(shù)據(jù)集市中蘊含的信息可以通過報表、OLAP分析、即席查詢等形式向綜合營銷系統(tǒng)使用人員展現(xiàn)。系統(tǒng)體系結構分為三層，即數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層，如下圖所示：下面分別對于軟件體系結構中的數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層進行說明。數(shù)據(jù)獲取層數(shù)據(jù)獲取層功能是將數(shù)據(jù)從數(shù)據(jù)源經過必要的抽取、清洗、轉換等處理后加載到綜合營銷系統(tǒng)數(shù)據(jù)庫中，即ETL過程。為保證數(shù)據(jù)的正確性，在ETL

29、的每一環(huán)節(jié)都必須對數(shù)據(jù)進行審計。ETL具有統(tǒng)一調度、監(jiān)控和管理功能。處理過程支持校驗點功能，當因某種原因使處理過程中斷時，可以從最近校驗點開始恢復處理過程。ETL的日志記錄了數(shù)據(jù)抽取、清洗、轉換、加載的歷史過程。為提高ETL工作效率，宏智科技開發(fā)的ETL工具內嵌的專用腳本語言、存儲過程完成綜合營銷系統(tǒng)復雜的ETL過程。數(shù)據(jù)存儲層數(shù)據(jù)存儲層包括中央數(shù)據(jù)倉庫和從屬的數(shù)據(jù)集市。中央數(shù)據(jù)倉庫是信息的邏輯和物理的存儲。在綜合營銷系統(tǒng)的實施過程中，對于某些主題的業(yè)務分析問題，可能會按照主題采用數(shù)據(jù)集市的方式對數(shù)據(jù)進行進一步的組織。所以在數(shù)據(jù)倉庫的基礎之上根據(jù)分析需求創(chuàng)建相應的從屬數(shù)據(jù)集市。中央數(shù)據(jù)倉庫中央

30、數(shù)據(jù)倉庫是按照紹興電信整體的、全本地網(wǎng)一致的信息模型進行構建的，是綜合營銷系統(tǒng)的核心。由于經營信息需求的不斷變化，數(shù)據(jù)倉庫必須采用主題分域的方式和盡可能小的業(yè)務單元來進行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)使用的靈活性和信息的完整性，即適應需求的變化，又可保證最少量的數(shù)據(jù)冗余避免信息的不一致，節(jié)約系統(tǒng)投資，并以“元數(shù)據(jù)驅動、螺旋上升”的方法來指導系統(tǒng)建設。數(shù)據(jù)集市中央數(shù)據(jù)倉庫構建是對數(shù)據(jù)集市的數(shù)據(jù)支撐，幾乎所有的業(yè)務分析都需要通過進一步組織數(shù)據(jù)集市來實現(xiàn)，以滿足性能、靈活性的要求。數(shù)據(jù)集市的建設主要面向部門和重要的領導，根據(jù)其關心的主題、數(shù)據(jù)層次、數(shù)據(jù)粒度不同，構建相應的數(shù)據(jù)集市。數(shù)據(jù)集市的數(shù)據(jù)

31、可直接來自于中央數(shù)據(jù)倉庫，也可直接進行采集。為一些訪問中央數(shù)據(jù)倉庫十分頻繁的關鍵業(yè)務部門建立從屬數(shù)據(jù)集市，可以提高查詢的反應速度。數(shù)據(jù)展現(xiàn)層數(shù)據(jù)展現(xiàn)層的主要功能是通過對數(shù)據(jù)存儲層的數(shù)據(jù)進行各種加工整理并進行分析預測等操作，然后將獲得的數(shù)據(jù)以文字、報表、曲線和各種圖形的方式，簡便、快捷地展現(xiàn)出來。主要包括綜合查詢、聯(lián)機分析處理（OLAP）、報表輸出、話務量營銷和領導駕駛艙功能。用戶經過身份安全、權限認證后訪問數(shù)據(jù)和進行各種分析、查詢操作，同時預留與信息門戶（比如OA系統(tǒng)）的接口，實現(xiàn)各種功能的無縫連接，并提供集成化的認證、信息發(fā)布和管理環(huán)境，使綜合營銷系統(tǒng)使用人員無需關心具體的技術實現(xiàn)途徑，即可

32、實現(xiàn)對綜合營銷系統(tǒng)數(shù)據(jù)的訪問和分析。同時門戶站點還可根據(jù)不同分析和決策人員的需求，對所需的訪問和分析內容進行方便、簡捷的定制，以滿足個性化信息服務的需求。元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，用以了解我們有什么信息，信息在什么地方，以及整個綜合營銷系統(tǒng)中如何利用信息的管理方式。元數(shù)據(jù)管理在綜合營銷系統(tǒng)開發(fā)建設中有很重要的作用。在綜合營銷系統(tǒng)建設過程中，根據(jù)紹興電信的業(yè)務需求和業(yè)務發(fā)展，構造全局數(shù)據(jù)模型，然后以數(shù)據(jù)模型為指導，分階段實施，逐步完成綜合營銷系統(tǒng)的建設，更重要的是，在實施的每個階段、每一階段內的每個步驟，都由元數(shù)據(jù)進行統(tǒng)一的管理和協(xié)調。因此，每個新的實施階段都能和前些階段通過統(tǒng)一的元數(shù)據(jù)實現(xiàn)

33、良好的對接和數(shù)據(jù)共享，保證各建設階段成果的連續(xù)性和有效性。系統(tǒng)功能結構紹興綜合營銷系統(tǒng)功能包含數(shù)據(jù)獲取、靜態(tài)報表、話務量營銷支撐、數(shù)據(jù)分析（OLAP分析）支撐、專題分析、領導駕駛艙、系統(tǒng)管理。數(shù)據(jù)獲取是系統(tǒng)的數(shù)據(jù)接口和ETL功能；報表、話務量營銷、OLAP分析、領導駕駛艙體現(xiàn)系統(tǒng)的業(yè)務功能；系統(tǒng)管理是系統(tǒng)的安全管理和系統(tǒng)維護功能。數(shù)據(jù)獲取層數(shù)據(jù)源分析紹興電信綜合營銷系統(tǒng)需要從以下數(shù)據(jù)源獲取相關數(shù)據(jù)：1、業(yè)務支撐系統(tǒng)：初期主要從本地計費帳務系統(tǒng)、九七系統(tǒng)提取數(shù)據(jù)。2、網(wǎng)間結算數(shù)據(jù)：獲取網(wǎng)間話單，市場競爭數(shù)據(jù)。3、市場調研、社會統(tǒng)計、競爭對手數(shù)據(jù)：從各種途徑獲取的社會統(tǒng)計數(shù)據(jù)、市場調研數(shù)據(jù)，提供人

34、工錄入功能。對于以上需通過人工錄入的數(shù)據(jù)，系統(tǒng)提供相應的工具或接口，并能支持通過Excel、HTML、XML、RTF、TXT等格式文檔加載的形式進行數(shù)據(jù)的批量錄入功能。接口方式：系統(tǒng)統(tǒng)一采用接口形式進行數(shù)據(jù)抽取，并建立接口區(qū)。設立數(shù)據(jù)接口區(qū)的目的在于對接口數(shù)據(jù)統(tǒng)一存儲。接口數(shù)據(jù)源形式為文本文件。系統(tǒng)接口分析1、綜合營銷系統(tǒng)從九七系統(tǒng)中提取客戶基本資料信息，如客戶名稱、住址、聯(lián)系方式、證件號碼、客戶類型、客戶細分等。信息特征：信息量級： 2-3E6（單位：記錄數(shù)）周期增量：一般小于10E4（單位：記錄數(shù)）周期更新幅度：一般小于10E4（單位：記錄數(shù)）接口方式：九七系統(tǒng)在每個周期把本周期新增、變化

35、或刪除的客戶基本資料信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期： 1次/天2、綜合營銷系統(tǒng)從九七系統(tǒng)提取客戶訂購資料信息，即每個客戶所使用的產品（服務）信息。信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：一般小于10E4（單位：記錄數(shù)）周期更新幅度：一般小于10E4（單位：記錄數(shù)）接口方式：九七系統(tǒng)在每個周期把本周期新增、變化或刪除的客戶產品（服務）信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期：1次/天3、綜合營銷系統(tǒng)從本地網(wǎng)計費帳務系統(tǒng)提取客戶帳戶資料信息，即客戶使用各項產品（服務所）所發(fā)生費用的付款單位的資料信息。1）帳戶基本信息信息特征：信息量級：1

36、0E6（單位：記錄數(shù)）周期增量：一般小于10E4（單位：記錄數(shù)）周期更新幅度：一般小于10E4（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)在每個周期把本周期新增、變化或刪除的帳戶基本資料信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期：1次/天2）帳戶繳費信息信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：10E5（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)在每個周期把本周期新增的帳戶繳費信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期：1次/天4、綜合營銷系統(tǒng)從各本地網(wǎng)計費帳務系統(tǒng)提取帳單資料。信息特征：信息量級：10E7（單位：記錄數(shù)）周期增量：10E7（約為客戶資料量級的8

37、10倍）(記錄)建議接口方式：計費帳務系統(tǒng)按周期將周期內數(shù)據(jù)全部傳遞至接口。周期：1次/月5、綜合營銷系統(tǒng)從計費帳務系統(tǒng)提取銷帳資料。信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：10E5（約為客戶資料量級的810倍）（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)按周期把周期內數(shù)據(jù)全部傳遞至接口。周期：1次/天6、綜合營銷系統(tǒng)從計費帳務系統(tǒng)提取欠費資料。信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：10E5（約為客戶資料量級的810倍）（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)按周期將周期內數(shù)據(jù)全部傳遞至接口。周期：1次/天7、綜合營銷系統(tǒng)從各本地網(wǎng)計費帳務系統(tǒng)提取呆壞帳資料。信息特征：信

38、息量級：10E5（單位：記錄數(shù)）周期增量：10E5（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)按周期將周期內數(shù)據(jù)全部傳遞至接口。周期：1次/月8、綜合營銷系統(tǒng)從計費帳務系統(tǒng)提取長途話單資料。信息特征：信息量級：10E8（單位：記錄數(shù)）周期增量：10E7（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)每個周期都將周期內完整信息傳遞至接口。周期：1次/天9、綜合營銷系統(tǒng)從計費帳務系統(tǒng)提取本地網(wǎng)話單資料。信息特征：信息量級：10E9（單位：記錄數(shù)）周期增量：10E8（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)每個周期都將周期內完整信息傳遞至接口。周期：1次/天10、綜合營銷系統(tǒng)從計費帳務系統(tǒng)提取相關配置表信息資料，如帳目

39、類型、話單類型信息、各種分類信息等。信息特征（針對每個配置表）：信息量級：10E110E3（單位：記錄數(shù)）周期增量：10E010E2（單位：記錄數(shù)）周期更新幅度：10E010E2（單位：記錄數(shù)）接口方式：計費帳務系統(tǒng)每個周期都將完整信息傳遞至接口。周期：1次/天11、綜合營銷系統(tǒng)提取網(wǎng)間通話數(shù)據(jù)資料。信息特征：信息量級：10E8（單位：記錄數(shù)）周期增量：10E7（單位：記錄數(shù)）接口方式：各本地網(wǎng)計費帳務系統(tǒng)每個周期都將周期內完整信息傳遞至接口。周期：1次/天ETL過程數(shù)據(jù)抽取、轉換和加載，是綜合營銷系統(tǒng)應用過程中，進行數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向數(shù)據(jù)倉庫加載的主要方法。數(shù)據(jù)抽取為了滿足綜合營銷系統(tǒng)的分析

40、、挖掘的需要，同時保證不能影響業(yè)務系統(tǒng)的性能，因此制定合適的抽取策略、抽取方式、抽取時機和抽取周期非常關鍵。對于大數(shù)據(jù)量(如話單)的抽取，采取“數(shù)據(jù)分割、縮短抽取周期”的原則。接口策略在獲取各業(yè)務生產系統(tǒng)源數(shù)據(jù)時，根據(jù)各業(yè)務系統(tǒng)提供數(shù)據(jù)的方式可以分為主動數(shù)據(jù)獲取和被動數(shù)據(jù)獲取兩種方式。主動數(shù)據(jù)獲取要求綜合營銷系統(tǒng)專門為各業(yè)務生產系統(tǒng)提供數(shù)據(jù)存放區(qū)，并為各業(yè)務系統(tǒng)制定所要求的數(shù)據(jù)內容和格式，要求各業(yè)務系統(tǒng)將產生數(shù)據(jù)定期傳送到本系統(tǒng)源數(shù)據(jù)存放區(qū)中。綜合營銷系統(tǒng)定期對源數(shù)據(jù)存放區(qū)（接口區(qū)）中的數(shù)據(jù)進行處理。被動數(shù)據(jù)采集要求各業(yè)務系統(tǒng)為綜合營銷系統(tǒng)開放數(shù)據(jù)庫連接，同時要求業(yè)務系統(tǒng)為綜合營銷系統(tǒng)提供專業(yè)

41、系統(tǒng)元數(shù)據(jù)。綜合營銷系統(tǒng)通過理解專業(yè)系統(tǒng)元數(shù)據(jù)，直接連接業(yè)務系統(tǒng)定期從數(shù)據(jù)庫中取數(shù)據(jù)，然后在系統(tǒng)內在對專業(yè)系統(tǒng)源數(shù)據(jù)進行處理，例如進行格式、編碼轉換等。采集周期可以根據(jù)具體情況，自行設計。這種方式要求業(yè)務系統(tǒng)對所提供的元數(shù)據(jù)進行版本和發(fā)布管理?？紤]到被動獲取比主動數(shù)據(jù)獲取對綜合營銷系統(tǒng)性能要求高和對業(yè)務生產系統(tǒng)安全和性能影響大等問題，我們采用主動數(shù)據(jù)獲取方式，要求各業(yè)務系統(tǒng)定期按要求傳送數(shù)據(jù)到源數(shù)據(jù)存放區(qū)。各業(yè)務系統(tǒng)以文本數(shù)據(jù)文件的方式傳送數(shù)據(jù)。抽取策略：不同特征的數(shù)據(jù)采用不同的抽取策略，保證減少對生產系統(tǒng)的影響，同時又能提高抽取數(shù)據(jù)的效率和及時率。具體策略如下：（1）小數(shù)據(jù)量的一些管理數(shù)據(jù)、

42、配置表數(shù)據(jù)等，可以采用完全抽取方式進行抽取；（2）大數(shù)據(jù)量的如帳單、話單數(shù)據(jù)，按抽取周期采用時間戳來做增量抽?。唬?）如果實在沒有時間戳，要進行完全抽取。抽取周期：抽取周期根據(jù)源數(shù)據(jù)的不同性質和實際的分析需求而有所不同，如話單數(shù)據(jù)可以每天抽取，出帳數(shù)據(jù)在每一帳務周期的最后一天抽取，而欠費、銷帳等信息可以每周抽取。具體的數(shù)據(jù)抽取周期要依據(jù)實際情況和要求協(xié)商而定。抽取時機：本操作盡可能在相關業(yè)務系統(tǒng)空閑的時段執(zhí)行。在數(shù)據(jù)抽取成功后，本抽取周期將不再執(zhí)行數(shù)據(jù)抽取操作。數(shù)據(jù)轉換數(shù)據(jù)轉換是指對抽取的源數(shù)據(jù)根據(jù)全局數(shù)據(jù)模型的要求，進行數(shù)據(jù)的轉換、清洗、拆分、匯總等處理，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信

43、息模型的一致性和完整性，并按要求裝入數(shù)據(jù)庫。根據(jù)實際情況，數(shù)據(jù)轉換可以在以下幾個環(huán)節(jié)中具體實現(xiàn)：使用異步數(shù)據(jù)加載，以文件的方式處理；在數(shù)據(jù)加載過程中進行數(shù)據(jù)處理；進入數(shù)據(jù)庫以后再進行數(shù)據(jù)處理。采用異步數(shù)據(jù)加載需要以文件方式處理時，必須充分考慮中間磁盤的存儲量以及在整個流程中的協(xié)調性及文件處理的效率；采用在數(shù)據(jù)加載過程中進行數(shù)據(jù)轉換時，必須考慮加載性能及效率；采用先將數(shù)據(jù)裝載到數(shù)據(jù)庫后再處理時，必須考慮數(shù)據(jù)庫引擎的海量數(shù)據(jù)處理能力。執(zhí)行時機：執(zhí)行周期根據(jù)不同接口數(shù)據(jù)而有所不同。執(zhí)行位置：從源數(shù)據(jù)存放區(qū)到加載入數(shù)據(jù)倉庫之間，這里存在大量的數(shù)據(jù)操作， 數(shù)據(jù)倉庫到加載入數(shù)據(jù)集市之間，這里主要存在數(shù)據(jù)轉

44、換、匯總等操作，基本沒有清洗操作。執(zhí)行功能：集成、轉換、清洗、拆分、匯總等處理集成：是將業(yè)務數(shù)據(jù)從一個或幾個來源中取出，并逐字段地將數(shù)據(jù)影射到全局數(shù)據(jù)的新數(shù)據(jù)結構上。轉換：將源數(shù)據(jù)按照全局數(shù)據(jù)模型結構進行數(shù)據(jù)處理，本處描述的轉換是簡單轉換，廣義的轉換是包括集成、轉換、清洗、拆分、匯總等處理。清洗：目的是為了保證前后一致地格式化和使用某一字段或相關的字段群。拆分：簡單轉換的一種形式，用于分解源數(shù)據(jù)中復合含義的數(shù)據(jù)。匯總：把業(yè)務環(huán)境中找到的細節(jié)數(shù)據(jù)壓縮成全局數(shù)據(jù)環(huán)境中的較少數(shù)據(jù)塊，有時進行聚集中的細節(jié)數(shù)據(jù)是為了避免數(shù)據(jù)倉庫存入業(yè)務環(huán)境中的那樣具體的數(shù)據(jù)，有時則是為了建立包括數(shù)據(jù)倉庫的聚集副本。代碼

45、轉換：如果是由數(shù)據(jù)抽取工具來完成數(shù)據(jù)的集成轉換，則用戶自定義的代碼轉換功能成為系統(tǒng)必須的功能。因為業(yè)務系統(tǒng)數(shù)據(jù)與全局數(shù)據(jù)的信息因各系統(tǒng)的不同會有較大的差異?？蛻粲心芰褪侄巫约憾x數(shù)據(jù)或代碼轉換的操作使系統(tǒng)有更大的靈活性。轉換技術：多線程、多進程技術由于數(shù)據(jù)清洗轉換操作的數(shù)據(jù)量非常大，要求數(shù)據(jù)清洗轉換程序以及所處的操作系統(tǒng)、主機要支持多線程、多進程的體系結構，以獲得最大的數(shù)據(jù)處理能力。散列文件參照機制在數(shù)據(jù)清洗的過程中，關鍵的耗時的工作是將輸入的數(shù)據(jù)與系統(tǒng)中的固定數(shù)據(jù)進行對照，每一條記錄都需對數(shù)據(jù)庫進行查詢耗費了大量的時間。在ETL過程中，數(shù)據(jù)集成模塊需要提供對固定參照數(shù)據(jù)的散列查找機制以提供

46、數(shù)據(jù)清洗的高效實現(xiàn)。專用數(shù)據(jù)庫驅動接口或API接口編程利用操作系統(tǒng)提供特點進行開發(fā)，例如數(shù)據(jù)上載內存等方式采用專用工具進行數(shù)據(jù)轉換數(shù)據(jù)審核：根據(jù)數(shù)據(jù)轉換審核方案，將轉換以后數(shù)據(jù)進行匯總分類統(tǒng)計，與數(shù)據(jù)接口區(qū)提供的審核資料進行比較。轉換策略：使用異步數(shù)據(jù)加載，以文件的方式處理；在數(shù)據(jù)加載過程中進行數(shù)據(jù)轉換。數(shù)據(jù)加載數(shù)據(jù)加載就是將轉換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。數(shù)據(jù)加載采用數(shù)據(jù)加載工具（例如：Warehouse Manager、FastLoad/MultiLoad等），也可以采用API編程進行數(shù)據(jù)加載。數(shù)據(jù)加載策略包括加載周期和數(shù)據(jù)追加策略。數(shù)據(jù)的追加策略根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務規(guī)則確定，一般有以

47、下三種類型：直接追加、全部覆蓋、更新追加。直接追加：是指每次加載時直接將數(shù)據(jù)追加到目的表中。全部覆蓋：對于抽取數(shù)據(jù)本身已包括了數(shù)據(jù)的當前和所有歷史狀況，采用全部覆蓋方式。更新追加：對于需要連續(xù)記錄業(yè)務的狀態(tài)變化，用當前的最新狀態(tài)同歷史狀態(tài)數(shù)據(jù)進行比對的情況采用更新追加的方式。作用區(qū)域：數(shù)據(jù)加載到數(shù)據(jù)倉庫和數(shù)據(jù)加載到數(shù)據(jù)集市的兩個區(qū)域。執(zhí)行時機：數(shù)據(jù)轉換成功以后即可以開展，并且要保證加載后業(yè)務數(shù)據(jù)的一致性和完整性。加載技術：數(shù)據(jù)加載采用數(shù)據(jù)加載工具加API編程進行數(shù)據(jù)加載。加載策略：加載周期：在保證加載后業(yè)務數(shù)據(jù)的一致性和完整性的基礎上，針對不同業(yè)務數(shù)據(jù)設置不同加載周期。數(shù)據(jù)追加策略：根據(jù)業(yè)務規(guī)

48、則和數(shù)據(jù)抽取策略，采用直接追加、全部覆蓋、更新追加。數(shù)據(jù)審核數(shù)據(jù)審核是指在每個數(shù)據(jù)加載周期中，保證數(shù)據(jù)倉庫中數(shù)據(jù)同數(shù)據(jù)源中數(shù)據(jù)業(yè)務意義上的一致性及數(shù)據(jù)的準確性。審核方法如下：在每個環(huán)節(jié)處理完成后進行抽樣審核（從數(shù)據(jù)源開始，到抽取出來的文本文件，到轉換后的文本文件，到裝載到數(shù)據(jù)倉庫的數(shù)據(jù)，到數(shù)據(jù)集市中的Cube數(shù)據(jù)），一方面對總量進行審核，另一方面對數(shù)據(jù)正確性進行驗證，分別對每一個維上的數(shù)據(jù)進行審核。對審核結果進行記錄并報告，發(fā)現(xiàn)審核錯誤的數(shù)據(jù)發(fā)Email或SMS通知系統(tǒng)管理員。數(shù)據(jù)審核程序與ETL模塊統(tǒng)一處理，審核程序配合ETL程序自動執(zhí)行。作用區(qū)域：在數(shù)據(jù)抽取、轉換、加載各個部分結束都需要進

49、行數(shù)據(jù)審核。在一些關鍵處理過程結束以后，進行自動的數(shù)據(jù)審核，這樣能夠及早發(fā)現(xiàn)問題，節(jié)省數(shù)據(jù)抽取、轉換、加載的時間。執(zhí)行周期：由數(shù)據(jù)抽取、轉換、加載過程結束以后觸發(fā)，在一些關鍵處理過程結束后觸發(fā)。審核策略：通過日志校驗；通過業(yè)務規(guī)則校驗，例如：記錄數(shù)，本月收入合計，某區(qū)客戶數(shù)量等進行源與目標數(shù)據(jù)的校驗；通過操作系統(tǒng)級校驗，例如：文件大小、奇偶校驗（常用于接口文件傳輸）。ETL過程管理ETL是一個復雜的過程，需要進行過程管理。ETL的過程管理包括ETL的調度、ETL程序管理、ETL出錯處理以及故障恢復。ETL的調度ETL是一批定時運行的后臺過程，需要通過一個合理的規(guī)劃進行自動運行，只有在ETL過程

50、出現(xiàn)異常時，進行人工干預或自動處理。本系統(tǒng)提供系統(tǒng)管理員的控制和管理界面。ETL程序管理ETL過程包括許多程序，這些程序在運行期間對數(shù)據(jù)進行處理，將這些ETL程序管理起來，可以保證ETL過程的正確及穩(wěn)定。ETL出錯處理及故障恢復在ETL過程中由于數(shù)據(jù)接口、網(wǎng)絡、主機或數(shù)據(jù)質量等問題，造成ETL過程出現(xiàn)錯誤，每次數(shù)據(jù)的處理和裝載需要將非法的數(shù)據(jù)或處理失敗的數(shù)據(jù)輸送到專門的出錯數(shù)據(jù)處理區(qū)中，一些錯誤可以通過自動處理進行恢復，一些錯誤需要人工進行處理。還可以自動將錯誤信息通過短信、mail等方式通知系統(tǒng)管理員或相關人員。ETL具體實現(xiàn)ETL過程需要重視的幾個方面通過長期實踐，宏智科技總結了以下幾個是

51、ETL過程中需要重視的方面：ETL時間是有限的，ETL的效率是系統(tǒng)的關鍵由于各本地網(wǎng)業(yè)務支撐系統(tǒng)在白天都在執(zhí)行關鍵的聯(lián)機應用，所以ETL過程通常要在晚上執(zhí)行，另外由于話單、賬單等數(shù)據(jù)量極大，所以ETL的效率是最為重要的。除了在硬件上提供保證，要充分考慮開發(fā)的軟件代碼效率，更為重要的是要進行ETL的規(guī)劃、設計和管理，盡可能考慮ETL各過程的并行操作，以充分利用系統(tǒng)資源。數(shù)據(jù)倉庫對數(shù)據(jù)的正確性要求是很高的，ETL要保證數(shù)據(jù)的正確性保證數(shù)據(jù)倉庫的正確性，首先需要從全局數(shù)據(jù)模型入手，只有正確的模型才會有正確的數(shù)據(jù)存儲。ETL是從數(shù)據(jù)源根據(jù)指定規(guī)則將數(shù)據(jù)轉換到數(shù)據(jù)倉庫中的數(shù)據(jù)遷移過程，在此過程中，每一個

52、步驟都是決定數(shù)據(jù)質量的關鍵，所以，要建立完善的過程來保證ETL的正確實施。我們采用以下方法來保證ETL的正確操作。嚴格的設計評審制度建立數(shù)據(jù)審核制度數(shù)據(jù)預警通過與歷史數(shù)據(jù)比較，檢測ETL的輸出數(shù)據(jù)是否存在較大差異，判斷是否數(shù)據(jù)出現(xiàn)錯誤，由于數(shù)據(jù)預警操作消耗資源較大，而且檢測對象一般是業(yè)務系統(tǒng)提供的接口數(shù)據(jù)，所以，宏智科技建議數(shù)據(jù)預警操作放置在審核接口數(shù)據(jù)部分。ETL過程中出現(xiàn)的錯誤需要在合適的時間內正確處理。ETL過程是非常復雜的過程，其中涉及到業(yè)務系統(tǒng)、業(yè)務規(guī)則、系統(tǒng)硬件環(huán)境、系統(tǒng)管理等各方面，ETL過程出現(xiàn)錯誤是必然的。在設計、管理中盡可能做周全考慮的前提下，還要考慮ETL過程中出現(xiàn)錯誤后

53、該如何處理的機制。ETL出現(xiàn)的錯誤可以分成多種，各種錯誤對數(shù)據(jù)倉庫的數(shù)據(jù)造成的影響是不同的，需要解決的迫切程度也有所不同，根據(jù)宏智公司的經驗，將ETL過程產生的錯誤分成4個級別：嚴重錯誤，需要立即解決；較嚴重錯誤，影響系統(tǒng)部分數(shù)據(jù)，需要當日解決；一般錯誤，影響系統(tǒng)較小部分數(shù)據(jù)，且其中沒有重要數(shù)據(jù)，需要解決；警告，出現(xiàn)異?；蝈e誤，但不影響系統(tǒng)數(shù)據(jù)，需要管理員注意。數(shù)據(jù)存儲層數(shù)據(jù)倉庫信息模型設計原則綜合營銷系統(tǒng)信息模型的設計應該遵循中央數(shù)據(jù)倉庫的穩(wěn)定性和數(shù)據(jù)集市的靈活性；數(shù)據(jù)倉庫面向信息主題、數(shù)據(jù)集市面向分析業(yè)務；數(shù)據(jù)集市的數(shù)據(jù)來自數(shù)據(jù)倉庫的原則。綜合營銷系統(tǒng)的數(shù)據(jù)存儲分成數(shù)據(jù)倉庫和數(shù)據(jù)集市兩個邏

54、輯上獨立的存儲。數(shù)據(jù)從數(shù)據(jù)源經過數(shù)據(jù)抽取、轉換后加載到數(shù)據(jù)倉庫，根據(jù)不同主題的數(shù)據(jù)集市的要求，數(shù)據(jù)從數(shù)據(jù)倉庫中根據(jù)轉換規(guī)則將數(shù)據(jù)加載到指定數(shù)據(jù)集市。由于綜合營銷系統(tǒng)的業(yè)務需求容易變化，數(shù)據(jù)倉庫中數(shù)據(jù)的存儲必須采用信息主題分域的方式和盡可能小的業(yè)務單元（保存細節(jié)數(shù)據(jù)）來進行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)的靈活性，適應需求的變化，又可保證最小數(shù)據(jù)冗余，避免數(shù)據(jù)的不一致。數(shù)據(jù)倉庫數(shù)據(jù)存儲模型的設計采用面向企業(yè)整體信息的主題域方式，保證信息的完整性和信息主題的穩(wěn)定性。將來新業(yè)務數(shù)據(jù)和分析需求出現(xiàn)，新（業(yè)務）數(shù)據(jù)的加入可以按照域歸屬的方式進行增加，在無主題域可依的情況下，采用建立新域的方式進行數(shù)據(jù)擴

55、展。分析模型可以通過數(shù)據(jù)集市對主題域進行多次重構，系統(tǒng)能保證重構后的分析模型數(shù)據(jù)要求，這樣也保證了對未來相關系統(tǒng)的數(shù)據(jù)支撐。模型設計方法概念數(shù)據(jù)模型(CDM)概念模型是主觀與客觀之間的橋梁，它是用于我們?yōu)橐欢ǖ哪繕嗽O計系統(tǒng)、收集信息而服務的一個概念性的工具。具體到計算機系統(tǒng)來說，概念模型是客觀世界到機器世界的一個中間層次。人們首先將現(xiàn)實世界抽象為信息世界，然后將信息世界轉化為機器世界，信息世界中的這一信息結構，即是我們所說的概念模型。由于E-R圖具有良好的可操作性，形式簡單，易于理解，便于與用戶交流，對客觀世界的描述能力也較強，在數(shù)據(jù)庫設計方面更得到了廣泛的應用。因為目前的綜合營銷系統(tǒng)數(shù)據(jù)一般

56、都建立在關系數(shù)據(jù)庫的基礎上，為了和原有數(shù)據(jù)庫的概念模型相一致，采用E-R圖作為綜合營銷系統(tǒng)的概念模型仍然是較為適合的。概念數(shù)據(jù)模型的設計是在較高的抽象層次上的設計，因此在建立概念模型時不必考慮具體技術條件的限制。進行概念數(shù)據(jù)模型設計要完成以下兩個工作：界定系統(tǒng)邊界確定主要主題域及其內容邏輯數(shù)據(jù)模型(FS-LDM)邏輯數(shù)據(jù)模型是系統(tǒng)體系結構大廈的一塊基石，它主要包含實體、屬性、實體與實體之間的關系、實體與屬性之間的關系。在項目實施過程中模型會被定制、修改、加入新的實體，任何對PS-LDM的更改都將影響到邏輯數(shù)據(jù)模型設計人員、數(shù)據(jù)庫管理員、應用開發(fā)人員、操作人員、業(yè)務用戶。因此邏輯數(shù)據(jù)模型包含的實

57、體、屬性名稱、屬性格式、實體與實體之間的關系、實體與屬性之間的關系應當加入元數(shù)據(jù)庫中。邏輯數(shù)據(jù)模型設計要進行以下工作：分析主題域，確定當前要裝載的主題確定粒度層次劃分確定數(shù)據(jù)分割策略關系模式定義記錄系統(tǒng)定義物理數(shù)據(jù)模型（PDM）物理數(shù)據(jù)由邏輯數(shù)據(jù)模型按照基本的建模步驟轉換而來。物理數(shù)據(jù)模型為數(shù)據(jù)庫管理員提供了一個數(shù)據(jù)庫的單一視圖，將其加入元數(shù)據(jù)庫有重要意義。物理數(shù)據(jù)模型加入數(shù)據(jù)庫的內容包括： 數(shù)據(jù)庫、表、視圖、宏、列（名稱、格式、屬性）、約束（取值、參照關系等）、關系（數(shù)據(jù)庫與表、視圖、宏，表與列，表與試圖等）。所謂數(shù)據(jù)庫的物理模型就是邏輯模型在數(shù)據(jù)庫中的實現(xiàn)，如物理存取方式、數(shù)據(jù)存儲結構、數(shù)

58、據(jù)存放位置以及存儲分配等等。物理模型是在邏輯模型的基礎之上實現(xiàn)的，在進行物理模型設計實現(xiàn)時，所考慮的因素主要有：I/O存取時間、空間利用率和維護代價；在進行數(shù)據(jù)庫的物理模型設計時，考慮到綜合營銷系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)量大但操作單一的特點，可采取其他的一些提高數(shù)據(jù)庫性能的技術，如：合并表、建立數(shù)據(jù)序列、引入冗余、進一步細分數(shù)據(jù)、生成導出數(shù)據(jù)、建立廣義索引等。在物理數(shù)據(jù)模型設計中主要工作是：確定數(shù)據(jù)的存儲結構確定索引策略確定數(shù)據(jù)存放位置存儲分配數(shù)據(jù)倉庫信息模型數(shù)據(jù)倉庫信息主題，包括客戶、帳務、服務、結算、產品等部分。數(shù)據(jù)倉庫按照電信信息組成進行前瞻性的結構設計，主要包容了九七、計費等數(shù)據(jù)?？蛻糁黝}包含了

59、與客戶相關的基本信息，如客戶的自然屬性（姓名、年齡、職業(yè)等）、客戶的分類信息（大客、商客、公客、流動客戶）、客戶的重要屬性信息（信用度、忠誠度、消費層次等）。帳務主題中包含了與客戶相關的費用信息，如明細賬單、綜合帳單、帳本、帳戶、付費記錄、銷帳流水等信息。產品主題中包含了產品目錄。服務使用主題中描述客戶購買和使用中國電信服務產品的信息，主要包含了用戶、服務使用記錄、清單等。結算主題中包含了結算清單、結算明細賬單、合作服務方等信息。 中央數(shù)據(jù)倉庫信息模型示意數(shù)據(jù)集市構建方法數(shù)據(jù)集市是直接面向分析需求的，在數(shù)據(jù)ETL結束后通過相關處理生成。在數(shù)據(jù)集市中保存的數(shù)據(jù)一般有以下特征：數(shù)據(jù)一般不能直接從數(shù)

60、據(jù)倉庫中產生，需要進行轉換處理，如消費層次等信息；數(shù)據(jù)集市中的數(shù)據(jù)較新，部分集市根據(jù)分析需求，甚至可以只保存最近幾個月的數(shù)據(jù)；可以集成數(shù)據(jù)倉庫中的多個主題信息而生成新的專題。在實際應用中，我們是按如下方式生成數(shù)據(jù)集市的：完成數(shù)據(jù)倉庫配置表信息到數(shù)據(jù)集市的轉換，特別要提出的，有一些集市專用配置信息如消費層次配置表、通話時長層次配置表等需要相應配置程序產生和維護而并非來自與數(shù)據(jù)倉庫或業(yè)務系統(tǒng)。還需要提醒的是，在這個步驟中，必須根據(jù)展示工具的特點對配置表進行處理。完成數(shù)據(jù)倉庫主題信息到數(shù)據(jù)集市的轉換，其中需要把一些量值型信息轉化為層次型信息，如通話次數(shù)轉換成通話次數(shù)層次，通話時長轉換為通話時長層次等