電信帳單數(shù)據(jù)挖掘

1、電信帳單數(shù)據(jù)挖掘一概述11.1項(xiàng)目背景11.2數(shù)據(jù)挖掘和相關(guān)概念1數(shù)據(jù)挖掘的概念和過(guò)程1數(shù)據(jù)挖掘在電信管理中的應(yīng)用21.3項(xiàng)目計(jì)劃3項(xiàng)目目標(biāo)3時(shí)間安排4人員組織5二項(xiàng)目實(shí)施62.1選擇數(shù)據(jù)挖掘工具62.2建立數(shù)據(jù)庫(kù)表建立和數(shù)據(jù)清理72.3建立數(shù)據(jù)多維存儲(chǔ)8維度創(chuàng)建8OLAP存儲(chǔ)創(chuàng)建9OLAP數(shù)據(jù)分析102.4數(shù)據(jù)挖掘12決策樹(shù)計(jì)算（月用戶數(shù)量分析）13用戶分類(lèi)（聚類(lèi)分析）14三總結(jié)15一概述1.1項(xiàng)目背景隨著國(guó)內(nèi)電信市場(chǎng)競(jìng)爭(zhēng)的日趨激烈，電信運(yùn)營(yíng)商的經(jīng)營(yíng)模式逐漸從“技術(shù)驅(qū)動(dòng)”向“市場(chǎng)驅(qū)動(dòng)”、“客戶驅(qū)動(dòng)”轉(zhuǎn)化。這就要求運(yùn)營(yíng)商要采取以客戶為中心的策略，根據(jù)客戶的實(shí)際需求提供多樣化、層次化、個(gè)性化的服

2、務(wù)解決方案。因此，客戶關(guān)系管理（CRM）成了電信運(yùn)營(yíng)商增加收入和利潤(rùn)，提高客戶滿意度、忠誠(chéng)度的有效工具。在客戶關(guān)系管理的流程中，為了準(zhǔn)確、及時(shí)地進(jìn)行經(jīng)營(yíng)決策，必須充分獲取并利用相關(guān)的數(shù)據(jù)信息對(duì)決策過(guò)程進(jìn)行輔助支持。近幾年迅速發(fā)展起來(lái)的數(shù)據(jù)挖掘技術(shù)就是實(shí)現(xiàn)這一目標(biāo)的重要手段。 1.2數(shù)據(jù)挖掘和相關(guān)概念數(shù)據(jù)挖掘的概念和過(guò)程1數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘是根據(jù)企業(yè)的既定業(yè)務(wù)目標(biāo)和存在的問(wèn)題，對(duì)大量的業(yè)務(wù)數(shù)據(jù)進(jìn)行探索，揭示其中隱藏的規(guī)律，并將其模型化，指導(dǎo)并應(yīng)用于企業(yè)的實(shí)際經(jīng)營(yíng)。數(shù)據(jù)挖掘是建立在數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上的高層應(yīng)用，但數(shù)據(jù)挖掘跟數(shù)據(jù)倉(cāng)庫(kù)的其它一些應(yīng)用如OLAP分析、預(yù)定義報(bào)表和即席查詢等有很大的區(qū)別。后

3、三者通常是用戶根據(jù)已知的情況對(duì)所關(guān)心的業(yè)務(wù)指標(biāo)進(jìn)行分析；而前者則是在業(yè)務(wù)問(wèn)題和目標(biāo)明確但考察的問(wèn)題不清楚時(shí)，對(duì)數(shù)據(jù)進(jìn)行探索，揭示隱藏其中的規(guī)律性，進(jìn)而將其模型化。 2數(shù)據(jù)挖掘過(guò)程數(shù)據(jù)挖掘是一個(gè)循環(huán)往復(fù)的過(guò)程，通常涉及數(shù)據(jù)準(zhǔn)備、建立模型、評(píng)估和解釋模型、運(yùn)用和鞏固模型等步驟。 （1）數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)準(zhǔn)備工作包括數(shù)據(jù)的選擇（選擇相關(guān)和合適的數(shù)據(jù)）、探索（了解數(shù)據(jù)分布情況和異常數(shù)據(jù)等）、修正（包括缺失數(shù)據(jù)的插值等）和變換（離散值數(shù)據(jù)與連續(xù)值數(shù)據(jù)的相互轉(zhuǎn)換，數(shù)據(jù)的分組分類(lèi)，數(shù)據(jù)項(xiàng)的計(jì)算組合等）。（2）建立模型：選取數(shù)據(jù)挖掘工具提供的算法并應(yīng)用于準(zhǔn)備好的數(shù)據(jù)，選取相應(yīng)參數(shù)，生成模型。（3）評(píng)估和解釋模型：

4、對(duì)模型進(jìn)行比較和評(píng)估，生成一個(gè)相對(duì)最優(yōu)模型，并對(duì)此模型用業(yè)務(wù)語(yǔ)言加以解釋。（4）運(yùn)用和鞏固模型：對(duì)模型在實(shí)際應(yīng)用中的表現(xiàn)進(jìn)行監(jiān)控，如果模型表現(xiàn)不好，則對(duì)模型作進(jìn)一步的考察和修正，以反映業(yè)務(wù)運(yùn)作規(guī)律的變化。數(shù)據(jù)挖掘在電信管理中的應(yīng)用電信運(yùn)營(yíng)商擁有許多熟的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)，如網(wǎng)管系統(tǒng)、財(cái)務(wù)系統(tǒng)、計(jì)費(fèi)賬務(wù)系統(tǒng)、112障礙管理系統(tǒng)、繳費(fèi)銷(xiāo)賬系統(tǒng)等，并產(chǎn)生了大量的業(yè)務(wù)處理數(shù)據(jù)。如果針對(duì)客戶關(guān)系管理相關(guān)決策分析的需求，對(duì)這些數(shù)據(jù)進(jìn)行重組整合，就能充分利用這些寶貴的數(shù)據(jù)，體現(xiàn)信息的真正價(jià)值。數(shù)據(jù)挖掘技術(shù)在電信行業(yè)主要應(yīng)用領(lǐng)域如下：（1）客戶消費(fèi)模式分析客戶消費(fèi)模式分析（如固話話費(fèi)行為分析）是對(duì)客戶歷年來(lái)長(zhǎng)話、

5、市話、信息臺(tái)的大量詳單、數(shù)據(jù)以及客戶檔案資料等相關(guān)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，結(jié)合客戶的分類(lèi)，可以從消費(fèi)能力、消費(fèi)習(xí)慣、消費(fèi)周期等諸方面對(duì)客戶的話費(fèi)行為進(jìn)行分析和預(yù)測(cè)，從而為固話運(yùn)營(yíng)商的相關(guān)經(jīng)營(yíng)決策提供依據(jù)。 （2）客戶市場(chǎng)推廣分析客戶市場(chǎng)推廣分析（如優(yōu)惠策略預(yù)測(cè)仿真）是利用數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)優(yōu)惠策略的仿真，根據(jù)數(shù)據(jù)挖掘模型進(jìn)行模擬計(jì)費(fèi)和模擬出賬，其仿真結(jié)果可以揭示優(yōu)惠策略中存在的問(wèn)題，并進(jìn)行相應(yīng)的調(diào)整優(yōu)化，以達(dá)到優(yōu)惠促銷(xiāo)活動(dòng)的收益最大化。（3）客戶欠費(fèi)分析和動(dòng)態(tài)防欺詐通過(guò)數(shù)據(jù)挖掘，總結(jié)各種騙費(fèi)、欠費(fèi)行為的內(nèi)在規(guī)律，并建立一套欺詐和欠費(fèi)行為的規(guī)則庫(kù)。當(dāng)客戶的話費(fèi)行為與該庫(kù)中規(guī)則吻合時(shí)，系統(tǒng)可以提示運(yùn)營(yíng)商相

6、關(guān)部門(mén)采取措施，從而降低運(yùn)營(yíng)商的損失風(fēng)險(xiǎn)。（4）客戶流失分析根據(jù)已有的客戶流失數(shù)據(jù)，建立客戶屬性、服務(wù)屬性、客戶消費(fèi)情況等數(shù)據(jù)與客戶流失概率相關(guān)聯(lián)的數(shù)學(xué)模型，找出這些數(shù)據(jù)之間的關(guān)系，并給出明確的數(shù)學(xué)公式。然后根據(jù)此模型來(lái)監(jiān)控客戶流失的可能性，如果客戶流失的可能性過(guò)高，則通過(guò)促銷(xiāo)等手段來(lái)提高客戶忠誠(chéng)度，防止客戶流失的發(fā)生。這就徹底改變了以往電信運(yùn)營(yíng)商在成功獲得客戶以后無(wú)法監(jiān)控客戶流失、無(wú)法有效實(shí)現(xiàn)客戶關(guān)懷的狀況。 1.3項(xiàng)目計(jì)劃項(xiàng)目目標(biāo)電信公司每個(gè)月的帳單有數(shù)百萬(wàn)條，牽涉到千家萬(wàn)戶，這些數(shù)據(jù)中有很多寶貴的東西，可以從這些資料中獲得寶貴的資料。電信的產(chǎn)品非常多，主要有以下一些種類(lèi)：普通電話（市內(nèi)電

7、話）、長(zhǎng)途電話、小靈通和寬帶業(yè)務(wù)，這些業(yè)務(wù)是電信業(yè)務(wù)的主體；電信公司的帳單目前按自然月開(kāi)帳，每個(gè)月給用戶郵寄帳單；電信公司具有劃分為多個(gè)區(qū)域包括（區(qū)局、分局）。項(xiàng)目的目標(biāo)之一就是對(duì)這些數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì)，按照產(chǎn)品/時(shí)間/區(qū)域等對(duì)數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì)（建立三個(gè)維度），如本地、長(zhǎng)途、寬帶、小靈通用戶數(shù)；本地（長(zhǎng)途和小靈通）通話次數(shù)和平均時(shí)長(zhǎng)，語(yǔ)音ARP（平均用戶收入）值，寬帶ARP值，小靈通ARP值等。決策樹(shù)分析，統(tǒng)計(jì)月收入的變化情況，對(duì)用戶進(jìn)行聚類(lèi)分析，將用戶分為不同的等級(jí)。項(xiàng)目目標(biāo)之二是進(jìn)一步加深對(duì)數(shù)據(jù)挖掘的認(rèn)識(shí)，通過(guò)上課，我們已經(jīng)初步了解了數(shù)據(jù)挖掘的基本原理和基本算法，通過(guò)電信數(shù)據(jù)挖掘這個(gè)實(shí)踐，可

8、初步掌握數(shù)據(jù)挖掘的一般過(guò)程和工具，對(duì)數(shù)據(jù)挖掘有更深刻的認(rèn)識(shí)，這對(duì)今后的工作是有非常大的好處的。通過(guò)項(xiàng)目也可以促進(jìn)項(xiàng)目組人員之間的了解，取長(zhǎng)補(bǔ)短，共同提高技能。時(shí)間安排初步時(shí)間安排為三周時(shí)間時(shí)間安排備注第一周l 項(xiàng)目需求l 系統(tǒng)分析l 人員分工l 選擇數(shù)據(jù)挖掘工具l 建立數(shù)據(jù)庫(kù)表結(jié)構(gòu)l 建立挖掘模型第二周 l 數(shù)據(jù)清理，轉(zhuǎn)換成數(shù)據(jù)庫(kù)表l 建立多維度OLAP數(shù)據(jù)存儲(chǔ)模型l OLAP數(shù)據(jù)分析第三周l 數(shù)據(jù)挖掘l 知識(shí)發(fā)現(xiàn)l 編寫(xiě)課題報(bào)告和演示報(bào)告，演示成果人員組織二項(xiàng)目實(shí)施2.1選擇數(shù)據(jù)挖掘工具目前市場(chǎng)上的數(shù)據(jù)挖掘工具比較多，一般而言，目前市場(chǎng)上這些數(shù)據(jù)挖掘工具又可分成兩類(lèi)企業(yè)型工具以及小型工具。l

9、 企業(yè)型數(shù)據(jù)挖掘工具：應(yīng)用在需要高處理能力、高網(wǎng)絡(luò)容量和大數(shù)據(jù)量的場(chǎng)合下。這些工具通常支持多種平臺(tái)，并基于客戶機(jī)/服務(wù)器結(jié)構(gòu)。它通常可以直接連接一些復(fù)雜的數(shù)據(jù)管理系統(tǒng)(不像普通文本文件)，并能處理大量的數(shù)據(jù)。這類(lèi)數(shù)據(jù)挖掘工具的另一個(gè)特點(diǎn)是它通常提供了多種數(shù)據(jù)挖掘算法，并有能力解決多種應(yīng)用問(wèn)題。企業(yè)數(shù)據(jù)挖掘工具的實(shí)例有IBM的Intelligent Miner和SAS Enterprise Miner，SPSS Clementine等。l 小型數(shù)據(jù)挖掘工具：它與企業(yè)型的工具著眼點(diǎn)不同。小型數(shù)據(jù)挖掘工具或者是針對(duì)低端、低消費(fèi)的用戶，或者是為解決特定的應(yīng)用問(wèn)題提供特定的解決方案。比如Oracle公司

10、的 Darwin，Insightful公司的Insightful Miner，等等。本次項(xiàng)目選擇的工具為Microsoft Analysis Servicel 優(yōu)點(diǎn) 掌握快，易上手，適合初學(xué)者和本次項(xiàng)目 支持多種數(shù)據(jù)庫(kù)，支持ODBC接口 成本低，SQL Server2000自帶的Service Pack包l 缺點(diǎn) 只能做很簡(jiǎn)單的挖掘工作，過(guò)于傻瓜 只支持基于維度的數(shù)據(jù)挖掘 只支持決策樹(shù)和聚類(lèi)分析2.2建立數(shù)據(jù)庫(kù)表建立和數(shù)據(jù)清理根據(jù)電信帳單數(shù)據(jù)挖掘項(xiàng)目的要求，選擇比較簡(jiǎn)單的ACCESS數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，ACCESS的操作比較簡(jiǎn)單，由于數(shù)據(jù)庫(kù)的通用性，今后也可以擴(kuò)展到大型數(shù)據(jù)庫(kù)，如ORACLE，SY

11、BASE，DB2等，建立如下的表結(jié)構(gòu)如下：1電信帳單事實(shí)表該表記錄了電信的帳單2產(chǎn)品表3區(qū)域表 4時(shí)間表由于電信帳務(wù)數(shù)據(jù)庫(kù)非常復(fù)雜，結(jié)構(gòu)繁多，不利于數(shù)據(jù)挖掘，因此必須首先進(jìn)行數(shù)據(jù)清理，規(guī)范化數(shù)據(jù)。利于挖掘的數(shù)據(jù)庫(kù)應(yīng)該是星型或雪花形的數(shù)據(jù)結(jié)構(gòu)，我們的數(shù)據(jù)庫(kù)表的關(guān)聯(lián)關(guān)系如圖所示：數(shù)據(jù)清理后得到以下的數(shù)據(jù)：l 總共建立計(jì)費(fèi)數(shù)據(jù)事實(shí)表，數(shù)據(jù)總量為132762條；l 建立從2003-2004年的時(shí)間表；l 建立區(qū)局-分局的對(duì)應(yīng)關(guān)系表，總共13個(gè)區(qū)局和180個(gè)分局；l 建立產(chǎn)品表（普通電話，長(zhǎng)途電話，小靈通和寬帶）。2.3建立數(shù)據(jù)多維存儲(chǔ)維度創(chuàng)建數(shù)據(jù)多維存儲(chǔ)是OLAP（在線事物處理）的存儲(chǔ)形式，不同于數(shù)據(jù)

12、庫(kù)的關(guān)系結(jié)構(gòu)，采用了立方體的存儲(chǔ)結(jié)構(gòu)，更利于數(shù)據(jù)的快速匯總和查找。立方體的結(jié)構(gòu)以數(shù)據(jù)維度為基礎(chǔ)，為此我們建立了三個(gè)維度，時(shí)間、區(qū)域和產(chǎn)品，有些維度分等級(jí)，如時(shí)間和區(qū)域就分兩級(jí)維度，因?yàn)闀r(shí)間可以分到年/月，區(qū)域這里分為區(qū)局和分局兩級(jí)。如圖所示區(qū)域維的結(jié)構(gòu)：同樣可創(chuàng)建其它維度，Analysis Service可根據(jù)多種表結(jié)構(gòu)創(chuàng)建數(shù)據(jù)維度，如同一張表內(nèi)創(chuàng)建，表內(nèi)的自關(guān)聯(lián)創(chuàng)建，父子表的創(chuàng)建等。OLAP存儲(chǔ)創(chuàng)建根據(jù)Analysis Service的向?qū)Э梢詣?chuàng)建數(shù)據(jù)的多維存儲(chǔ)，生成較容易分析的多維存儲(chǔ)結(jié)構(gòu)，在本例中，帳單事實(shí)表的大小約為30MB，經(jīng)過(guò)Analysis Service的處理生成OLAP存儲(chǔ)后

13、數(shù)據(jù)可以大大壓縮，并以文件形式保存，減少了分析的時(shí)間，特別適合統(tǒng)計(jì)工作。OLAP數(shù)據(jù)分析利用OLAP分析工具和生成的OLAP存儲(chǔ)文件，可以對(duì)數(shù)據(jù)進(jìn)行初步的分析工作，如圖所示：由上圖可見(jiàn)各年度，各區(qū)局，各種相關(guān)產(chǎn)品的統(tǒng)計(jì)情況，可進(jìn)行上鉆和下鉆的操作，如先看每年的情況，下鉆后可以看到每月的情況，粒度更細(xì)微，為分析提供的數(shù)據(jù)更詳細(xì)，同理也可只看某一區(qū)局的數(shù)據(jù)，通過(guò)下鉆可以看到更細(xì)的分局的數(shù)據(jù)。還可以通過(guò)不同維度的排列組合，獲得所需要分析的數(shù)據(jù)，滿足不同用戶對(duì)數(shù)據(jù)分析的需求。此外還可以提供鉆取功能，直接看到數(shù)據(jù)庫(kù)的原始記錄，更方便分析。如圖鉆取數(shù)據(jù)庫(kù)的原始數(shù)據(jù)：2.4數(shù)據(jù)挖掘數(shù)據(jù)挖掘基于OLAP，但是

14、OLAP只是數(shù)據(jù)挖掘的基礎(chǔ)，而本身并不是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘有一些方法：如關(guān)聯(lián)分析、分類(lèi)和預(yù)測(cè)、聚類(lèi)分析等，每一種類(lèi)方法又有許多不同的算法：如分類(lèi)預(yù)測(cè)就包括判定樹(shù)、貝葉斯分類(lèi)、后向傳播分類(lèi)、回歸算法等。目前Microsoft Analysis Service僅支持聚類(lèi)分析和決策樹(shù)算法，決策數(shù)算法可以根據(jù)以下例子說(shuō)明：.市場(chǎng)部想分析當(dāng)前銷(xiāo)售事務(wù)并找出客戶統(tǒng)計(jì)信息（性別、婚姻狀況、年收入等等）和所申請(qǐng)會(huì)員卡（金卡/銀卡/普通卡）之間的模式。然后根據(jù)這些信息和申請(qǐng)會(huì)員卡的客戶的特征重新定義會(huì)員卡?？赡艿玫饺缦碌臎Q策樹(shù)：<20歲金卡>10萬(wàn)20-30歲銀卡5-10萬(wàn)30-40歲>50歲

15、男性普通卡<5萬(wàn)40-50歲全部普通卡銀卡金卡>4萬(wàn)4-12萬(wàn)>12萬(wàn)<20歲女性20-40歲.>40歲根據(jù)以上決策樹(shù)，我們可以判斷客戶選卡的模式，男性30-40歲年收入大于10萬(wàn)的比較偏好選擇金卡。根據(jù)決策樹(shù)所構(gòu)造的結(jié)果是實(shí)現(xiàn)我們并不知道的一個(gè)結(jié)果，就象關(guān)聯(lián)分析中我們并不知道尿布和啤酒是關(guān)聯(lián)商品，往往用戶會(huì)同時(shí)購(gòu)買(mǎi)一樣，決策樹(shù)的分枝是有數(shù)據(jù)和決策樹(shù)算法決定的，如果使用現(xiàn)成工具進(jìn)行決策樹(shù)的挖掘，我們無(wú)法預(yù)料能產(chǎn)生什么樣的決策結(jié)果。2.4.1決策樹(shù)計(jì)算（月用戶數(shù)量分析）根據(jù)以上算法計(jì)算一個(gè)決策樹(shù)，判斷各月的收入情況，可以得到以下的分析結(jié)果：可以看到某些月份用戶數(shù)量比

16、較多，而有些月份用戶數(shù)量比較少。這樣市場(chǎng)部就可以根據(jù)用戶數(shù)量在淡季進(jìn)行有針對(duì)性的促銷(xiāo)活動(dòng)。用戶分類(lèi)（聚類(lèi)分析）我們要求對(duì)用戶進(jìn)行分類(lèi)，但我們并不知道要怎么樣分類(lèi)，我們將數(shù)據(jù)交Anaylise Service 處理，Anaylise Service為我們得到一個(gè)分類(lèi)，可以作為用戶分類(lèi)的依據(jù)。分類(lèi)結(jié)果如下表所表示：月話費(fèi)用戶數(shù)百分比<3531.259700073%2469718.6%25372%>13000.7585236.4%全部132762100%可見(jiàn)用戶大多數(shù)還是以低端用戶為主（數(shù)據(jù)經(jīng)過(guò)處理），高端用戶也有6.4%，主要是企業(yè)用戶。三總結(jié)通過(guò)對(duì)該項(xiàng)目的初步挖掘，產(chǎn)生了一些挖掘結(jié)果

17、，但由于考慮到電信安全性，因此數(shù)據(jù)經(jīng)過(guò)了一些處理，可能與實(shí)際情況并不十分符合。而且由于工具的缺乏，也可能導(dǎo)致挖掘結(jié)果的不夠完善。真正的電信數(shù)據(jù)挖掘也還存在以下一些問(wèn)題：（1） 數(shù)據(jù)質(zhì)量和完備性：電信公司不象移動(dòng)公司，用戶和手機(jī)是綁定的，有比較完善原始數(shù)據(jù)，電信公司的一個(gè)電話是好多人同時(shí)使用的，因此無(wú)法對(duì)用戶的通信行為模式進(jìn)行詳細(xì)的分析。目前很多分析只是數(shù)據(jù)報(bào)表，還沒(méi)有上升到數(shù)據(jù)挖掘的高度，不能從大量數(shù)據(jù)中得到真正的金子。（2） 國(guó)內(nèi)電信運(yùn)營(yíng)商現(xiàn)有的、面向事務(wù)的數(shù)據(jù)在質(zhì)量、完整性和一致性上存在許多問(wèn)題，必須投入大量的精力去進(jìn)行數(shù)據(jù)的抽取、凈化和處理。此外，業(yè)務(wù)問(wèn)題的相關(guān)數(shù)據(jù)有時(shí)難以全面收集。例如客戶信用是客戶價(jià)值評(píng)估中的關(guān)鍵因素，但由于國(guó)內(nèi)未建立完善的信用體系，無(wú)法根據(jù)現(xiàn)有客戶數(shù)據(jù)建立優(yōu)質(zhì)的信用評(píng)價(jià)模型，從而導(dǎo)致客戶價(jià)值模型有效性的降低。 （3） 相應(yīng)的人員素質(zhì)：在數(shù)據(jù)挖掘應(yīng)用過(guò)程的多個(gè)環(huán)節(jié)中，人的主觀辨識(shí)和控制是應(yīng)用成敗的關(guān)鍵，這就對(duì)系統(tǒng)使用人員提出了很高的要求。如果沒(méi)有具備相應(yīng)素質(zhì)的使用和維護(hù)人員，必將導(dǎo)致分析系統(tǒng)與現(xiàn)實(shí)脫