數(shù)據(jù)倉庫及數(shù)據(jù)挖掘技術(shù)在煙草CRM中的應(yīng)用

1、數(shù)據(jù)倉庫及數(shù)據(jù)挖掘技術(shù)在煙草CRM中的應(yīng)用【夏朱華】【煙草在線】1、引言 隨著數(shù)據(jù)庫技術(shù)、網(wǎng)絡(luò)技術(shù)的不斷發(fā)展及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)量急劇增大。像江蘇省姜堰煙草公司每天的銷售記錄就達(dá)五六千條，然而，如何有效地使用這些數(shù)據(jù)卻成為一個(gè)問題，因?yàn)橥菙?shù)據(jù)豐富而知識(shí)缺乏，透過這些客戶的銷售記錄我們能從中發(fā)現(xiàn)什么?于是客戶關(guān)系管理系統(tǒng)(CRM)就應(yīng)運(yùn)而生。人們目前所使用的數(shù)據(jù)庫技術(shù)無法將隱藏在數(shù)據(jù)背后的重要信息挖掘出來利用，所以如何迅速、準(zhǔn)確、有效但適量地提供用戶所需的信息，發(fā)現(xiàn)信息之間潛在的聯(lián)系，支持管理決策就是數(shù)據(jù)挖掘和數(shù)據(jù)倉庫要解決的課題，同時(shí)也是CRM系統(tǒng)產(chǎn)生的必要條件和

2、最終目的。2、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的概念目前業(yè)界對(duì)數(shù)據(jù)倉庫的概念沒有一個(gè)統(tǒng)一的定義，在我認(rèn)為數(shù)據(jù)倉庫(DataWarehouse)是集成的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合，用以支持管理決策系統(tǒng)的過程。由此可見，數(shù)據(jù)倉庫是一個(gè)綜合的解決方案，是對(duì)原始的操作數(shù)據(jù)進(jìn)行各種處理并轉(zhuǎn)換成有用信息的處理過程，它主要用來幫助業(yè)務(wù)主管部門做出更符合業(yè)務(wù)發(fā)展規(guī)律的決策，用以指導(dǎo)卷煙銷售。數(shù)據(jù)倉庫的建設(shè)需要綜合應(yīng)用、決策權(quán)、數(shù)據(jù)庫、數(shù)理統(tǒng)計(jì)等多項(xiàng)技術(shù)。世界上許多著名公司都推出了類似的數(shù)據(jù)產(chǎn)品，包括Oracle、Informix、Sybase和IBM等等。目前我們的卷煙銷售模式經(jīng)歷了從集中到分散再到集中的轉(zhuǎn)變，在去年取

3、消法人資格，集中訪銷的模式下，泰州分公司也正式使用了江蘇省煙草電子營(yíng)銷管理系統(tǒng)，配必Oracle數(shù)據(jù)庫，使系統(tǒng)的穩(wěn)定性得到了保證。如何從龐大銷售信息資料庫中尋找出更有價(jià)值的信息，數(shù)據(jù)挖掘便成了煙草信息化的重要組成部分。數(shù)據(jù)挖掘指的是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取人們感興趣的知識(shí)，這些知識(shí)是隱含的、事先未知的潛在有用信息。大部分的人認(rèn)為數(shù)據(jù)挖掘和數(shù)據(jù)庫是等價(jià)的概念。數(shù)據(jù)挖掘是隨著科學(xué)技術(shù)的迅速發(fā)展、數(shù)據(jù)庫規(guī)模的日益擴(kuò)大以及人們對(duì)數(shù)據(jù)庫中潛在信息資源的需求而迅速發(fā)展起來的。它是數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析、模糊邏輯等學(xué)科相結(jié)合的產(chǎn)物。數(shù)據(jù)挖掘的對(duì)象不僅是結(jié)構(gòu)化數(shù)據(jù)庫，也可以是半結(jié)構(gòu)化的超

4、文本文件，甚至是非結(jié)構(gòu)化的多媒體。而數(shù)據(jù)倉庫上面的數(shù)據(jù)挖掘，將是數(shù)據(jù)挖掘技術(shù)應(yīng)用的主流。數(shù)據(jù)挖掘一般由數(shù)據(jù)準(zhǔn)備、挖掘操作、結(jié)果表達(dá)和解釋三個(gè)主要階段組成。在數(shù)據(jù)準(zhǔn)備階段應(yīng)集成多個(gè)運(yùn)作數(shù)據(jù)源中的數(shù)據(jù)，解決語義模糊性、處理遺漏數(shù)據(jù)、清洗臟數(shù)據(jù)。挖掘階段是一個(gè)假設(shè)產(chǎn)生、合成、修正和驗(yàn)證傳播的過程，也是上述三個(gè)階段的核心。結(jié)果表達(dá)和解釋階段根據(jù)最終用戶的決策目的把提取的有用信息正確地表達(dá)出來。數(shù)據(jù)挖掘的方法和技術(shù)可大致劃分為三類:統(tǒng)計(jì)分析、知識(shí)發(fā)現(xiàn)、可視化技術(shù)等。統(tǒng)計(jì)分析用于檢查異常形式的數(shù)據(jù)，然后利用統(tǒng)計(jì)模型和數(shù)學(xué)模型來解釋這些數(shù)據(jù)，統(tǒng)計(jì)分析方法是目前最成熟的數(shù)據(jù)挖掘工具。而知識(shí)發(fā)現(xiàn)則著眼于發(fā)現(xiàn)大量

5、數(shù)據(jù)記錄中潛在的有用信息或新的知識(shí)，屬于所謂“發(fā)現(xiàn)驅(qū)動(dòng)”的數(shù)據(jù)挖掘技術(shù)途經(jīng)。知識(shí)發(fā)現(xiàn)常用的方法有人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳算法、模糊計(jì)算或模糊推理等。數(shù)據(jù)質(zhì)量、可視化數(shù)據(jù)的能力、極大數(shù)據(jù)庫尺寸、數(shù)據(jù)挖掘者的技能、數(shù)據(jù)的粒度都是影響知識(shí)發(fā)現(xiàn)方法的重要因素?？梢暬夹g(shù)則采用直觀的圖形方式將信息模式、數(shù)據(jù)的關(guān)聯(lián)或趨勢(shì)呈現(xiàn)給決策者，決策者可以通過可視化技術(shù)交互式地分析數(shù)據(jù)關(guān)系。由于數(shù)據(jù)倉庫在規(guī)模、歷史數(shù)據(jù)、數(shù)據(jù)集成和綜合性、查詢支持等方面都和傳統(tǒng)的數(shù)據(jù)庫有著本質(zhì)的區(qū)別，所以數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供了更廣闊的活動(dòng)空間。數(shù)據(jù)倉庫完成了數(shù)據(jù)的收集、集成、存儲(chǔ)、管理等工作，數(shù)據(jù)挖掘面對(duì)的是經(jīng)初步加工的數(shù)據(jù)，使得

6、數(shù)據(jù)挖掘更專注于知識(shí)的發(fā)現(xiàn);另一方面，由于數(shù)據(jù)倉庫所具有的新特點(diǎn)，又對(duì)數(shù)據(jù)挖掘技術(shù)提出了更高的要求。所以，數(shù)據(jù)倉庫技術(shù)的發(fā)展必須和數(shù)據(jù)挖掘技術(shù)有機(jī)地結(jié)合起來。3、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的應(yīng)用數(shù)據(jù)倉庫技術(shù)和數(shù)據(jù)挖掘技術(shù)的相互結(jié)合使得從海量的數(shù)據(jù)中進(jìn)行實(shí)時(shí)的和深層次的分析成為可能，由于相關(guān)領(lǐng)域的技術(shù)發(fā)展及相互協(xié)同，已使數(shù)據(jù)倉庫成為一項(xiàng)可能的實(shí)用技術(shù)。目前，對(duì)這一領(lǐng)域的應(yīng)用研究主要集中在以下幾個(gè)方面:·面向企業(yè)決策支持系統(tǒng)(DSS)的數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)·基于Internet的數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)WVVW近年來已成為網(wǎng)絡(luò)上的信息主體，人們自然就產(chǎn)生了將WWW和數(shù)據(jù)倉庫相互轉(zhuǎn)換

7、的要求。但Web上的數(shù)據(jù)多存于HTML超文本文件中，沒有嚴(yán)格的結(jié)構(gòu)及類型定義，所以，基于Internet上的數(shù)據(jù)挖掘和基于一般數(shù)據(jù)庫的數(shù)據(jù)挖掘相比有其固有的特點(diǎn):數(shù)據(jù)源是無序的、非結(jié)構(gòu)化的。數(shù)據(jù)源之間可能存在冗余、不一致甚至矛盾。數(shù)據(jù)源具有很強(qiáng)的動(dòng)態(tài)性。數(shù)據(jù)多樣，難以確定其粒度和維度。用戶目標(biāo)模糊。在我們煙草系統(tǒng)中數(shù)據(jù)倉庫和數(shù)據(jù)挖掘基于WEB的運(yùn)用尤為突出。CRM系統(tǒng)就是一個(gè)特例。CRM(CustomerRelationshipManagement)就是客戶關(guān)系管理。從字義上看，是指企業(yè)用CRM軟件提供的科學(xué)的分析工具和方法來分析卷煙銷售市場(chǎng)與客戶之間的關(guān)系。CRM軟件是選擇在卷煙銷售市場(chǎng)中有

8、價(jià)值客戶及其關(guān)系的一種商業(yè)策略，分析這些客戶的銷售動(dòng)態(tài)。CRM要求以“客戶為中心”、“一切為客戶著想”的商業(yè)哲學(xué)和企業(yè)文化來支持有效的市場(chǎng)營(yíng)銷、銷售與服務(wù)流程。如果企業(yè)擁有正確的領(lǐng)導(dǎo)、策略和企業(yè)文化，CRM應(yīng)用將為企業(yè)實(shí)現(xiàn)有效的客戶關(guān)系管理。在CRM(客戶關(guān)系管理)系統(tǒng)中，系統(tǒng)結(jié)構(gòu)采用B/S框架結(jié)構(gòu)，數(shù)據(jù)庫集中，客戶端采用瀏覽器訪問，訪問的瀏覽器采用IE6以上。主要系統(tǒng)模塊如下圖:通過CRM系統(tǒng)中的各個(gè)功能模塊對(duì)數(shù)據(jù)倉庫中(即客戶每天的銷售記錄)作為數(shù)據(jù)源，運(yùn)用科學(xué)的分析方法可以對(duì)客戶進(jìn)行單體分析:分析某一客戶的相關(guān)信息，分析的內(nèi)容為該客戶的銷售數(shù)量、金額、收益，并取得該客戶所屬線路、煙草公司的平均銷售數(shù)量、金額、收益作比較。群體分析:客戶某一群體的銷售數(shù)量、金額、收益。市場(chǎng)分析:便于領(lǐng)導(dǎo)及時(shí)、直觀、準(zhǔn)確的了解市場(chǎng)的發(fā)展及變化情況，以便宏觀調(diào)控。便于支持決策系統(tǒng)。從而引導(dǎo)正確銷售。正如上圖所示:客戶記錄作為數(shù)據(jù)倉庫中的數(shù)據(jù)源，運(yùn)用CRM中相應(yīng)的模塊對(duì)數(shù)據(jù)進(jìn)行分揀，這些模塊的產(chǎn)生就是數(shù)據(jù)挖掘技術(shù)的體現(xiàn)，經(jīng)營(yíng)決策者通過CRM提供的模塊功能，就能夠分析卷煙銷售市場(chǎng)