數(shù)據(jù)挖掘與客戶關(guān)系管理

數(shù)據(jù)挖掘與客戶關(guān)系管理

0數(shù)據(jù)挖掘技術(shù)在現(xiàn)代高新技術(shù)中的應(yīng)用公司的快速發(fā)展導(dǎo)致了大量的客戶數(shù)據(jù)。這些客戶的基本數(shù)據(jù)、購買記錄和客戶反饋等環(huán)節(jié)的大量信息也導(dǎo)致信息爆炸?，F(xiàn)代社會(huì)的競爭趨勢決定了對這些數(shù)據(jù)深入分析、挖掘隱含在這些數(shù)據(jù)中的有用信息,是幫助企業(yè)更好地管理客戶關(guān)系、實(shí)現(xiàn)CRM的重要手段。由于積累的數(shù)據(jù)量大,數(shù)據(jù)量增加的速度又非常迅速,以至于許多企業(yè)對于這些數(shù)據(jù)的利用還只是停留在基礎(chǔ)的瀏覽、檢索、查詢、整理等方面,而實(shí)際利用受限,無法將其轉(zhuǎn)化為有用的知識(shí)。面對紛繁的客戶信息,如何有效地管理數(shù)據(jù),利用數(shù)據(jù)資源進(jìn)行深層次的分析,找出其內(nèi)在的規(guī)律和知識(shí),為企業(yè)提供決策支持,已是企業(yè)亟待解決的問題,數(shù)據(jù)挖掘(DataMining,簡稱DM)技術(shù)的運(yùn)用則很好地解決這個(gè)問題。目前在CRM中進(jìn)行有效數(shù)據(jù)挖掘的研究主要集中在以下幾個(gè)方面:(1)方法研究:數(shù)據(jù)挖掘的知識(shí)類型、多個(gè)抽象層的交互知識(shí)挖掘、數(shù)據(jù)挖掘查詢語言以及并行挖掘、分布式挖掘和增量挖掘等。(2)性能研究:數(shù)據(jù)挖掘算法的有效性和可伸縮性、模式的評估和興趣度度量、挖掘應(yīng)用的效益等方面。(3)數(shù)據(jù)研究:數(shù)據(jù)庫類型的多樣性、復(fù)雜數(shù)據(jù)類型處理、噪聲數(shù)據(jù)和缺失數(shù)據(jù)處理,以及異種數(shù)據(jù)庫和Web上的數(shù)據(jù)挖掘等。(4)用戶交互研究:數(shù)據(jù)挖掘結(jié)果的表示和可視化,領(lǐng)域知識(shí)的運(yùn)用,挖掘過程的簡化和可理解性等。關(guān)聯(lián)規(guī)則算法(Associationrules)一直是數(shù)據(jù)挖掘領(lǐng)域的重要研究課題,它的目標(biāo)是確定數(shù)據(jù)中不同領(lǐng)域之間的聯(lián)系,即尋找數(shù)據(jù)庫中不同項(xiàng)集之間的關(guān)系。通過關(guān)聯(lián)分析獲得反應(yīng)客戶購買行為模式,能夠幫助企業(yè)制定更適合消費(fèi)者的營銷策略。在事務(wù)數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)非常重要的研究課題,廣泛應(yīng)用于商業(yè)領(lǐng)域,它是數(shù)據(jù)挖掘中最成熟、最重要、最活躍的研究內(nèi)容。數(shù)據(jù)挖掘是提取有用信息的“數(shù)據(jù)產(chǎn)生”過程,其產(chǎn)生的隱含知識(shí)和規(guī)則可以為企業(yè)經(jīng)營決策、市場策劃提供依據(jù),因此數(shù)據(jù)挖掘技術(shù)在CRM中的應(yīng)用必將越來越廣泛。隨著數(shù)據(jù)挖掘技術(shù)研究的進(jìn)一步發(fā)展和深化,CRM會(huì)有更為廣泛的應(yīng)用前景和市場價(jià)值,這對增強(qiáng)企業(yè)的核心競爭力將起到至關(guān)重要的作用。1關(guān)聯(lián)規(guī)則的定義定義1:關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)集記為D(一般為事務(wù)數(shù)據(jù)庫),D={t1,t2,…，tk,…,tn},tk={i1,i2,…,im,…,ip},tk(k=1,2,…,n)稱為事務(wù)im(m=1,2,…,p)稱為項(xiàng)目。定義2:設(shè)I={i1,i2,…,im,}是D中全體項(xiàng)目組成的集合,I的任何子集X稱為D中的項(xiàng)目集,|X|=k稱集合X為k項(xiàng)目集。設(shè)和X分別為D中的事務(wù)和項(xiàng)目集,如果X,則稱事務(wù)包含項(xiàng)目集X。每一個(gè)事務(wù)都有一個(gè)唯一的標(biāo)識(shí)符,稱為TID。事務(wù)是數(shù)據(jù)集D的組成元素(類似于關(guān)系數(shù)據(jù)庫中的記錄或元組),而項(xiàng)目是為發(fā)現(xiàn)關(guān)聯(lián)規(guī)則而規(guī)定的項(xiàng)目組合。事務(wù)與項(xiàng)目集的包含關(guān)系表明對該事務(wù)來說,此項(xiàng)目集中的各個(gè)項(xiàng)目是相互關(guān)聯(lián)的。定義3:如果項(xiàng)集的支持度大于用戶給定的最小支持度(minsup),則稱該項(xiàng)集為頻繁項(xiàng)集,或稱大項(xiàng)集。在頻繁項(xiàng)集中挑選出所有不被其它元素包含的頻繁項(xiàng)集稱為最大頻繁項(xiàng)集或最大項(xiàng)目集。定義4:設(shè)X<Y,Y<I,且X∩Y=Φ,如果事務(wù)數(shù)據(jù)庫D有s%的事物包含X∪Y,則稱關(guān)聯(lián)規(guī)則X?Y的支持度為s%,記為support(X?Y)=s%。即Support(I1)=||{tD|t}||/||D||關(guān)聯(lián)規(guī)則X?Y的支持度是一個(gè)概率值P(X∪Y),表示X∪Y在事物數(shù)據(jù)庫中的出現(xiàn)的次數(shù)占D中所有事物的百分比。支持度說明了規(guī)則在所有事物中的代表性,代表性越大,關(guān)聯(lián)規(guī)則越重要,應(yīng)用越廣泛。支持度是關(guān)聯(lián)規(guī)則重要性的一個(gè)衡量標(biāo)準(zhǔn)。定義5:設(shè)X<Y,Y<I,且X∩Y=Φ,事務(wù)數(shù)據(jù)庫D中包含X∪Y的事務(wù)數(shù)于包含X的事務(wù)數(shù)的比值稱為關(guān)聯(lián)規(guī)則X?Y的信任度,也稱置信度或可信度,記為confindence(X?Y)。為了發(fā)現(xiàn)更有意義的關(guān)聯(lián)規(guī)則,需要兩個(gè)給定的閾值:最小支持度(minsup)和最小可信度(minconf)。即Confidence(XY)=support(X∪Y)/support(X)=P(Y|X)。可信度就是指在出現(xiàn)了項(xiàng)集X的事物T中,項(xiàng)集Y也同時(shí)出現(xiàn)的概率有多大?？尚哦仁顷P(guān)聯(lián)規(guī)則的準(zhǔn)確度的一個(gè)衡量標(biāo)準(zhǔn)。支持度和可信度是衡量關(guān)聯(lián)規(guī)則的兩個(gè)重要概念。如果不考慮關(guān)聯(lián)規(guī)則的支持度和可信度,那么食物數(shù)據(jù)庫中存在無窮多的關(guān)聯(lián)規(guī)則。通常來講,用戶感興趣、有用的關(guān)聯(lián)規(guī)則是支持度和置信度都較高的關(guān)聯(lián)規(guī)則。2典型多因素算法的簡要分析和分析2.1嘴唇下的東南角d1994年,R.Agrawal等人在提出關(guān)聯(lián)規(guī)則概念后提出了Apriori算法。這種算法是關(guān)聯(lián)規(guī)則挖掘算法領(lǐng)域中最經(jīng)典的算法之一,是許多后續(xù)關(guān)聯(lián)規(guī)則挖掘研究工作的基礎(chǔ)。Apriori算法的核心思想是利用“給定的事務(wù)數(shù)據(jù)庫D中,任意頻繁項(xiàng)集的子集都是頻繁項(xiàng)集;任意非頻繁項(xiàng)集的超集都是非頻繁項(xiàng)集”這一原理對事務(wù)數(shù)據(jù)庫進(jìn)行多次掃描。首先第一次掃描得1-項(xiàng)頻繁集,第k(k>1)次掃描前先利用第k-1次掃描的結(jié)果(即k-1項(xiàng)頻繁集Lk-1)和函數(shù)Apriori-gen產(chǎn)生k-項(xiàng)候選頻繁集Ck,而后在掃描過程中確定Ck中每個(gè)元素的支持?jǐn)?shù),最后在每次掃描結(jié)束時(shí)計(jì)算出k-項(xiàng)頻繁集Lk,當(dāng)k-項(xiàng)候選頻繁集Ck為空時(shí)算法結(jié)束。2.2頻繁項(xiàng)集發(fā)現(xiàn)算法在實(shí)際的應(yīng)用中,Apriori算法還是存在許多不能令人滿意的地方,如產(chǎn)生大量候選集、無法對稀有信息進(jìn)行分析等缺點(diǎn),于是人們相繼提出了一些優(yōu)化的方法。(1)基于劃分的技術(shù):1995年,Savasere等人設(shè)計(jì)了一個(gè)基于劃分(Partition)的發(fā)現(xiàn)頻繁項(xiàng)集的算法。該算法分為兩部分:在第一部分中,算法首先將要在其中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則的事務(wù)數(shù)據(jù)庫D在邏輯上分為n個(gè)互不相交的事務(wù)數(shù)據(jù)庫的D1,D2,…,Dn,Di(i-1,2,…,n),然后單獨(dú)考慮每個(gè)分事務(wù)數(shù)據(jù)庫Di(i=1,2,…,n)并生成其中的頻繁項(xiàng)集Li,最后將所有分事務(wù)數(shù)據(jù)庫的頻繁項(xiàng)集合成為一個(gè)在事務(wù)數(shù)據(jù)庫D中的可能存在的頻繁項(xiàng)集該算法只對事務(wù)數(shù)據(jù)庫D掃描2次,從而減輕了內(nèi)存負(fù)擔(dān),使得算法效率得到提高。(2)基于采樣的技術(shù):這種方法采用比傳統(tǒng)算法少的掃描遍數(shù)來發(fā)現(xiàn)頻繁集,并使用比基于采樣的方法更少的候選集。具體來講是,在計(jì)算k-集時(shí),若某個(gè)(k+l)-項(xiàng)集可能是頻集時(shí),則并行計(jì)算這個(gè)(k+l)-項(xiàng)集的支持度,這樣可以顯著地降低挖掘過程中的I/O代價(jià)。這是種通過犧牲精度來換取有效性的方法,最大的問題就是結(jié)果偏差過大,但在滿足一定精度的條件下,使用此種挖掘方法可以有效地提高算法效率。(3)基于事務(wù)壓縮技術(shù):這種算法最具代表性的是R.Agrawal等人提出的AprioriTid和AprioriHybrid算法。此種技術(shù)的原理是當(dāng)一個(gè)事務(wù)不包含任何k-項(xiàng)集的時(shí),也不可能包含(k+1)-頻繁項(xiàng)集,從而可以將這些事務(wù)刪除,減少了要進(jìn)行掃描的事務(wù)的個(gè)數(shù),提高了效率。(4)基于散列的技術(shù):這是由Park等于1995年提出的一個(gè)基于散列技術(shù)的頻繁項(xiàng)集發(fā)現(xiàn)算法。在尋找頻繁項(xiàng)集的過程中,主要計(jì)算是在生成頻繁2-項(xiàng)集上,此種方法的思想就是:生成一維的頻繁項(xiàng)目集,然后生成哈希表H2,接著基于Hk生成Ck,再基于Ck生成Lk,然后為下一步生成哈希表Hk+i,接著同第二部分相同,只是不再使用哈希技術(shù),而使用Apriori算法的方法產(chǎn)生候選集和頻繁項(xiàng)目集。這樣減少了候選集的規(guī)模、高效地產(chǎn)生頻繁項(xiàng)目集。(5)基于動(dòng)態(tài)項(xiàng)集計(jì)數(shù):這種技術(shù)為了在任何時(shí)間點(diǎn)添加新的候選項(xiàng)目集,將數(shù)據(jù)庫劃分為標(biāo)記開始點(diǎn)的塊,這樣與僅在每次完整的數(shù)據(jù)庫掃描之前確定新的候選的Apriori算法不同,可以動(dòng)態(tài)確定已被計(jì)數(shù)的所有項(xiàng)目集的支持度。2.3頻繁項(xiàng)集的壓縮和挖掘?qū)贏priori算法優(yōu)化后的的頻繁項(xiàng)集算法,仍然有一些固有的缺陷難以克服,因此產(chǎn)生了一些其他的算法。2000年,J.Han等人提出了FP-growth算法,這種算法采用了分而治之的策略,其核心思想是:在對數(shù)據(jù)庫進(jìn)行第一次掃描后,把找到的頻繁項(xiàng)集壓縮到一棵頻繁模式樹(FP-tree),但仍然保留其中的關(guān)聯(lián)信息。隨后再將FP-tree分組成一組條件數(shù)據(jù)庫,每個(gè)庫和一個(gè)長度為1的頻繁項(xiàng)集相關(guān)。然后再對這些條件數(shù)據(jù)庫分別進(jìn)行挖掘。當(dāng)原始數(shù)據(jù)量很大的時(shí)候,可以結(jié)合劃分方法,使FP-tree可以放入主存中。實(shí)驗(yàn)表明,對于不同規(guī)格的長度模式FP-growth都有很好的適應(yīng)性,同時(shí)在效率上比Apriori算法快一個(gè)數(shù)量級(jí)。使用Apirori算法等頻繁項(xiàng)集算法得到的規(guī)則都是頻繁出現(xiàn)的,而事實(shí)上,人們可能一般只對一些并不是頻繁出現(xiàn)的元素感興趣。在Apriori算法中起關(guān)鍵作用的是支持度,基于此現(xiàn)象可以做出調(diào)整,將可信度置于首位從而挖掘出具有高可信度的規(guī)則。這種算法可以分為三個(gè)步驟:計(jì)算特征、生成候選集、過濾候選集。三個(gè)步驟中,最為關(guān)鍵的就是在計(jì)算特征時(shí)Hash方法的使用。3客戶報(bào)價(jià)預(yù)測模型交叉營銷是關(guān)聯(lián)規(guī)則在客戶關(guān)系管理中的一項(xiàng)重要應(yīng)用,它借助CRM發(fā)現(xiàn)客戶多種需求,并滿足其多種需求的一種橫向開發(fā)產(chǎn)品市場的新型營銷方式,是現(xiàn)代企業(yè)促進(jìn)完善客戶關(guān)系的一種重要手段。交叉銷售是建立在雙贏(win-win)原則上的,客戶可以得到更多更好滿足所需求的服務(wù),企業(yè)來也增加了銷售額而獲得了更高的利潤。以交叉銷售作為關(guān)聯(lián)規(guī)則在CRM中應(yīng)用的例子,通過研究某個(gè)時(shí)間段的交易數(shù)據(jù),對某鋼鐵集團(tuán)的客戶數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘,發(fā)現(xiàn)不同鋼類之間的關(guān)聯(lián)。該企業(yè)數(shù)據(jù)倉庫以客戶為主題的客戶訂貨事實(shí)表如表1所示,企業(yè)產(chǎn)品一中鋼類代碼表如表2所示。本實(shí)驗(yàn)對此鋼鐵集團(tuán)華北分公司2005年度客戶訂貨信息進(jìn)行關(guān)聯(lián)規(guī)則分析。采用最大頻繁項(xiàng)集關(guān)聯(lián)規(guī)則挖掘算法來挖掘客戶訂貨信息,提高挖掘速度。當(dāng)最小支持度(minsup)閉值設(shè)為3.5%時(shí),生成頻繁項(xiàng)集為{JF},{CAF},{BF}和{ADF};當(dāng)不限制最小置信度(minconf)取值時(shí),生成頻繁項(xiàng)集的關(guān)聯(lián)規(guī)則如下:即:鉻系不銹鋼?軸承鋼;鉻系不銹鋼?鉻鎳系不銹鋼;鉻系不銹鋼?碳素結(jié)構(gòu)鋼;鉻系不銹鋼?合金結(jié)構(gòu)鋼;鉻系不銹鋼?合金結(jié)構(gòu)鋼和碳素結(jié)構(gòu)鋼;鉻鎳系不銹鋼?合金結(jié)構(gòu)鋼;合金結(jié)構(gòu)鋼?碳素結(jié)構(gòu)鋼。根據(jù)上述挖掘出的規(guī)則,建議該企業(yè)可以采用以下的交叉銷售策略:(1)對只購買公司單一產(chǎn)品鋼類的客戶不給予折扣優(yōu)惠;(2)對購買鉻系不銹鋼并同時(shí)購買軸承鋼、鉻鎳系不銹鋼、碳素結(jié)構(gòu)鋼、合金結(jié)構(gòu)鋼的一種的客戶給予這種鋼一定的折扣;(3)對購買鉻系不銹鋼并同時(shí)購買合金結(jié)構(gòu)鋼和碳素結(jié)構(gòu)鋼的客戶給予這兩種鋼更大的折扣;(4)對購買鉻鎳系不銹鋼同時(shí)購買合金結(jié)構(gòu)鋼的客戶分別給予這兩種鋼一定的折扣;(5)對購買合金結(jié)構(gòu)鋼同時(shí)購買碳素結(jié)構(gòu)鋼的客戶分別給予這兩種鋼一定的折扣。根據(jù)以上篩選出的交叉銷售模式與規(guī)則,企業(yè)可以結(jié)合實(shí)際情況制定相應(yīng)的銷售價(jià)格策略,即在銷售產(chǎn)品的過程中時(shí)進(jìn)行產(chǎn)品捆綁銷售并且給予一定的優(yōu)惠政策;或當(dāng)客戶購買交叉銷售模式中某種產(chǎn)品時(shí),主動(dòng)以優(yōu)惠價(jià)格向客戶推薦交叉銷售模