數(shù)據(jù)挖掘之關(guān)聯(lián)分析

1、數(shù)據(jù)挖掘之關(guān)聯(lián)分析概念概念數(shù)據(jù)挖掘數(shù)據(jù)挖掘(Data Mining) (Data Mining) 是通過(guò)分析每個(gè)數(shù)據(jù)，從大量是通過(guò)分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示尋找和規(guī)律表示3 3個(gè)步驟。個(gè)步驟。 數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。異常分析、特異群組分析和演變分析等。是指如果兩個(gè)或多個(gè)事物之間存在一定的關(guān)聯(lián)是指如果兩個(gè)或多個(gè)事物之間存在一定的關(guān)聯(lián), ,那么其那么其中一個(gè)事物就能通過(guò)其他事物進(jìn)行預(yù)測(cè)中一個(gè)事物就能

2、通過(guò)其他事物進(jìn)行預(yù)測(cè). .它的目的是它的目的是為了挖掘隱藏在數(shù)據(jù)間的相互關(guān)系為了挖掘隱藏在數(shù)據(jù)間的相互關(guān)系 。數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做什么 分類分類 （ClassificationClassification） 首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，在該訓(xùn)練集上運(yùn)首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，在該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘分類的技術(shù)，建立分類模型，對(duì)于沒(méi)有分類的數(shù)用數(shù)據(jù)挖掘分類的技術(shù)，建立分類模型，對(duì)于沒(méi)有分類的數(shù)據(jù)進(jìn)行分類。據(jù)進(jìn)行分類。 例子：例子： a. a. 信用卡申請(qǐng)者，分類為低、中、高風(fēng)險(xiǎn)信用卡申請(qǐng)者，分類為低、中、高風(fēng)險(xiǎn) b. b. 故障診斷：中國(guó)寶鋼集團(tuán)與上海天律信息技術(shù)有限公

3、司故障診斷：中國(guó)寶鋼集團(tuán)與上海天律信息技術(shù)有限公司合作，采用數(shù)據(jù)挖掘技術(shù)對(duì)鋼材生產(chǎn)的全流程進(jìn)行質(zhì)量監(jiān)控合作，采用數(shù)據(jù)挖掘技術(shù)對(duì)鋼材生產(chǎn)的全流程進(jìn)行質(zhì)量監(jiān)控和分析，構(gòu)建故障地圖，實(shí)時(shí)分析產(chǎn)品出現(xiàn)瑕疵的原因，有和分析，構(gòu)建故障地圖，實(shí)時(shí)分析產(chǎn)品出現(xiàn)瑕疵的原因，有效提高了產(chǎn)品的優(yōu)良率。效提高了產(chǎn)品的優(yōu)良率。 數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做什么 估計(jì)（估計(jì)（EstimationEstimation） 估計(jì)與分類類似，不同之處在于，分類描述的是離散型變估計(jì)與分類類似，不同之處在于，分類描述的是離散型變量的輸出，而估值處理連續(xù)值的輸出；分類量的輸出，而估值處理連續(xù)值的輸出；分類 數(shù)據(jù)挖掘數(shù)據(jù)挖掘的類別是確定

4、數(shù)目的，估值的量是不確定的。的類別是確定數(shù)目的，估值的量是不確定的。例子：例子： a. a. 根據(jù)購(gòu)買(mǎi)模式，估計(jì)一個(gè)家庭的孩子個(gè)數(shù)根據(jù)購(gòu)買(mǎi)模式，估計(jì)一個(gè)家庭的孩子個(gè)數(shù) b. b. 根據(jù)購(gòu)買(mǎi)模式，估計(jì)一個(gè)家庭的收入根據(jù)購(gòu)買(mǎi)模式，估計(jì)一個(gè)家庭的收入 c. c. 估計(jì)估計(jì)real estatereal estate的價(jià)值的價(jià)值 一般來(lái)說(shuō)，估值可以作為分類的前一步工作。例如：銀行一般來(lái)說(shuō)，估值可以作為分類的前一步工作。例如：銀行對(duì)家庭貸款業(yè)務(wù)，運(yùn)用估值，給各個(gè)客戶記分（對(duì)家庭貸款業(yè)務(wù)，運(yùn)用估值，給各個(gè)客戶記分（Score 01Score 01）。然后，根據(jù)閾值，將貸款級(jí)別分類。然后，根據(jù)閾值，將貸款級(jí)

5、別分類。 數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做什么 預(yù)測(cè)（預(yù)測(cè)（PredictionPrediction） 通常，預(yù)測(cè)是通過(guò)分類或估值起作用的，也就是說(shuō)，通過(guò)通常，預(yù)測(cè)是通過(guò)分類或估值起作用的，也就是說(shuō)，通過(guò)分類或估值得出模型，該模型用于對(duì)未知變量的預(yù)言。從這分類或估值得出模型，該模型用于對(duì)未知變量的預(yù)言。從這種意義上說(shuō)，預(yù)言其實(shí)沒(méi)有必要分為一個(gè)單獨(dú)的類。預(yù)言其種意義上說(shuō)，預(yù)言其實(shí)沒(méi)有必要分為一個(gè)單獨(dú)的類。預(yù)言其目的是對(duì)未來(lái)未知變量的預(yù)測(cè)，這種預(yù)測(cè)是需要時(shí)間來(lái)驗(yàn)證目的是對(duì)未來(lái)未知變量的預(yù)測(cè)，這種預(yù)測(cè)是需要時(shí)間來(lái)驗(yàn)證的，即必須經(jīng)過(guò)一定時(shí)間后，才知道預(yù)言準(zhǔn)確性是多少。的，即必須經(jīng)過(guò)一定時(shí)間后，才知道預(yù)言準(zhǔn)

6、確性是多少。 數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做什么 相關(guān)性分組或關(guān)聯(lián)規(guī)則相關(guān)性分組或關(guān)聯(lián)規(guī)則 （Affinity grouping or association rulesAffinity grouping or association rules） 決定哪些事情將一起發(fā)生。決定哪些事情將一起發(fā)生。 例子：例子： a. a. 超市中客戶在購(gòu)買(mǎi)超市中客戶在購(gòu)買(mǎi)A A的同時(shí)，經(jīng)常會(huì)購(gòu)買(mǎi)的同時(shí)，經(jīng)常會(huì)購(gòu)買(mǎi)B B，即，即A = A = B(B(關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則) ) b. b. 客戶在購(gòu)買(mǎi)客戶在購(gòu)買(mǎi)A A后，隔一段時(shí)間，會(huì)購(gòu)買(mǎi)后，隔一段時(shí)間，會(huì)購(gòu)買(mǎi)B B （序列分析）（序列分析） 數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘

7、能做什么 聚類（聚類（ClusteringClustering） 聚類是對(duì)記錄分組，把相似的記錄在一個(gè)聚集里。聚類和聚類是對(duì)記錄分組，把相似的記錄在一個(gè)聚集里。聚類和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。 例子：例子： a. a. 一些特定癥狀的聚集可能預(yù)示了一個(gè)特定的疾病一些特定癥狀的聚集可能預(yù)示了一個(gè)特定的疾病 b. b. 租租VCDVCD類型不相似的客戶聚集，可能暗示成員屬于不同類型不相似的客戶聚集，可能暗示成員屬于不同的亞文化群的亞文化群 數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián) 我們會(huì)發(fā)現(xiàn)很多網(wǎng)站都具備了內(nèi)容推薦的功能，這類功我們會(huì)發(fā)現(xiàn)很

8、多網(wǎng)站都具備了內(nèi)容推薦的功能，這類功能無(wú)疑在幫助用戶發(fā)現(xiàn)需求，促進(jìn)商品購(gòu)買(mǎi)和服務(wù)應(yīng)用方面能無(wú)疑在幫助用戶發(fā)現(xiàn)需求，促進(jìn)商品購(gòu)買(mǎi)和服務(wù)應(yīng)用方面起到了顯著性的效果。起到了顯著性的效果。 那么這類的推薦是怎么得到的呢？那么這類的推薦是怎么得到的呢？數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)關(guān)聯(lián)推薦在營(yíng)銷(xiāo)上被分為兩類：關(guān)聯(lián)推薦在營(yíng)銷(xiāo)上被分為兩類： 向上營(yíng)銷(xiāo)向上營(yíng)銷(xiāo)(Up Marketing)(Up Marketing)：根據(jù)既有客戶過(guò)去的消費(fèi)喜好，提供更高價(jià)值或者其他用以加強(qiáng)其原有功能或者用途的產(chǎn)品或服務(wù)。 交叉營(yíng)銷(xiāo)交叉營(yíng)銷(xiāo)(Cross Marketing)(Cross Marketing)：從客戶的購(gòu)買(mǎi)行為中發(fā)現(xiàn)客戶的多種需

9、求，向其推銷(xiāo)相關(guān)的產(chǎn)品或服務(wù)。數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)向上營(yíng)銷(xiāo)是基于同類產(chǎn)品線的升級(jí)或優(yōu)化產(chǎn)品的推薦，向上營(yíng)銷(xiāo)是基于同類產(chǎn)品線的升級(jí)或優(yōu)化產(chǎn)品的推薦，而交叉營(yíng)銷(xiāo)是基于相似但不同類的產(chǎn)品的推薦。而交叉營(yíng)銷(xiāo)是基于相似但不同類的產(chǎn)品的推薦。數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)關(guān)聯(lián)推薦在實(shí)現(xiàn)方式上也可以分為兩種：關(guān)聯(lián)推薦在實(shí)現(xiàn)方式上也可以分為兩種： 以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦 以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦比如Web Analytics和Web Analytics 2.0的作者都是Avinash Kaushik，而且書(shū)名都包含Web Analytics，都是網(wǎng)站分析類的書(shū)籍，同時(shí)也

10、可能是同一個(gè)出版社那么基于產(chǎn)品的關(guān)聯(lián)就可以向購(gòu)買(mǎi)了Web Analytics的用戶推薦Web Analytics 2.0。數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)關(guān)聯(lián)推薦在實(shí)現(xiàn)方式上也可以分為兩種：關(guān)聯(lián)推薦在實(shí)現(xiàn)方式上也可以分為兩種： 以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦以產(chǎn)品分析為基礎(chǔ)的關(guān)聯(lián)推薦 以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦以用戶分析為基礎(chǔ)的關(guān)聯(lián)推薦 基于用戶分析的推薦是通過(guò)分析用戶的歷史行為數(shù)據(jù)，可能會(huì)發(fā)現(xiàn)購(gòu)買(mǎi)了Web Analytics的很多用戶也買(mǎi)了The Elements of User Experience這本書(shū)，那么就可以基于這個(gè)發(fā)現(xiàn)進(jìn)行推薦。關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián) 經(jīng)典案例：經(jīng)典案例：沃爾瑪?shù)钠【坪湍虿?/p>

11、的故事沃爾瑪?shù)钠【坪湍虿嫉墓适玛P(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則基于用戶行為分析的關(guān)聯(lián)推薦基于用戶行為分析的關(guān)聯(lián)推薦更有利于發(fā)現(xiàn)用戶的潛在需求，幫助用戶更好的選擇它們需要更有利于發(fā)現(xiàn)用戶的潛在需求，幫助用戶更好的選擇它們需要的產(chǎn)品，并由用戶決定是否購(gòu)買(mǎi)，也就是所謂的的產(chǎn)品，并由用戶決定是否購(gòu)買(mǎi)，也就是所謂的“拉式拉式”營(yíng)銷(xiāo)營(yíng)銷(xiāo)。通過(guò)向用戶推薦產(chǎn)品或服務(wù)，激發(fā)用戶的潛在需求，促使用。通過(guò)向用戶推薦產(chǎn)品或服務(wù)，激發(fā)用戶的潛在需求，促使用戶消費(fèi)，更加符合戶消費(fèi)，更加符合“以用戶為中心以用戶為中心”的理念。的理念。以以電子商務(wù)網(wǎng)站電子商務(wù)網(wǎng)站為例來(lái)說(shuō)明一下關(guān)聯(lián)規(guī)則的具體實(shí)現(xiàn)為例來(lái)說(shuō)明一下關(guān)聯(lián)規(guī)則的具體實(shí)現(xiàn): : 目前大部分電子商務(wù)網(wǎng)站都提供用戶注冊(cè)的功能，而購(gòu)物目前大部分電子商務(wù)網(wǎng)站都提供用戶注冊(cè)的功能，而購(gòu)物的用戶一般都是基于登錄的條件下完成的，所以這里為用戶識(shí)的用戶一般都是基于登錄的條件下完成