數(shù)據(jù)挖掘算法及軟件介紹課件

1、數(shù)據(jù)挖掘功能簡(jiǎn)介Page 1Page 2主要內(nèi)容一、數(shù)據(jù)挖掘概念及流程二、數(shù)據(jù)挖掘方法分類(lèi)介紹 二-1、分類(lèi)算法及案例 二-2、聚類(lèi)分析及案例 二-3、關(guān)聯(lián)規(guī)則及案例 二-4、時(shí)間序列分析及案例 二-5、回歸分析及案例 二-6、異常分析及案例 二-7、文本挖掘 二-8、推薦系統(tǒng)三、常用數(shù)據(jù)挖掘軟件介紹四：數(shù)據(jù)挖掘和分析應(yīng)避免的誤區(qū)誤區(qū)Page 3一、數(shù)據(jù)挖掘概念及流程 數(shù)據(jù)挖掘（Data Mining）就是對(duì)觀測(cè)到的數(shù)據(jù)集（經(jīng)常是龐大的、不完全的、有噪聲的、模糊的、隨機(jī)的）進(jìn)行分析，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)，目的是發(fā)現(xiàn)未知的關(guān)系和以數(shù)據(jù)擁有者可以理解并對(duì)其

2、有價(jià)值的新穎方式來(lái)總結(jié)數(shù)據(jù)。數(shù)據(jù)清理篩選數(shù)據(jù)目標(biāo)數(shù)據(jù)Knowledge預(yù)處理及變換變換后的數(shù)據(jù)數(shù)據(jù)挖掘解釋/評(píng)估一、數(shù)據(jù)挖掘概念及流程Page 4二：數(shù)據(jù)挖掘方法分類(lèi)介紹數(shù)據(jù)挖掘聚類(lèi)分析預(yù)測(cè)K-meansK-中心點(diǎn)算法分類(lèi)分析KNN算法Bayes算法時(shí)間序列統(tǒng)計(jì)回歸分類(lèi)算法決策樹(shù)神經(jīng)網(wǎng)絡(luò)相關(guān)性分析回歸分析關(guān)聯(lián)規(guī)則Apriori算法線性回歸邏輯回歸序列模式挖掘異常分析非時(shí)間序列SLIQC4.5CARTCHAID概率回歸統(tǒng)計(jì)分析方差、極差、偏度等統(tǒng)計(jì)特征值異常點(diǎn)分析Page 5時(shí)間序列決策樹(shù)算法Page 7二-1：分類(lèi)算法及案例分析分類(lèi)： 預(yù)測(cè)種類(lèi)字段基于訓(xùn)練集形成一個(gè)模型，訓(xùn)練集中的類(lèi)標(biāo)簽是已知

3、的。使用該模型對(duì)新的數(shù)據(jù)進(jìn)行分類(lèi)預(yù)測(cè): 對(duì)連續(xù)性字段進(jìn)行建模和預(yù)測(cè)。 典型應(yīng)用信用評(píng)分Direct Marketing醫(yī)療診斷性用卡欺詐判斷客戶(hù)ID年齡學(xué)歷是否有房是否結(jié)婚 變量5變量6變量7是否欺詐訓(xùn)練數(shù)據(jù)119中專(zhuān)無(wú) 11230大學(xué) 有 00328高中有 01測(cè)試數(shù)據(jù)440大學(xué)有 10518中專(zhuān)無(wú) 11633大學(xué)無(wú) 11客戶(hù)ID年齡學(xué)歷是否有房是否結(jié)婚 變量5變量6變量7是否欺詐需要判斷的新數(shù)據(jù)727高中有 0？848高中無(wú) 1？934大學(xué)有 1？需要的歷史數(shù)據(jù)表需要判斷的新業(yè)務(wù)數(shù)據(jù)表結(jié)論：可以得出ID為7的客戶(hù)卡屬于欺詐的可能性為90%，ID為8和9的客戶(hù)不是欺詐的可能性為95%。二-1

4、：分類(lèi)算法及案例分析Page 8 結(jié)論規(guī)則: 第一類(lèi): 年齡在18-35歲之間，學(xué)歷是高中，還沒(méi)有住房的人群,可能發(fā)生信用卡欺詐的概率是97%. 第二類(lèi): 年齡在23-45歲之間，學(xué)歷是本科，有住房的人群,可能發(fā)生信用卡欺詐的概率是1%. 第三類(lèi): 年齡在30-55歲之間，學(xué)歷是小學(xué)，無(wú)住房的人群,可能發(fā)生信用卡欺詐的概率是80%. 根據(jù)規(guī)則去執(zhí)行相應(yīng)的措施和政策方針: 一: 第一類(lèi)和第三類(lèi)人群,不通過(guò)信用卡審批或者降低信用卡額度,增加調(diào)查力度。 二: 信用卡用戶(hù)的營(yíng)銷(xiāo)策略,按使用情況和年限增加額度.業(yè)務(wù)主要針對(duì)此類(lèi)人群宣傳或者增加第二類(lèi)信用卡用戶(hù)的比率。 二-1：分類(lèi)算法及案例分析Page1

5、0 行業(yè)應(yīng)用： 1）城市綜合環(huán)境質(zhì)量評(píng)價(jià) 2）保險(xiǎn)、醫(yī)療、信用卡等等反欺詐模型 3） 客戶(hù)、企業(yè)信用評(píng)級(jí)模型 4）公安犯罪預(yù)警預(yù)測(cè) 5）氣候分類(lèi)、農(nóng)業(yè)區(qū)劃、土地類(lèi)型劃分中有著廣泛的應(yīng)用二-1：分類(lèi)算法及案例分析Page11Page12二-2：聚類(lèi)分析及案例簇（Cluster）:一個(gè)數(shù)據(jù)對(duì)象的集合聚類(lèi)分析把一個(gè)給定的數(shù)據(jù)對(duì)象集合分成不同的簇；在同一個(gè)簇（或類(lèi)）中，對(duì)象之間具有相似性；不同簇（或類(lèi)）的對(duì)象之間是相異的。聚類(lèi)是一種無(wú)監(jiān)督分類(lèi)法: 沒(méi)有預(yù)先指定的類(lèi)別；典型的應(yīng)用作為一個(gè)獨(dú)立的分析工具，用于了解數(shù)據(jù)的分布； 聚類(lèi)之后分析異常數(shù)據(jù)；作為其它算法的一個(gè)數(shù)據(jù)預(yù)處理步驟；Page14二-2：聚類(lèi)

6、分析及案例案例背景隨著現(xiàn)代人力資源管理理論的迅速發(fā)展，績(jī)效考評(píng)技術(shù)水平也在不斷提高。績(jī)效的多因性、多維性，要求對(duì)績(jī)效實(shí)施多標(biāo)準(zhǔn)大樣本科學(xué)有效的評(píng)價(jià)。對(duì)企業(yè)來(lái)說(shuō)，對(duì)上千人進(jìn)行多達(dá)5060個(gè)標(biāo)準(zhǔn)的考核是很常見(jiàn)的現(xiàn)象。但是，目前多標(biāo)準(zhǔn)大樣本大型企業(yè)績(jī)效考評(píng)問(wèn)題仍然困擾著許多人力資源管理從業(yè)人員。 本案例將列舉某企業(yè)的具體情況確定適當(dāng)?shù)目己藰?biāo)準(zhǔn)，采用主成分分析以及聚類(lèi)分析方法，比較出各員工績(jī)效水平，從而為企業(yè)績(jī)效管理提供一定的科學(xué)依據(jù)。Page15二-2：聚類(lèi)分析及案例職工代號(hào)工作產(chǎn)量工作質(zhì)量工作出勤工砟損耗工作態(tài)度工作能力19.689.628.378.639.869.7428.098.839.389

7、.799.989.7337.468.736.745.598.838.4646.088.255.045.928.338.2956.618.366.677.468.388.1467.698.856.447.458.198.177.468.935.77.068.588.3687.69.286.758.038.688.2297.68.267.57.638.797.63107.168.625.727.118.198.18116.048.173.958.088.248.65126.277.9434.527.167.81136.618.54.345.618.528.36147.398.445.925.378

8、.837.47157.838.793.855.358.588.03167.368.535.397.098.238.04177.248.614.693.989.048.07186.498.034.567.188.548.57195.437.674.223.878.417.6204.577.42.963.028.747.97216.438.384.874.878.788.37225.887.893.876.348.378.19233.946.912.976.778.178.16244.827.33.075.876.326.01254.027.262.285.639.669.07263.876.96

9、2.794.925.326.23274.157.51.564.818.448.38284.997.522.116.238.38.14表 某企業(yè)28位職工績(jī)效考評(píng)結(jié)果Page17二-2：聚類(lèi)分析及案例零售業(yè)將經(jīng)常同時(shí)購(gòu)買(mǎi)的數(shù)據(jù)項(xiàng)聚類(lèi)到一起有利于改善商品的布置，提高銷(xiāo)售利潤(rùn)。將具有相似的購(gòu)買(mǎi)模式的顧客聚類(lèi)到一起，分析每一類(lèi)顧客的特征，有利于對(duì)特定的顧客群進(jìn)行特定商品的宣傳和銷(xiāo)售保險(xiǎn) 對(duì)購(gòu)買(mǎi)了汽車(chē)保險(xiǎn)的客戶(hù)，標(biāo)識(shí)那些有較高平均賠償成本的客戶(hù)；醫(yī)療分析對(duì)一組新型疾病聚類(lèi)，得到每類(lèi)疾病的特征描述，一些特定的癥狀的聚集可能預(yù)示一個(gè)特定的疾病分類(lèi)。城市規(guī)劃 - 根據(jù)類(lèi)型、價(jià)格、地理位置等來(lái)劃分不同類(lèi)型的住宅

10、；傳統(tǒng)制造業(yè) -成本控制 社保行業(yè)中如： 1、具有什么樣特征的人群醫(yī)療欺詐的幾率大？然后應(yīng)該怎么樣制定政策去應(yīng)對(duì)此類(lèi)人群？ 2、具有什么樣特征的人群醫(yī)療費(fèi)用高，高多少？然后制定什么樣的政策去降低醫(yī)療費(fèi)用高的人群的自費(fèi)負(fù)擔(dān)？比如當(dāng)前的55歲以上人群的醫(yī)保個(gè)人賬戶(hù) 劃入比例是55歲以下的高，這個(gè)年齡間隔的判斷依據(jù)就是分群的分類(lèi)。 二-3：關(guān)聯(lián)規(guī)則及案例Page18關(guān)聯(lián)規(guī)則挖掘：在交易數(shù)據(jù)、關(guān)系數(shù)據(jù)或其他信息載體中，查找存在于項(xiàng)目集合或?qū)ο蠹现g的頻繁模式、關(guān)聯(lián)、相關(guān)性、或因果結(jié)構(gòu)。應(yīng)用：購(gòu)物籃分析、交叉銷(xiāo)售、產(chǎn)品目錄設(shè)計(jì)、賠本銷(xiāo)售分析（loss-leader analysis）、聚集、分類(lèi)等。舉

11、例： 規(guī)則形式： “Body Head support, confidence”.buys(x, “diapers”) buys(x, “beers”) 0.5%, 60%major(x, “CS”) takes(x, “DB”) grade(x, “A”) 1%, 75%二-3：關(guān)聯(lián)規(guī)則及案例 沃爾瑪現(xiàn)有五種商品的交易記錄表，用關(guān)聯(lián)分析方法試找出三種商品關(guān)聯(lián)銷(xiāo)售情況，最小支持度=50%。Page19買(mǎi)尿布的客戶(hù)二者都買(mǎi)的客戶(hù)買(mǎi)啤酒的客戶(hù)二-3：關(guān)聯(lián)規(guī)則及案例算法結(jié)論: 第一類(lèi)：30%的人群同時(shí)購(gòu)買(mǎi)了牛奶，礦泉水和筆； 第二類(lèi)：20%的人群同時(shí)買(mǎi)了尿布、啤酒；而在買(mǎi)尿布的人群中40%的人同時(shí)買(mǎi)

12、了啤酒。業(yè)務(wù)調(diào)查和分析： 1、第一類(lèi)不合理。牛奶和礦泉水本身都屬于飲品類(lèi)，功能不同，給消費(fèi)者的感受也不同，當(dāng)需求不同時(shí)，買(mǎi)礦泉水的人可能不會(huì)再去買(mǎi)牛奶，因?yàn)榈V泉水比牛奶更能達(dá)到解渴的效果。 2、按常規(guī)思維，尿布與啤酒風(fēng)馬牛不相及，產(chǎn)生這一現(xiàn)象的原因是：美國(guó)的太太們常叮囑她們的丈夫下班后為小孩買(mǎi)尿布，而他們中有30%到40%的人同時(shí)也為自己買(mǎi)一些啤酒。決策建議：把啤酒和尿布放在靠近的位置出售，達(dá)到的效果：此后兩者的銷(xiāo)售額都提高了2-3倍。Page20二-3：關(guān)聯(lián)規(guī)則及案例行業(yè)案例： 1）超市產(chǎn)品組合分析（產(chǎn)品的互相擺放和針對(duì)性銷(xiāo)售）； 2）讀者行為分析，書(shū)籍推薦（如互聯(lián)網(wǎng)京東、淘寶上的各種產(chǎn)品的

13、推薦）； 3）保險(xiǎn)行業(yè)的保險(xiǎn)產(chǎn)品推薦。Page21二-4：時(shí)間序列分析及案例 時(shí)間序列分析：描述時(shí)間序列數(shù)據(jù)隨時(shí)間變化的數(shù)據(jù)的規(guī)律或趨勢(shì)，并對(duì)其建模。包括時(shí)間序列趨勢(shì)分析、周期模式匹配等。例如：通過(guò)對(duì)交易數(shù)據(jù)的演變分析，可能會(huì)得到89%情況股票X上漲一周左右后，股票Y會(huì)上漲這樣一條序列知識(shí)。 歷史往往是重復(fù)過(guò)去的故事加上一定的變化規(guī)律。 應(yīng)用場(chǎng)景：預(yù)測(cè)未來(lái)。 Page22二-4：時(shí)間序列分析及案例 案例：某企業(yè)1992年2006年的銷(xiāo)售收入時(shí)間序列如下表所示.試用時(shí)間序列算法預(yù)測(cè)2008年的銷(xiāo)售收入,并計(jì)算預(yù)測(cè)的標(biāo)準(zhǔn)誤差。 時(shí)間 1992 1994 1996 1998 2000 2002 20

14、04 2006銷(xiāo)售收入(萬(wàn)元)50000.860574.687306.9120649.8139241153772201816231892.7Page24二-4：時(shí)間序列分析及案例 結(jié)論：2008年的預(yù)測(cè)值為261840萬(wàn)元，公司可以根據(jù)預(yù)測(cè)收入來(lái)進(jìn)行下一年政策的調(diào)整和各種財(cái)務(wù)預(yù)算的調(diào)整工作。Page25二-5：回歸分析及案例Page27 回歸分析是對(duì)具有因果關(guān)系的影響因素（自變量）和預(yù)測(cè)對(duì)象（因變量）所進(jìn)行的數(shù)理統(tǒng)計(jì)分析處理。二-5：回歸分析及案例Page28二-5：回歸分析及案例Page29 算法結(jié)果：物流人才需求量 = -28 + 25*職工總?cè)藬?shù) 結(jié)論：只要知道當(dāng)?shù)芈毠た側(cè)藬?shù)，則可以估算

15、出當(dāng)?shù)厮枰奈锪魅瞬牛?lèi)似的如需要多少公務(wù)人員，需要多少社保管理人員，需要多少警察等）。 社保方面：類(lèi)似醫(yī)療保險(xiǎn)總費(fèi)用和當(dāng)?shù)厝丝谥g的關(guān)系，各類(lèi)社保基金收入和當(dāng)?shù)亟?jīng)濟(jì)情況之間的關(guān)系等等。二-5：回歸分析及案例 案例描述：消費(fèi)是宏觀經(jīng)濟(jì)必不可少的環(huán)節(jié)，完善消費(fèi)模型可以為宏觀調(diào)控提供重要的依據(jù)。下面給出了我國(guó)20年的人均消費(fèi)性支出、人均現(xiàn)金收入和人均實(shí)物收入的數(shù)據(jù)，對(duì)其三者之間的關(guān)系可以利用回歸的方法進(jìn)行分析研究。Page30二-5：回歸分析及案例Page31二-5：回歸分析及案例 模型結(jié)論：在人均實(shí)物收入不變的情況下每增加1元人均現(xiàn)金 收入，則人均消費(fèi)支出將增加0.5762元，人均實(shí)物收入同理

16、增長(zhǎng)方式。這樣的話如果有當(dāng)?shù)厝司F(xiàn)金收入和人均實(shí)物收入的數(shù)據(jù)就可以估算人均消費(fèi)性支出。 Page32通過(guò)一定的算法使用歷史數(shù)據(jù)得出模型結(jié)果為： 二-5：回歸分析及案例實(shí)用案例： 1、城市居民家庭人均可支配收入與儲(chǔ)蓄存款關(guān)系的分析； 2、鑄造廠產(chǎn)品成本分析； 3、個(gè)人所得稅和GDP的關(guān)系分析； 4、居民家庭教育支出和消費(fèi)性支出之間的關(guān)系。Page33二-6：異常分析及案例 異常分析：異常值outlier：一組測(cè)定值中與平均值的偏差超過(guò)兩倍標(biāo)準(zhǔn)差的測(cè)定值。與平均值的偏差超過(guò)三倍標(biāo)準(zhǔn)差的測(cè)定值，稱(chēng)為高度異常的異常值。 對(duì)某些行業(yè)來(lái)說(shuō)，異常數(shù)據(jù)反而有比較高的分析價(jià)值，針對(duì)異常數(shù)據(jù)分析出原因，可以更好的

17、制定策略和方針。比如金融行業(yè)的金融欺詐、信用卡欺詐，保險(xiǎn)行業(yè)的保險(xiǎn)欺詐、警察部門(mén)的犯罪嫌疑人甄別等等。 異常數(shù)據(jù)挖掘的核心在于合理描述異常的類(lèi)型，并用算法精確描述；比如異常類(lèi)型包括：數(shù)值過(guò)大或過(guò)小、數(shù)值頻率太高或太小、行為異常（欺詐）等等。Page34二-6：異常分析及案例Page35 通過(guò)異常值判別法得到表2，再經(jīng)過(guò)關(guān)聯(lián)分析得出表4 的結(jié)果。結(jié)論 ：TCH 話務(wù)高一定導(dǎo)致SDCCH話務(wù)高，但是 SDCCH話務(wù)高，TCH話務(wù)量卻不一定高。這與實(shí)際相符。目的：找出異常數(shù)據(jù)，分析異常數(shù)據(jù)的產(chǎn)生原因，以此進(jìn)行相關(guān)業(yè)務(wù)政策調(diào)整。二-6：異常分析及案例Page36行業(yè)案例：1、電信、保險(xiǎn)、銀行中的欺詐檢

18、測(cè)與風(fēng)險(xiǎn)分析 2、發(fā)現(xiàn)電子商務(wù)中的犯罪行為 3、災(zāi)害氣象預(yù)報(bào) 4、稅務(wù)局分析不同團(tuán)體交所得稅的記錄，發(fā)現(xiàn)異常模型和趨勢(shì) 6、海關(guān)、民航等安檢部門(mén)推斷哪些人可能有嫌疑 7、7、海關(guān)報(bào)關(guān)中的價(jià)格隱瞞 8、營(yíng)銷(xiāo)定制：分析花費(fèi)較小和較高顧客的消費(fèi)行為 9、醫(yī)學(xué)研究中發(fā)現(xiàn)醫(yī)療方案或藥品所產(chǎn)生的異常反應(yīng) 10、計(jì)算機(jī)中的入侵檢測(cè) 11、運(yùn)動(dòng)員的成績(jī)分析 二-6：異常分析及案例Page37 文本數(shù)據(jù)挖掘(Text Mining)是指從文本（文字）數(shù)據(jù)中抽取有價(jià)值的信息和知識(shí)的計(jì)算機(jī)處理技術(shù)。應(yīng)用 1、基于內(nèi)容的搜索引擎，代表性的系統(tǒng)有百度、google、北京大學(xué)天網(wǎng)、京東、淘寶等。 2、信息自動(dòng)分類(lèi)，比如智

19、多星中文文本分類(lèi)。 3、自動(dòng)問(wèn)答、機(jī)器翻譯。 4、文本分析已經(jīng)涉足到醫(yī)療、輿情、金融等方面。二-7：文本挖掘Page38 推薦算法的本質(zhì)是通過(guò)一定的方式將用戶(hù)和物品聯(lián)系起來(lái)，從而有效的給用戶(hù)推薦本身感興趣或需要但是沒(méi)有發(fā)現(xiàn)的物品。 個(gè)性化推薦系統(tǒng)的應(yīng)用場(chǎng)景：電子商務(wù)（據(jù)說(shuō)Amazon 35%的銷(xiāo)售額來(lái)自推薦系統(tǒng)）、電影和視頻網(wǎng)站、個(gè)性化音樂(lè)網(wǎng)絡(luò)電臺(tái)、社交網(wǎng)絡(luò)、個(gè)性化閱讀、基于位置的服務(wù)、個(gè)性化郵件、個(gè)性化廣告（上下文廣告、搜索廣告、個(gè)性化展示廣告）。 二-8：推薦系統(tǒng)Page39三：常用數(shù)據(jù)挖掘工具Page40 右側(cè)是2012年數(shù)據(jù)挖掘工具排行，值得注意的是，今年排名前五名的數(shù)據(jù)挖掘工具中有四

20、個(gè)是開(kāi)源軟件。此外R還擊敗SQL和Java，在最受歡迎的數(shù)據(jù)挖掘應(yīng)用編程語(yǔ)言排行榜中排名第一。三：常用數(shù)據(jù)挖掘工具Page41優(yōu)點(diǎn)缺點(diǎn)數(shù)據(jù)量典型行業(yè)R免費(fèi)開(kāi)源、功能強(qiáng)大，擴(kuò)展性強(qiáng)。很多人為了方便會(huì)寫(xiě)些R包，很多R包的正確性和效率難以保證；數(shù)據(jù)量大速度慢。由于包更新多，要精通R難。小、中、大（比較麻煩）金融、互聯(lián)網(wǎng)、網(wǎng)游SPSS傻瓜式操作，入門(mén)容易，可視化好。功能無(wú)法滿(mǎn)足行業(yè)特殊要求、不適合嵌入別的軟件產(chǎn)品、費(fèi)用高小銀行、金融、政府SAS功能強(qiáng)大，可信度高。費(fèi)用超高，入門(mén)和精通難大銀行、金融Matlab功能強(qiáng)大，速度快，精度高，主用于研究。費(fèi)用高中學(xué)校、研究所、金融三：常用數(shù)據(jù)挖掘工具Page42 R是一套完整的數(shù)據(jù)處理、計(jì)