數(shù)據(jù)挖掘?qū)ｎ}報告賈昽推

1、數(shù)據(jù)挖掘?qū)ｎ}報告 計算機(jī)1301 賈昽推 201337941.數(shù)據(jù)挖掘產(chǎn)生于發(fā)展：       在金融業(yè)方面, 數(shù)據(jù)挖掘的應(yīng)用突出表現(xiàn)在信用評估和防止欺詐等方面。PaoloGiudici和OliviaParrRud對利用神經(jīng)網(wǎng)絡(luò)、logistic回歸和決策樹方法進(jìn)行信用評估的相關(guān)問題進(jìn)行了闡述。RobertGroth從防止金融欺詐的角度論述了數(shù)據(jù)挖掘的應(yīng)用問題以及利用神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行股票預(yù)測的問題。MichaelJ.A.Berry和GordonS.Linoff則從金融產(chǎn)品的交叉銷售和保險精算兩個角度對數(shù)據(jù)挖掘在金融

2、業(yè)的應(yīng)用進(jìn)行了探討。在金融業(yè)方面,數(shù)據(jù)挖掘的應(yīng)用突出表現(xiàn)在信用評估和防止欺詐等方面。PaoloGiudici和OliviaParrRud對利用神經(jīng)網(wǎng)絡(luò)、logistic回歸和決策樹方法進(jìn)行信用評估的相關(guān)問題進(jìn)行了闡述。RobertGroth從防止金融欺詐的角度論述了數(shù)據(jù)挖掘的應(yīng)用問題以及利用神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行股票預(yù)測的問題。MichaelJ.A.Berry和GordonS.Linoff則從金融產(chǎn)品的交叉銷售和保險精算兩個角度對數(shù)據(jù)挖掘在金融業(yè)的應(yīng)用進(jìn)行了探討。2.數(shù)據(jù)挖掘的現(xiàn)狀：    目前，數(shù)據(jù)挖掘的研究方面主要有：數(shù)據(jù)庫知識發(fā)現(xiàn)方面，將KDD 與數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)

3、倉庫系統(tǒng)和Web數(shù)據(jù)庫系統(tǒng)緊密結(jié)合，力圖充分利用Web中的豐富資源; 機(jī)器學(xué)習(xí)方面，進(jìn)一步研究知識發(fā)現(xiàn)方法，希望克服現(xiàn)存算法的計算性瓶頸；統(tǒng)計領(lǐng)域，加大傳統(tǒng)統(tǒng)計方法在數(shù)據(jù)挖掘中的應(yīng)用。    中國國內(nèi)數(shù)據(jù)挖掘的研究領(lǐng)域一般集中于相關(guān)算法研究、數(shù)據(jù)挖掘的實際應(yīng)用以及相關(guān)數(shù)據(jù)挖掘理論的研究。然而，目前關(guān)于數(shù)據(jù)挖掘的論文雖多，但與企業(yè)結(jié)合較少。3.數(shù)據(jù)挖掘的定義：  技術(shù)定義：數(shù)據(jù)挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。  商業(yè)

4、定義：數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。4.數(shù)據(jù)挖掘的功能：    （1）概念知識：  數(shù)據(jù)庫中存在著豐富的數(shù)據(jù)，但人們總希望能以簡潔的描述形式來描述匯集的數(shù)據(jù)集。  概念描述就是對某類對象的內(nèi)涵進(jìn)行描述并概括出這類對象的有關(guān)特征，是一種對數(shù)據(jù)的概況、提煉和抽象。  概念描述分為特征性描述（characterization ）和區(qū)別性描述(discrimination) ，前者描述某類對象的共同特征，后者描述不同類對象之間

5、的區(qū)別。生成區(qū)別性描述的方法很多，如決策樹方法、遺傳算法等。（2）關(guān)聯(lián)知識：  關(guān)聯(lián)知識主要反映一個事件和其他事件之間依賴或者關(guān)聯(lián)性。如果兩項或者多項屬性之間存在關(guān)聯(lián)，那么其中一項的屬性值就可以根據(jù)其他屬性值進(jìn)行預(yù)測。  關(guān)聯(lián)知識能尋找到數(shù)據(jù)庫中大量數(shù)據(jù)的相關(guān)聯(lián)系, 常用的兩種技術(shù)為關(guān)聯(lián)規(guī)則和序列模式。關(guān)聯(lián)規(guī)則可用于如分析客戶在超市買牙刷的同時又買牙膏的可能性；序列模式分析則如買了電腦的顧客會在三個月內(nèi)買殺毒軟件。（3）聚類知識：  聚類就是將數(shù)據(jù)對象分組為多個類或簇，使得在同一個簇中的對象之間具有較高的相似度，而在不同簇中的對象差別很大。  聚類增強(qiáng)了

6、人們對客觀現(xiàn)實的認(rèn)識，是概念描述和偏差分析的先決條件。聚類分析有廣泛的應(yīng)用，包括市場或客戶分割、生物學(xué)研究、空間數(shù)據(jù)分析等方面。（4）分類知識：  分類知識主要反映同類事物的共同特征和不同事物之間的差異。分類知識可以用來分析己有的數(shù)據(jù)，也可以用它來預(yù)測未來的數(shù)據(jù)。例如，用分類來分析用戶行為，通過這種分類，我們可以得知某一商品的用戶群，對銷售來說有很大的幫助。（5）預(yù)測性知識：  預(yù)測知識根據(jù)時間序列型數(shù)據(jù)，由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù)，也可以認(rèn)為是以時間為關(guān)鍵屬性的關(guān)聯(lián)知識。  數(shù)據(jù)挖掘通過對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分類和預(yù)測，可以自動地提出描述重要數(shù)據(jù)類的模型

7、或預(yù)測未來的數(shù)據(jù)趨勢。這在商業(yè)界的應(yīng)用很廣，包括信譽證實、選擇購物和性能預(yù)測等。一個典型的例子是市場預(yù)測問題，數(shù)據(jù)挖掘利用原有的銷售記錄來預(yù)測新推出的產(chǎn)品的銷售情況等。（6）偏差性知識：  偏差型知識是對差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象。  數(shù)據(jù)庫中的數(shù)據(jù)常有一些異常記錄，從數(shù)據(jù)庫中檢測這些偏差很有意義。偏差包括很多潛在的知識，如分類中的反常實例、不滿足規(guī)則的特例、觀測結(jié)果與模型預(yù)測值的偏差、量值隨時間的變化等。這常用于金融銀行業(yè)中檢測欺詐行為，或市場分析中分析特殊消費者的消費習(xí)慣。5.數(shù)據(jù)挖掘的十大算法：（1）C4.5C4.5 算法是機(jī)器學(xué)習(xí)算法中的一種分

8、類決策樹算法,其核心算法是 ID3 算法.   C4.5 算法繼承了ID3算法的優(yōu)點，并在以下幾方面對ID3算法進(jìn)行了改進(jìn)：1)  用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；2)  在樹構(gòu)造過程中進(jìn)行剪枝；3)  能夠完成對連續(xù)屬性的離散化處理；4)  能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。    C4.5算法有如下優(yōu)點：產(chǎn)生的分類規(guī)則易于理解，準(zhǔn)確率較高。其缺點是：在構(gòu)造樹的過程中，需要對數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，因而導(dǎo)致算法的低效。    （

9、2）The k-means algorithm  即 K-Means 算法    k-meansalgorithm 算法是一個聚類算法，把 n 的對象根據(jù)他們的屬性分為 k 個分割，k < n。    它與處理混合正態(tài)分布的最大期望算法很相似，因為他們都試圖找到數(shù)據(jù)中自然聚類的中心。    它假設(shè)對象屬性來自于空間向量，并且目標(biāo)是使各個群組內(nèi)部的均方誤差總和最小。    (3)Supportvector machines    支

10、持向量機(jī)，英文為 Support  Vector  Machine，簡稱 SV 機(jī)（論文中一般簡稱 SVM） 。 它是一種監(jiān)督式學(xué)習(xí)的方法，它廣泛的應(yīng)用于統(tǒng)計分類以及回歸分析中。支持向量機(jī)將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數(shù)據(jù)的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。一個極好的指南是 C.J.C  Burges 的模式識別支持向量機(jī)指南。van der Walt  和  Barnard  將支持向量機(jī)和

11、其他分類器進(jìn)行了比較。    (4)TheApriori algorithm    Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項集的算法。其核心是基于兩階段頻集思想的遞推算法。該關(guān)聯(lián)規(guī)則在分類上屬于單維、單層、布爾關(guān)聯(lián)規(guī)則。在這里，所有支持度大于最小支持度的項集稱為頻繁項集，簡稱頻集。    (5)最大期望(EM)算法    在統(tǒng)計計算中，最大期望（EM，ExpectationMaximization）算法是在概率（probabilistic）模型中尋找參數(shù)最大似

12、然估計的算法，其中概率模型依賴于無法觀測的隱藏變量（LatentVariabl）。最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計算機(jī)視覺的數(shù)據(jù)集聚（DataClustering）領(lǐng)域。    (6)PageRankPageRank 是 Google 算法的重要內(nèi)容。 2001 年 9 月被授予美國專利，專利人是 Google 創(chuàng)始人之一拉里佩奇（Larry Page）。因此，PageRank 里的 page 不是指網(wǎng)頁，而是指佩奇，即這個等級方法是以佩奇來命名的。    PageRank根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量倆衡量網(wǎng)站的價值。Page

13、Rank 背后的概念是，每個到頁面的鏈接都是對該頁面的一次投票，被鏈接的越多，就意味著被其他網(wǎng)站投票越多。這個就是所謂的鏈接流行度衡量多少人愿意將他們的網(wǎng)站和你的網(wǎng)站掛鉤。PageRank 這個概念引自學(xué)術(shù)中一篇論文的被引述的頻度即被別人引述的次數(shù)越多，一般判斷這篇論文的權(quán)威性就越高。    (7)AdaBoost    Adaboost是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器  (強(qiáng)分類器)。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每

14、次訓(xùn)練集之中每個樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。    (8)kNN:k-nearest neighbor classification    K 最近鄰(k-Nearest  Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：如果一個樣本在特征空間中的 k 個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則

15、該樣本也屬于這個類別。    (9)NaiveBayes    在眾多的分類模型中，應(yīng)用最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive BayesianModel，NBC）。   樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有著堅實的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。同時，NBC 模型所需估計的參數(shù)很少，對缺失數(shù)據(jù)不太敏感，算法也比較簡單。理論上，NBC 模型與其他分類方法相比具有最小的誤差率。但是實際上并非總是如此，這是因為 NBC 模型假設(shè)屬性之間相互獨立，這個假設(shè)在

16、實際應(yīng)用中往往是不成立的，這給 NBC 模型的正確分類帶來了一定影響。在屬性個數(shù)比較多或者屬性之間相關(guān)性較大時，NBC 模型的分類效率比不上決策樹模型。而在屬性相關(guān)性較小時，NBC 模型的性能最為良好。    (10)CART:分類與回歸樹    CART,Classification and Regression Trees。  在分類樹下面有兩個關(guān)鍵的思想。第一個是關(guān)于遞歸地劃分自變量空間的想法；第二個想法是用驗證數(shù)據(jù)進(jìn)行剪枝。6.數(shù)據(jù)挖掘應(yīng)用現(xiàn)狀：  商務(wù)智能（BI）：在商業(yè)領(lǐng)域特別是零售業(yè)，數(shù)據(jù)挖掘的運用是

17、比較成功的。由于MIS系統(tǒng)在商業(yè)的普遍使剛，特別是碼技術(shù)的使用，可以收集到大量關(guān)于購買情況的數(shù)據(jù)，并且數(shù)據(jù)量在不斷激增。利用數(shù)據(jù)挖掘技術(shù)可以為經(jīng)營管理人員提供正確的決策手段，這樣對促進(jìn)銷售及提高競爭力是人有幫助的。  Web搜索引擎：數(shù)據(jù)挖掘技術(shù)應(yīng)用到搜索引擎領(lǐng)域，從而產(chǎn)生智能搜索引擎，將會給用戶提供一個高效、準(zhǔn)確的Web檢索工具。在金融領(lǐng)域，可以利用數(shù)據(jù)挖掘?qū)蛻粜抛u進(jìn)行分析。典型的金融分析領(lǐng)域有投資評估和股票交易市場預(yù)測。  金融領(lǐng)域：在金融業(yè)方面,數(shù)據(jù)挖掘的應(yīng)用突出表現(xiàn)在信用評估和防止欺詐等方面。RobertGroth從防止金融欺詐的角度論述了數(shù)據(jù)挖掘的應(yīng)用問題以及利

18、用神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行股票預(yù)測的問題。MichaelJ.A.Berry和GordonS.Li noff則從金融產(chǎn)品的交叉銷售和保險精算兩個角度對數(shù)據(jù)挖掘在金融業(yè)的應(yīng)用進(jìn)行了探討。  數(shù)據(jù)挖掘還可用于工業(yè)、農(nóng)業(yè)、交通、電信、軍事、Internet等其它行業(yè)。數(shù)據(jù)挖掘具有廣泛的應(yīng)用前景，它既可應(yīng)用于決策支持，也可用于數(shù)據(jù)庫管理系統(tǒng)(DBMS)中。數(shù)據(jù)挖掘作為決策支持和分析的工具，可以用于構(gòu)造知識庫。在DBMS中，數(shù)據(jù)挖掘可以用于語義查詢優(yōu)化、完整性約束和不一致檢驗等。 7.研究機(jī)構(gòu)，刊物，人物與會議：    國外機(jī)構(gòu)：v  ACMTransa

19、ctions on Knowledge Discovery from Data (TKDD)v  IEEETransactions on Knowledge and Data Engineering (TKDE)v  DataMining and Knowledge Discoveryv  Knowledgeand Information Systemsv  Data& Knowledge Engineering    國內(nèi)機(jī)構(gòu)：§ 北京大學(xué)SAS數(shù)據(jù)挖掘卓越中心§ 中國科大博納數(shù)據(jù)挖掘中心

20、67; 廈門大學(xué)數(shù)據(jù)挖掘中心（DMC）§ 復(fù)旦大學(xué)數(shù)據(jù)挖掘?qū)嶒炇?#167; 南京大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究組-LAMDA§ 西南財經(jīng)大學(xué)商務(wù)數(shù)據(jù)挖掘中心。    刊物：v  ACMTransactions on Knowledge Discovery from Data (TKDD)v  IEEETransactions on Knowledge and Data Engineering (TKDE)v  DataMining and Knowledge Discoveryv  Knowledgeand

21、 Information Systemsv  Data& Knowledge Engineering    國內(nèi)人物：       （1）韓家煒 JiaweiHan        韓教授的研究方向是數(shù)據(jù)挖掘（Data Mining），他現(xiàn)在領(lǐng)導(dǎo)伊利諾伊大學(xué)的數(shù)據(jù)挖掘研究室（Data Mining ResearchGroup）。他現(xiàn)在還是ACM期刊TKDD（ACMTransactions o

22、n Knowledge Discovery from Data)的主編。韓教授最近畢業(yè)的博士有： Dong Xin，Chao Liu，XiaoxinYin，Xifeng Yan，Hwanjo Yu等。與MichelineKamber，Jian Pei（裴健）合作撰寫的專著Data Mining: Concepts andTechniques（數(shù)據(jù)挖掘：概念與技術(shù)），為數(shù)據(jù)挖掘界公認(rèn)的經(jīng)典教材，目前已推出第3版       （2）范明       

23、鄭州大學(xué)信息工程學(xué)院教授目前主要從事數(shù)據(jù)庫、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)方面研究，參與國家自然科學(xué)基金項目2項。曾主持完成河南省自然科學(xué)基金項目多項，先后發(fā)表論文50余篇，出版專著教材各1部、主持翻譯出版譯著6部。數(shù)據(jù)挖掘?qū)д?完整版) 與數(shù)據(jù)挖掘：概念與技術(shù)的翻譯者之一       （3）孟小峰       中國人民大學(xué)信息學(xué)院教授數(shù)據(jù)挖掘：概念與技術(shù)的翻譯者之一近5年在國內(nèi)外雜志IEEE Transactions on Knowledge and Da

24、ta Engineering (TKDE)、Geoinformatic、中國科學(xué)等及國際會議VLDB、SIGMOD、ICDE、EDBT等發(fā)表論文120多篇，出版學(xué)術(shù)專著Moving Objects Management:Models, Techniques, and Applications(Springer)、XML數(shù)據(jù)管理：概念與技術(shù)、移動數(shù)據(jù)管理：概念與技術(shù)（中國計算機(jī)學(xué)會學(xué)術(shù)著作叢書）等。獲國家發(fā)明專利授權(quán)8項。       （4）周志華 計算機(jī)軟件新技術(shù)國家重點實驗室   &

25、#160;   南京大學(xué)計算機(jī)科學(xué)與技術(shù)系獲學(xué)士、碩士和博士學(xué)位。2001年1月起留校任教。2002年3月破格晉升副教授，2003年11月被聘任為教授，2004年4月獲博士生導(dǎo)師資格?，F(xiàn)現(xiàn)任南京大學(xué)計算機(jī)軟件新技術(shù)國家重點實驗室常務(wù)副主任、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究所 (LAMDA)所長、人工智能教研室主任。南京航天航空大學(xué)兼職教授、澳大利亞Deakin大學(xué)名譽研究員、復(fù)旦大學(xué)智能信息處理重點實驗室學(xué)術(shù)委員會委員。會議：v  數(shù)據(jù)庫三大頂級會議SIGMOD，VLDB，ICDEv  數(shù)據(jù)挖掘KDDv  

26、;機(jī)器學(xué)習(xí)ICMLv  信息檢索的SIGIRv  二流的EDBT，ICDT，CIKM，SDM，ICDM，PKDD等       SIGMOD：97分，數(shù)據(jù)庫的最高會議，涉及范圍廣泛，稍偏應(yīng)用（因為理論文章有PODS）獨樹一幟，與眾不同。       VLDB：95分，非常好的數(shù)據(jù)庫會議。與SIGMOD類似，涉及范圍廣泛，稍偏應(yīng)用。       從文

27、章的質(zhì)量來說，SIGMOD和VLDB難分伯仲，沒有說誰比誰更高。他們的范圍也幾乎一樣。       PODS：95分。是“數(shù)據(jù)庫理論的最好會議,也是一個很好的理論會議”。 感覺其中算法背景的人占主流       KDD:：full paper 95分，poster/short paper 90分。數(shù)據(jù)挖掘的最高會議。由于歷史積累不足以及領(lǐng)域圈子較小，勿用諱言KDD目前比SIGMOD尚有所不如。    

28、60;  ICDE：92分。很好的數(shù)據(jù)庫會議，也是一個大雜燴。好處是覆蓋面廣、包容性強(qiáng)，壞處是文章水平參差不齊。       EDBT：88分，不錯的數(shù)據(jù)庫會議，錄取率很低然而歷史積累不足，影響還明顯不及ICDE。       ICDT：88分，PODS的歐洲版，數(shù)據(jù)庫理論第二會議。和SIGMOD/VLDB一樣，ICDE和EDBT在質(zhì)量和影響上都不相上下。其它的如CIKM，ICDM，SDM，SSDBM，PKDD等等都比以上的會議差一截。

29、       CIKM：85分。       SDM：full paper 90分，poster/short paper 85分。SIAM的數(shù)據(jù)挖掘會議，與ICDM并列為數(shù)據(jù)挖掘領(lǐng)域的第二位，比KDD有明顯差距。好像其中統(tǒng)計背景的人比較多，也有一部分機(jī)器學(xué)習(xí)背景的人，比較diversified。       ICDM：full paper 90分，poster/short paper 85分。IEEE的數(shù)據(jù)挖掘會議，與SDM并列為數(shù)據(jù)挖掘領(lǐng)域的第二位，比KDD有明顯差距。