淺析數(shù)據(jù)挖掘概念與技術(shù)1

1、淺析數(shù)據(jù)挖掘概念與技術(shù)穆瑞輝，付歡(新鄉(xiāng)教育學(xué)院 計(jì)算機(jī)系，河南 新鄉(xiāng) 453000) 摘要：隨著信息技術(shù)的迅速發(fā)展，數(shù)據(jù)庫的規(guī)模不斷擴(kuò)大，而傳統(tǒng)的查詢、報(bào)表工具無法滿足挖掘有效信息的需求，因此，需要一種新的數(shù)據(jù)分析技術(shù)處理大量數(shù)據(jù)，并從中抽取有價(jià)值的潛在知識(shí)，即數(shù)據(jù)挖掘技術(shù)。本文深入淺出地闡述了數(shù)據(jù)挖掘技術(shù)的產(chǎn)生，概念以及數(shù)據(jù)挖掘的常用技術(shù)。 關(guān)鍵詞：數(shù)據(jù)庫 數(shù)據(jù)挖掘 知識(shí)發(fā)現(xiàn) DM KDD一、 數(shù)據(jù)挖掘技術(shù)概述隨著信息技術(shù)的迅速發(fā)展，數(shù)據(jù)庫的規(guī)模不斷擴(kuò)大，從而產(chǎn)生了大量的數(shù)據(jù)。為了給決策者提供一個(gè)統(tǒng)一的全局視角，在許多領(lǐng)域建立了數(shù)據(jù)倉庫，但大量的數(shù)據(jù)往往使人們無法辨別隱藏在其中的能對(duì)決策提

2、供支持的信息，而傳統(tǒng)的查詢、報(bào)表工具無法滿足挖掘這些信息的需求。因此，需要一種新的數(shù)據(jù)分析技術(shù)處理大量數(shù)據(jù)，并從中抽取有價(jià)值的潛在知識(shí)，數(shù)據(jù)挖掘（Data  Mining）技術(shù)由此應(yīng)運(yùn)而生，數(shù)據(jù)挖掘技術(shù)也正是伴隨著數(shù)據(jù)倉庫技術(shù)的發(fā)展而逐步完善起來的。但是并非所有的信息發(fā)現(xiàn)任務(wù)都被視為數(shù)據(jù)挖掘，例如，使用數(shù)據(jù)庫管理系統(tǒng)查找個(gè)別的記錄，或通過因特網(wǎng)的搜索引擎查找特定的Web頁面，則是信息檢索（information retrieval）領(lǐng)域的任務(wù)。數(shù)據(jù)挖掘是一個(gè)以數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計(jì)、可視化四大支柱技術(shù)為基礎(chǔ)，我們知道，描述或說明一個(gè)算法設(shè)計(jì)分為三個(gè)部分：輸入、輸出和處理

3、過程。數(shù)據(jù)挖掘算法的輸入是數(shù)據(jù)庫，算法的輸出是要發(fā)現(xiàn)的知識(shí)或模式，算法的處理過程則設(shè)計(jì)具體的搜索方法。從算法的輸入、輸出和處理過程三個(gè)角度分，可以確定數(shù)據(jù)挖掘主要涉及三個(gè)方面：挖掘?qū)ο?、挖掘任?wù)、挖掘方法。挖掘?qū)ο蟀ㄈ舾煞N數(shù)據(jù)庫或數(shù)據(jù)源，例如關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、歷史數(shù)據(jù)庫，以及萬維網(wǎng)（WEB）等。挖掘方法可以粗分為：統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。統(tǒng)計(jì)方法可細(xì)分為：回歸分析、判別分析等。機(jī)器學(xué)習(xí)可細(xì)分為：遺傳算法等。神經(jīng)網(wǎng)絡(luò)方法可細(xì)分為：前向神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析方法等。數(shù)據(jù)挖掘是指

4、從數(shù)據(jù)集合中自動(dòng)抽取隱藏在數(shù)據(jù)中的那些有用信息的非平凡過程，這些信息的表現(xiàn)形式為：規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進(jìn)而預(yù)測未來可能發(fā)生的行為。數(shù)據(jù)挖掘的過程也叫知識(shí)發(fā)現(xiàn)（KDD Knowledge  Discovery  in  Database）的過程，它是一門涉及面很廣的交叉性新興學(xué)科，涉及到數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計(jì)、可視化、并行計(jì)算等領(lǐng)域。數(shù)據(jù)挖掘是一種新的信息處理技術(shù)，其主要特點(diǎn)是對(duì)數(shù)據(jù)庫中的大量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，并從中提取輔助決策的關(guān)鍵性數(shù)

5、據(jù)。數(shù)據(jù)挖掘是知識(shí)發(fā)現(xiàn)（KDD）過程中的一個(gè)特定步驟，它用專門算法從數(shù)據(jù)中抽取模式（patterns），它并不是用規(guī)范的數(shù)據(jù)庫查詢語言（如SQL）進(jìn)行查詢，而是對(duì)查詢的內(nèi)容進(jìn)行模式的總結(jié)和內(nèi)在規(guī)律的搜索。傳統(tǒng)的查詢和報(bào)表處理只是得到事件發(fā)生的結(jié)果，并沒有深入研究發(fā)生的原因，而數(shù)據(jù)挖掘則主要了解發(fā)生的原因，并且以一定的置信度對(duì)未來進(jìn)行預(yù)測，用來為決策行為提供有利的支持。二、數(shù)據(jù)挖掘的常用技術(shù)機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)等方法是數(shù)據(jù)挖掘進(jìn)行知識(shí)學(xué)習(xí)的重要方法。數(shù)據(jù)挖掘算法的好壞將直接影響到所發(fā)現(xiàn)知識(shí)的好壞，目前對(duì)數(shù)據(jù)挖掘的研究也主要集中在算法及其應(yīng)用方面。統(tǒng)計(jì)方法應(yīng)用于數(shù)據(jù)挖掘主要是進(jìn)行數(shù)據(jù)評(píng)估；機(jī)器學(xué)習(xí)是

6、人工智能的另一個(gè)分支，也稱為歸納推理，它通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)集，發(fā)現(xiàn)模型的參數(shù)，并找出數(shù)據(jù)中隱含的規(guī)則。其中關(guān)聯(lián)分析法、人工神經(jīng)元網(wǎng)絡(luò)、決策樹和遺傳算法在數(shù)據(jù)挖掘中的應(yīng)用很廣泛。（一）關(guān)聯(lián)分析法。從關(guān)系數(shù)據(jù)庫中提取關(guān)聯(lián)規(guī)則是幾種主要的數(shù)據(jù)挖掘方法之一。挖掘關(guān)聯(lián)是通過搜索系統(tǒng)中的所有事物，并從中找到出現(xiàn)條件概率較高的模式。關(guān)聯(lián)實(shí)際上就是數(shù)據(jù)對(duì)象之間相關(guān)性的確定，用關(guān)聯(lián)找出所有能將一組數(shù)據(jù)項(xiàng)和另一組數(shù)據(jù)項(xiàng)相聯(lián)系的規(guī)則，這種規(guī)則的建立并不是確定的關(guān)系，而是一個(gè)具有一定置信度的可能值，即事件發(fā)生的概率。關(guān)聯(lián)分析法直觀、易理解，但對(duì)于關(guān)聯(lián)度不高或相關(guān)性復(fù)雜的情況不太有效。（二）人工神經(jīng)元網(wǎng)絡(luò)（ANN），是數(shù)

7、據(jù)挖掘中應(yīng)用最廣泛的技術(shù)。神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法是通過模仿人的神經(jīng)系統(tǒng)來反復(fù)訓(xùn)練學(xué)習(xí)數(shù)據(jù)集，從待分析的數(shù)據(jù)集中發(fā)現(xiàn)用于預(yù)測和分類的模式。神經(jīng)元網(wǎng)絡(luò)對(duì)于復(fù)雜情況仍能得到精確的預(yù)測結(jié)果，而且可以處理類別和連續(xù)變量，但神經(jīng)元網(wǎng)絡(luò)不適合處理高維變量，其最大的缺點(diǎn)是不透明性，因?yàn)槠錈o法解釋結(jié)果是如何產(chǎn)生的，及其在推理過程中所用的規(guī)則。神經(jīng)元網(wǎng)絡(luò)適合于結(jié)果比可理解性更重要的分類和預(yù)測的復(fù)雜情況，可用于聚類、分類和序列模式。（三）決策樹（DT）是一種樹型結(jié)構(gòu)的預(yù)測模型，其中樹的非終端節(jié)點(diǎn)表示屬性，葉節(jié)點(diǎn)表示所屬的不同類別。根據(jù)訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)的不同取值建立樹的分支，形成決策樹。與神經(jīng)元網(wǎng)絡(luò)最大的不同在于其決

8、策制定的過程是可見的，可以解釋結(jié)果是如何產(chǎn)生的。決策樹一般產(chǎn)生直觀、易理解的規(guī)則，而且分類不需太多計(jì)算時(shí)間，適于對(duì)記錄分類或結(jié)果的預(yù)測，尤其適用于當(dāng)目標(biāo)是生成易理解、可翻譯成SQL或自然語言的規(guī)則時(shí)。決策樹也可用于聚類、分類及序列模式，其應(yīng)用的典型例子是CART（回歸決策樹）方法。（四）遺傳算法（GA）是一種基于生物進(jìn)化理論的優(yōu)化技術(shù)。其基本觀點(diǎn)是“適者生存”原理，用于數(shù)據(jù)挖掘中則常把任務(wù)表示為一種搜索問題，利用遺傳算法強(qiáng)大的搜索能力找到最優(yōu)解。實(shí)際上遺傳算法是模仿生物進(jìn)化的過程，反復(fù)進(jìn)行選擇、交叉和突變等遺傳操作，直至滿足最優(yōu)解。遺傳算法可處理許多數(shù)據(jù)類型，同時(shí)可并行處理各種數(shù)據(jù)，常用于優(yōu)化

9、神經(jīng)元網(wǎng)絡(luò)，解決其他技術(shù)難以解決的問題，但需要的參數(shù)太多，對(duì)許多問題編碼困難，一般計(jì)算量大。(五) 聚集發(fā)現(xiàn) 聚集是把整個(gè)數(shù)據(jù)庫分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個(gè)群之間的數(shù)據(jù)盡量相似。此外聚類分析可以作為其它算法（如特征和分類等）的預(yù)處理步驟，這些算法再在生成的簇上進(jìn)行處理。與分類不同，在開始聚集之前你不知道要把數(shù)據(jù)分成幾組，也不知道怎么分（依照哪幾個(gè)變量）。因此在聚集之后要有一個(gè)對(duì)業(yè)務(wù)很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對(duì)你的業(yè)務(wù)來說可能并不好，這時(shí)你需要?jiǎng)h除或增加變量以影響分群的方式，經(jīng)過幾次反復(fù)之后才能最終得到一個(gè)理想的結(jié)果。聚類方法主要

10、有兩類，包括統(tǒng)計(jì)方法和神經(jīng)網(wǎng)絡(luò)方法。自組織神經(jīng)網(wǎng)絡(luò)方法和K-均值是比較常用的聚集算法。（六）關(guān)聯(lián)分析和序列模式分析 關(guān)聯(lián)分析，即利用關(guān)聯(lián)規(guī)則進(jìn)行數(shù)據(jù)挖掘，關(guān)聯(lián)分析的目的是挖掘隱藏在數(shù)據(jù)間的相互關(guān)系。序列模式分析和關(guān)聯(lián)分析相似，但側(cè)重點(diǎn)在于分析數(shù)據(jù)間的前后序列關(guān)系。序列模式分析描述的問題是：在給定交易序列數(shù)據(jù)庫中，每個(gè)序列是按照交易時(shí)間排列的一組交易集，挖掘序列函數(shù)作用在這個(gè)交易序列數(shù)據(jù)庫上，返回該數(shù)據(jù)庫中出現(xiàn)的高頻序列。在進(jìn)行序列模式分析時(shí)，同樣也需要由用戶輸入最小置信度C和最小支持度S。此外還有統(tǒng)計(jì)分析和可視化技術(shù)等，在此不再贅述。三、結(jié)束語 網(wǎng)絡(luò)的發(fā)展為用戶提供了多種新的信息服務(wù)，因特網(wǎng)以

11、其豐富的內(nèi)容、強(qiáng)大的功能以及簡單的操作，在各種信息服務(wù)方式中脫穎而出，成為未來信息服務(wù)的主要方向。但當(dāng)前因特網(wǎng)信息服務(wù)中更多的是單向、被動(dòng)的服務(wù)模式，而網(wǎng)上用戶信息需求的挖掘，可以改進(jìn)因特網(wǎng)與用戶的交互，使因特網(wǎng)與用戶真正融為一體，不再是操作與被操作的關(guān)系。數(shù)據(jù)挖掘技術(shù)的應(yīng)用，使因特網(wǎng)能根據(jù)用戶的需求采取更主動(dòng)、更有針對(duì)性的服務(wù)，并且可以建立一種個(gè)性化的信息服務(wù)系統(tǒng)，針對(duì)不同用戶的信息需求，提供不同的信息服務(wù)。而個(gè)性化服務(wù)系統(tǒng)的建立，則依賴于用戶信息需求的挖掘。數(shù)據(jù)挖掘技術(shù)及其應(yīng)用是目前國際上的一個(gè)研究熱點(diǎn)，并在許多行業(yè)中得到了很好的應(yīng)用，尤其是在市場營銷中獲得了成功，初步體現(xiàn)了其優(yōu)越性和發(fā)展?jié)摿?。在信息管理領(lǐng)域，綜合應(yīng)用數(shù)據(jù)挖掘技術(shù)和人工智能技術(shù)，獲取用戶知識(shí)、文獻(xiàn)知識(shí)等各類知識(shí)，將是實(shí)現(xiàn)知識(shí)檢索和知識(shí)管理發(fā)展的必經(jīng)之路。參考文獻(xiàn)：1韓家煒，堪博 著，范明，孟小峰 譯 數(shù)據(jù)挖掘概念與