《數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)》第1章緒論

第1章緒論

《數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)》(第2版)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-2)緒論

本章綜合討論數(shù)據(jù)挖掘的一般知識(shí)，簡(jiǎn)要介紹如下幾個(gè)方面的內(nèi)容：數(shù)據(jù)挖掘的基本概念KDD與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的對(duì)象與環(huán)境數(shù)據(jù)挖掘方法與相關(guān)領(lǐng)域數(shù)據(jù)挖掘系統(tǒng)與應(yīng)用數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-3)引言數(shù)據(jù)存儲(chǔ)量急劇上升NASA軌道衛(wèi)星上的EOS每小時(shí)向地面發(fā)回50GB的圖像數(shù)據(jù)美國(guó)零售商系統(tǒng)Wal-Mart每天產(chǎn)生2億交易數(shù)據(jù)人類基因組項(xiàng)目已經(jīng)搜集數(shù)以GB計(jì)的基因編碼數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展大容量、高速度、低價(jià)格的存儲(chǔ)設(shè)備相繼問(wèn)世數(shù)據(jù)倉(cāng)庫(kù)技術(shù)VLDB技術(shù)面臨的問(wèn)題信息量過(guò)大，超過(guò)了人們掌握、消化的能力一些信息真?zhèn)坞y辨，難以正確運(yùn)用信息組織形式的不一致性，增加信息處理難度新的認(rèn)識(shí)

隱藏在數(shù)據(jù)之后更深層次、更重要的信息能夠描述數(shù)據(jù)的整體特征，可以預(yù)測(cè)發(fā)展趨勢(shì)，在決策中具有重要價(jià)值。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-4)數(shù)據(jù)挖掘技術(shù)發(fā)展歷程數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-5)數(shù)據(jù)挖掘技術(shù)發(fā)展歷程

面對(duì)海量數(shù)據(jù)庫(kù)和大量繁雜信息，如何從中提取有價(jià)值的知識(shí)，提高信息的利用率，引發(fā)了一個(gè)新的研究方向：基于數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)KDD（KnowledgeDiscoveryinDatabase）以及相應(yīng)的數(shù)據(jù)挖掘（DataMining）理論和技術(shù)的研究。1989年第十一屆AAAI學(xué)術(shù)會(huì)議上首次出現(xiàn)KDD一詞

其后，在VLDB（VeryLargeDatabase）及其他與數(shù)據(jù)庫(kù)領(lǐng)域相關(guān)的國(guó)際學(xué)術(shù)會(huì)議上也舉行了KDD專題研討會(huì)。1995年召開(kāi)第一屆KDD國(guó)際學(xué)術(shù)會(huì)議（KDD’95）

隨后，每年召開(kāi)一次這樣的會(huì)議。1997年《KnowledgeDiscoveryandDataMining》

該領(lǐng)域的第一本學(xué)術(shù)刊物，由KluwersPublishers出版發(fā)行。1999年召開(kāi)第三屆亞太地區(qū)知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘國(guó)際會(huì)議

這次北京會(huì)議將國(guó)內(nèi)數(shù)據(jù)挖掘的研究推向新的高潮。

隨后，KDD的研究工作蓬勃展開(kāi)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-6)KDD的定義

公認(rèn)的定義是1996年Fayyad等人提出的。

所謂基于數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)（KDD）是指從大量數(shù)據(jù)中提取有效的、新穎的、潛在有用的、最終可被理解的模式的非平凡過(guò)程。Thenontrivialprocessofidentifyingvalid,novel,usefulandultimatelyunderstandablepatternsindata.數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-7)KDD的定義數(shù)據(jù)：指一個(gè)有關(guān)事實(shí)F的集合，用以描述事物的基本信息。模式：語(yǔ)言L中的表達(dá)式E，E描述的數(shù)據(jù)是集合F的一個(gè)子集。表明集合FE中的數(shù)據(jù)具有特性E。作為一個(gè)模式，E比枚舉數(shù)據(jù)子集FE簡(jiǎn)單。非平凡過(guò)程：指具有一定程度的智能性和自動(dòng)性，不僅僅是簡(jiǎn)單地?cái)?shù)值統(tǒng)計(jì)和計(jì)算。有效性(可信性)：從數(shù)據(jù)中發(fā)現(xiàn)的模式必須有一定的可信度，函數(shù)C將表達(dá)式映射到度量空間MC

，c表示模式E的可信度，c=C(E,F)。其中EL，E所描述的數(shù)據(jù)集合FE

F。新穎性：用一個(gè)函數(shù)來(lái)表示模式的新穎程度N(E,F)，函數(shù)值是邏輯值或是對(duì)模式E的新穎程度的一個(gè)判斷數(shù)值。新穎性從兩個(gè)方面衡量：當(dāng)前得到的數(shù)據(jù)與以前的數(shù)據(jù)或期望得到的數(shù)據(jù)之間比較對(duì)比發(fā)現(xiàn)的模式與已有模式的關(guān)系來(lái)判斷潛在作用：指提取出的模式將來(lái)會(huì)實(shí)際運(yùn)用，通過(guò)函數(shù)U把L中的表達(dá)式映射到測(cè)量空間MU

，u表示模式E的有作用程度，u=U(E,F)?？衫斫庑裕喊l(fā)現(xiàn)的模式應(yīng)該能夠被用戶理解，這主要體現(xiàn)在簡(jiǎn)潔性上。用s表示模式E的簡(jiǎn)單度(可理解度)，s=S(E,F)。

數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-8)KDD的過(guò)程KDD過(guò)程主要由三個(gè)部分組成，即數(shù)據(jù)整理、數(shù)據(jù)挖掘和結(jié)果的解釋評(píng)估。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-9)KDD的過(guò)程數(shù)據(jù)準(zhǔn)備了解KDD應(yīng)用領(lǐng)域的有關(guān)情況。包括熟悉相關(guān)的背景知識(shí)，搞清用戶需求。數(shù)據(jù)選取根據(jù)用戶的需要從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本。數(shù)據(jù)預(yù)處理

檢查數(shù)據(jù)的完整性及一致性，消除噪聲，濾除與數(shù)據(jù)挖掘無(wú)關(guān)的冗余數(shù)據(jù)，填充丟失的數(shù)據(jù)。數(shù)據(jù)變換通過(guò)投影或利用數(shù)據(jù)庫(kù)的其他操作減少數(shù)據(jù)量。確定目標(biāo)根據(jù)用戶的要求，確定KDD要發(fā)現(xiàn)的知識(shí)類型。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-10)KDD的過(guò)程選擇算法選擇合適的知識(shí)發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。數(shù)據(jù)挖掘運(yùn)用前面選擇的算法，從數(shù)據(jù)庫(kù)中提取用戶感興趣的知識(shí)，并以一定的方式表示出來(lái)。模式解釋對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識(shí)）進(jìn)行解釋。經(jīng)過(guò)用戶或機(jī)器評(píng)估后，剔除冗余或無(wú)關(guān)的模式。知識(shí)評(píng)價(jià)將發(fā)現(xiàn)的知識(shí)以用戶能理解的方式呈現(xiàn)給用戶。這期間包含對(duì)知識(shí)一致性的檢查，以確信發(fā)現(xiàn)的知識(shí)不會(huì)與以前發(fā)現(xiàn)的知識(shí)相抵觸。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-11)數(shù)據(jù)與系統(tǒng)的特征KDD和數(shù)據(jù)挖掘可以應(yīng)用在很多領(lǐng)域，KDD系統(tǒng)及其面臨的數(shù)據(jù)具有一些公共特征和問(wèn)題：海量數(shù)據(jù)集。數(shù)據(jù)利用非常不足。在開(kāi)發(fā)KDD系統(tǒng)時(shí)，領(lǐng)域?qū)＜覍?duì)該領(lǐng)域的熟悉程度至關(guān)重要。最終用戶專門知識(shí)缺乏。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-12)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)庫(kù)中的數(shù)據(jù)數(shù)字實(shí)體:數(shù)字、向量、二維矩陣或多維數(shù)組等。符號(hào)實(shí)體:用來(lái)描述定性的量（如黑暗、明亮等）。概念實(shí)體:描述某些概念等級(jí)時(shí)就會(huì)面對(duì)復(fù)合數(shù)據(jù)類型。KDD觀點(diǎn)的數(shù)據(jù)更關(guān)注對(duì)象間的等級(jí)差異信息顆?；?Granularity)數(shù)據(jù)分布數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-13)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-14)數(shù)據(jù)結(jié)構(gòu)與類型數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-15)數(shù)據(jù)庫(kù)系統(tǒng)分類關(guān)系數(shù)據(jù)庫(kù)由表組成，每個(gè)表有一個(gè)唯一的表名。屬性（列或域）集合組成表結(jié)構(gòu)，表中數(shù)據(jù)按行存放，每一行稱為一個(gè)記錄。記錄間通過(guò)鍵值加以區(qū)別。關(guān)系表中的各個(gè)屬性域描述了表間的聯(lián)系。是目前最流行、最常見(jiàn)的數(shù)據(jù)庫(kù)之一，為數(shù)據(jù)挖掘研究工作提供了豐富的數(shù)據(jù)源。

數(shù)據(jù)倉(cāng)庫(kù)把來(lái)自不同數(shù)據(jù)源的信息以同一模式保存在同一個(gè)物理地點(diǎn)。數(shù)據(jù)倉(cāng)庫(kù)是面向問(wèn)題的、集成的、隨時(shí)間變化的、相對(duì)穩(wěn)定的數(shù)據(jù)集，為管理決策提供支持。根據(jù)多維數(shù)據(jù)庫(kù)結(jié)構(gòu)建模，每一維代表一個(gè)屬性集，每個(gè)單元存放一個(gè)屬性值，并提供多維數(shù)據(jù)視圖，允許通過(guò)預(yù)計(jì)算快速地對(duì)數(shù)據(jù)進(jìn)行總結(jié)。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-16)數(shù)據(jù)庫(kù)系統(tǒng)分類事務(wù)數(shù)據(jù)庫(kù)由文件構(gòu)成，每條記錄代表一個(gè)事務(wù)。典型的事務(wù)包含唯一的事務(wù)標(biāo)識(shí)（trans_ID），多個(gè)項(xiàng)目組成一個(gè)事務(wù)。事務(wù)數(shù)據(jù)庫(kù)可以用額外附加的關(guān)聯(lián)表記錄其他信息。面向?qū)ο髷?shù)據(jù)庫(kù)基于面向?qū)ο蟪绦蛟O(shè)計(jì)的范例，每一個(gè)實(shí)體作為一個(gè)對(duì)象。與對(duì)象相關(guān)的程序和數(shù)據(jù)封裝在一個(gè)單元中。對(duì)象通過(guò)消息與其他對(duì)象或數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行通信。對(duì)象機(jī)制提供一種模式獲取消息并做出反應(yīng)的手段。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-17)數(shù)據(jù)庫(kù)系統(tǒng)分類關(guān)系對(duì)象數(shù)據(jù)庫(kù)

構(gòu)成基于關(guān)系對(duì)象模型。為操作復(fù)雜的對(duì)象，該模型通過(guò)提供豐富數(shù)據(jù)類型的方法進(jìn)一步擴(kuò)展了關(guān)系模型?？臻g數(shù)據(jù)庫(kù)

包含空間關(guān)系信息。比如，地理(地圖)數(shù)據(jù)庫(kù)、VLSI芯片設(shè)計(jì)數(shù)據(jù)庫(kù)、醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)和衛(wèi)星圖像數(shù)據(jù)庫(kù)等。時(shí)態(tài)數(shù)據(jù)庫(kù)

通常存儲(chǔ)與時(shí)間屬性相關(guān)的數(shù)據(jù)，這些屬性可以是具有不同語(yǔ)義的時(shí)間戳。時(shí)間序列數(shù)據(jù)庫(kù)

時(shí)間序列數(shù)據(jù)庫(kù)存儲(chǔ)隨時(shí)間順序變化的數(shù)據(jù)，比如股市中的變化數(shù)據(jù)等。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-18)數(shù)據(jù)庫(kù)系統(tǒng)分類文本數(shù)據(jù)庫(kù)

文本數(shù)據(jù)庫(kù)是包含用文字描述的對(duì)象的數(shù)據(jù)庫(kù)。文本數(shù)據(jù)庫(kù)可以是無(wú)結(jié)構(gòu)的，也可以是半結(jié)構(gòu)的。多媒體數(shù)據(jù)庫(kù)

在多媒體數(shù)據(jù)庫(kù)中存儲(chǔ)圖像、音頻、視頻等數(shù)據(jù)。多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)提供在多媒體數(shù)據(jù)庫(kù)中對(duì)多媒體數(shù)據(jù)進(jìn)行存儲(chǔ)、操縱和檢索的功能，特別強(qiáng)調(diào)多種數(shù)據(jù)類型間的同步和實(shí)時(shí)處理。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-19)知識(shí)的分類預(yù)測(cè)(prediction)預(yù)測(cè)一個(gè)(將來(lái)的)事物的性質(zhì)。描述(description)用一些變量體現(xiàn)事物的主體特征，使之容易理解。解釋(explanation)用深層的知識(shí)(概念)形成一個(gè)事物的描述。優(yōu)化(optimization)尋求一個(gè)復(fù)雜問(wèn)題的最佳解決方案。探索(exploration)用于支持進(jìn)一步發(fā)現(xiàn)知識(shí)的過(guò)程。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-20)數(shù)據(jù)挖掘相關(guān)領(lǐng)域

知識(shí)發(fā)現(xiàn)領(lǐng)域充分體現(xiàn)了各種方法論的相互交叉、滲透和協(xié)作。

數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-21)數(shù)據(jù)挖掘方法統(tǒng)計(jì)方法回歸分析：多元回歸、自回歸等。判別分析：貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別。聚類分析：系統(tǒng)聚類、動(dòng)態(tài)聚類。探索性分析：主成分分析、相關(guān)分析。機(jī)器學(xué)習(xí)方法歸納學(xué)習(xí)方法：決策樹(shù)、規(guī)則歸納?；诜独龑W(xué)習(xí)遺傳算法數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-22)數(shù)據(jù)挖掘方法神經(jīng)網(wǎng)絡(luò)方法前向神經(jīng)網(wǎng)絡(luò)：BP算法等。自組織神經(jīng)網(wǎng)絡(luò)：自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等。數(shù)據(jù)庫(kù)方法多維數(shù)據(jù)分析OLAP技術(shù)此外還有面向?qū)傩缘臍w納方法等。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)(第2版)(25-23)KDD系統(tǒng)與應(yīng)用Berry等人研制的數(shù)據(jù)挖掘系統(tǒng)成功地應(yīng)用到商業(yè)領(lǐng)域數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，商家通過(guò)發(fā)現(xiàn)顧客的購(gòu)物習(xí)慣來(lái)決定營(yíng)銷策略。SKICAT是由MIT噴氣推進(jìn)實(shí)驗(yàn)室與天文科學(xué)家合作開(kāi)發(fā)的用于幫助天文學(xué)家發(fā)現(xiàn)遙遠(yuǎn)的類星體的工具。Health-KEFIR是用于健康狀況預(yù)警的知識(shí)發(fā)現(xiàn)系統(tǒng)。TASA是為預(yù)測(cè)通信網(wǎng)絡(luò)故障而開(kāi)發(fā)的通信網(wǎng)絡(luò)預(yù)警分析系統(tǒng)。R-MINI運(yùn)用分類技術(shù)從噪聲中提取有價(jià)值的信息。KDW是大型商業(yè)數(shù)據(jù)庫(kù)中的交互分析系統(tǒng)。DBMiner是加拿大SimonFraser大學(xué)開(kāi)發(fā)的多任務(wù)KDD系統(tǒng)。Clementine是SPSS的數(shù)據(jù)挖掘應(yīng)用工具。Darwin包含三個(gè)數(shù)據(jù)挖掘方法：神