數(shù)據(jù)挖掘的應(yīng)用和發(fā)展趨勢

數(shù)據(jù)挖掘入門

10/25/20221引言KDD與數(shù)據(jù)挖掘數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘的應(yīng)用和發(fā)展趨勢數(shù)據(jù)預(yù)處理可視化數(shù)據(jù)挖掘10/25/20222一、引言什么激發(fā)了數(shù)據(jù)挖掘

近年來，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注，其主要原因是存在大量數(shù)據(jù)可以廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識。獲取的信息和知識可以廣泛應(yīng)用于各種領(lǐng)域，如商務(wù)管理、生產(chǎn)控制、市場分析、工程設(shè)計(jì)和科學(xué)探索等。

面對海量數(shù)據(jù)庫和大量繁雜信息，如何才能從中提取有價(jià)值的知識，進(jìn)一步提高信息的利用率，由此引發(fā)了一個(gè)新的研究方向：基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase）及相應(yīng)的數(shù)據(jù)挖掘（DataMining）理論和技術(shù)的研究。10/25/20223為什么數(shù)據(jù)挖掘是重要的

數(shù)據(jù)的豐富帶來了對強(qiáng)有力的數(shù)據(jù)分析工具的需求?？焖僭鲩L的海量數(shù)據(jù)收集存放在大型和大量的數(shù)據(jù)庫中，沒有強(qiáng)有力的工具，這些數(shù)據(jù)就變成了“數(shù)據(jù)墳?zāi)埂薄y得再訪問的數(shù)據(jù)檔案。因此數(shù)據(jù)和信息之間的鴻溝要求系統(tǒng)地開發(fā)數(shù)據(jù)挖掘工具，將數(shù)據(jù)墳?zāi)罐D(zhuǎn)換成知識“金塊”。10/25/202242.1KDD定義人們給KDD下過很多定義，內(nèi)涵也各不相同，目前公認(rèn)的定義是由Fayyad等人提出的。

所謂基于數(shù)據(jù)庫的知識發(fā)現(xiàn)(KDD)是指從大量數(shù)據(jù)中提取有效的、新穎的、潛在有用的、最終可被理解的模式的非平凡過程。二、KDD與數(shù)據(jù)挖掘10/25/202252.2KDD過程

KDD是一個(gè)人機(jī)交互處理過程。該過程需要經(jīng)歷多個(gè)步驟，并且很多決策需要由用戶提供。從宏觀上看，KDD過程主要經(jīng)由三個(gè)部分組成，即數(shù)據(jù)整理、數(shù)據(jù)挖掘和結(jié)果的解釋評估。10/25/20226知識發(fā)現(xiàn)（KDD）的過程數(shù)據(jù)清理篩選數(shù)據(jù)目標(biāo)數(shù)據(jù)Knowledge預(yù)處理及變換變換后的數(shù)據(jù)數(shù)據(jù)挖掘解釋/評估10/25/20227知識發(fā)現(xiàn)（KDD）的步驟數(shù)據(jù)準(zhǔn)備：了解KDD應(yīng)用領(lǐng)域的有關(guān)情況。包括熟悉相關(guān)的知識背景，搞清用戶需求。數(shù)據(jù)選?。簲?shù)據(jù)選取的目的是確定目標(biāo)數(shù)據(jù)，根據(jù)用戶的需要從原始數(shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本。在此過程中，將利用一些數(shù)據(jù)庫操作對數(shù)據(jù)庫進(jìn)行相關(guān)處理。數(shù)據(jù)預(yù)處理：對步驟2中選出的數(shù)據(jù)進(jìn)行再處理，檢查數(shù)據(jù)的完整性及一致性，消除噪聲及與數(shù)據(jù)挖掘無關(guān)的冗余數(shù)據(jù)，根據(jù)時(shí)間序列和已知的變化情況，利用統(tǒng)計(jì)等方法填充丟失的數(shù)據(jù)。10/25/20228數(shù)據(jù)變換：根據(jù)知識發(fā)現(xiàn)的任務(wù)對經(jīng)過預(yù)處理的數(shù)據(jù)再處理，主要是通過投影或利用數(shù)據(jù)庫的其它操作減少數(shù)據(jù)量。確定KDD目標(biāo)：根據(jù)用戶的要求，確定KDD要發(fā)現(xiàn)的知識類型。選擇算法：根據(jù)步驟5確定的任務(wù)，選擇合適的知識發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。10/25/20229數(shù)據(jù)挖掘：這是整個(gè)KDD過程中很重要的一個(gè)步驟。運(yùn)用前面的選擇算法，從數(shù)據(jù)庫中提取用戶感興趣的知識，并以一定的方式表示出來。模式解釋：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識）進(jìn)行解釋。通過機(jī)器評估剔除冗余或無關(guān)模式，若模式不滿足，再返回到前面某些處理步驟中反復(fù)提取。知識評價(jià)：將發(fā)現(xiàn)的知識以用戶能了解的方式呈現(xiàn)給用戶。其中也包括對知識一致性的檢查，以確信本次發(fā)現(xiàn)的知識不會與以前發(fā)現(xiàn)的知識相抵觸。10/25/202210什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘（從數(shù)據(jù)中發(fā)現(xiàn)知識）

從海量的數(shù)據(jù)中抽取感興趣的（有價(jià)值的、隱含的、以前沒有用但是潛在有用信息的）模式和知識。其它可選擇的名字

數(shù)據(jù)庫中知識挖掘、知識提取、數(shù)據(jù)/模式分析、數(shù)據(jù)考古、數(shù)據(jù)捕撈、信息獲取、事務(wù)智能等。廣義觀點(diǎn)數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫中或其它信息庫中的大量數(shù)據(jù)中挖掘有趣知識的過程。10/25/202211數(shù)據(jù)挖掘系統(tǒng)的組成數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫：是一個(gè)或一組數(shù)據(jù)庫、數(shù)據(jù)倉庫、電子表格或其他類型的信息庫?？梢栽跀?shù)據(jù)上進(jìn)行數(shù)據(jù)清理和集成。數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器：根據(jù)用戶的挖掘請求，數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器負(fù)責(zé)提取相關(guān)數(shù)據(jù)。知識庫：是領(lǐng)域知識，用于指導(dǎo)搜索，或評估結(jié)果模式的興趣度。10/25/202212數(shù)據(jù)挖掘引擎：數(shù)據(jù)挖掘系統(tǒng)的基本部分，由一組功能模塊組成，用于特征化、關(guān)聯(lián)、分類、聚類分析以及演變和偏差分析。模式評估模塊：使用興趣度量，并與數(shù)據(jù)挖掘模塊交互，以便將搜索聚焦在有趣的模式上，可能使用興趣度閾值過濾發(fā)現(xiàn)的模式。圖形用戶界面：該模塊在用戶和數(shù)據(jù)挖掘系統(tǒng)之間通信，允許用戶與系統(tǒng)交互，指定數(shù)據(jù)挖掘查詢或任務(wù)，提供信息，幫助搜索聚焦，根據(jù)數(shù)據(jù)挖掘的中間結(jié)果進(jìn)行探索式數(shù)據(jù)挖掘。10/25/202213數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)清理

數(shù)據(jù)集成過濾數(shù)據(jù)庫數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)挖掘引擎模式評估圖形用戶界面知識庫10/25/2022143.1可以分別按挖掘任務(wù)、挖掘?qū)ο蠛屯诰蚍椒▉矸诸?。按挖掘任?wù)分類：包括分類或預(yù)測知識模型發(fā)現(xiàn)，數(shù)據(jù)總結(jié)，數(shù)據(jù)聚類，關(guān)聯(lián)規(guī)則發(fā)現(xiàn)，時(shí)序模式發(fā)現(xiàn)，依賴關(guān)系或依賴模型發(fā)現(xiàn)，異常和趨勢發(fā)現(xiàn)等。按挖掘?qū)ο蠓诸悾喊P(guān)系數(shù)據(jù)庫，面向?qū)ο髷?shù)據(jù)庫，空間數(shù)據(jù)庫，時(shí)態(tài)數(shù)據(jù)庫，文本數(shù)據(jù)庫，多媒體數(shù)據(jù)庫，異構(gòu)數(shù)據(jù)庫，數(shù)據(jù)倉庫，演繹數(shù)據(jù)庫和Web數(shù)據(jù)庫等。三、數(shù)據(jù)挖掘方法10/25/202215按挖掘方法分類：包括統(tǒng)計(jì)方法，機(jī)器學(xué)習(xí)方法，神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法，其中：統(tǒng)計(jì)方法可分為：回歸分析（多元回歸、自回歸等），判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等），聚類分析（系統(tǒng)聚類、動(dòng)態(tài)聚類等），探索性分析（主成分分析、相關(guān)分析等）等。

機(jī)器學(xué)習(xí)方法可分為：歸納學(xué)習(xí)方法（決策樹、規(guī)則歸納等），基于范例學(xué)習(xí)，遺傳算法等。神經(jīng)網(wǎng)絡(luò)方法可以分為：前向神經(jīng)網(wǎng)絡(luò)（BP算法等），自組織神經(jīng)網(wǎng)絡(luò)（自組織特征映射、競爭學(xué)習(xí)等）。數(shù)據(jù)庫方法分為：多為數(shù)據(jù)分析和OLAP技術(shù)，此外還有面向?qū)傩缘臍w納方法。10/25/202216數(shù)據(jù)挖掘技術(shù)分類數(shù)據(jù)挖掘驗(yàn)證驅(qū)動(dòng)挖掘發(fā)現(xiàn)驅(qū)動(dòng)挖掘SQLSQL生成器查詢工具OLAP描述預(yù)測可視化聚類關(guān)聯(lián)規(guī)則順序關(guān)聯(lián)匯總描述分類統(tǒng)計(jì)回歸時(shí)間序列決策樹神經(jīng)網(wǎng)路10/25/2022173.2數(shù)據(jù)挖掘方法粗糙集

1982年波蘭數(shù)學(xué)家Z.Pawlak針對G.Frege的邊界線區(qū)域思想提出了粗糙集（RoughSet），他把那些無法確認(rèn)的個(gè)體都?xì)w屬于邊界線區(qū)域，而這種邊界線區(qū)域被定義為上近似集和下近似集之差集。粗糙集理論主要特點(diǎn)在于它恰好反映了人們用粗糙集方法處理不分明問題的常規(guī)性，即以不完全信息或知識去處理一些不分明現(xiàn)象的能力，或依據(jù)觀察、度量到的某些不精確的結(jié)果而進(jìn)行分類數(shù)據(jù)的能力。10/25/202218模糊集

經(jīng)典集合理論對應(yīng)二值邏輯，一個(gè)元素要么屬于、要么不屬于給定集合。因此經(jīng)典集合不能很好地描述具有模糊性和不確定性的問題。美國加利福尼亞大學(xué)的扎德教授于1965年提出了模糊集合論，用隸屬程度來描述差異的中間過渡，是一種用精確的數(shù)學(xué)語言對模糊性進(jìn)行描述的方法。

10/25/202219

定義：論域X={x}上的模糊集合A由隸屬函數(shù)A(x)來表征。其中A(x)在實(shí)軸的閉區(qū)間[0，1]中取值，A(x)的大小反映x對于模糊集合A的隸屬程度。A(x)的值接近1，表示x隸屬于A的程度很高。A(x)的值接近0，表示x隸屬于A的程度很低。特例，當(dāng)A的值域取[0，1]閉區(qū)間的兩個(gè)端點(diǎn)，亦即{0，1}兩個(gè)值時(shí)，A便退化為一個(gè)普通的邏輯子集。隸屬函數(shù)也就退化為普通邏輯值。10/25/202220聚類分析

聚類是對物理的或抽象的對象集合分組的過程。聚類生成的組為簇，簇是數(shù)據(jù)對象的集合。簇內(nèi)部任意兩個(gè)對象之間具有較高的相似度，而屬于不同簇的兩個(gè)對象間具有較高的相異度。相異度可以根據(jù)描述對象的屬性值計(jì)算，對象間的距離是最常采用的度量指標(biāo)。在實(shí)際應(yīng)用中，經(jīng)常將一個(gè)簇中的數(shù)據(jù)對象作為一個(gè)整體看待。用聚類生成的簇來表達(dá)數(shù)據(jù)集不可避免地會損失一些信息，但卻可以使問題得到必要的簡化。主要的數(shù)據(jù)挖掘聚類方法有：劃分的方法、層次的方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法10/25/202221關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則反映一個(gè)事物與其它事物之間的相互依存性和關(guān)聯(lián)性，如果兩個(gè)事物或者多個(gè)事物之間存在一定的關(guān)聯(lián)關(guān)系，那么其中一個(gè)事物就能夠通過其他事物預(yù)測到。

人們希望在海量的商業(yè)交易記錄中發(fā)現(xiàn)感興趣的數(shù)據(jù)關(guān)聯(lián)關(guān)系，用以幫助商家作出決策。例如：面包2%牛奶1.5%（占超市交易總數(shù)）

2%和1.5%表明這兩種商品在超市經(jīng)營中的重要程度，稱為支持度。商家關(guān)注高支持度的產(chǎn)品。

面包=〉牛奶60%

在購買面包的交易中，有60%的交易既買了面包又買了牛奶，成60%為規(guī)則“面包=〉牛奶”的信任度。信任度反映了商品間的關(guān)聯(lián)程度。10/25/202222

項(xiàng)目構(gòu)成的集合稱為項(xiàng)集。項(xiàng)集在事物數(shù)據(jù)庫中出現(xiàn)的次數(shù)占總事物的百分比叫做項(xiàng)集的支持度。如果項(xiàng)集的支持度超過用戶給定的最小支持度閾值，就稱該項(xiàng)集是頻繁項(xiàng)集。

關(guān)聯(lián)規(guī)則就是支持度和信任度分別滿足用戶給定閾值的規(guī)則。發(fā)現(xiàn)關(guān)聯(lián)規(guī)則需要經(jīng)歷如下兩個(gè)步驟：

（1）找出所有的頻繁項(xiàng)。

（2）由頻繁項(xiàng)集生成滿足最小信任度閾值的規(guī)則。

10/25/2022235.人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是指由簡單計(jì)算單元組成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，能夠模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。組成神經(jīng)網(wǎng)絡(luò)的單個(gè)神經(jīng)元的結(jié)構(gòu)簡單，功能有限，但是，由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)可以實(shí)現(xiàn)強(qiáng)大的功能。

由于現(xiàn)實(shí)世界的數(shù)據(jù)關(guān)系相當(dāng)復(fù)雜，非線性問題和噪聲數(shù)據(jù)普遍存在。將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于數(shù)據(jù)挖掘，希望借助其非線性處理能力和容噪能力，得到較好的數(shù)據(jù)挖掘結(jié)果。

將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于數(shù)據(jù)挖掘的主要障礙是，通過人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的知識難于理解；學(xué)習(xí)時(shí)間太長，不適于大型數(shù)據(jù)集。10/25/2022246，分類與預(yù)測

分類和預(yù)測是兩種重要的數(shù)據(jù)分析方法，在商業(yè)上的應(yīng)用很多。分類和預(yù)測可以用于提取描述重要數(shù)據(jù)類型或預(yù)測未來的數(shù)據(jù)趨勢。

分類的目的是提出一個(gè)分類函數(shù)或分類模型（即分類器）通過分類器將數(shù)據(jù)對象映射到某一個(gè)給定的類別中。數(shù)據(jù)分類可以分為兩步進(jìn)行。第一步建立模型，用于描述給定的數(shù)據(jù)集合。通過分析由屬性描述的數(shù)據(jù)集合來建立反映數(shù)據(jù)集合特性的模型。第二步是用模型對數(shù)據(jù)對象進(jìn)行分類。

預(yù)測的目的是從歷史數(shù)據(jù)記錄中自動(dòng)推導(dǎo)出對給定數(shù)據(jù)的推廣描述，從而能夠?qū)κ孪任粗臄?shù)據(jù)進(jìn)行預(yù)測。10/25/202225分類的方法：決策樹：決策樹內(nèi)部節(jié)點(diǎn)進(jìn)行屬性值測試，并根據(jù)屬性值判斷由該節(jié)點(diǎn)引出的分支，在決策樹的葉結(jié)點(diǎn)得到結(jié)論。內(nèi)部節(jié)點(diǎn)是屬性或?qū)傩缘募希~節(jié)點(diǎn)代表樣本所屬的類或類分布。貝葉斯分類：是一種統(tǒng)計(jì)學(xué)分類方法，可以預(yù)測類成員關(guān)系關(guān)系的可能性，如給定樣本屬于一個(gè)特征類的概率。貝葉斯方法已在文本分類、字母識別、經(jīng)濟(jì)預(yù)測等領(lǐng)域獲得了成功的應(yīng)用?；谶z傳算法分類：模擬生物進(jìn)化過程中的計(jì)算模型，是自然遺傳學(xué)與計(jì)算機(jī)科學(xué)互相結(jié)合、互相滲透而形成的新的計(jì)算方法。利用選擇、交叉、變異等操作對子代進(jìn)行操作，優(yōu)點(diǎn)是問題求解與初始條件無關(guān)，搜索最優(yōu)解的能力極強(qiáng)，可以對各種數(shù)據(jù)挖掘技術(shù)進(jìn)行優(yōu)化。10/25/202226預(yù)測預(yù)測是構(gòu)造和使用模型評估無標(biāo)號樣本類，或評估給定樣本可能具有的屬性值或區(qū)間值。預(yù)測的目的是從歷史數(shù)據(jù)中自動(dòng)推導(dǎo)出對給定數(shù)據(jù)的推廣描述，從而能對未來數(shù)據(jù)進(jìn)行預(yù)測。例如，金融系統(tǒng)可以根據(jù)顧客信譽(yù)卡消費(fèi)量預(yù)測他未來的刷卡消費(fèi)量或用于信譽(yù)證實(shí)。推銷人員希望在開拓新客戶時(shí)，找出顧客一些共同特征，預(yù)測出潛在顧客群。預(yù)測的方法主要是回歸統(tǒng)計(jì)，包括：線性回歸、非線性回歸、多元回歸、泊松回歸、對數(shù)回歸等。分類也可以用來預(yù)測。10/25/2022277，多媒體數(shù)據(jù)挖掘

多媒體數(shù)據(jù)庫系統(tǒng)由多媒體數(shù)據(jù)庫管理系統(tǒng)和多媒體數(shù)據(jù)庫構(gòu)成。其中多媒體數(shù)據(jù)庫用于存儲和管理多媒體數(shù)據(jù)，多媒體數(shù)據(jù)庫管理系統(tǒng)負(fù)責(zé)對多媒體數(shù)據(jù)庫進(jìn)行管理。多媒體數(shù)據(jù)庫包括結(jié)構(gòu)化的數(shù)據(jù)、半結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，如音頻數(shù)據(jù)、視頻數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)等。

多媒體數(shù)據(jù)挖掘就是通過綜合分析多媒體數(shù)據(jù)的內(nèi)容和語義，從大量多媒體數(shù)據(jù)中發(fā)現(xiàn)隱含的、有效的、有價(jià)值的、可理解的模式，得出事件的發(fā)展趨向和關(guān)聯(lián)關(guān)系，為用戶提供問題求解層次上的決策支持能力。10/25/202228

多媒體數(shù)據(jù)是指由多種不同類型多媒體數(shù)據(jù)組成的，包括文本、圖形、圖像、聲音、視頻圖像、動(dòng)畫等不同類型的媒體數(shù)據(jù)。為了挖掘多媒體數(shù)據(jù)，必須對兩種或多種類型的媒體數(shù)據(jù)進(jìn)行綜合挖掘。多媒體挖掘的方法有兩種：

一種是先從多媒體數(shù)據(jù)數(shù)據(jù)庫中提取出結(jié)構(gòu)化數(shù)據(jù)，然后用傳統(tǒng)的數(shù)據(jù)挖掘工具在這些結(jié)構(gòu)化的數(shù)據(jù)上進(jìn)行挖掘。另一種解決辦法是研究開發(fā)可以直接對多媒體數(shù)據(jù)進(jìn)行挖掘的工具。

10/25/202229四、數(shù)據(jù)挖掘系統(tǒng)與應(yīng)用數(shù)據(jù)挖掘系統(tǒng)的開發(fā)工作十分復(fù)雜，不僅要有大量的數(shù)據(jù)挖掘算法，而且其應(yīng)用領(lǐng)域往往取決于最終用戶的知識結(jié)構(gòu)等因素。下面介紹幾個(gè)數(shù)據(jù)挖掘系統(tǒng)：SKICAT是MIT噴氣推進(jìn)實(shí)驗(yàn)室與天文科學(xué)家合作開發(fā)的用于幫助天文學(xué)家發(fā)現(xiàn)遙遠(yuǎn)的類星體的工具。Health-KEFIR是用于健康狀況預(yù)警的知識發(fā)現(xiàn)系統(tǒng)。TASA是為預(yù)測通信網(wǎng)絡(luò)故障而開發(fā)的通信網(wǎng)絡(luò)預(yù)警分析系統(tǒng)。會產(chǎn)生“如果在某一時(shí)間段內(nèi)發(fā)生某些預(yù)警信息組合，那么其他類型的預(yù)警信息將在某個(gè)時(shí)間范圍內(nèi)發(fā)生”的規(guī)則。時(shí)間段大小由用戶定義。R-MINI運(yùn)用分類技術(shù)從噪聲中提取有價(jià)值的信息。由于是在微弱變化中獲取信息，該系統(tǒng)也可以應(yīng)用于證券領(lǐng)域中的股市行情預(yù)測。10/25/202230KDW是大型商業(yè)數(shù)據(jù)庫中的交互分析系統(tǒng)。包括聚類、分類、總結(jié)、相關(guān)性分析等多種模式。DBMiner是加拿大SimonFraser大學(xué)開發(fā)的一個(gè)多任務(wù)KDD系統(tǒng)。能夠完成多種知識發(fā)現(xiàn)，綜合了多種數(shù)據(jù)挖掘技術(shù)。Clementine可以把直觀的圖形用戶界面與多種分析技術(shù)結(jié)合在一起，包括神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則和規(guī)則歸納技術(shù)。Darwin包含神經(jīng)網(wǎng)絡(luò)、決策書和K-鄰近三種數(shù)據(jù)挖掘方法，處理分類、預(yù)測和預(yù)報(bào)問題。DMW是一個(gè)用在信用卡欺詐分析方面的數(shù)據(jù)挖掘工具，支持反向傳播神經(jīng)網(wǎng)絡(luò)算法，并能以自動(dòng)和人工模式操作IntelligentMiner是IBM開發(fā)的包括人工智能、機(jī)器學(xué)習(xí)、語言分析和知識發(fā)現(xiàn)領(lǐng)域成果在內(nèi)的復(fù)雜軟件解決方案。10/25/202231五，數(shù)據(jù)預(yù)處理為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)10/25/202232為什么需要數(shù)據(jù)預(yù)處理?在現(xiàn)實(shí)社會中，存在著大量的“臟”數(shù)據(jù)不完整性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員）

缺少感興趣的屬性感興趣的屬性缺少部分屬性值僅僅包含聚合數(shù)據(jù)，沒有詳細(xì)數(shù)據(jù)噪音數(shù)據(jù)（采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸）數(shù)據(jù)中包含錯(cuò)誤的信息存在著部分偏離期望值的孤立點(diǎn)不一致性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)錄入人員）數(shù)據(jù)結(jié)構(gòu)的不一致性Label的不一致性數(shù)據(jù)值的不一致性10/25/202233為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)挖掘的數(shù)據(jù)源可能是多個(gè)互相獨(dú)立的數(shù)據(jù)源關(guān)系數(shù)據(jù)庫多維數(shù)據(jù)庫（DataCube）文件、文檔數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)換為了數(shù)據(jù)挖掘的方便海量數(shù)據(jù)的處理數(shù)據(jù)歸約（在獲得相同或者相似結(jié)果的前提下）10/25/202234為什么需要數(shù)據(jù)預(yù)處理？沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須基于高質(zhì)量的數(shù)據(jù)基礎(chǔ)上數(shù)據(jù)倉庫是在高質(zhì)量數(shù)據(jù)上的集成10/25/202235數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理填入缺失數(shù)據(jù)平滑噪音數(shù)據(jù)確認(rèn)和去除孤立點(diǎn)解決不一致性數(shù)據(jù)集成多個(gè)數(shù)據(jù)庫、DataCube和文件系統(tǒng)的集成數(shù)據(jù)轉(zhuǎn)換規(guī)范化、聚集等數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)的容量進(jìn)行有效的縮減數(shù)據(jù)離散化對于一個(gè)特定的連續(xù)屬性，尤其是連續(xù)的數(shù)字屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實(shí)際數(shù)據(jù)值，以減少屬性值的個(gè)數(shù).10/25/202236數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸約10/25/202237主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗

數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)10/25/202238數(shù)據(jù)清洗主要任務(wù)補(bǔ)充缺失數(shù)據(jù)識別孤立點(diǎn)，平滑噪音數(shù)據(jù)處理不一致的數(shù)據(jù)10/25/202239缺失數(shù)據(jù)的處理部分?jǐn)?shù)據(jù)通常是不可用的在許多元組中部分屬性值為空。如：在客戶表中的客戶收入為空。導(dǎo)致數(shù)據(jù)缺失的原因數(shù)據(jù)采集設(shè)備的故障由于與其它信息的數(shù)據(jù)存在不一致性，因此數(shù)據(jù)項(xiàng)被刪除由于不理解或者不知道而未能輸入在當(dāng)時(shí)數(shù)據(jù)輸入的時(shí)候，該數(shù)據(jù)項(xiàng)不重要而忽略數(shù)據(jù)傳輸過程中引入的錯(cuò)誤缺失數(shù)據(jù)通常需要經(jīng)過合理的推斷予以添加10/25/202240缺失數(shù)據(jù)的處理方法忽略該記錄（元組）通常在進(jìn)行分類、描述、聚類等挖掘，但是元組缺失類標(biāo)識時(shí)該種方法通常不是最佳的，尤其是缺失數(shù)據(jù)比例比較大的時(shí)候手工填入空缺的值枯燥、費(fèi)時(shí)，可操作性差，不推薦使用使用一個(gè)全局的常量填充空缺數(shù)值給定一個(gè)固定的屬性值如：未知、不祥、Unknown、Null等簡單，但是沒有意義10/25/202241使用屬性的平均值填充空缺數(shù)值簡單方便、挖掘結(jié)果容易產(chǎn)生不精確的結(jié)果使用與給定元組同一個(gè)類別的所有樣本的平均值分類非常重要，尤其是分類指標(biāo)的選擇使用最有可能的值予以填充利用回歸、基于推導(dǎo)的使用貝葉斯形式化的方法的工具或者判定樹歸納確定利用屬性之間的關(guān)系進(jìn)行推斷，保持了屬性之間的聯(lián)系缺失數(shù)據(jù)的處理方法（續(xù)）10/25/202242噪音數(shù)據(jù)噪音數(shù)據(jù):一個(gè)度量（指標(biāo)）變量中的隨機(jī)錯(cuò)誤或者偏差主要原因數(shù)據(jù)采集設(shè)備的錯(cuò)誤數(shù)據(jù)錄入問題數(shù)據(jù)傳輸問題部分技術(shù)的限制數(shù)據(jù)轉(zhuǎn)換中的不一致數(shù)據(jù)清理中所需要處理的其它問題重復(fù)的記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)10/25/202243噪音數(shù)據(jù)的處理分箱（Binning）的方法聚類方法檢測并消除異常點(diǎn)線性回歸對不符合回歸的數(shù)據(jù)進(jìn)行平滑處理人機(jī)結(jié)合共同檢測由計(jì)算機(jī)檢測可疑的點(diǎn)，然后由用戶確認(rèn)10/25/202244處理噪音數(shù)據(jù)：分箱方法分箱（Binning）方法:基本思想：通過考察相鄰數(shù)據(jù)的值，來平滑存儲數(shù)據(jù)的值基本步驟：首先，對數(shù)據(jù)進(jìn)行排序，并分配到具有相同寬度/深度的不同的“箱子”中其次，通過箱子的平均值（Means）、中值（Median）、或者邊界值等來進(jìn)行平滑處理10/25/202245分箱（Binning）方法舉例對數(shù)據(jù)進(jìn)行排序:4,8,9,15,21,21,24,25,26,28,29,34對數(shù)據(jù)進(jìn)行分割(相同深度):-Bin1:4,8,9,15-Bin2:21,21,24,25-Bin3:26,28,29,34根據(jù)bin中的平均值進(jìn)行離散化:-Bin1:9,9,9,9-Bin2:23,23,23,23-Bin3:29,29,29,2910/25/202246基于聚類分析的平滑處理10/25/202247通過線性回歸的平滑處理xyy=x+1X1Y1Y1’10/25/202248主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)10/25/202249數(shù)據(jù)集成數(shù)據(jù)集成的概念將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個(gè)一致的數(shù)據(jù)存儲中數(shù)據(jù)源包括：多個(gè)數(shù)據(jù)庫、多維數(shù)據(jù)庫和一般的文件數(shù)據(jù)集成也是數(shù)據(jù)倉庫建設(shè)中的一個(gè)重要問題數(shù)據(jù)集成的內(nèi)容模式集成利用數(shù)據(jù)庫和數(shù)據(jù)倉庫的元數(shù)據(jù)信息主要工作是識別現(xiàn)實(shí)世界中的實(shí)體定義冗余數(shù)據(jù)的處理檢測和解決數(shù)值沖突對于現(xiàn)實(shí)世界中的同一實(shí)體，來自于不同數(shù)據(jù)源的屬性值可能不同主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語義的不同10/25/202250模式集成數(shù)據(jù)類型沖突性別：string(Male、Female)、Char（M、F）、Interger（0、1）日期：Date、DateTime、String數(shù)據(jù)標(biāo)簽沖突：解決同名異義、異名同義學(xué)生成績、分?jǐn)?shù)度量單位沖突學(xué)生成績百分制：100~0五分制：A、B、C、D、E字符表示：優(yōu)、良、及格、不及格概念不清最近交易額：前一個(gè)小時(shí)、昨天、本周、本月？聚集沖突：根源在于表結(jié)構(gòu)的設(shè)計(jì)

10/25/202251冗余數(shù)據(jù)的處理從多個(gè)數(shù)據(jù)源中抽取不同的數(shù)據(jù)，容易導(dǎo)致數(shù)據(jù)的冗余不同的屬性在不同的數(shù)據(jù)源中是不同的命名方式有些屬性可以從其它屬性中導(dǎo)出，例如：銷售額＝單價(jià)×銷售量有些冗余可以通過相關(guān)分析檢測到其中：n是元組的個(gè)數(shù)，和分別是A和B的平均值，和分別是A和B的標(biāo)準(zhǔn)差元組級的“重復(fù)”，也是數(shù)據(jù)冗余的一個(gè)重要方面減少冗余數(shù)據(jù)，可以大大提高數(shù)據(jù)挖掘的性能10/25/202252數(shù)據(jù)轉(zhuǎn)換平滑處理:從數(shù)據(jù)中消除噪音數(shù)據(jù)聚集操作:對數(shù)據(jù)進(jìn)行綜合，類似于DataCube的構(gòu)建數(shù)據(jù)概化：構(gòu)建概念層次數(shù)據(jù)規(guī)范化:將數(shù)據(jù)集中到一個(gè)較小的范圍之中最大-最小規(guī)范化z-score（零－均值）規(guī)范化小數(shù)范圍規(guī)范化（0–1規(guī)范化）屬性構(gòu)造構(gòu)造新的屬性并添加到屬性集中，以幫助數(shù)據(jù)挖掘10/25/202253數(shù)據(jù)轉(zhuǎn)換：規(guī)范化最大-最小規(guī)范化對原始數(shù)據(jù)進(jìn)行線性變換保持了原始數(shù)據(jù)值之間的關(guān)系當(dāng)有新的輸入，落在原數(shù)據(jù)區(qū)之外，該方法將面臨“越界”錯(cuò)誤受到孤立點(diǎn)的影響可能會比較大10/25/202254數(shù)據(jù)轉(zhuǎn)換：規(guī)范化（續(xù)）z-score（零－均值）規(guī)范化屬性基于平均值和標(biāo)準(zhǔn)差規(guī)范化當(dāng)屬性的最大值和最小值未知，或者孤立點(diǎn)左右了最大－最小規(guī)范化時(shí)，該方法有效0-1規(guī)范化（小數(shù)定標(biāo)規(guī)范化）通過移動(dòng)屬性的小數(shù)點(diǎn)位置進(jìn)行規(guī)范化例如A的值為125，那么|A|=125，則j=3，有v=0.125。WherejisthesmallestintegersuchthatMax(||)<110/25/202255屬性構(gòu)造由給定的屬性構(gòu)造并增添新的屬性，以幫助提高精度和對高維數(shù)據(jù)結(jié)構(gòu)的理解屬性結(jié)構(gòu)還可以幫助平緩使用判定算法分類的分裂問題例如：Area=Width×Height銷售額＝單價(jià)×銷售量10/25/202256主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)10/25/202257數(shù)據(jù)歸約的提出在數(shù)據(jù)倉庫中可能保存TB級的數(shù)據(jù)，大數(shù)據(jù)量的數(shù)據(jù)挖掘，可能需要大量的時(shí)間來完成整個(gè)數(shù)據(jù)的數(shù)據(jù)挖掘。數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)的容量進(jìn)行有效的縮減數(shù)據(jù)歸約的方法數(shù)據(jù)立方體聚集：聚集操作作用于立方體中的數(shù)據(jù)減少數(shù)據(jù)維度（維歸約）：可以檢測并刪除不相關(guān)、弱相關(guān)或者冗余的屬性或維數(shù)據(jù)壓縮：使用編碼機(jī)制壓縮數(shù)據(jù)集數(shù)值壓縮：用替代的、較小的數(shù)據(jù)表示替換或估計(jì)數(shù)據(jù)10/25/202258DataCube的聚集“基點(diǎn)方體”“頂點(diǎn)方體”DataCube中的多個(gè)層次的聚集進(jìn)一步縮減所要處理的數(shù)據(jù)量當(dāng)響應(yīng)OLAP查詢或者數(shù)據(jù)挖掘時(shí)，應(yīng)當(dāng)使用與給定任務(wù)相關(guān)的“最小方體”10/25/202259維歸約(特征提取)維歸約：通過刪除不相關(guān)的屬性（或維）減少數(shù)據(jù)量特征選取(屬性子集的選取):選取最小的特征屬性集合，得到的數(shù)據(jù)挖掘結(jié)果與所有特征參加的數(shù)據(jù)挖掘結(jié)果相近或完全一致特征提取，對于d個(gè)屬性來說，具有2d

個(gè)可能的子集10/25/202260維歸約的主要方法利用啟發(fā)式的方法來減少數(shù)據(jù)維度(隨著維度的增長數(shù)據(jù)量將呈指數(shù)級別增長):逐步向前選擇：維數(shù)逐步增多的方法（每次增添“最好”的屬性）逐步向后選擇：維數(shù)逐步減少的方法（每次刪除“最差”的屬性）兩者組合的方法判定樹歸納方法（ID3,C4.5）10/25/202261基于判定樹歸納的方法Initialattributeset:{A1,A2,A3,A4,A5,A6}A4?A1?A6?Class1Class2Class1Class2>Reducedattributeset:{A1,A4,A6}YYYNNN10/25/202262數(shù)據(jù)壓縮數(shù)據(jù)壓縮：應(yīng)用數(shù)據(jù)編碼或變換，以便得到數(shù)據(jù)的歸約或壓縮表示無損壓縮：原數(shù)據(jù)可以由壓縮數(shù)據(jù)重新構(gòu)造而不丟失任何信息字符串壓縮是典型的無損壓縮現(xiàn)在已經(jīng)有許多很好的方法但是它們只允許有限的數(shù)據(jù)操作有損壓縮：只能重新構(gòu)造原數(shù)據(jù)的近似表示影像文件的壓縮是典型的有損壓縮典型的方法：小波變換、主要成分分析10/25/202263數(shù)值歸約數(shù)值歸約：通過選擇替代的、“較小”的數(shù)據(jù)表示形式來減少數(shù)據(jù)量有參的方法假設(shè)數(shù)據(jù)符合某些模型，通過評估模型參數(shù)，僅需要存儲參數(shù)，不需要存儲實(shí)際數(shù)據(jù)（孤立點(diǎn)也可能被存放）典型方法：對數(shù)線性模型，它估計(jì)離散的多維概率分布無參的方法不存在假想的模型典型方法:直方圖、聚類和抽樣10/25/202264直方圖類似于分箱技術(shù)，是一種流行的數(shù)據(jù)歸約方式將屬性值劃分為不相交的子集，或“桶”桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。每個(gè)桶只表示單個(gè)屬性值，則稱其為“單桶”。通常，“桶”表示給定屬性的一個(gè)連續(xù)空間可以通過編程，動(dòng)態(tài)修改部分參數(shù)，進(jìn)行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount10/25/202265主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)10/25/202266數(shù)據(jù)離散化和概念層次屬性值分類枚舉型有序的無序的連續(xù)型：如Real類型數(shù)據(jù)離散化對于一個(gè)特定的連續(xù)屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實(shí)際數(shù)據(jù)值，以減少屬性值的個(gè)數(shù)。概念層次利用高層的概念（如兒童、青年、中年、老年等）來代替低層的實(shí)際數(shù)據(jù)值（實(shí)際年齡），以減少屬性值的個(gè)數(shù)。10/25/202267數(shù)值數(shù)據(jù)的離散化和概念分層建立的方法分箱（Binning）直方圖分析聚類分析的方法根據(jù)自然分類進(jìn)行分割10/25/202268分箱方法：一種簡單的離散化技術(shù)相同寬度

（距離）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個(gè)等份數(shù)據(jù)之間具有相同的距離如果

A和B分別為屬性值中的最大值和最小值，那么各個(gè)數(shù)據(jù)等份之間的距離為：W=(B-A)/N.異常點(diǎn)將會扮演很重要的角色傾斜的數(shù)據(jù)不能很好的解決相同深度

（頻率）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個(gè)等份具有相同的數(shù)據(jù)個(gè)數(shù)。具有較好的可伸縮性適合于數(shù)據(jù)分類的情況10/25/202269離散化：直方圖方法將數(shù)據(jù)分割到若干個(gè)桶之中，用桶中的平均值（或求和等）來表示各個(gè)桶?？梢酝ㄟ^編程，動(dòng)態(tài)修改部分參數(shù)，進(jìn)行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount10/25/202270離散化：聚類分析方法將數(shù)據(jù)按照“類內(nèi)最大相似度，類間最小相似度的原則”對數(shù)據(jù)進(jìn)行有效聚類利用聚類的中心點(diǎn)來表示該類所包含的對象數(shù)據(jù)聚類將非常有效，但是必須保證數(shù)據(jù)中沒有噪音數(shù)據(jù)10/25/202271按照自然分類進(jìn)行數(shù)據(jù)分割利用3-4-5法則對數(shù)字型數(shù)據(jù)分類，將數(shù)據(jù)分成若干個(gè)“自然”的區(qū)間：如果在所有數(shù)字的最高位覆蓋

3,6,7或9個(gè)不同的值，則將數(shù)據(jù)分成3段。3（1，1，1）6（2，2，2）7（2，3，2）9（3，3，3）如果在所有數(shù)字的最高位覆蓋

2,4,8個(gè)不同的值，則將數(shù)據(jù)分成4段。如果在所有數(shù)字的最高位覆蓋

1,5,10個(gè)不同的值，則將數(shù)據(jù)分成5段。10/25/2022723-4-5法則舉例例1：包含數(shù)據(jù)：101、110、203、222、305、315方法：最高位包含3個(gè)值（1、2、3）分成[100，200），[200，300），[300，400）三段例2：包含數(shù)據(jù)：101、110、103、422、405、415，400方法：最高位包含2個(gè)值（1、4）分成[100，150），[150，200），[400，450），[450，500）四段例3：包含數(shù)據(jù)：101、210、203、322、305、415，500方法：最高位包含5個(gè)值（1、2、3、4、5）分成[100，200），[200，300），[300，400），[400，500），[500，600）五段10/25/202273分類數(shù)據(jù)的概念分層概念分層是由用戶或?qū)＜覍哂衅蜿P(guān)系的屬性的一種層次關(guān)系的顯式表示。也是一種數(shù)據(jù)分類的顯式表示。概念層次的獲得隱式存儲于數(shù)據(jù)庫中。如：地址。由專家顯式給出。借助數(shù)據(jù)分析自動(dòng)生成。概念層次的表示基于實(shí)例。如：{freshman,...,senior}undergraduate.；基于數(shù)據(jù)庫表模式。如：address(city,province,country)?；谝?guī)則。如：good(x)undergraduate(x)∧gpa(x)3.5。10/25/202274概念層次樹舉例概念層次樹將大大減少挖掘數(shù)據(jù)的數(shù)據(jù)量。countryprovince_or_statecitystreet15distinctvalues65distinctvalues3567distinctvalues674,