數(shù)據(jù)挖掘入門(mén)

數(shù)據(jù)挖掘入門(mén)2引言KDD與數(shù)據(jù)挖掘數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘的應(yīng)用和發(fā)展趨勢(shì)數(shù)據(jù)預(yù)處理可視化數(shù)據(jù)挖掘3一、引言什么激發(fā)了數(shù)據(jù)挖掘

近年來(lái)，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注，其主要原因是存在大量數(shù)據(jù)可以廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識(shí)。獲取的信息和知識(shí)可以廣泛應(yīng)用于各種領(lǐng)域，如商務(wù)管理、生產(chǎn)控制、市場(chǎng)分析、工程設(shè)計(jì)和科學(xué)探索等。面對(duì)海量數(shù)據(jù)庫(kù)和大量繁雜信息，如何才能從中提取有價(jià)值的知識(shí)，進(jìn)一步提高信息的利用率，由此引發(fā)了一個(gè)新的研究方向：基于數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase）及相應(yīng)的數(shù)據(jù)挖掘（DataMining）理論和技術(shù)的研究。4為什么數(shù)據(jù)挖掘是重要的

數(shù)據(jù)的豐富帶來(lái)了對(duì)強(qiáng)有力的數(shù)據(jù)分析工具的需求?？焖僭鲩L(zhǎng)的海量數(shù)據(jù)收集存放在大型和大量的數(shù)據(jù)庫(kù)中，沒(méi)有強(qiáng)有力的工具，這些數(shù)據(jù)就變成了“數(shù)據(jù)墳?zāi)埂薄y得再訪(fǎng)問(wèn)的數(shù)據(jù)檔案。因此數(shù)據(jù)和信息之間的鴻溝要求系統(tǒng)地開(kāi)發(fā)數(shù)據(jù)挖掘工具，將數(shù)據(jù)墳?zāi)罐D(zhuǎn)換成知識(shí)“金塊”。52.1KDD定義人們給KDD下過(guò)很多定義，內(nèi)涵也各不相同，目前公認(rèn)的定義是由Fayyad等人提出的。所謂基于數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)(KDD)是指從大量數(shù)據(jù)中提取有效的、新穎的、潛在有用的、最終可被理解的模式的非平凡過(guò)程。二、KDD與數(shù)據(jù)挖掘62.2KDD過(guò)程

KDD是一個(gè)人機(jī)交互處理過(guò)程。該過(guò)程需要經(jīng)歷多個(gè)步驟，并且很多決策需要由用戶(hù)提供。從宏觀(guān)上看，KDD過(guò)程主要經(jīng)由三個(gè)部分組成，即數(shù)據(jù)整理、數(shù)據(jù)挖掘和結(jié)果的解釋評(píng)估。7知識(shí)發(fā)現(xiàn)（KDD）的過(guò)程數(shù)據(jù)清理篩選數(shù)據(jù)目標(biāo)數(shù)據(jù)Knowledge預(yù)處理及變換變換后的數(shù)據(jù)數(shù)據(jù)挖掘解釋/評(píng)估8知識(shí)發(fā)現(xiàn)（KDD）的步驟數(shù)據(jù)準(zhǔn)備：了解KDD應(yīng)用領(lǐng)域的有關(guān)情況。包括熟悉相關(guān)的知識(shí)背景，搞清用戶(hù)需求。數(shù)據(jù)選?。簲?shù)據(jù)選取的目的是確定目標(biāo)數(shù)據(jù)，根據(jù)用戶(hù)的需要從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本。在此過(guò)程中，將利用一些數(shù)據(jù)庫(kù)操作對(duì)數(shù)據(jù)庫(kù)進(jìn)行相關(guān)處理。數(shù)據(jù)預(yù)處理：對(duì)步驟2中選出的數(shù)據(jù)進(jìn)行再處理，檢查數(shù)據(jù)的完整性及一致性，消除噪聲及與數(shù)據(jù)挖掘無(wú)關(guān)的冗余數(shù)據(jù)，根據(jù)時(shí)間序列和已知的變化情況，利用統(tǒng)計(jì)等方法填充丟失的數(shù)據(jù)。9數(shù)據(jù)變換：根據(jù)知識(shí)發(fā)現(xiàn)的任務(wù)對(duì)經(jīng)過(guò)預(yù)處理的數(shù)據(jù)再處理，主要是通過(guò)投影或利用數(shù)據(jù)庫(kù)的其它操作減少數(shù)據(jù)量。確定KDD目標(biāo)：根據(jù)用戶(hù)的要求，確定KDD要發(fā)現(xiàn)的知識(shí)類(lèi)型。選擇算法：根據(jù)步驟5確定的任務(wù)，選擇合適的知識(shí)發(fā)現(xiàn)算法，包括選取合適的模型和參數(shù)。10數(shù)據(jù)挖掘：這是整個(gè)KDD過(guò)程中很重要的一個(gè)步驟。運(yùn)用前面的選擇算法，從數(shù)據(jù)庫(kù)中提取用戶(hù)感興趣的知識(shí)，并以一定的方式表示出來(lái)。模式解釋?zhuān)簩?duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識(shí)）進(jìn)行解釋。通過(guò)機(jī)器評(píng)估剔除冗余或無(wú)關(guān)模式，若模式不滿(mǎn)足，再返回到前面某些處理步驟中反復(fù)提取。知識(shí)評(píng)價(jià)：將發(fā)現(xiàn)的知識(shí)以用戶(hù)能了解的方式呈現(xiàn)給用戶(hù)。其中也包括對(duì)知識(shí)一致性的檢查，以確信本次發(fā)現(xiàn)的知識(shí)不會(huì)與以前發(fā)現(xiàn)的知識(shí)相抵觸。11什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘（從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)）從海量的數(shù)據(jù)中抽取感興趣的（有價(jià)值的、隱含的、以前沒(méi)有用但是潛在有用信息的）模式和知識(shí)。其它可選擇的名字?jǐn)?shù)據(jù)庫(kù)中知識(shí)挖掘、知識(shí)提取、數(shù)據(jù)/模式分析、數(shù)據(jù)考古、數(shù)據(jù)捕撈、信息獲取、事務(wù)智能等。廣義觀(guān)點(diǎn)數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)中或其它信息庫(kù)中的大量數(shù)據(jù)中挖掘有趣知識(shí)的過(guò)程。12數(shù)據(jù)挖掘系統(tǒng)的組成數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或其他信息庫(kù)：是一個(gè)或一組數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、電子表格或其他類(lèi)型的信息庫(kù)?？梢栽跀?shù)據(jù)上進(jìn)行數(shù)據(jù)清理和集成。數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器：根據(jù)用戶(hù)的挖掘請(qǐng)求，數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器負(fù)責(zé)提取相關(guān)數(shù)據(jù)。知識(shí)庫(kù)：是領(lǐng)域知識(shí)，用于指導(dǎo)搜索，或評(píng)估結(jié)果模式的興趣度。13數(shù)據(jù)挖掘引擎：數(shù)據(jù)挖掘系統(tǒng)的基本部分，由一組功能模塊組成，用于特征化、關(guān)聯(lián)、分類(lèi)、聚類(lèi)分析以及演變和偏差分析。模式評(píng)估模塊：使用興趣度量，并與數(shù)據(jù)挖掘模塊交互，以便將搜索聚焦在有趣的模式上，可能使用興趣度閾值過(guò)濾發(fā)現(xiàn)的模式。圖形用戶(hù)界面：該模塊在用戶(hù)和數(shù)據(jù)挖掘系統(tǒng)之間通信，允許用戶(hù)與系統(tǒng)交互，指定數(shù)據(jù)挖掘查詢(xún)或任務(wù)，提供信息，幫助搜索聚焦，根據(jù)數(shù)據(jù)挖掘的中間結(jié)果進(jìn)行探索式數(shù)據(jù)挖掘。14數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)清理數(shù)據(jù)集成過(guò)濾數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器數(shù)據(jù)挖掘引擎模式評(píng)估圖形用戶(hù)界面

知識(shí)庫(kù)153.1可以分別按挖掘任務(wù)、挖掘?qū)ο蠛屯诰蚍椒▉?lái)分類(lèi)。按挖掘任務(wù)分類(lèi)：包括分類(lèi)或預(yù)測(cè)知識(shí)模型發(fā)現(xiàn)，數(shù)據(jù)總結(jié)，數(shù)據(jù)聚類(lèi)，關(guān)聯(lián)規(guī)則發(fā)現(xiàn)，時(shí)序模式發(fā)現(xiàn)，依賴(lài)關(guān)系或依賴(lài)模型發(fā)現(xiàn)，異常和趨勢(shì)發(fā)現(xiàn)等。按挖掘?qū)ο蠓诸?lèi)：包括關(guān)系數(shù)據(jù)庫(kù)，面向?qū)ο髷?shù)據(jù)庫(kù)，空間數(shù)據(jù)庫(kù)，時(shí)態(tài)數(shù)據(jù)庫(kù)，文本數(shù)據(jù)庫(kù)，多媒體數(shù)據(jù)庫(kù)，異構(gòu)數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，演繹數(shù)據(jù)庫(kù)和Web數(shù)據(jù)庫(kù)等。三、數(shù)據(jù)挖掘方法16按挖掘方法分類(lèi)：包括統(tǒng)計(jì)方法，機(jī)器學(xué)習(xí)方法，神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法，其中：統(tǒng)計(jì)方法可分為：回歸分析（多元回歸、自回歸等），判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等），聚類(lèi)分析（系統(tǒng)聚類(lèi)、動(dòng)態(tài)聚類(lèi)等），探索性分析（主成分分析、相關(guān)分析等）等。機(jī)器學(xué)習(xí)方法可分為：歸納學(xué)習(xí)方法（決策樹(shù)、規(guī)則歸納等），基于范例學(xué)習(xí)，遺傳算法等。神經(jīng)網(wǎng)絡(luò)方法可以分為：前向神經(jīng)網(wǎng)絡(luò)（BP算法等），自組織神經(jīng)網(wǎng)絡(luò)（自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等）。數(shù)據(jù)庫(kù)方法分為：多為數(shù)據(jù)分析和OLAP技術(shù)，此外還有面向?qū)傩缘臍w納方法。17數(shù)據(jù)挖掘技術(shù)分類(lèi)數(shù)據(jù)挖掘驗(yàn)證驅(qū)動(dòng)挖掘發(fā)現(xiàn)驅(qū)動(dòng)挖掘SQLSQL生成器查詢(xún)工具OLAP描述預(yù)測(cè)可視化聚類(lèi)關(guān)聯(lián)規(guī)則順序關(guān)聯(lián)匯總描述分類(lèi)統(tǒng)計(jì)回歸時(shí)間序列決策樹(shù)神經(jīng)網(wǎng)路183.2數(shù)據(jù)挖掘方法粗糙集

1982年波蘭數(shù)學(xué)家Z.Pawlak針對(duì)G.Frege的邊界線(xiàn)區(qū)域思想提出了粗糙集（RoughSet），他把那些無(wú)法確認(rèn)的個(gè)體都?xì)w屬于邊界線(xiàn)區(qū)域，而這種邊界線(xiàn)區(qū)域被定義為上近似集和下近似集之差集。粗糙集理論主要特點(diǎn)在于它恰好反映了人們用粗糙集方法處理不分明問(wèn)題的常規(guī)性，即以不完全信息或知識(shí)去處理一些不分明現(xiàn)象的能力，或依據(jù)觀(guān)察、度量到的某些不精確的結(jié)果而進(jìn)行分類(lèi)數(shù)據(jù)的能力。19模糊集

經(jīng)典集合理論對(duì)應(yīng)二值邏輯，一個(gè)元素要么屬于、要么不屬于給定集合。因此經(jīng)典集合不能很好地描述具有模糊性和不確定性的問(wèn)題。美國(guó)加利福尼亞大學(xué)的扎德教授于1965年提出了模糊集合論，用隸屬程度來(lái)描述差異的中間過(guò)渡，是一種用精確的數(shù)學(xué)語(yǔ)言對(duì)模糊性進(jìn)行描述的方法。

20

定義：論域X={x}上的模糊集合A由隸屬函數(shù)A(x)來(lái)表征。其中A(x)在實(shí)軸的閉區(qū)間[0，1]中取值，A(x)的大小反映x對(duì)于模糊集合A的隸屬程度。A(x)的值接近1，表示x隸屬于A的程度很高。A(x)的值接近0，表示x隸屬于A的程度很低。特例，當(dāng)A的值域取[0，1]閉區(qū)間的兩個(gè)端點(diǎn)，亦即{0，1}兩個(gè)值時(shí)，A便退化為一個(gè)普通的邏輯子集。隸屬函數(shù)也就退化為普通邏輯值。21聚類(lèi)分析

聚類(lèi)是對(duì)物理的或抽象的對(duì)象集合分組的過(guò)程。聚類(lèi)生成的組為簇，簇是數(shù)據(jù)對(duì)象的集合。簇內(nèi)部任意兩個(gè)對(duì)象之間具有較高的相似度，而屬于不同簇的兩個(gè)對(duì)象間具有較高的相異度。相異度可以根據(jù)描述對(duì)象的屬性值計(jì)算，對(duì)象間的距離是最常采用的度量指標(biāo)。在實(shí)際應(yīng)用中，經(jīng)常將一個(gè)簇中的數(shù)據(jù)對(duì)象作為一個(gè)整體看待。用聚類(lèi)生成的簇來(lái)表達(dá)數(shù)據(jù)集不可避免地會(huì)損失一些信息，但卻可以使問(wèn)題得到必要的簡(jiǎn)化。主要的數(shù)據(jù)挖掘聚類(lèi)方法有：劃分的方法、層次的方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法22關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則反映一個(gè)事物與其它事物之間的相互依存性和關(guān)聯(lián)性，如果兩個(gè)事物或者多個(gè)事物之間存在一定的關(guān)聯(lián)關(guān)系，那么其中一個(gè)事物就能夠通過(guò)其他事物預(yù)測(cè)到。人們希望在海量的商業(yè)交易記錄中發(fā)現(xiàn)感興趣的數(shù)據(jù)關(guān)聯(lián)關(guān)系，用以幫助商家作出決策。例如：面包2%牛奶1.5%（占超市交易總數(shù)）

2%和1.5%表明這兩種商品在超市經(jīng)營(yíng)中的重要程度，稱(chēng)為支持度。商家關(guān)注高支持度的產(chǎn)品。面包=〉牛奶60%

在購(gòu)買(mǎi)面包的交易中，有60%的交易既買(mǎi)了面包又買(mǎi)了牛奶，成60%為規(guī)則“面包=〉牛奶”的信任度。信任度反映了商品間的關(guān)聯(lián)程度。23

項(xiàng)目構(gòu)成的集合稱(chēng)為項(xiàng)集。項(xiàng)集在事物數(shù)據(jù)庫(kù)中出現(xiàn)的次數(shù)占總事物的百分比叫做項(xiàng)集的支持度。如果項(xiàng)集的支持度超過(guò)用戶(hù)給定的最小支持度閾值，就稱(chēng)該項(xiàng)集是頻繁項(xiàng)集。關(guān)聯(lián)規(guī)則就是支持度和信任度分別滿(mǎn)足用戶(hù)給定閾值的規(guī)則。發(fā)現(xiàn)關(guān)聯(lián)規(guī)則需要經(jīng)歷如下兩個(gè)步驟：（1）找出所有的頻繁項(xiàng)。（2）由頻繁項(xiàng)集生成滿(mǎn)足最小信任度閾值的規(guī)則。

245.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是指由簡(jiǎn)單計(jì)算單元組成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，能夠模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。組成神經(jīng)網(wǎng)絡(luò)的單個(gè)神經(jīng)元的結(jié)構(gòu)簡(jiǎn)單，功能有限，但是，由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)可以實(shí)現(xiàn)強(qiáng)大的功能。由于現(xiàn)實(shí)世界的數(shù)據(jù)關(guān)系相當(dāng)復(fù)雜，非線(xiàn)性問(wèn)題和噪聲數(shù)據(jù)普遍存在。將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于數(shù)據(jù)挖掘，希望借助其非線(xiàn)性處理能力和容噪能力，得到較好的數(shù)據(jù)挖掘結(jié)果。將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于數(shù)據(jù)挖掘的主要障礙是，通過(guò)人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的知識(shí)難于理解；學(xué)習(xí)時(shí)間太長(zhǎng)，不適于大型數(shù)據(jù)集。256，分類(lèi)與預(yù)測(cè)分類(lèi)和預(yù)測(cè)是兩種重要的數(shù)據(jù)分析方法，在商業(yè)上的應(yīng)用很多。分類(lèi)和預(yù)測(cè)可以用于提取描述重要數(shù)據(jù)類(lèi)型或預(yù)測(cè)未來(lái)的數(shù)據(jù)趨勢(shì)。分類(lèi)的目的是提出一個(gè)分類(lèi)函數(shù)或分類(lèi)模型（即分類(lèi)器）通過(guò)分類(lèi)器將數(shù)據(jù)對(duì)象映射到某一個(gè)給定的類(lèi)別中。數(shù)據(jù)分類(lèi)可以分為兩步進(jìn)行。第一步建立模型，用于描述給定的數(shù)據(jù)集合。通過(guò)分析由屬性描述的數(shù)據(jù)集合來(lái)建立反映數(shù)據(jù)集合特性的模型。第二步是用模型對(duì)數(shù)據(jù)對(duì)象進(jìn)行分類(lèi)。預(yù)測(cè)的目的是從歷史數(shù)據(jù)記錄中自動(dòng)推導(dǎo)出對(duì)給定數(shù)據(jù)的推廣描述，從而能夠?qū)κ孪任粗臄?shù)據(jù)進(jìn)行預(yù)測(cè)。26

分類(lèi)的方法：決策樹(shù)：決策樹(shù)內(nèi)部節(jié)點(diǎn)進(jìn)行屬性值測(cè)試，并根據(jù)屬性值判斷由該節(jié)點(diǎn)引出的分支，在決策樹(shù)的葉結(jié)點(diǎn)得到結(jié)論。內(nèi)部節(jié)點(diǎn)是屬性或?qū)傩缘募?，葉節(jié)點(diǎn)代表樣本所屬的類(lèi)或類(lèi)分布。貝葉斯分類(lèi)：是一種統(tǒng)計(jì)學(xué)分類(lèi)方法，可以預(yù)測(cè)類(lèi)成員關(guān)系關(guān)系的可能性，如給定樣本屬于一個(gè)特征類(lèi)的概率。貝葉斯方法已在文本分類(lèi)、字母識(shí)別、經(jīng)濟(jì)預(yù)測(cè)等領(lǐng)域獲得了成功的應(yīng)用?；谶z傳算法分類(lèi)：模擬生物進(jìn)化過(guò)程中的計(jì)算模型，是自然遺傳學(xué)與計(jì)算機(jī)科學(xué)互相結(jié)合、互相滲透而形成的新的計(jì)算方法。利用選擇、交叉、變異等操作對(duì)子代進(jìn)行操作，優(yōu)點(diǎn)是問(wèn)題求解與初始條件無(wú)關(guān)，搜索最優(yōu)解的能力極強(qiáng)，可以對(duì)各種數(shù)據(jù)挖掘技術(shù)進(jìn)行優(yōu)化。27預(yù)測(cè)預(yù)測(cè)是構(gòu)造和使用模型評(píng)估無(wú)標(biāo)號(hào)樣本類(lèi)，或評(píng)估給定樣本可能具有的屬性值或區(qū)間值。預(yù)測(cè)的目的是從歷史數(shù)據(jù)中自動(dòng)推導(dǎo)出對(duì)給定數(shù)據(jù)的推廣描述，從而能對(duì)未來(lái)數(shù)據(jù)進(jìn)行預(yù)測(cè)。例如，金融系統(tǒng)可以根據(jù)顧客信譽(yù)卡消費(fèi)量預(yù)測(cè)他未來(lái)的刷卡消費(fèi)量或用于信譽(yù)證實(shí)。推銷(xiāo)人員希望在開(kāi)拓新客戶(hù)時(shí)，找出顧客一些共同特征，預(yù)測(cè)出潛在顧客群。預(yù)測(cè)的方法主要是回歸統(tǒng)計(jì)，包括：線(xiàn)性回歸、非線(xiàn)性回歸、多元回歸、泊松回歸、對(duì)數(shù)回歸等。分類(lèi)也可以用來(lái)預(yù)測(cè)。287，多媒體數(shù)據(jù)挖掘多媒體數(shù)據(jù)庫(kù)系統(tǒng)由多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)和多媒體數(shù)據(jù)庫(kù)構(gòu)成。其中多媒體數(shù)據(jù)庫(kù)用于存儲(chǔ)和管理多媒體數(shù)據(jù)，多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)負(fù)責(zé)對(duì)多媒體數(shù)據(jù)庫(kù)進(jìn)行管理。多媒體數(shù)據(jù)庫(kù)包括結(jié)構(gòu)化的數(shù)據(jù)、半結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，如音頻數(shù)據(jù)、視頻數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)等。多媒體數(shù)據(jù)挖掘就是通過(guò)綜合分析多媒體數(shù)據(jù)的內(nèi)容和語(yǔ)義，從大量多媒體數(shù)據(jù)中發(fā)現(xiàn)隱含的、有效的、有價(jià)值的、可理解的模式，得出事件的發(fā)展趨向和關(guān)聯(lián)關(guān)系，為用戶(hù)提供問(wèn)題求解層次上的決策支持能力。29

多媒體數(shù)據(jù)是指由多種不同類(lèi)型多媒體數(shù)據(jù)組成的，包括文本、圖形、圖像、聲音、視頻圖像、動(dòng)畫(huà)等不同類(lèi)型的媒體數(shù)據(jù)。為了挖掘多媒體數(shù)據(jù)，必須對(duì)兩種或多種類(lèi)型的媒體數(shù)據(jù)進(jìn)行綜合挖掘。多媒體挖掘的方法有兩種：一種是先從多媒體數(shù)據(jù)數(shù)據(jù)庫(kù)中提取出結(jié)構(gòu)化數(shù)據(jù)，然后用傳統(tǒng)的數(shù)據(jù)挖掘工具在這些結(jié)構(gòu)化的數(shù)據(jù)上進(jìn)行挖掘。另一種解決辦法是研究開(kāi)發(fā)可以直接對(duì)多媒體數(shù)據(jù)進(jìn)行挖掘的工具。

30四、數(shù)據(jù)挖掘系統(tǒng)與應(yīng)用

數(shù)據(jù)挖掘系統(tǒng)的開(kāi)發(fā)工作十分復(fù)雜，不僅要有大量的數(shù)據(jù)挖掘算法，而且其應(yīng)用領(lǐng)域往往取決于最終用戶(hù)的知識(shí)結(jié)構(gòu)等因素。下面介紹幾個(gè)數(shù)據(jù)挖掘系統(tǒng)：SKICAT是MIT噴氣推進(jìn)實(shí)驗(yàn)室與天文科學(xué)家合作開(kāi)發(fā)的用于幫助天文學(xué)家發(fā)現(xiàn)遙遠(yuǎn)的類(lèi)星體的工具。Health-KEFIR是用于健康狀況預(yù)警的知識(shí)發(fā)現(xiàn)系統(tǒng)。TASA是為預(yù)測(cè)通信網(wǎng)絡(luò)故障而開(kāi)發(fā)的通信網(wǎng)絡(luò)預(yù)警分析系統(tǒng)。會(huì)產(chǎn)生“如果在某一時(shí)間段內(nèi)發(fā)生某些預(yù)警信息組合，那么其他類(lèi)型的預(yù)警信息將在某個(gè)時(shí)間范圍內(nèi)發(fā)生”的規(guī)則。時(shí)間段大小由用戶(hù)定義。R-MINI運(yùn)用分類(lèi)技術(shù)從噪聲中提取有價(jià)值的信息。由于是在微弱變化中獲取信息，該系統(tǒng)也可以應(yīng)用于證券領(lǐng)域中的股市行情預(yù)測(cè)。31KDW是大型商業(yè)數(shù)據(jù)庫(kù)中的交互分析系統(tǒng)。包括聚類(lèi)、分類(lèi)、總結(jié)、相關(guān)性分析等多種模式。DBMiner是加拿大SimonFraser大學(xué)開(kāi)發(fā)的一個(gè)多任務(wù)KDD系統(tǒng)。能夠完成多種知識(shí)發(fā)現(xiàn)，綜合了多種數(shù)據(jù)挖掘技術(shù)。Clementine可以把直觀(guān)的圖形用戶(hù)界面與多種分析技術(shù)結(jié)合在一起，包括神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則和規(guī)則歸納技術(shù)。Darwin包含神經(jīng)網(wǎng)絡(luò)、決策書(shū)和K-鄰近三種數(shù)據(jù)挖掘方法，處理分類(lèi)、預(yù)測(cè)和預(yù)報(bào)問(wèn)題。DMW是一個(gè)用在信用卡欺詐分析方面的數(shù)據(jù)挖掘工具，支持反向傳播神經(jīng)網(wǎng)絡(luò)算法，并能以自動(dòng)和人工模式操作IntelligentMiner是IBM開(kāi)發(fā)的包括人工智能、機(jī)器學(xué)習(xí)、語(yǔ)言分析和知識(shí)發(fā)現(xiàn)領(lǐng)域成果在內(nèi)的復(fù)雜軟件解決方案。32五，數(shù)據(jù)預(yù)處理為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)33為什么需要數(shù)據(jù)預(yù)處理?在現(xiàn)實(shí)社會(huì)中，存在著大量的“臟”數(shù)據(jù)不完整性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員）

缺少感興趣的屬性感興趣的屬性缺少部分屬性值僅僅包含聚合數(shù)據(jù)，沒(méi)有詳細(xì)數(shù)據(jù)噪音數(shù)據(jù)（采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸）數(shù)據(jù)中包含錯(cuò)誤的信息存在著部分偏離期望值的孤立點(diǎn)不一致性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)錄入人員）數(shù)據(jù)結(jié)構(gòu)的不一致性L(fǎng)abel的不一致性數(shù)據(jù)值的不一致性34為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)挖掘的數(shù)據(jù)源可能是多個(gè)互相獨(dú)立的數(shù)據(jù)源關(guān)系數(shù)據(jù)庫(kù)多維數(shù)據(jù)庫(kù)（DataCube）文件、文檔數(shù)據(jù)庫(kù)數(shù)據(jù)轉(zhuǎn)換為了數(shù)據(jù)挖掘的方便海量數(shù)據(jù)的處理數(shù)據(jù)歸約（在獲得相同或者相似結(jié)果的前提下）35為什么需要數(shù)據(jù)預(yù)處理？沒(méi)有高質(zhì)量的數(shù)據(jù)，就沒(méi)有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須基于高質(zhì)量的數(shù)據(jù)基礎(chǔ)上數(shù)據(jù)倉(cāng)庫(kù)是在高質(zhì)量數(shù)據(jù)上的集成36數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理填入缺失數(shù)據(jù)平滑噪音數(shù)據(jù)確認(rèn)和去除孤立點(diǎn)解決不一致性數(shù)據(jù)集成多個(gè)數(shù)據(jù)庫(kù)、DataCube和文件系統(tǒng)的集成數(shù)據(jù)轉(zhuǎn)換規(guī)范化、聚集等數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對(duì)數(shù)據(jù)的容量進(jìn)行有效的縮減數(shù)據(jù)離散化對(duì)于一個(gè)特定的連續(xù)屬性，尤其是連續(xù)的數(shù)字屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來(lái)代替實(shí)際數(shù)據(jù)值，以減少屬性值的個(gè)數(shù).37數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸約38主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)39數(shù)據(jù)清洗主要任務(wù)補(bǔ)充缺失數(shù)據(jù)識(shí)別孤立點(diǎn)，平滑噪音數(shù)據(jù)處理不一致的數(shù)據(jù)40缺失數(shù)據(jù)的處理部分?jǐn)?shù)據(jù)通常是不可用的在許多元組中部分屬性值為空。如：在客戶(hù)表中的客戶(hù)收入為空。導(dǎo)致數(shù)據(jù)缺失的原因數(shù)據(jù)采集設(shè)備的故障由于與其它信息的數(shù)據(jù)存在不一致性，因此數(shù)據(jù)項(xiàng)被刪除由于不理解或者不知道而未能輸入在當(dāng)時(shí)數(shù)據(jù)輸入的時(shí)候，該數(shù)據(jù)項(xiàng)不重要而忽略數(shù)據(jù)傳輸過(guò)程中引入的錯(cuò)誤缺失數(shù)據(jù)通常需要經(jīng)過(guò)合理的推斷予以添加41缺失數(shù)據(jù)的處理方法忽略該記錄（元組）通常在進(jìn)行分類(lèi)、描述、聚類(lèi)等挖掘，但是元組缺失類(lèi)標(biāo)識(shí)時(shí)該種方法通常不是最佳的，尤其是缺失數(shù)據(jù)比例比較大的時(shí)候手工填入空缺的值枯燥、費(fèi)時(shí)，可操作性差，不推薦使用使用一個(gè)全局的常量填充空缺數(shù)值給定一個(gè)固定的屬性值如：未知、不祥、Unknown、Null等簡(jiǎn)單，但是沒(méi)有意義42使用屬性的平均值填充空缺數(shù)值簡(jiǎn)單方便、挖掘結(jié)果容易產(chǎn)生不精確的結(jié)果使用與給定元組同一個(gè)類(lèi)別的所有樣本的平均值分類(lèi)非常重要，尤其是分類(lèi)指標(biāo)的選擇使用最有可能的值予以填充利用回歸、基于推導(dǎo)的使用貝葉斯形式化的方法的工具或者判定樹(shù)歸納確定利用屬性之間的關(guān)系進(jìn)行推斷，保持了屬性之間的聯(lián)系缺失數(shù)據(jù)的處理方法（續(xù)）43噪音數(shù)據(jù)噪音數(shù)據(jù):一個(gè)度量（指標(biāo)）變量中的隨機(jī)錯(cuò)誤或者偏差主要原因數(shù)據(jù)采集設(shè)備的錯(cuò)誤數(shù)據(jù)錄入問(wèn)題數(shù)據(jù)傳輸問(wèn)題部分技術(shù)的限制數(shù)據(jù)轉(zhuǎn)換中的不一致數(shù)據(jù)清理中所需要處理的其它問(wèn)題重復(fù)的記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)44噪音數(shù)據(jù)的處理分箱（Binning）的方法聚類(lèi)方法檢測(cè)并消除異常點(diǎn)線(xiàn)性回歸對(duì)不符合回歸的數(shù)據(jù)進(jìn)行平滑處理人機(jī)結(jié)合共同檢測(cè)由計(jì)算機(jī)檢測(cè)可疑的點(diǎn)，然后由用戶(hù)確認(rèn)45處理噪音數(shù)據(jù)：分箱方法分箱（Binning）方法:基本思想：通過(guò)考察相鄰數(shù)據(jù)的值，來(lái)平滑存儲(chǔ)數(shù)據(jù)的值基本步驟：首先，對(duì)數(shù)據(jù)進(jìn)行排序，并分配到具有相同寬度/深度的不同的“箱子”中其次，通過(guò)箱子的平均值（Means）、中值（Median）、或者邊界值等來(lái)進(jìn)行平滑處理46分箱（Binning）方法舉例對(duì)數(shù)據(jù)進(jìn)行排序:4,8,9,15,21,21,24,25,26,28,29,34對(duì)數(shù)據(jù)進(jìn)行分割(相同深度):-Bin1:4,8,9,15-Bin2:21,21,24,25-Bin3:26,28,29,34根據(jù)bin中的平均值進(jìn)行離散化:-Bin1:9,9,9,9-Bin2:23,23,23,23-Bin3:29,29,29,2947基于聚類(lèi)分析的平滑處理48通過(guò)線(xiàn)性回歸的平滑處理xyy=x+1X1Y1Y1’49主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)50數(shù)據(jù)集成數(shù)據(jù)集成的概念將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來(lái)存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中數(shù)據(jù)源包括：多個(gè)數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)和一般的文件數(shù)據(jù)集成也是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的一個(gè)重要問(wèn)題數(shù)據(jù)集成的內(nèi)容模式集成利用數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)信息主要工作是識(shí)別現(xiàn)實(shí)世界中的實(shí)體定義冗余數(shù)據(jù)的處理檢測(cè)和解決數(shù)值沖突對(duì)于現(xiàn)實(shí)世界中的同一實(shí)體，來(lái)自于不同數(shù)據(jù)源的屬性值可能不同主要原因：不同的數(shù)據(jù)表示、度量單位、編碼方式以及語(yǔ)義的不同51模式集成數(shù)據(jù)類(lèi)型沖突性別：string(Male、Female)、Char（M、F）、Interger（0、1）日期：Date、DateTime、String數(shù)據(jù)標(biāo)簽沖突：解決同名異義、異名同義學(xué)生成績(jī)、分?jǐn)?shù)度量單位沖突學(xué)生成績(jī)百分制：100~0五分制：A、B、C、D、E字符表示：優(yōu)、良、及格、不及格概念不清最近交易額：前一個(gè)小時(shí)、昨天、本周、本月？聚集沖突：根源在于表結(jié)構(gòu)的設(shè)計(jì)

52冗余數(shù)據(jù)的處理從多個(gè)數(shù)據(jù)源中抽取不同的數(shù)據(jù)，容易導(dǎo)致數(shù)據(jù)的冗余不同的屬性在不同的數(shù)據(jù)源中是不同的命名方式有些屬性可以從其它屬性中導(dǎo)出，例如：銷(xiāo)售額＝單價(jià)×銷(xiāo)售量有些冗余可以通過(guò)相關(guān)分析檢測(cè)到其中：n是元組的個(gè)數(shù)，和分別是A和B的平均值，和分別是A和B的標(biāo)準(zhǔn)差元組級(jí)的“重復(fù)”，也是數(shù)據(jù)冗余的一個(gè)重要方面減少冗余數(shù)據(jù)，可以大大提高數(shù)據(jù)挖掘的性能53數(shù)據(jù)轉(zhuǎn)換平滑處理:從數(shù)據(jù)中消除噪音數(shù)據(jù)聚集操作:對(duì)數(shù)據(jù)進(jìn)行綜合，類(lèi)似于DataCube的構(gòu)建數(shù)據(jù)概化：構(gòu)建概念層次數(shù)據(jù)規(guī)范化:將數(shù)據(jù)集中到一個(gè)較小的范圍之中最大-最小規(guī)范化z-score（零－均值）規(guī)范化小數(shù)范圍規(guī)范化（0–1規(guī)范化）屬性構(gòu)造構(gòu)造新的屬性并添加到屬性集中，以幫助數(shù)據(jù)挖掘54數(shù)據(jù)轉(zhuǎn)換：規(guī)范化最大-最小規(guī)范化對(duì)原始數(shù)據(jù)進(jìn)行線(xiàn)性變換保持了原始數(shù)據(jù)值之間的關(guān)系當(dāng)有新的輸入，落在原數(shù)據(jù)區(qū)之外，該方法將面臨“越界”錯(cuò)誤受到孤立點(diǎn)的影響可能會(huì)比較大55數(shù)據(jù)轉(zhuǎn)換：規(guī)范化（續(xù)）z-score（零－均值）規(guī)范化屬性基于平均值和標(biāo)準(zhǔn)差規(guī)范化當(dāng)屬性的最大值和最小值未知，或者孤立點(diǎn)左右了最大－最小規(guī)范化時(shí)，該方法有效0-1規(guī)范化（小數(shù)定標(biāo)規(guī)范化）通過(guò)移動(dòng)屬性的小數(shù)點(diǎn)位置進(jìn)行規(guī)范化例如A的值為125，那么|A|=125，則j=3，有v=0.125。WherejisthesmallestintegersuchthatMax(||)<156屬性構(gòu)造由給定的屬性構(gòu)造并增添新的屬性，以幫助提高精度和對(duì)高維數(shù)據(jù)結(jié)構(gòu)的理解屬性結(jié)構(gòu)還可以幫助平緩使用判定算法分類(lèi)的分裂問(wèn)題例如：Area=Width×Height銷(xiāo)售額＝單價(jià)×銷(xiāo)售量57主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)58數(shù)據(jù)歸約的提出在數(shù)據(jù)倉(cāng)庫(kù)中可能保存TB級(jí)的數(shù)據(jù)，大數(shù)據(jù)量的數(shù)據(jù)挖掘，可能需要大量的時(shí)間來(lái)完成整個(gè)數(shù)據(jù)的數(shù)據(jù)挖掘。數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對(duì)數(shù)據(jù)的容量進(jìn)行有效的縮減數(shù)據(jù)歸約的方法數(shù)據(jù)立方體聚集：聚集操作作用于立方體中的數(shù)據(jù)減少數(shù)據(jù)維度（維歸約）：可以檢測(cè)并刪除不相關(guān)、弱相關(guān)或者冗余的屬性或維數(shù)據(jù)壓縮：使用編碼機(jī)制壓縮數(shù)據(jù)集數(shù)值壓縮：用替代的、較小的數(shù)據(jù)表示替換或估計(jì)數(shù)據(jù)59DataCube的聚集“基點(diǎn)方體”“頂點(diǎn)方體”DataCube中的多個(gè)層次的聚集進(jìn)一步縮減所要處理的數(shù)據(jù)量當(dāng)響應(yīng)OLAP查詢(xún)或者數(shù)據(jù)挖掘時(shí)，應(yīng)當(dāng)使用與給定任務(wù)相關(guān)的“最小方體”60維歸約(特征提取)維歸約：通過(guò)刪除不相關(guān)的屬性（或維）減少數(shù)據(jù)量特征選取(屬性子集的選取):選取最小的特征屬性集合，得到的數(shù)據(jù)挖掘結(jié)果與所有特征參加的數(shù)據(jù)挖掘結(jié)果相近或完全一致特征提取，對(duì)于d個(gè)屬性來(lái)說(shuō)，具有2d

個(gè)可能的子集61維歸約的主要方法利用啟發(fā)式的方法來(lái)減少數(shù)據(jù)維度(隨著維度的增長(zhǎng)數(shù)據(jù)量將呈指數(shù)級(jí)別增長(zhǎng)):逐步向前選擇：維數(shù)逐步增多的方法（每次增添“最好”的屬性）逐步向后選擇：維數(shù)逐步減少的方法（每次刪除“最差”的屬性）兩者組合的方法判定樹(shù)歸納方法（ID3,C4.5）62基于判定樹(shù)歸納的方法Initialattributeset:{A1,A2,A3,A4,A5,A6}A4?A1?A6?Class1Class2Class1Class2>Reducedattributeset:{A1,A4,A6}YYYNNN63數(shù)據(jù)壓縮數(shù)據(jù)壓縮：應(yīng)用數(shù)據(jù)編碼或變換，以便得到數(shù)據(jù)的歸約或壓縮表示無(wú)損壓縮：原數(shù)據(jù)可以由壓縮數(shù)據(jù)重新構(gòu)造而不丟失任何信息字符串壓縮是典型的無(wú)損壓縮現(xiàn)在已經(jīng)有許多很好的方法但是它們只允許有限的數(shù)據(jù)操作有損壓縮：只能重新構(gòu)造原數(shù)據(jù)的近似表示影像文件的壓縮是典型的有損壓縮典型的方法：小波變換、主要成分分析64數(shù)值歸約數(shù)值歸約：通過(guò)選擇替代的、“較小”的數(shù)據(jù)表示形式來(lái)減少數(shù)據(jù)量有參的方法假設(shè)數(shù)據(jù)符合某些模型，通過(guò)評(píng)估模型參數(shù)，僅需要存儲(chǔ)參數(shù)，不需要存儲(chǔ)實(shí)際數(shù)據(jù)（孤立點(diǎn)也可能被存放）典型方法：對(duì)數(shù)線(xiàn)性模型，它估計(jì)離散的多維概率分布無(wú)參的方法不存在假想的模型典型方法:直方圖、聚類(lèi)和抽樣65直方圖類(lèi)似于分箱技術(shù)，是一種流行的數(shù)據(jù)歸約方式將屬性值劃分為不相交的子集，或“桶”桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。每個(gè)桶只表示單個(gè)屬性值，則稱(chēng)其為“單桶”。通常，“桶”表示給定屬性的一個(gè)連續(xù)空間可以通過(guò)編程，動(dòng)態(tài)修改部分參數(shù)，進(jìn)行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount66主要內(nèi)容為什么需要數(shù)據(jù)預(yù)處理?數(shù)據(jù)清洗數(shù)據(jù)集成與轉(zhuǎn)換數(shù)據(jù)歸約數(shù)據(jù)離散化與概念層次的構(gòu)建本章小結(jié)67數(shù)據(jù)離散化和概念層次屬性值分類(lèi)枚舉型有序的無(wú)序的連續(xù)型：如Real類(lèi)型數(shù)據(jù)離散化對(duì)于一個(gè)特定的連續(xù)屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來(lái)代替實(shí)際數(shù)據(jù)值，以減少屬性值的個(gè)數(shù)。概念層次利用高層的概念（如兒童、青年、中年、老年等）來(lái)代替低層的實(shí)際數(shù)據(jù)值（實(shí)際年齡），以減少屬性值的個(gè)數(shù)。68數(shù)值數(shù)據(jù)的離散化和概念分層建立的方法分箱（Binning）直方圖分析聚類(lèi)分析的方法根據(jù)自然分類(lèi)進(jìn)行分割69分箱方法：一種簡(jiǎn)單的離散化技術(shù)相同寬度（距離）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個(gè)等份數(shù)據(jù)之間具有相同的距離如果A和B分別為屬性值中的最大值和最小值，那么各個(gè)數(shù)據(jù)等份之間的距離為：W=(B-A)/N.異常點(diǎn)將會(huì)扮演很重要的角色傾斜的數(shù)據(jù)不能很好的解決相同深度（頻率）數(shù)據(jù)分割將數(shù)據(jù)分成N等份，各個(gè)等份具有相同的數(shù)據(jù)個(gè)數(shù)。具有較好的可伸縮性適合于數(shù)據(jù)分類(lèi)的情況70離散化：直方圖方法將數(shù)據(jù)分割到若干個(gè)桶之中，用桶中的平均值（或求和等）來(lái)表示各個(gè)桶。可以通過(guò)編程，動(dòng)態(tài)修改部分參數(shù)，進(jìn)行合理構(gòu)造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount71離散化：聚類(lèi)分析方法將數(shù)據(jù)按照“類(lèi)內(nèi)最大相似度，類(lèi)間最小相似度的原則”對(duì)數(shù)據(jù)進(jìn)行有效聚類(lèi)利用聚類(lèi)的中心點(diǎn)來(lái)表示該類(lèi)所包含的對(duì)象數(shù)據(jù)聚類(lèi)將非常有效，但是必須保證數(shù)據(jù)中沒(méi)有噪音數(shù)據(jù)72按照自然分類(lèi)進(jìn)行數(shù)據(jù)分割利用3-4-5法則對(duì)數(shù)字型數(shù)據(jù)分類(lèi)，將數(shù)據(jù)分成若干個(gè)“自然”的區(qū)間：如果在所有數(shù)字的最高位覆蓋3,6,7或9個(gè)不同的值，則將數(shù)據(jù)分成3段。3（1，1，1）6（2，2，2）7（2，3，2）9（3，3，3）如果在所有數(shù)字的最高位覆蓋2,4,8個(gè)不同的值，則將數(shù)據(jù)分成4段。如果在所有數(shù)字的最高位覆蓋1,5,10個(gè)不同的值，則將數(shù)據(jù)分成5段。733-4-5法則舉例例1：包含數(shù)據(jù)：101、110、203、222、305、315方法：最高位包含3個(gè)值（1、2、3）分成[100，200），[200，300），[300，400）三段例2：包含數(shù)據(jù)：101、110、103、422、405、415，400方法：最高位包含2個(gè)值（1、4）分成[100，150），[150，200），[400，450），[450，500）四段例3：包含數(shù)據(jù)：101、210、203、322、305、415，500方法：最高位包含5個(gè)值（1、2、3、4、5）分成[100，200），[200，300），[300，400），[400，500），[500，600）五段74分類(lèi)數(shù)據(jù)的概念分層概念分層是由用戶(hù)或?qū)＜覍?duì)具有偏序關(guān)系的屬性的一種層次關(guān)系的顯式表示。也是一種數(shù)據(jù)分類(lèi)的顯式表示。概念層次的獲得隱式存儲(chǔ)于數(shù)據(jù)庫(kù)中。如：地址。由專(zhuān)家顯式給出。借助數(shù)據(jù)分析自動(dòng)生成。概念層次的表示基于實(shí)