第6章-數(shù)據(jù)預(yù)處理

第6章數(shù)據(jù)預(yù)處理宋杰鯤?中國(guó)石油大學(xué)（華東）管理科學(xué)與工程系數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)庫(kù)系統(tǒng)所獲數(shù)據(jù)量的迅速膨脹（已達(dá)GB或TB數(shù)量級(jí)），從而導(dǎo)致了現(xiàn)實(shí)世界數(shù)據(jù)庫(kù)中常常包含許多含有噪聲、不完整、甚至是不一致的數(shù)據(jù)。顯然對(duì)數(shù)據(jù)挖掘所涉及的數(shù)據(jù)對(duì)象必須進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理主要包括：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換、數(shù)據(jù)歸約等。數(shù)據(jù)預(yù)處理本章目標(biāo)：了解并掌握數(shù)據(jù)預(yù)處理的幾種方法，特別是分箱方法、數(shù)據(jù)規(guī)格化方法。數(shù)據(jù)預(yù)處理6.1數(shù)據(jù)預(yù)處理的必要性6.2數(shù)據(jù)清理6.3數(shù)據(jù)集成6.4數(shù)據(jù)變換6.5數(shù)據(jù)歸約6.1數(shù)據(jù)預(yù)處理的必要性

數(shù)據(jù)挖掘的效果和數(shù)據(jù)質(zhì)量之間有著緊密的聯(lián)系，所謂“垃圾入，垃圾出”，即數(shù)據(jù)的質(zhì)量越好，則挖掘的結(jié)果就越精確，反之則不可能取得好的挖掘結(jié)果。尤其是在對(duì)包含有噪聲、不完整、不一致數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘時(shí)，更需要進(jìn)行數(shù)據(jù)的預(yù)處理，以提高數(shù)據(jù)挖掘?qū)ο蟮馁|(zhì)量，并最終提高數(shù)據(jù)挖掘所獲模式知識(shí)的質(zhì)量。6.1數(shù)據(jù)預(yù)處理的必要性

噪聲數(shù)據(jù)：噪聲是指一個(gè)測(cè)量變量中的隨機(jī)錯(cuò)誤或偏離期望的孤立點(diǎn)值，產(chǎn)生噪聲的原因很多，人為的、設(shè)備的和技術(shù)的等，如數(shù)據(jù)輸入時(shí)的人為錯(cuò)誤或計(jì)算機(jī)錯(cuò)誤，網(wǎng)絡(luò)傳輸中的錯(cuò)誤，數(shù)據(jù)收集設(shè)備的故障等。不完整數(shù)據(jù)：實(shí)際應(yīng)用系統(tǒng)中，由于系統(tǒng)設(shè)計(jì)的不合理或者使用過(guò)程中的某些因素，某些屬性值可能會(huì)缺失或者值不確定。6.1數(shù)據(jù)預(yù)處理的必要性

不一致數(shù)據(jù)：由于原始數(shù)據(jù)來(lái)源于多個(gè)不同的應(yīng)用系統(tǒng)或數(shù)據(jù)庫(kù)，信息龐雜，采集和加工的方法有別，數(shù)據(jù)描述的格式也各不相同，缺乏統(tǒng)一的分類標(biāo)準(zhǔn)和信息的編碼方案，難以實(shí)現(xiàn)信息的集成共享，很難直接用于數(shù)據(jù)挖掘。重復(fù)數(shù)據(jù)：同一事物在數(shù)據(jù)庫(kù)中存在兩條或多條完全相同的記錄，或者相同的信息冗余的存在于多個(gè)數(shù)據(jù)源中。6.1數(shù)據(jù)預(yù)處理的必要性

維度高數(shù)據(jù)：原始數(shù)據(jù)中通常記錄事物的較為全面的屬性，而在一次挖掘中，這些屬性并不是都有用，只需要一部分屬性即可得到希望知道的知識(shí)，而且無(wú)用屬性的增加還會(huì)導(dǎo)致無(wú)效歸納，把挖掘結(jié)果引向錯(cuò)誤的結(jié)論。6.2數(shù)據(jù)清理

數(shù)據(jù)預(yù)處理的方法主要包括：數(shù)據(jù)清理（datacleaning）、數(shù)據(jù)集成（dataintegration）、數(shù)據(jù)變換（datatransformation）、數(shù)據(jù)歸約（datareduction）。

數(shù)據(jù)清理通過(guò)填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù)，以及糾正不一致的數(shù)據(jù)。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

假設(shè)在分析一個(gè)商場(chǎng)銷售數(shù)據(jù)時(shí)，發(fā)現(xiàn)有多個(gè)記錄中的屬性值為空，如：顧客的收入屬性，對(duì)于為空的屬性值，可以采用以下方法進(jìn)行遺漏數(shù)據(jù)處理：（1）忽略該條記錄。當(dāng)一個(gè)記錄中有多個(gè)屬性值空缺，特別是關(guān)鍵信息丟失時(shí)，即使是采用某些方法把所有缺失的屬性值填充好，該記錄也不能反映真實(shí)情況，對(duì)于數(shù)據(jù)挖掘算法來(lái)說(shuō)，這樣的數(shù)據(jù)性質(zhì)很差，應(yīng)該忽略該條記錄。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（2）去掉屬性。如果所有記錄中的某一個(gè)屬性值缺失嚴(yán)重，可以認(rèn)為該屬性對(duì)知識(shí)發(fā)現(xiàn)來(lái)說(shuō)已經(jīng)沒(méi)有意義，將其直接去掉。（3）手工填補(bǔ)遺漏值。以某些背景資料為依據(jù)，手工填寫空缺值，一般講這種方法比較耗時(shí)，而且對(duì)于存在許多遺漏情況的大規(guī)模數(shù)據(jù)集而言，顯然可行較差。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（4）利用缺省值填補(bǔ)遺漏值。對(duì)一個(gè)離散屬性的所有遺漏的值均利用一個(gè)事先確定好的值來(lái)填補(bǔ)。如：都用OK來(lái)填補(bǔ)。但當(dāng)一個(gè)屬性遺漏值較多值，若采用這種方法，就可能誤導(dǎo)挖掘進(jìn)程。因此這種方法雖然簡(jiǎn)單，但并不推薦使用，或使用時(shí)需要仔細(xì)分析填補(bǔ)后的情況，以盡量避免對(duì)最終挖掘結(jié)果產(chǎn)生較大誤差。（5）利用均值填補(bǔ)遺漏值。計(jì)算一個(gè)屬性（值）的平均值，并用此值填補(bǔ)該屬性所有遺漏的值。如：若一個(gè)顧客的平均收入(income)為12000元，則用此值填補(bǔ)屬性中所有被遺漏的值。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（6）利用同類別均值填補(bǔ)遺漏值。計(jì)算同類樣本記錄的該屬性平均值，用來(lái)填充空缺值。如：若要對(duì)商場(chǎng)顧客按信用風(fēng)險(xiǎn)進(jìn)行分類挖掘時(shí)，就可以用在同一信用風(fēng)險(xiǎn)類別下（如良好）的income屬性的平均值，來(lái)填補(bǔ)所有在同一信用風(fēng)險(xiǎn)類別下屬性income的遺漏值。6.2數(shù)據(jù)清理

6.2.1遺漏數(shù)據(jù)處理

（7）利用最可能的值填補(bǔ)遺漏值?？梢岳没貧w分析、貝葉斯計(jì)算公式或決策樹(shù)推斷出該條記錄特定屬性的最大可能的取值。例如：利用數(shù)據(jù)集中其它顧客的屬性值，可以構(gòu)造一個(gè)決策樹(shù)來(lái)預(yù)測(cè)屬性income的遺漏值。與其他方法相比，該方法最大程度地利用了當(dāng)前數(shù)據(jù)所包含的信息來(lái)幫助預(yù)測(cè)所遺漏的數(shù)據(jù)，是目前最為常用的方法。

（1）分箱方法。通過(guò)考察相鄰數(shù)據(jù)來(lái)確定最終值。把待處理的數(shù)據(jù)（某列屬性值）按照一定的規(guī)則放進(jìn)一些箱子中，考察每一個(gè)箱子的數(shù)據(jù)，采用某種方法分別對(duì)各個(gè)箱子中的數(shù)據(jù)進(jìn)行處理。常用的方法包括等深分箱法、等寬分箱法以及自定義分箱法。完成分箱之后，就要選擇一種方法對(duì)數(shù)據(jù)進(jìn)行平滑，使得數(shù)據(jù)盡可能接近。常用的方法包括：6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

①按平均值平滑：對(duì)同一箱值中的數(shù)據(jù)求平均值，然后用這個(gè)平均值替代該箱子中的所有數(shù)據(jù)。②按邊界值平滑：對(duì)于箱子中的每一個(gè)數(shù)據(jù)，觀察它和箱子兩個(gè)邊界值的距離，用距離較小的那個(gè)邊界值替代該數(shù)據(jù)。③按中值平滑：取箱子的中值，用來(lái)替代箱子中的所有數(shù)據(jù)。中值也稱中數(shù)，將數(shù)據(jù)排序之后，如果這些數(shù)據(jù)是奇數(shù)個(gè)，中值就是最中間位置的那個(gè)數(shù)；如果是偶數(shù)個(gè)，中值應(yīng)該是中間兩個(gè)數(shù)的平均值。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理price的排序后數(shù)據(jù)（元）：4,8,15,21,21,24,25,28,34等深分箱（箱深為3）： 箱1：4,8,15

箱2：21,21,24

箱3：25,28,34等寬分箱（箱寬為10）： 箱1：4,8

箱2：15,21,21,24,25

箱3：28,34自定義分箱（10以下，10~20，20~30，30~40）： 箱1：4,8

箱2：15

箱3：21,21,24,25,28

箱4：346.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理price的排序等深后數(shù)據(jù)：4,8,15;21,21,24;25,28,34用平均值平滑： 箱1：9,9,9

箱2：22,22,22

箱3：29,29,29用邊界平滑： 箱1：4,4,15

箱2：21,21,24

箱3：25,25,34用中值平滑：箱1：8,8,8

箱2：21,21,21

箱3：28,28,286.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理課堂練習(xí)：假定用于分析的數(shù)據(jù)包含屬性age。數(shù)據(jù)元組中age的值如下（按遞增序）：13,15,16,16,19,20,20,21,22。1）使用按箱平均值（保留整數(shù)，四舍五入）平滑對(duì)以上數(shù)據(jù)進(jìn)行平滑，箱的深度為3。說(shuō)明你的步驟。2）使用按箱邊界平滑對(duì)以上數(shù)據(jù)進(jìn)行平滑，箱的深度為3。說(shuō)明你的步驟。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（2）聚類方法。通過(guò)聚類分析可幫助發(fā)現(xiàn)異常數(shù)據(jù)，相似或相鄰近的數(shù)據(jù)聚合在一起形成各個(gè)聚類集合，而那些位于這些聚類集合之外的數(shù)據(jù)對(duì)象被認(rèn)為是異常數(shù)據(jù)。聚類方法不需要任何先驗(yàn)知識(shí)。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（3）回歸方法?？梢岳脭M合函數(shù)對(duì)數(shù)據(jù)進(jìn)行平滑。如：借助線性回歸（linearregression）方法，包括多變量回歸方法，就可以獲得的多個(gè)變量之間的一個(gè)擬合關(guān)系，從而達(dá)到利用一個(gè)（或一組）變量值來(lái)幫助預(yù)測(cè)另一個(gè)變量取值的目的。利用回歸分析方法所獲得的擬合函數(shù)，能夠幫助平滑數(shù)據(jù)及除去其中的噪聲。

6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（4）人機(jī)結(jié)合檢查方法。通過(guò)人與計(jì)算機(jī)檢查相結(jié)合方法，可以幫助發(fā)現(xiàn)異常數(shù)據(jù)。如：利用基于信息論方法可幫助識(shí)別用于分類識(shí)別手寫符號(hào)庫(kù)中的異常模式；所識(shí)別出的異常模式可輸出到一個(gè)列表中；然后由人對(duì)這一列表中的各異常模式進(jìn)行檢查，并最終確認(rèn)無(wú)用的模式（真正異常的模式）。這種人機(jī)結(jié)合檢查方法比單純利用手工方法手寫符號(hào)庫(kù)進(jìn)行檢查要快許多。6.2數(shù)據(jù)清理

6.2.2噪聲數(shù)據(jù)處理

（1）多個(gè)取名或不規(guī)范取名的清理問(wèn)題。數(shù)據(jù)清理將數(shù)據(jù)值進(jìn)行一致化，即相同含義的值應(yīng)具有統(tǒng)一的形式。如人員的出生地在不同的數(shù)據(jù)源中可能分別使用“上?！?、“滬”、“上海市”、“滬市、“申”、“申城”、“Shanghai”，、“SH”等表示上海市出生的人員，應(yīng)將這類值統(tǒng)一表示。在不同的數(shù)據(jù)源中，相同類型的信息可能表現(xiàn)為不同的格式，例如，電話號(hào)碼通常定義為字符型數(shù)據(jù)，但在有些數(shù)據(jù)源中可能將其定義為數(shù)值型數(shù)據(jù)，因此應(yīng)將其一致化。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理

（2）錯(cuò)誤數(shù)據(jù)的清理問(wèn)題。數(shù)據(jù)清洗包括數(shù)據(jù)的一致性確認(rèn)，如人員的聯(lián)系信息在地址域的值為“中國(guó)石油大學(xué)（華東）”，而在相應(yīng)的郵政編碼域值為“257000”，則記錄的數(shù)據(jù)存在不一致。在本例中，假如存在一個(gè)標(biāo)準(zhǔn)的地址和郵政編碼的對(duì)應(yīng)表，則可對(duì)記錄中的郵政編碼值自動(dòng)更正。當(dāng)然，這需要結(jié)合一定的業(yè)務(wù)規(guī)則，因?yàn)橐灿锌赡茑]政編碼的值正確，而地址域的值不正確。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理

（3）失效數(shù)據(jù)或過(guò)期數(shù)據(jù)的清理問(wèn)題。地址是一個(gè)經(jīng)常出現(xiàn)過(guò)時(shí)數(shù)據(jù)的典型例子。在當(dāng)今社會(huì)中，人們常常改變他們的地址，所以一年以上的住址變得不再可靠。體現(xiàn)在有的客戶概況信息已超過(guò)兩年以上，而且客戶已經(jīng)搬家，但新的地址并沒(méi)有在地址表中反映出來(lái)。郵寄清單必須經(jīng)常更新，因?yàn)槿藗兊墓ぷ鲿?huì)發(fā)生變化，他們的住址也隨之改變。我們將這種不再正確的老地址稱為失效數(shù)據(jù)。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理

（4）印刷錯(cuò)誤的清理問(wèn)題。英文單詞會(huì)經(jīng)常性地被誤拼或誤打，漢語(yǔ)詞組也同樣如此。6.2數(shù)據(jù)清理

6.2.3不一致數(shù)據(jù)處理6.3數(shù)據(jù)集成

數(shù)據(jù)挖掘任務(wù)常常涉及數(shù)據(jù)集成操作，即將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)，如：數(shù)據(jù)庫(kù)、數(shù)據(jù)立方、普通文件等，結(jié)合在一起并形成一個(gè)統(tǒng)一數(shù)據(jù)集合，以便為數(shù)據(jù)挖掘工作的順利完成提供完整的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)集成（dataintegration）將多數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行合并處理，解決語(yǔ)義模糊性并整合成一致的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)集成涉及模式集成、屬性冗余、數(shù)據(jù)值沖突檢測(cè)與消除這三個(gè)方面的問(wèn)題。

模式集成從多個(gè)異構(gòu)數(shù)據(jù)庫(kù)、文件或遺留系統(tǒng)提取并集成數(shù)據(jù)，解決語(yǔ)義二義性，統(tǒng)一不同格式的數(shù)據(jù)。因此，模式集成涉及實(shí)體識(shí)別(entityidentification)，即如何表示不同數(shù)據(jù)庫(kù)中的字段是同一個(gè)實(shí)體，如何將不同信息源中的實(shí)體匹配來(lái)進(jìn)行模式集成。例如：如何確定一個(gè)數(shù)據(jù)庫(kù)中的“customer-id”與另一個(gè)數(shù)據(jù)庫(kù)中的“custom-id”是否表示同一實(shí)體。數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)通常包含元數(shù)據(jù)，所謂元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)，這些元數(shù)據(jù)可以幫助避免在模式集成時(shí)發(fā)生錯(cuò)誤。

6.3數(shù)據(jù)集成

6.3.1模式集成問(wèn)題

若一個(gè)屬性可以從其它屬性中推演出來(lái)，那這個(gè)屬性就是冗余屬性。如：一個(gè)顧客數(shù)據(jù)表中的平均月收入屬性，就是冗余屬性，顯然它可以根據(jù)月收入屬性計(jì)算出來(lái)。利用相關(guān)分析可以幫助發(fā)現(xiàn)一些比較隱蔽的數(shù)據(jù)冗余情況。例如：給定兩個(gè)屬性，則根據(jù)這兩個(gè)屬性的數(shù)值分析出這兩個(gè)屬性間的相互關(guān)系。屬性A，B之間的相互關(guān)系可以根據(jù)以下計(jì)算公式分析獲得。

6.3數(shù)據(jù)集成

6.3.2冗余問(wèn)題記錄行冗余同步進(jìn)行。

對(duì)于一個(gè)現(xiàn)實(shí)世界實(shí)體，其來(lái)自不同數(shù)據(jù)源的屬性值或許不同。產(chǎn)生這樣問(wèn)題原因可能是表示的差異、比例尺度不同或編碼的差異等。例如：重量屬性在一個(gè)系統(tǒng)中采用公制，而在另一個(gè)系統(tǒng)中卻采用英制。同樣價(jià)格屬性在不同地點(diǎn)采用不同貨幣單位，而且可能涉及不同的服務(wù)（如免費(fèi)早餐）或稅。這些語(yǔ)義的差異為數(shù)據(jù)集成提出許多問(wèn)題。

6.3數(shù)據(jù)集成

6.3.3數(shù)據(jù)值沖突檢測(cè)與消除問(wèn)題6.4數(shù)據(jù)變換

數(shù)據(jù)變換（datatransformation）就是將數(shù)據(jù)進(jìn)行規(guī)范化和聚集。（1）平滑。幫助除去數(shù)據(jù)中的噪聲，還可以將連續(xù)的數(shù)據(jù)離散化。主要技術(shù)方法有：分箱方法、聚類方法和回歸方法。（2）聚集。對(duì)數(shù)據(jù)進(jìn)行總結(jié)或合計(jì)操作。例如：每天銷售額（數(shù)據(jù)）可以進(jìn)行合計(jì)操作以獲得每月或每年的總額。這一操作常用于構(gòu)造數(shù)據(jù)立方或?qū)?shù)據(jù)進(jìn)行多維度的分析。6.4數(shù)據(jù)變換

（3）數(shù)據(jù)泛化（generation）。所謂泛化處理就是用更抽象（更高層次）的概念來(lái)取代低層次或數(shù)據(jù)層的數(shù)據(jù)對(duì)象。例如：街道屬性，就可以泛化到更高層次的概念，諸如：城市、國(guó)家。同樣對(duì)于數(shù)值型的屬性，如年齡屬性，就可以映射到更高層次概念，如：年輕、中年和老年。6.4數(shù)據(jù)變換

（4）規(guī)格化。規(guī)格化就是將有關(guān)屬性數(shù)據(jù)按比例投射到特定小范圍之中，如將工資收入屬性值映射到-1.0到1.0范圍內(nèi)，以消除數(shù)值型屬性因大小不一而造成挖掘結(jié)果的偏差。規(guī)格化處理常常用于神經(jīng)網(wǎng)絡(luò)、聚類挖掘的數(shù)據(jù)預(yù)處理等等。下面介紹三種規(guī)格化方法：最小-最大規(guī)范化、z-score規(guī)范化和按小數(shù)定標(biāo)規(guī)范化。6.4數(shù)據(jù)變換①最小-最大規(guī)范化假定minA和maxA分別為屬性A的最小和最大值。最小-最大規(guī)范化通過(guò)計(jì)算：例1假定屬性income的最小與最大值分別為$12,000和$98,000。我們想映射income到區(qū)間[0.0,0.1]。根據(jù)最小-最大規(guī)范化，income值$73,600將變換為：6.4數(shù)據(jù)變換②z-score規(guī)范化屬性A的值基于A的平均值和標(biāo)準(zhǔn)差規(guī)范化。A的值v被規(guī)范化為v’，由下式計(jì)算：例2假定屬性income的平均值和標(biāo)準(zhǔn)差分別為$54,000和$16,000。使用z-score規(guī)范化，值$73,600被轉(zhuǎn)換為6.4數(shù)據(jù)變換③小數(shù)定標(biāo)規(guī)范化通過(guò)移動(dòng)屬性A的小數(shù)點(diǎn)位置進(jìn)行規(guī)范化。小數(shù)點(diǎn)的移動(dòng)位數(shù)依賴于A的最大絕對(duì)值。A的值v被規(guī)范化為v’，由下式計(jì)算。其中j是使Max(|v’|)<1的最小整數(shù)。例3假定A的值由-986到917。A的最大絕對(duì)值為986。為使用小數(shù)定標(biāo)規(guī)范化，我們用1,000（即j=3）除每個(gè)值。這樣，-986被規(guī)范化為-0.986。6.4數(shù)據(jù)變換

注意，規(guī)范化將原來(lái)的數(shù)據(jù)改變很多，特別是上述的后兩種方法。有必要保留規(guī)范化參數(shù)（如平均值和標(biāo)準(zhǔn)差，如果使用z-score規(guī)范化），以便將來(lái)的數(shù)據(jù)可以用一致的方式規(guī)范化。6.4數(shù)據(jù)變換課堂練習(xí)：假定用于分析的數(shù)據(jù)包含屬性age。數(shù)據(jù)元組中age的值如下（按遞增序）：13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,33,35,35,35,35,36,40,45,46,52,70(a)使用min-max規(guī)范化，將age值35轉(zhuǎn)換到[0.0,1.0]區(qū)間。(b)使用z-score規(guī)范化轉(zhuǎn)換age值35，其中，age的標(biāo)準(zhǔn)偏差為12.94年。(c)使用小數(shù)定標(biāo)規(guī)范化轉(zhuǎn)換age值35。6.4數(shù)據(jù)變換

（5）屬性構(gòu)造。根據(jù)已有屬性集構(gòu)造新的屬性，以幫助數(shù)據(jù)挖掘過(guò)程。對(duì)于屬性構(gòu)造方法，它可以利用已有屬性集構(gòu)造出新的屬性，并加入到現(xiàn)有屬性集合中以幫助挖掘更深層次的模式知識(shí)，提高挖掘結(jié)果準(zhǔn)確性。例如，在客戶背景數(shù)據(jù)表中，根據(jù)客戶月收入，構(gòu)造“收入水平”屬性，取值為低、中、高；再如：根據(jù)寬、高屬性，可以構(gòu)造一個(gè)新屬性：面積。構(gòu)造合適的屬性能夠幫助減少學(xué)習(xí)構(gòu)造決策樹(shù)時(shí)所出現(xiàn)的碎塊情況。此外通過(guò)屬性結(jié)合可以幫助發(fā)現(xiàn)所遺漏的屬性間相互聯(lián)系，而這常常對(duì)于數(shù)據(jù)挖掘過(guò)程是十分重要的。6.5數(shù)據(jù)歸約

對(duì)大規(guī)模數(shù)據(jù)庫(kù)內(nèi)容進(jìn)行復(fù)雜的數(shù)據(jù)分析通常需要耗費(fèi)大量的時(shí)間，這就常常使得這樣的分析變得不現(xiàn)實(shí)和不可行，尤其是需要交互式數(shù)據(jù)挖掘時(shí)。數(shù)據(jù)歸約技術(shù)正是用于幫助從原有龐大數(shù)據(jù)集中獲得一個(gè)精簡(jiǎn)的數(shù)據(jù)集合，并使這一精簡(jiǎn)數(shù)據(jù)集保持原有數(shù)據(jù)集的完整性，這樣在精簡(jiǎn)數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘顯然效率更高，并且挖掘出來(lái)的結(jié)果與使用原有數(shù)據(jù)集所獲得結(jié)果基本相同。數(shù)據(jù)歸約的主要策略有數(shù)據(jù)立方合計(jì)、維歸約、數(shù)據(jù)壓縮、數(shù)值歸約、離散化和概念分層產(chǎn)生等。

數(shù)據(jù)立方體是數(shù)據(jù)的多維建模和表示。數(shù)據(jù)立方體的維數(shù)可以是任意的n維。在最低層次所建立的數(shù)據(jù)立方稱為基立方，而最高抽象層次的數(shù)據(jù)立方稱為頂立方。6.5數(shù)據(jù)歸約

6.5.1數(shù)據(jù)立方合計(jì)

頂立方代表整個(gè)公司三年、所有分支、所有類型商品的銷售總額。顯然每一層次的數(shù)據(jù)立方都是對(duì)其低一層數(shù)據(jù)的進(jìn)一步抽象。

6.5數(shù)據(jù)歸約

6.5.1數(shù)據(jù)立方合計(jì)

維歸約主要用于檢測(cè)和消除無(wú)關(guān)、弱相關(guān)、或冗余的屬性或維。由于數(shù)據(jù)集或許包含成百上千的屬性，這些屬性中的許多屬性是與挖掘任務(wù)無(wú)關(guān)的或冗余的。例如：挖掘顧客是否會(huì)在商場(chǎng)購(gòu)買CD播放機(jī)的分類規(guī)則時(shí)，顧客的電話號(hào)碼很可能與挖掘任務(wù)無(wú)關(guān)。但如果利用人類專家來(lái)幫助挑選有用的屬性，則是一件困難和費(fèi)時(shí)費(fèi)力的工作，特別是當(dāng)數(shù)據(jù)內(nèi)涵并十分清楚的時(shí)候。6.5數(shù)據(jù)歸約

6.5.2維歸約

維歸約就是通過(guò)消除多余和無(wú)關(guān)的屬性而有效消減數(shù)據(jù)集的規(guī)模。通常采用屬性子集的選擇方法。屬性子集選擇方法的目標(biāo)就是尋找出最小的屬性子集并確保新數(shù)據(jù)子集的概率分布盡可能接近原來(lái)數(shù)據(jù)集的概率分布。利用篩選后的屬性集進(jìn)行數(shù)據(jù)挖掘所獲結(jié)果，由于使用了較少的屬性，從而使得用戶更加容易理解挖掘結(jié)果。

6.5數(shù)據(jù)歸約

6.5.2維歸約

包含d個(gè)屬性的集合共有2d個(gè)不同子集，從初始屬性集中發(fā)現(xiàn)較好的屬性子集的過(guò)程就是一個(gè)最優(yōu)窮盡搜索的過(guò)程，顯然隨著d不斷增加，搜索的可能將會(huì)增加到難以實(shí)現(xiàn)的地步。因此一般利用啟發(fā)知識(shí)來(lái)幫助有效縮小搜索空間。這類啟發(fā)式搜索通常都是基于可能獲得全局最優(yōu)的局部最優(yōu)來(lái)指導(dǎo)并幫助獲得相應(yīng)的屬性子集。構(gòu)造屬性子集的基本啟發(fā)式方法有以下幾種：逐步向前選擇、逐步向后刪除、向前選擇和向后刪除結(jié)合、決策樹(shù)歸納。6.5數(shù)據(jù)歸約

6.5.2維歸約

（1）逐步向前選擇。從一個(gè)空屬性集（作為屬性子集初始值）開(kāi)始，每次從原來(lái)屬性集合中選擇一個(gè)當(dāng)前最優(yōu)的屬性添加到當(dāng)前屬性子集中。直到無(wú)法選擇出最優(yōu)屬性或滿足一定閾值約束為止。（2）逐步向后刪除。從一個(gè)全屬性集（作為屬性子集初始值）開(kāi)始，每次從當(dāng)前屬性子集中選擇一個(gè)當(dāng)前最差的屬性并將其從當(dāng)前屬性子集中消去。直到無(wú)法選擇出最差屬性為止或滿足一定閾值約束為止。6.5數(shù)據(jù)歸約

6.5.2維歸約

（3）向前選擇和向后刪除相結(jié)合。將逐步向前選擇方法與逐步向后刪除結(jié)合在一起，每次從當(dāng)前屬性子集中選擇一個(gè)當(dāng)前最差的屬性并將其從當(dāng)前屬性子集中消去，以及從原來(lái)屬性集合中選擇一個(gè)當(dāng)前最優(yōu)的屬性添加到當(dāng)前屬性子集中。直到無(wú)法選擇出最優(yōu)屬性且無(wú)法選擇出最差屬性為止，或滿足一定閾值約束為止。6.5數(shù)據(jù)歸約

6.5.2維歸約

（4）決策樹(shù)歸納方法。通常用于分類的決策樹(shù)算法也可以用于構(gòu)造屬性子集。具體方法就是：利用決策樹(shù)的歸納方法對(duì)初始數(shù)據(jù)進(jìn)行分類歸納學(xué)習(xí)，獲得一個(gè)初始決策樹(shù)，所有沒(méi)有出現(xiàn)這個(gè)決策樹(shù)上的屬性均認(rèn)為是無(wú)關(guān)屬性，因此將這些屬性從初始屬性集合刪除掉，就可以獲得一個(gè)較優(yōu)的屬性子集。6.5數(shù)據(jù)歸約

6.5.2維歸約6.5數(shù)據(jù)歸約

6.5.2維歸約

數(shù)據(jù)壓縮就是利用數(shù)據(jù)編碼或數(shù)據(jù)轉(zhuǎn)換將原來(lái)的數(shù)據(jù)集合壓縮為一個(gè)較小規(guī)模的數(shù)據(jù)集合。若僅根據(jù)壓縮后的數(shù)據(jù)集就可以恢復(fù)原來(lái)的數(shù)據(jù)集，那么就認(rèn)為這一壓縮是無(wú)損的，如基于熵的編碼方法；否則就稱為有損的。在數(shù)據(jù)挖掘領(lǐng)域通常使用的三種數(shù)據(jù)壓縮方法均是有損的，分別是小波轉(zhuǎn)換、分形技術(shù)和主成分分析。6.5數(shù)據(jù)歸約

6.5.3數(shù)據(jù)壓縮

主成分分析法具有變差最優(yōu)性、信息損失最小性、相關(guān)最優(yōu)性和回歸最優(yōu)性，是數(shù)據(jù)壓縮和多元降維的重要工具。利用主成分分析法可以把多個(gè)相關(guān)的變量（指標(biāo)）變換成少數(shù)幾個(gè)互相無(wú)關(guān)的綜合變量（主成分），這些綜合變量中包含了原來(lái)所有變量的大部分信息，且每個(gè)綜合變量只反映了經(jīng)濟(jì)系統(tǒng)一個(gè)獨(dú)立方向上的信息。6.5數(shù)據(jù)歸約

6.5.3數(shù)據(jù)壓縮

數(shù)值或數(shù)據(jù)塊歸約是指通過(guò)選擇替代的、較小的數(shù)據(jù)表示形式減少數(shù)量，主要包含參數(shù)與非參數(shù)兩種基本方法。所謂參數(shù)方法就是利用一個(gè)模型來(lái)幫助通過(guò)計(jì)算獲得原來(lái)的數(shù)據(jù)，因此只需要存儲(chǔ)模型的參數(shù)即可（當(dāng)然異常數(shù)據(jù)也需要存儲(chǔ)）。例如：線性和非線性回歸模型就可以根據(jù)一組變量預(yù)測(cè)計(jì)算另一個(gè)變量。而非參數(shù)方法則是存儲(chǔ)利用直方圖、聚類或取樣而獲得的消減后數(shù)據(jù)集。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（1）直方圖直方圖使用分箱近似數(shù)據(jù)分布，是一種流行的數(shù)據(jù)歸約形式。屬性A的直方圖將A的數(shù)據(jù)分布劃分為不相交的子集(buckets)，或桶。桶安放在水平軸上，而桶的高度（和面積）是該桶所代表的值的平均頻率。如果每個(gè)桶只代表單個(gè)屬性值/頻率對(duì)，則該桶稱為單桶。通常，桶表示給定屬性的一個(gè)連續(xù)區(qū)間。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約例4下面的數(shù)據(jù)是AllElectronics通常銷售的商品的單價(jià)表（按$取整）。已對(duì)數(shù)據(jù)進(jìn)行了排序：1（2）、5（5）、8（2）、10（4）、12、14（3）、15（5）、18（8）、20（7）、21（4）、25（5）、28、30（3）6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約等寬：在等寬的直方圖中，每個(gè)桶的寬度區(qū)間是一個(gè)常數(shù)。等深（或等高）：每個(gè)桶的頻率粗略地為常數(shù)。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約課堂練習(xí)：

假定用于分析的數(shù)據(jù)包含屬性age。數(shù)據(jù)元組中age的值如下（按遞增序）：13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,33,35,35,35,35,36,40,45,46,52,70。畫(huà)一個(gè)長(zhǎng)度為10（按照年齡原本定義，最小值從0開(kāi)始，一直到數(shù)據(jù)最大值70）的等寬直方圖。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（2）聚類聚類技術(shù)將數(shù)據(jù)行視為對(duì)象。對(duì)于聚類分析所獲得的組或類則有性質(zhì)：同一組或類中的對(duì)象彼此相似而不同組或類中的對(duì)象彼此不相似。在數(shù)據(jù)歸約中，數(shù)據(jù)的聚類表示用于替換原來(lái)的數(shù)據(jù)。當(dāng)然這一技術(shù)的有效性依賴于實(shí)際數(shù)據(jù)內(nèi)在規(guī)律。在處理帶有較強(qiáng)噪聲數(shù)據(jù)采用數(shù)據(jù)聚類方法常常是非常有效的。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（3）數(shù)據(jù)抽樣數(shù)據(jù)抽樣用數(shù)據(jù)的較小的樣本表示大的數(shù)據(jù)集。它主要利用統(tǒng)計(jì)學(xué)中的抽樣方法，如不放回簡(jiǎn)單隨機(jī)抽樣、放回簡(jiǎn)單隨機(jī)抽樣、聚類抽樣、分層抽樣等。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約①不放回簡(jiǎn)單隨機(jī)抽樣：由D的N個(gè)元組中不回放抽取n個(gè)樣本（n<N）；其中，D中任何元組被抽取的概率均為1/N。即，所有元組是等可能的。

②放回簡(jiǎn)單隨機(jī)抽樣：該方法類似于不放回簡(jiǎn)單隨機(jī)抽樣，不同在于當(dāng)一個(gè)元組被抽取后，記錄它，然后放回去。這樣，一個(gè)元組被抽取后，它又被放回D，以便它可以再次被抽取。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約③聚類選樣：如果D中的元組被分組放入M個(gè)互不相交的“聚類”，則可以得到聚類的m個(gè)簡(jiǎn)單隨機(jī)選樣；這里，m<M。例如，數(shù)據(jù)庫(kù)中元組通常一次取一頁(yè)，這樣每頁(yè)就可以視為一個(gè)聚類。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約④分層選樣：如果D被劃分成互不相交的部分，稱作“層”，則通過(guò)對(duì)每一層的簡(jiǎn)單隨機(jī)選樣就可以得到D的分層選樣。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約（4）離散化和概念分層產(chǎn)生離散化技術(shù)方法可以通過(guò)將屬性（連續(xù)取值）域值范圍分為若干區(qū)間，來(lái)幫助消減一個(gè)連續(xù)（取值）屬性的取值個(gè)數(shù)?？梢杂靡粋€(gè)標(biāo)簽來(lái)表示一個(gè)區(qū)間內(nèi)的實(shí)際數(shù)據(jù)值，這樣就形成了數(shù)據(jù)集的概念分層。如對(duì)數(shù)據(jù)集D遞歸的使用等寬分箱技術(shù)，形成概念分層。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約1）數(shù)值數(shù)據(jù)的離散化與概念分層數(shù)值數(shù)據(jù)的概念分層可以通過(guò)數(shù)據(jù)分析自動(dòng)產(chǎn)生，這些方法包括前面介紹過(guò)的分箱、直方圖、聚類等。它們能夠無(wú)干預(yù)的完成對(duì)屬性的概念分層，但是這些方法劃分出來(lái)的層并不考慮邊界值是否直觀或自然。通常，用戶更希望分層具有自然的，易于記憶的、符合人類思維習(xí)慣的邊界。例如人們希望看到[20-30]、[30-40]，而不愿意看到[23.333-36.97]之類的分層。6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約

介紹一種通過(guò)自然劃分分段的方法進(jìn)行概念分層的過(guò)程。該方法應(yīng)用3-4-5規(guī)則，遞歸地將給定數(shù)據(jù)區(qū)域劃分為3、4、或5個(gè)等寬的區(qū)間，具體描述如下：

(1)如果待劃分的區(qū)間在最高有效位上包含3、6、7或9個(gè)不同的值，則將該區(qū)間劃分成3個(gè)區(qū)間。其中，如果是3、6或9，則劃分成等寬的3個(gè)區(qū)間，如果是7，則按2-3-2劃分成3個(gè)區(qū)間。

(2)如果待劃分區(qū)間最高有效位上包含2、4或8個(gè)不同的值，則把它劃分成4個(gè)等寬的區(qū)間。

(3)如果待劃分區(qū)間最高有效位上包含1、5或10個(gè)不同的值，則把它劃分成5個(gè)等寬的區(qū)間。在每個(gè)區(qū)間上遞歸的應(yīng)用3—4—5規(guī)則，生成數(shù)據(jù)的概念分層，直到滿足預(yù)先設(shè)定的終止條件。

6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約6.5數(shù)據(jù)歸約

6.5.4數(shù)值歸約

如果數(shù)據(jù)集D的分布曲線呈現(xiàn)下圖所示的情況，區(qū)間兩端的值所占的比例非常少，可以根據(jù)情況設(shè)值一個(gè)置信區(qū)間(如5％-95％)，以這兩個(gè)點(diǎn)上的值作為初始劃分的區(qū)間，如[-9，28]，同樣在10(千元)上取整，得到區(qū)間[-10，30]，采用3-4-5規(guī)則。6.5數(shù)據(jù)歸約