數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件

實(shí)溪太字?jǐn)?shù)據(jù)清洗和數(shù)據(jù)預(yù)處理熵值歸一化方法抽樣方法實(shí)溪太字1實(shí)溪太字教學(xué)目標(biāo)■認(rèn)識(shí)數(shù)據(jù)挖掘前數(shù)據(jù)進(jìn)行適當(dāng)處理的必要性■掌握常用數(shù)據(jù)預(yù)處理的方法實(shí)溪太字2實(shí)溪太字教學(xué)要求知識(shí)要點(diǎn)能力要求相關(guān)知識(shí)點(diǎn)(1)了解原始數(shù)據(jù)存在的主要(1)數(shù)據(jù)的一致性問題數(shù)據(jù)預(yù)處理問題(2數(shù)據(jù)的噪聲問題的原因(2)明白數(shù)據(jù)預(yù)處理的作用和(3原始數(shù)據(jù)的不完整和高維作任務(wù)度問題(1)掌握數(shù)據(jù)清洗的主要任務(wù)與常用方法2)掌握數(shù)據(jù)集成的主要內(nèi)容()數(shù)據(jù)清洗數(shù)據(jù)預(yù)處理和常用方法2)數(shù)據(jù)集成的方法(3)掌握數(shù)據(jù)變換的主要內(nèi)容(3)數(shù)據(jù)變換和常用方法(4)數(shù)據(jù)歸約(4)掌握數(shù)據(jù)歸約的主要內(nèi)容和常用方法實(shí)溪太字3實(shí)溪太字為什么要預(yù)處理數(shù)據(jù)?現(xiàn)實(shí)世界的數(shù)據(jù)是“骯臟的”不完整的>含噪聲的>不一致的■沒有高質(zhì)量的數(shù)據(jù),就沒有高質(zhì)量的挖掘結(jié)果≯高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫需要對(duì)高質(zhì)量的數(shù)據(jù)進(jìn)行一致地集成實(shí)溪太字4實(shí)溪太字原始數(shù)據(jù)中存在的問題1.不一致——數(shù)據(jù)內(nèi)涵出現(xiàn)不一致情況2.重復(fù)3.不完整——感興趣的屬性沒有值4.含噪聲——數(shù)據(jù)中存在著錯(cuò)誤、或異常(偏離期望值)的數(shù)據(jù)5.高維度實(shí)溪太字5實(shí)溪太字?jǐn)?shù)據(jù)預(yù)處理的方法1.數(shù)據(jù)清洗去掉噪聲和無關(guān)藪據(jù)2數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中3.數(shù)據(jù)變換把原始數(shù)據(jù)轉(zhuǎn)換成為適合數(shù)據(jù)挖掘的形式4.數(shù)據(jù)歸約≯主要方法包括:數(shù)據(jù)立方體聚集,維歸約,數(shù)據(jù)壓縮,數(shù)值歸約,離散化和概念分層等實(shí)溪太字6實(shí)溪太字?jǐn)?shù)據(jù)清洗數(shù)據(jù)選取參考原則:1.盡可能賦予屬性名和屬性值明確的含義2.統(tǒng)一多數(shù)據(jù)源的屬性值編碼>3.去除惟一屬性4.去除重復(fù)屬性>5.去除可忽略字段>6.合理選擇關(guān)聯(lián)字段進(jìn)一步處理≯通過填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù),以及糾正不一致的藪據(jù),去掉藪據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)實(shí)溪太字7實(shí)溪太字?jǐn)?shù)據(jù)清洗——處理空缺值數(shù)據(jù)并不總是完整的在分析一個(gè)商場銷售數(shù)據(jù)時(shí),發(fā)現(xiàn)有多個(gè)記錄中的屬性值為空,如:顧客的收入屬性對(duì)于為空的屬性值引起空缺值的原因設(shè)備異?！叟c其他已有數(shù)據(jù)不一致而被刪除≯因?yàn)檎`解而沒有被輸入的數(shù)據(jù)≯在輸入時(shí),有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對(duì)數(shù)據(jù)的改變沒有進(jìn)行日志記載實(shí)溪太字8實(shí)溪太字?jǐn)?shù)據(jù)清洗—一處理空缺值■空缺值要經(jīng)過推斷而補(bǔ)上>1忽略該記錄2.去掉屬性3.手工填寫空缺值>4.使用默認(rèn)值5.使用屬性平均值>6.使用同類樣本平均值>7.預(yù)測最可能的值實(shí)溪太字9實(shí)溪太字?jǐn)?shù)據(jù)清洗——噪聲數(shù)據(jù)的處理■噪聲:在測量一個(gè)變量時(shí)可能出現(xiàn)的測量值相對(duì)于真實(shí)值的偏差或者錯(cuò)誤實(shí)溪太字10數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件11數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件12數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件13數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件14數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件15數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件16數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件17數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件18數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件19數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件20數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件21數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件22數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件23數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件24數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件25數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件26數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件27數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件28數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件29數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件30數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件31數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件32數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件33數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件34數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件35數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件36數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件37數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件38數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件39數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件40數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件41數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件42數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件43數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件44數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件45數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件46數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件47數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件48數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件49數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件50數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件51數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件52數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件53數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件54數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件55數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件56數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件57數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件58數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件59數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件60數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件61數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件62數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件63數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件64數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件65實(shí)溪太字?jǐn)?shù)據(jù)清洗和數(shù)據(jù)預(yù)處理熵值歸一化方法抽樣方法實(shí)溪太字66實(shí)溪太字教學(xué)目標(biāo)■認(rèn)識(shí)數(shù)據(jù)挖掘前數(shù)據(jù)進(jìn)行適當(dāng)處理的必要性■掌握常用數(shù)據(jù)預(yù)處理的方法實(shí)溪太字67實(shí)溪太字教學(xué)要求知識(shí)要點(diǎn)能力要求相關(guān)知識(shí)點(diǎn)(1)了解原始數(shù)據(jù)存在的主要(1)數(shù)據(jù)的一致性問題數(shù)據(jù)預(yù)處理問題(2數(shù)據(jù)的噪聲問題的原因(2)明白數(shù)據(jù)預(yù)處理的作用和(3原始數(shù)據(jù)的不完整和高維作任務(wù)度問題(1)掌握數(shù)據(jù)清洗的主要任務(wù)與常用方法2)掌握數(shù)據(jù)集成的主要內(nèi)容()數(shù)據(jù)清洗數(shù)據(jù)預(yù)處理和常用方法2)數(shù)據(jù)集成的方法(3)掌握數(shù)據(jù)變換的主要內(nèi)容(3)數(shù)據(jù)變換和常用方法(4)數(shù)據(jù)歸約(4)掌握數(shù)據(jù)歸約的主要內(nèi)容和常用方法實(shí)溪太字68實(shí)溪太字為什么要預(yù)處理數(shù)據(jù)?現(xiàn)實(shí)世界的數(shù)據(jù)是“骯臟的”不完整的>含噪聲的>不一致的■沒有高質(zhì)量的數(shù)據(jù),就沒有高質(zhì)量的挖掘結(jié)果≯高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫需要對(duì)高質(zhì)量的數(shù)據(jù)進(jìn)行一致地集成實(shí)溪太字69實(shí)溪太字原始數(shù)據(jù)中存在的問題1.不一致——數(shù)據(jù)內(nèi)涵出現(xiàn)不一致情況2.重復(fù)3.不完整——感興趣的屬性沒有值4.含噪聲——數(shù)據(jù)中存在著錯(cuò)誤、或異常(偏離期望值)的數(shù)據(jù)5.高維度實(shí)溪太字70實(shí)溪太字?jǐn)?shù)據(jù)預(yù)處理的方法1.數(shù)據(jù)清洗去掉噪聲和無關(guān)藪據(jù)2數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中3.數(shù)據(jù)變換把原始數(shù)據(jù)轉(zhuǎn)換成為適合數(shù)據(jù)挖掘的形式4.數(shù)據(jù)歸約≯主要方法包括:數(shù)據(jù)立方體聚集,維歸約,數(shù)據(jù)壓縮,數(shù)值歸約,離散化和概念分層等實(shí)溪太字71實(shí)溪太字?jǐn)?shù)據(jù)清洗數(shù)據(jù)選取參考原則:1.盡可能賦予屬性名和屬性值明確的含義2.統(tǒng)一多數(shù)據(jù)源的屬性值編碼>3.去除惟一屬性4.去除重復(fù)屬性>5.去除可忽略字段>6.合理選擇關(guān)聯(lián)字段進(jìn)一步處理≯通過填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù),以及糾正不一致的藪據(jù),去掉藪據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)實(shí)溪太字72實(shí)溪太字?jǐn)?shù)據(jù)清洗——處理空缺值數(shù)據(jù)并不總是完整的在分析一個(gè)商場銷售數(shù)據(jù)時(shí),發(fā)現(xiàn)有多個(gè)記錄中的屬性值為空,如:顧客的收入屬性對(duì)于為空的屬性值引起空缺值的原因設(shè)備異常≯與其他已有數(shù)據(jù)不一致而被刪除≯因?yàn)檎`解而沒有被輸入的數(shù)據(jù)≯在輸入時(shí),有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對(duì)數(shù)據(jù)的改變沒有進(jìn)行日志記載實(shí)溪太字73實(shí)溪太字?jǐn)?shù)據(jù)清洗—一處理空缺值■空缺值要經(jīng)過推斷而補(bǔ)上>1忽略該記錄2.去掉屬性3.手工填寫空缺值>4.使用默認(rèn)值5.使用屬性平均值>6.使用同類樣本平均值>7.預(yù)測最可能的值實(shí)溪太字74實(shí)溪太字?jǐn)?shù)據(jù)清洗——噪聲數(shù)據(jù)的處理■噪聲:在測量一個(gè)變量時(shí)可能出現(xiàn)的測量值相對(duì)于真實(shí)值的偏差或者錯(cuò)誤實(shí)溪太字75數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件76數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件77數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件78數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件79數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件80數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件81數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件82數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件83數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件84數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件85數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件86數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件87數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件88數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件89數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件90數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件91數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件92數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件93數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件94數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件95數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件96數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件97數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件98數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件99數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件100數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件101數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件102數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件103數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件104數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件105數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件106數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件107數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件108數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件109數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件110數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件111數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件112數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件113數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件114數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件115數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件116數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件117數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件118數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件119數(shù)據(jù)分析建模中數(shù)據(jù)預(yù)處理方法詳細(xì)介紹課件1