新數(shù)據(jù)挖掘課件11.異常檢測(cè)

1、第7章 異常檢測(cè)商務(wù)智能與數(shù)據(jù)挖掘第7章 異常檢測(cè)7.1 預(yù)備知識(shí)7.2 統(tǒng)計(jì)方法7.3 基于鄰近度的離群點(diǎn)檢測(cè)7.4 基于密度的離群點(diǎn)檢測(cè)7.5 基于聚類的技術(shù)7.6 本章小結(jié)17.1 預(yù)備知識(shí)1.異常的原因數(shù)據(jù)來源于不同的類自然變異數(shù)據(jù)測(cè)量和收集誤差 27.1 預(yù)備知識(shí)2.異常檢測(cè)方法基于模型的技術(shù)基于鄰近度的技術(shù)基于密度的技術(shù) 37.1 預(yù)備知識(shí)3.類標(biāo)號(hào)的使用監(jiān)督的異常檢測(cè)非監(jiān)督的異常檢測(cè)半監(jiān)督的異常檢測(cè) 47.1 預(yù)備知識(shí)4.問題用于定義異常的屬性個(gè)數(shù)全局觀點(diǎn)和局部觀點(diǎn)點(diǎn)的異常程度一次識(shí)別一個(gè)異常與多個(gè)異常評(píng)估有效性 57.2 統(tǒng)計(jì)方法 統(tǒng)計(jì)學(xué)方法是基于模型的方法，即為數(shù)據(jù)創(chuàng)建一個(gè)模

2、型，并且根據(jù)對(duì)象擬合模型的情況來評(píng)估它們。大部分用于離群點(diǎn)檢測(cè)的統(tǒng)計(jì)學(xué)方法都基于創(chuàng)建一個(gè)概率分布模型，并考慮對(duì)象都多大可能符合該模型。 離群點(diǎn)的概率定義： 離群點(diǎn)是一個(gè)對(duì)象，關(guān)于數(shù)據(jù)的概率分布模型，它具有低概率。 離群點(diǎn)檢測(cè)方法面臨的重要問題： （1）識(shí)別數(shù)據(jù)集的具體分布 （2）使用的屬性個(gè)數(shù) （3）混合分布 67.2 統(tǒng)計(jì)方法1. 檢測(cè)一元正態(tài)分布中的離群點(diǎn)定義7.3 單個(gè)N(0,1)高斯屬性的離群點(diǎn)： 設(shè)屬性x取自具有均值0和標(biāo) 準(zhǔn)差1的高斯分布。一個(gè)具有屬性值x的對(duì)象是離群點(diǎn)，如果其中，c是一個(gè)選定的常量，滿足 。 77.2 統(tǒng)計(jì)方法2. 多元正態(tài)分布的離群點(diǎn) 由于不同變量(屬性)之間的

3、相關(guān)性，多元正態(tài)分布并不關(guān)于它的中心對(duì)稱。對(duì)于分布均值為(0,0)的一個(gè)二維多元高斯分布的概率密度，其協(xié)方差矩陣為 87.2 統(tǒng)計(jì)方法3. 異常檢測(cè)的混合模型方法 97.2 統(tǒng)計(jì)方法4. 優(yōu)點(diǎn)與缺點(diǎn) 離群點(diǎn)檢測(cè)的統(tǒng)計(jì)學(xué)方法具有堅(jiān)實(shí)的基礎(chǔ)，建立在標(biāo)準(zhǔn)的統(tǒng)計(jì)學(xué)技術(shù)(如分布參數(shù)的估計(jì))之上。當(dāng)存在充分的數(shù)據(jù)和所用的檢驗(yàn)類型的知識(shí)時(shí)，這些檢驗(yàn)可能非常有效。對(duì)于單個(gè)屬性，存在各種統(tǒng)計(jì)離群點(diǎn)檢測(cè)。對(duì)于多元數(shù)據(jù)，可用的選擇少一些，并且對(duì)于高維數(shù)據(jù)，這些檢驗(yàn)可能性能很差。 107.3 基于近鄰度的離群點(diǎn)檢測(cè)定義7.4 到k最近鄰的距離 一個(gè)對(duì)象的離群點(diǎn)得分由到它的k-最近鄰的距離給定。 離群點(diǎn)得分對(duì)k的取值高

4、度敏感。如果k太小(例如1)，則少量的鄰近離群點(diǎn)可能導(dǎo)致較低的離群點(diǎn)得分。如果k太大，則點(diǎn)數(shù)少于k的簇中所有的對(duì)象可能都成了離群點(diǎn)。 117.3 基于近鄰度的離群點(diǎn)檢測(cè)定義7.4 到k最近鄰的距離 一個(gè)對(duì)象的離群點(diǎn)得分由到它的k-最近鄰的距離給定。 離群點(diǎn)得分對(duì)k的取值高度敏感。如果k太小(例如1)，則少量的鄰近離群點(diǎn)可能導(dǎo)致較低的離群點(diǎn)得分。如果k太大，則點(diǎn)數(shù)少于k的簇中所有的對(duì)象可能都成了離群點(diǎn)。 127.4 基于密度的離群點(diǎn)檢測(cè)定義7.5 基于密度的離群點(diǎn) 一個(gè)對(duì)象的離群點(diǎn)得分是該對(duì)象周圍密度的逆。定義7.6 逆距離定義7.7 給定半徑內(nèi)的點(diǎn)計(jì)數(shù) 一個(gè)對(duì)象周圍的密度等于該對(duì)象指定距離d內(nèi)

5、對(duì)象的個(gè)數(shù)。 137.4 基于密度的離群點(diǎn)檢測(cè)1. 使用相對(duì)密度的離群點(diǎn)檢測(cè) 147.4 基于密度的離群點(diǎn)檢測(cè)2. 優(yōu)點(diǎn)與缺點(diǎn) 基于相對(duì)密度的離群點(diǎn)檢測(cè)給出了對(duì)象是離群點(diǎn)程度的定量度量，并且即使數(shù)據(jù)具有不同密度的區(qū)域也能夠很好地處理。與基于距離的方法一樣，這些方法必然具有 時(shí)間復(fù)雜度(其中m是對(duì)象個(gè)數(shù))，雖然對(duì)于低維數(shù)據(jù)，使用專門的數(shù)據(jù)結(jié)構(gòu)可以將它降低到 。參數(shù)選擇也是困難的，雖然標(biāo)準(zhǔn)LOF算法通過觀察不同的k值，然后取最大離群點(diǎn)得分來處理該問題。然而，仍然需要選擇這些值的上下界。 157.5 基于聚類的技術(shù)定義 7.8 基于聚類的離群點(diǎn) 一個(gè)對(duì)象是基于聚類的離群點(diǎn)，如果該對(duì)象不強(qiáng)屬于任何簇。1. 評(píng)估對(duì)象屬于簇的程度2. 離群點(diǎn)對(duì)初始聚類的影響3. 使用簇的個(gè)數(shù) 167.6 本章小結(jié) 異常檢測(cè)有很長(zhǎng)的歷史，特別是在統(tǒng)計(jì)學(xué)領(lǐng)域，常稱為離群點(diǎn)檢測(cè)。本章在介紹異常檢測(cè)的