GBT4883-正態(tài)樣本離群值的判斷和處理

1、GB/T 4883 作者：于振凡1 GB/T4883 正態(tài)樣本離群值的判斷和處理正態(tài)樣本離群值的判斷和處理 離群值離群值outlier 樣本中的一個(gè)或幾個(gè)觀測(cè)值，它們離開(kāi)其他觀測(cè)樣本中的一個(gè)或幾個(gè)觀測(cè)值，它們離開(kāi)其他觀測(cè) 值較遠(yuǎn)，暗示它們可能來(lái)自不同的總體。值較遠(yuǎn)，暗示它們可能來(lái)自不同的總體。 注：離群值按顯著性的程度分為歧離值和統(tǒng)計(jì)離群注：離群值按顯著性的程度分為歧離值和統(tǒng)計(jì)離群 值。值。 別名：可疑值、異常值別名：可疑值、異常值 離群值的判斷離群值的判斷 GB/T 4883 作者：于振凡2 第一章第一章 格拉布斯（格拉布斯（Grubbs）檢驗(yàn)法）檢驗(yàn)法 第一節(jié)第一節(jié) 上側(cè)離群值的判斷上側(cè)離

2、群值的判斷 1、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量 2、計(jì)算樣本均值、計(jì)算樣本均值 3、計(jì)算樣本標(biāo)準(zhǔn)差、計(jì)算樣本標(biāo)準(zhǔn)差 4、計(jì)算、計(jì)算Grubbs上統(tǒng)計(jì)量上統(tǒng)計(jì)量Gn 5、當(dāng)、當(dāng)Gn大于臨界值，判定大于臨界值，判定x (n)為離群值；否則判未為離群值；否則判未 發(fā)現(xiàn)離群值。若發(fā)現(xiàn)了離群值，去掉發(fā)現(xiàn)離群值。若發(fā)現(xiàn)了離群值，去掉一個(gè)一個(gè)離群值離群值 后，進(jìn)入下一輪的檢驗(yàn)，直到未發(fā)現(xiàn)離群值為止。后，進(jìn)入下一輪的檢驗(yàn)，直到未發(fā)現(xiàn)離群值為止。 GB/T 4883 作者：于振凡3 2 10(10) 10,7.89,7.312,2.704 ()/(14 7.89)/2.704 2.260

3、 nxss Gxxs GB/T 4883 作者：于振凡4 確定檢出水平，在附錄確定檢出水平，在附錄A表表A2中查出臨界值中查出臨界值2.176， 因，判定因，判定14.0為離群值。為離群值。 僅有一個(gè)歧離值僅有一個(gè)歧離值 。 樣本均值、樣本標(biāo)準(zhǔn)差和樣本均值、樣本標(biāo)準(zhǔn)差和Grubbs統(tǒng)計(jì)量的保留位數(shù)統(tǒng)計(jì)量的保留位數(shù) 至少要比原始數(shù)據(jù)多一位；即原始數(shù)據(jù)的修約間隔至少要比原始數(shù)據(jù)多一位；即原始數(shù)據(jù)的修約間隔 為為10n、 10-n時(shí)，樣本均值、樣本標(biāo)準(zhǔn)差和時(shí)，樣本均值、樣本標(biāo)準(zhǔn)差和Grubbs 統(tǒng)計(jì)量的修約間隔為統(tǒng)計(jì)量的修約間隔為10n+1、 10-n-1。（。（n為正整數(shù)為正整數(shù) 和零）。比原始數(shù)

4、據(jù)多幾位，要在相關(guān)的文件中作和零）。比原始數(shù)據(jù)多幾位，要在相關(guān)的文件中作 出明確規(guī)定。出明確規(guī)定。 9(9) 9,7.211,1.744 ()/(10.1 7.21)/1.7441.657 nxs Gxxs GB/T 4883 作者：于振凡5 第二節(jié)第二節(jié) 下側(cè)離群值的判斷下側(cè)離群值的判斷 1、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量 2、計(jì)算樣本均值、計(jì)算樣本均值 3、計(jì)算樣本標(biāo)準(zhǔn)差、計(jì)算樣本標(biāo)準(zhǔn)差 4、計(jì)算、計(jì)算Grubbs下統(tǒng)計(jì)量下統(tǒng)計(jì)量Gn 當(dāng)當(dāng)Gn大于臨界值，判定大于臨界值，判定x (1)為離群值；否則判未發(fā)為離群值；否則判未發(fā) 現(xiàn)離群值。若發(fā)現(xiàn)了離群值，去掉現(xiàn)離群值。

5、若發(fā)現(xiàn)了離群值，去掉一個(gè)一個(gè)離群值后，離群值后， 進(jìn)入下一輪的檢驗(yàn)，直到未發(fā)現(xiàn)離群值為止。進(jìn)入下一輪的檢驗(yàn)，直到未發(fā)現(xiàn)離群值為止。 GB/T 4883 作者：于振凡6 第三節(jié)第三節(jié) 雙側(cè)離群值的判斷雙側(cè)離群值的判斷 1、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量 2、計(jì)算樣本均值、計(jì)算樣本均值 3、計(jì)算樣本標(biāo)準(zhǔn)差、計(jì)算樣本標(biāo)準(zhǔn)差 4、同時(shí)計(jì)算、同時(shí)計(jì)算Grubbs上下統(tǒng)計(jì)量上下統(tǒng)計(jì)量Gn、 、Gn ； ； 5、判斷、判斷 當(dāng)當(dāng)GnGn且且Gn大于臨界值大于臨界值,Gn不大于臨界值不大于臨界值,判定判定 x (n)為離群值；去掉為離群值；去掉x (n)后進(jìn)入下一輪的檢驗(yàn)。后進(jìn)入下一輪

6、的檢驗(yàn)。 當(dāng)當(dāng)GnGn且且Gn大于臨界值大于臨界值, Gn不大于臨界值不大于臨界值, ， 判定判定x (1)為離群值；去掉為離群值；去掉x (1） ）去后進(jìn)入下一輪的 去后進(jìn)入下一輪的 檢驗(yàn)。檢驗(yàn)。 GB/T 4883 作者：于振凡7 當(dāng)當(dāng)GnGn且且Gn大于臨界值大于臨界值,判定判定x (1) 與與x (n)兩個(gè)均兩個(gè)均 為離群值；去掉為離群值；去掉x (1) 和和x (n)后進(jìn)入下一輪的檢驗(yàn)。后進(jìn)入下一輪的檢驗(yàn)。 當(dāng)當(dāng)GnGn且且Gn大于臨界值，判定大于臨界值，判定x (1) 與與x (n)兩個(gè)兩個(gè) 均為離群值；去掉均為離群值；去掉x (1) 和和x (n)后進(jìn)入下一輪的檢驗(yàn)。后進(jìn)入下一輪

7、的檢驗(yàn)。 當(dāng)當(dāng)Gn=Gn， ，且 且Gn大于臨界值時(shí)，判定大于臨界值時(shí)，判定x (1) 與與x (n)兩兩 個(gè)均為離群值；去掉個(gè)均為離群值；去掉x (1) 和和x (n)后進(jìn)入下一輪的檢后進(jìn)入下一輪的檢 驗(yàn)。驗(yàn)。 否則判未發(fā)現(xiàn)離群值。否則判未發(fā)現(xiàn)離群值。 GB/T 4883 作者：于振凡8 第二章第二章 狄克遜（狄克遜（Dixon）檢驗(yàn)法（）檢驗(yàn)法（2nDn且且Dn 大于臨界值大于臨界值, Dn 不大于臨界值不大于臨界值,判判 定定x (n)為離群值；去掉為離群值；去掉x (n)后進(jìn)入下一輪的檢驗(yàn)。后進(jìn)入下一輪的檢驗(yàn)。 當(dāng)當(dāng)DnDn 且且Dn大于臨界值大于臨界值, Dn不大于臨界值不大于臨界值

8、, ， 判定判定x (1)為離群值；去掉為離群值；去掉x (1） ）去后進(jìn)入下一輪的檢 去后進(jìn)入下一輪的檢 驗(yàn)。驗(yàn)。 GB/T 4883 作者：于振凡11 當(dāng)當(dāng)Dn Dn且且Dn大于臨界值大于臨界值,判定判定x (1) 與與x (n)兩個(gè)兩個(gè) 均為離群值；去掉均為離群值；去掉x (1) 和和x (n)后進(jìn)入下一輪的檢驗(yàn)。后進(jìn)入下一輪的檢驗(yàn)。 當(dāng)當(dāng)Dn Dn且且Dn大于臨界值，判定大于臨界值，判定x (1) 與與x (n)兩個(gè)兩個(gè) 均為離群值；去掉均為離群值；去掉x (1) 和和x (n)后進(jìn)入下一輪的檢驗(yàn)。后進(jìn)入下一輪的檢驗(yàn)。 當(dāng)當(dāng)Dn= Dn ， ，且 且Dn大于臨界值時(shí)，判定大于臨界值時(shí)，

9、判定x (1) 與與x (n) 兩個(gè)均為離群值；去掉兩個(gè)均為離群值；去掉x (1) 和和x (n)后進(jìn)入下一輪的后進(jìn)入下一輪的 檢驗(yàn)。檢驗(yàn)。 否則判未發(fā)現(xiàn)離群值。否則判未發(fā)現(xiàn)離群值。 GB/T 4883 作者：于振凡12 第三章第三章 偏度一峰度檢驗(yàn)法偏度一峰度檢驗(yàn)法 第一節(jié)第一節(jié) 上側(cè)離群值的判斷上側(cè)離群值的判斷 1、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量 2、計(jì)算偏度統(tǒng)計(jì)量、計(jì)算偏度統(tǒng)計(jì)量bs 3、用、用 統(tǒng)計(jì)量統(tǒng)計(jì)量bs與臨界值相比較與臨界值相比較 當(dāng)當(dāng)bs大于臨界值，判定大于臨界值，判定x (n)為離群值，否則未發(fā)現(xiàn)離群值；若為離群值，否則未發(fā)現(xiàn)離群值；若 發(fā)現(xiàn)了離群值

10、，剔除發(fā)現(xiàn)了離群值，剔除一個(gè)一個(gè)離群值后，進(jìn)入下一輪的檢驗(yàn)，直離群值后，進(jìn)入下一輪的檢驗(yàn)，直 到未發(fā)現(xiàn)離群值為止。到未發(fā)現(xiàn)離群值為止。 3 1 3/2 2 1 () () n i i s n i i nxx b xx GB/T 4883 作者：于振凡13 第二節(jié)第二節(jié) 下側(cè)離群值的判斷下側(cè)離群值的判斷 1、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量 2、計(jì)算偏度統(tǒng)計(jì)量、計(jì)算偏度統(tǒng)計(jì)量bs 3、用、用 統(tǒng)計(jì)量統(tǒng)計(jì)量-bs與臨界值相比較與臨界值相比較 當(dāng)當(dāng)-bs大于臨界值，大于臨界值，x判定判定x (1)為離群值，否則未發(fā)現(xiàn)離群值；為離群值，否則未發(fā)現(xiàn)離群值； 若發(fā)現(xiàn)了離群值，剔除若發(fā)

11、現(xiàn)了離群值，剔除一個(gè)一個(gè)離群值后，進(jìn)入下一輪的檢驗(yàn)，離群值后，進(jìn)入下一輪的檢驗(yàn)， 直到未發(fā)現(xiàn)離群值為止。直到未發(fā)現(xiàn)離群值為止。 3 1 3/2 2 1 () () n i i s n i i nxx b xx GB/T 4883 作者：于振凡14 第三節(jié)第三節(jié) 雙側(cè)離群值的判斷雙側(cè)離群值的判斷 1、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量、將樣本數(shù)據(jù)排列成次序統(tǒng)計(jì)量 2、計(jì)算峰度統(tǒng)計(jì)量、計(jì)算峰度統(tǒng)計(jì)量bk 3、用、用 統(tǒng)計(jì)量統(tǒng)計(jì)量bk與臨界值相比較與臨界值相比較 當(dāng)當(dāng)bk大于臨界值，判定離均值最遠(yuǎn)的觀測(cè)值為離群值；否則判大于臨界值，判定離均值最遠(yuǎn)的觀測(cè)值為離群值；否則判 未發(fā)現(xiàn)離群值未發(fā)現(xiàn)離群值 ；若發(fā)現(xiàn)了

12、離群值，去掉；若發(fā)現(xiàn)了離群值，去掉一個(gè)一個(gè)離群值后，進(jìn)入離群值后，進(jìn)入 下一輪的檢驗(yàn)，直到未發(fā)現(xiàn)離群值為止。下一輪的檢驗(yàn)，直到未發(fā)現(xiàn)離群值為止。 4 1 2 2 1 () () n i i k n i i nxx b xx GB/T 4883 作者：于振凡15 當(dāng)當(dāng)x (n)與均值的距離等于與均值的距離等于x (1)與均值的距離，與均值的距離， 同時(shí)去掉同時(shí)去掉x (n) 和和x (1)， ，進(jìn)入下一輪的檢驗(yàn)。 進(jìn)入下一輪的檢驗(yàn)。 GB/T 4883 作者：于振凡16 第四章第四章 三種方法的選擇：三種方法的選擇： 一、限定檢出離群值的個(gè)數(shù)不超過(guò)一、限定檢出離群值的個(gè)數(shù)不超過(guò)1時(shí)時(shí) A、n30

13、，正態(tài)概率紙上線性好，使用偏度，正態(tài)概率紙上線性好，使用偏度-峰度檢驗(yàn)法峰度檢驗(yàn)法 C、n30，正態(tài)概率紙上線性不好，使用，正態(tài)概率紙上線性不好，使用Grubbs檢驗(yàn)法檢驗(yàn)法 二、限定檢出離群值的個(gè)數(shù)可以超過(guò)二、限定檢出離群值的個(gè)數(shù)可以超過(guò)1時(shí)時(shí) A、n30，正態(tài)概率紙上線性好，使用偏度，正態(tài)概率紙上線性好，使用偏度-峰度檢驗(yàn)法峰度檢驗(yàn)法 C、n30，正態(tài)概率紙上線性不好，使用，正態(tài)概率紙上線性不好，使用Grubbs檢驗(yàn)法檢驗(yàn)法 GB/T 4883 作者：于振凡17 正態(tài)概率紙正態(tài)概率紙 橫坐標(biāo)橫坐標(biāo)x(i) ,縱坐標(biāo)縱坐標(biāo)(i-3/8)/(n+1/4) GB/T 4883 作者：于振凡18

14、A、n31，限定檢出離群值的個(gè)數(shù)不超過(guò)，限定檢出離群值的個(gè)數(shù)不超過(guò)1時(shí)，時(shí)， 使用使用Grubbs檢驗(yàn)法檢驗(yàn)法 B、 n30，正態(tài)概率紙上線性好，使用偏度，正態(tài)概率紙上線性好，使用偏度- 峰度檢驗(yàn)法峰度檢驗(yàn)法 D、n30，正態(tài)概率紙上線性不好，使用，正態(tài)概率紙上線性不好，使用 Grubbs檢驗(yàn)法檢驗(yàn)法 GB/T 4883 作者：于振凡19 練習(xí)練習(xí)1： A、n30，限定檢出離群值的個(gè)數(shù)可以超過(guò)，限定檢出離群值的個(gè)數(shù)可以超過(guò)1時(shí)，正態(tài)概率紙時(shí)，正態(tài)概率紙 上線性好，使用上線性好，使用 檢驗(yàn)法。檢驗(yàn)法。 B、n30，限定檢出離群值的個(gè)數(shù)不可以超過(guò)，限定檢出離群值的個(gè)數(shù)不可以超過(guò)1時(shí)，正態(tài)概率時(shí)，正態(tài)概率 紙上線性好，使用紙上線性好，使用檢驗(yàn)法檢驗(yàn)法 C、n30，限定檢出離群值的個(gè)數(shù)可以超過(guò)，限定檢出離群值的個(gè)數(shù)可以超過(guò)1時(shí)，正態(tài)概率紙時(shí)，正態(tài)概率紙 上線性不好，使用上線性不好，使用 檢驗(yàn)法檢驗(yàn)法 D、n30，限定檢出離群值的個(gè)數(shù)不可以超過(guò)，限定檢出離群值的個(gè)數(shù)不可以超過(guò)1時(shí)，正態(tài)概率時(shí)，正態(tài)概率 紙上線性不好，使用紙上線性不好，使用 檢驗(yàn)法檢驗(yàn)法 E、n31，限定檢出離群值的個(gè)數(shù)可以超過(guò)，限定檢出離群值的個(gè)數(shù)可以超過(guò)1時(shí)，使用時(shí)，使用 檢驗(yàn)法。檢驗(yàn)法。 F、 n31，限定檢出離群值的個(gè)數(shù)不可以超過(guò)，限定檢出離群值的個(gè)數(shù)不可以超過(guò)1時(shí)，使用時(shí)，使用 檢驗(yàn)法。檢驗(yàn)