空間相關(guān)性與分類比例在不同抽樣設(shè)計(jì)中對(duì)準(zhǔn)確性測(cè)量的影響——翻譯

1、空間相關(guān)性與分類比例在不同抽樣設(shè)計(jì)中對(duì)準(zhǔn)確性測(cè)量的影響DongMei Chen_, Hui Wei加拿大，金士頓ON K7L 3N6，皇后大學(xué)，地理系摘要：本文仿真了四幅結(jié)合兩種空間相關(guān)性標(biāo)準(zhǔn)、兩種不同的分類比例的二進(jìn)制的專題圖以研究借助不同抽樣設(shè)計(jì)的分類準(zhǔn)確性效果。11種抽樣類型（從25到1296）按3種常用的抽樣設(shè)計(jì)，包括簡(jiǎn)單隨機(jī)抽樣（SRS），系統(tǒng)抽樣（SYS），分層隨機(jī)抽樣（StrRS）在4幅仿真地圖上被仿真。常見的誤差矩陣和相關(guān)的準(zhǔn)確性度量也被考慮進(jìn)每一個(gè)仿真中。同時(shí)，3種抽樣設(shè)計(jì)的不同精度估計(jì)也相互比較。某一特別的抽樣方法和抽樣類型的選擇依賴于空間相關(guān)性的程度、分類比例的差異以及應(yīng)

2、用中所需的精度要求。通常，一幅地圖分類比例的差異比空間相關(guān)性對(duì)抽樣方法的效果影響更大。對(duì)于估計(jì)個(gè)體類的精度，特別在小型類中StrRS的效果比SRS和SYS的效果更好。對(duì)于估計(jì)總精確度，不同的抽樣設(shè)計(jì)的效果相似。為了得到更好的KAPPA系數(shù)，推薦StrRS用于高類別比例差異的地圖，推薦SRS用于低空間相關(guān)性和低類別比例差異的地圖。關(guān)鍵詞：精度評(píng)估；分類誤差；抽樣；分類比例1.引言隨著遙感技術(shù)的發(fā)展，從遙感數(shù)據(jù)得到的專題地圖被廣泛應(yīng)用于不同的環(huán)境建模，監(jiān)控，以及計(jì)劃中。但這些專題地圖通常不能完美的代表現(xiàn)實(shí)，還常常包含誤差和不確定性（Foody,2002）。在設(shè)計(jì)中使用這樣的地圖卻不知道其中的誤差和

3、不確定性會(huì)導(dǎo)致嚴(yán)重的風(fēng)險(xiǎn)。因此，在最近10年，對(duì)專題地圖的準(zhǔn)確性評(píng)估的需要不斷增長(zhǎng)（Congalton and Green， 1999；Congalton and Plourde，2002；Congalton，2002； Foody，2002；Lunetta and Lyon，2004；Stehman and Czaplewski，1998）?；谶b感的專題圖的精確度涉及到一幅地圖或分類的正確性（Foody，2002），或者涉及導(dǎo)出信息與參照數(shù)據(jù)（或地面實(shí)況）相吻合的程度（Campbell 1996）。常用的估計(jì)遙感專題圖準(zhǔn)確度的方法是比較參照數(shù)據(jù)和專題圖。由于時(shí)間，花費(fèi)上的限制，以及物理訪問(wèn)

4、的權(quán)限，想要獲得地圖上所有像素上的參考信息是不實(shí)際的，因此常常需要抽樣參考數(shù)據(jù)。一旦搜集到參考數(shù)據(jù)以后，它們會(huì)和地圖中此類數(shù)據(jù)對(duì)比，從定量精度指數(shù)產(chǎn)生誤差矩陣，例如總體準(zhǔn)確度、用戶準(zhǔn)確度、生產(chǎn)準(zhǔn)確度等，另外也能計(jì)算出總體和個(gè)體的KAPPA系數(shù)（Congalton，1991；Congalton 和 Green，1999）。抽樣方法和抽樣量（或抽樣大?。┦莾蓚€(gè)決定精度評(píng)估的效率和花費(fèi)的最重要的因素（Jensen，1996）。現(xiàn)在已經(jīng)有很多發(fā)表的方程和指導(dǎo)方針以確定合適樣本量的選擇（Cochran，1977； Jensen，1996）。其中，二項(xiàng)分布和二項(xiàng)分布的正態(tài)常數(shù)經(jīng)常用于計(jì)算所需的抽樣大小(C

5、ongalton，1991)。然而，這些方程是基于正確的分類抽樣的比例和某些允許的錯(cuò)誤，可能并不合適產(chǎn)生一個(gè)誤差矩陣（Congalton，2004）。當(dāng)前的文獻(xiàn)不能提供一個(gè)一致所需最小樣本量的方法。Genderen et al（1978）表示，為了接受派生專題圖95%的置信區(qū)間，至少需要30大小的樣本量。Ginevan（1979） 和 Hay （1979）按更加保守的方法，得出最小樣本量應(yīng)為50，以避免拒絕一個(gè)精確的地圖。Congalton（2004）根據(jù)經(jīng)驗(yàn)推薦每個(gè)類的誤差矩陣最少使用50的樣本量。然而，在研究大型區(qū)域或一幅地圖存在大量類別時(shí)最小樣本量應(yīng)該增加到75-100（Congalto

6、n,，2004）。不同的抽樣方法被用來(lái)選擇抽樣單位以進(jìn)行地圖精度評(píng)估。常用的方法包括簡(jiǎn)單隨機(jī)抽樣、分層隨機(jī)抽樣、系統(tǒng)抽樣、系統(tǒng)隨機(jī)抽樣、系統(tǒng)不對(duì)齊抽樣和集群抽樣（Cochran，1977；Congalton，1977；Stehman，1992）。Congalton（1988b）在三幅不同的土地覆蓋地圖上比較了五個(gè)抽樣方案（簡(jiǎn)單隨機(jī)抽樣、分層隨機(jī)抽樣、系統(tǒng)抽樣、系統(tǒng)隨機(jī)抽樣、系統(tǒng)不對(duì)齊抽樣）不同的空間復(fù)雜性。他的結(jié)果表明，根據(jù)地圖的空間復(fù)雜性，簡(jiǎn)單隨機(jī)抽樣在樣本容量足夠大時(shí)總能提供足夠的估計(jì)，而系統(tǒng)抽樣和分層系統(tǒng)不對(duì)齊抽樣會(huì)高估分類誤差及其方差。Stehman（1992）指出，Congalton

7、對(duì)系統(tǒng)抽樣偏見的結(jié)論與Maling（1989）和Berry和Baker（1968）認(rèn)為分層系統(tǒng)不對(duì)齊抽樣是最公正的抽樣設(shè)計(jì)的觀點(diǎn)互相矛盾?；谑褂脙蓚€(gè)精度措施（誤分整體比例，kappa系數(shù)協(xié)議）的仿真研究，Stehman（1992）發(fā)現(xiàn)，除了具有周期模式的地圖，系統(tǒng)抽樣比簡(jiǎn)單隨機(jī)抽樣更為精確。然而，在專題地圖的精度估計(jì)中比較了5中抽樣方法的效果后，Lo和Watson（1998）得出的結(jié)論是，分層隨機(jī)抽樣最為適合混有簡(jiǎn)單和復(fù)雜空間模式的植被地圖。上述研究中對(duì)立的結(jié)論突出了一幅的地圖空間模式和復(fù)雜性對(duì)不同抽樣方法效果的影響。.之前的研究表明，從遙感分類地圖生成的圖片往往是空間自相關(guān)的（Congal

8、ton，1988a；Hypannen，1996；Pugh和Congalton，2001）。空間自相關(guān)涉及相鄰像素之間分類結(jié)果的相關(guān)性，并且與地圖上周期性或空間模式有關(guān)。Congalton（1991）指出，現(xiàn)有專題地圖上存在的空間相關(guān)性將推翻大多數(shù)取樣方法中樣本獨(dú)立性的假設(shè)。若不考慮分類地圖上空間自相關(guān)的影響，可能導(dǎo)致抽樣設(shè)計(jì)對(duì)估計(jì)精度的偏差（Campbell，1996；Congalton，1988a，2001；Foody，2002；Pugh和Congalton，2001；Stehman，2004a）。幾個(gè)研究人員對(duì)空間自相關(guān)抽樣設(shè)計(jì)和分析精度評(píng)估中潛在的負(fù)面影響表示擔(dān)憂（Congalton和G

9、reen，1999；Dicks和Lo，1990；Muller et al .，1998；Stehman，2000）。更高空間分辨率圖像產(chǎn)生的地圖導(dǎo)致空間自相關(guān)水平增大，導(dǎo)致空間自相關(guān)精度評(píng)估這個(gè)問(wèn)題變得更加嚴(yán)重（Chen et al .，2004；Congalton，1988 b；Stehman，2000）。Congalton（1988 b）表示，系統(tǒng)和分層系統(tǒng)抽樣的設(shè)計(jì)應(yīng)避開這些具有高空間自相關(guān)性的地圖。先前大多數(shù)關(guān)于最佳采樣策略和適當(dāng)樣本量的結(jié)論都是基于總體精度（或誤分類的總體比例）和/或kappa系數(shù)的實(shí)證檢驗(yàn)。然而，人們卻很少關(guān)注個(gè)體類的準(zhǔn)確性。遙感圖像生成的分類地圖包括多個(gè)類，不同類

10、別的比例可能會(huì)有所不同。Rosenfield et al.（1982）和Congalton與Green （1999）推薦在抽樣中應(yīng)特別注意那些小型，卻很重要的類。然而，很少有研究檢查在不同的抽樣方法中，涉及到個(gè)體類的準(zhǔn)確性時(shí)，空間自相關(guān)和類別比例以及整體精度和/或kappa系數(shù)對(duì)結(jié)果的共同影響。本研究的目的是通過(guò)仿真實(shí)驗(yàn)檢查空間自相關(guān)和類別比例是如何影響精度評(píng)估中抽樣方法和樣本量的選取。研究中控制圖像的分類錯(cuò)誤生成了若干仿真圖像，讓它們代表不同空間自相關(guān)程度和類別比例的分類地圖。本文估計(jì)的抽樣方法僅限于簡(jiǎn)單隨機(jī)抽樣(SRS)、系統(tǒng)抽樣(SYS)和分層隨機(jī)抽樣(StrRS)；按照個(gè)體類、總體精度

11、、kappa協(xié)議系數(shù)分析結(jié)果。2.方法論2.1.具有不同類別比例的空間自相關(guān)地圖仿真仿真的第一步是生成具有不同空間自相關(guān)程度的參考地圖。在ArcGIS中，結(jié)合創(chuàng)建隨機(jī)柵格、焦點(diǎn)均值分析和重分類函數(shù)，生成兩個(gè)代表高(H)和低(L)自相關(guān)程度的模型即可完成。首先，使用創(chuàng)建隨機(jī)柵格函數(shù)生成一幅屬性值從0到1的500 * 500隨機(jī)柵格圖像。500 * 500大小的選擇兼顧了計(jì)算效率和實(shí)踐中的圖像尺寸。接著，應(yīng)用具有不同鄰域大小的焦點(diǎn)均值分析函數(shù)生成具有某些高或低自相關(guān)程度的隨機(jī)圖像。生成高自相關(guān)圖像，應(yīng)用3 * 3、9 * 9、16 * 16的窗口，而生成低自相關(guān)圖像只用3*3、9*9的窗口。對(duì)每個(gè)

12、焦點(diǎn)進(jìn)行分析后計(jì)算結(jié)果圖像Moran's I，檢驗(yàn)新派生的圖像是否達(dá)到所需的空間自相關(guān)程度。為了簡(jiǎn)化分析，從焦點(diǎn)分析得到的圖像的值經(jīng)閾值判斷分為兩類（Class 1和Class2）。這個(gè)閾值由每幅地圖設(shè)計(jì)的分類比例決定的。例如，準(zhǔn)備生成一幅90%像素屬于Class 1，10%屬于Class 2的二進(jìn)制地圖，如果地圖上有90%像素的值小于0.7，那么閾值可設(shè)為0.7，這樣小于0.7的值劃分為Class 1，剩下的就劃分為Class 2。這個(gè)簡(jiǎn)化的地圖是地圖上任何被抽樣個(gè)體點(diǎn)的二進(jìn)制代表。例如，如果一個(gè)森林類被抽樣，那么，地圖上的所有其他類可以被重新歸類為非林地類。先前的研究已經(jīng)表明在決定

13、適當(dāng)?shù)某闃臃椒ê蜆颖玖繒r(shí)小型類是一個(gè)關(guān)注點(diǎn)（Congalton，1991；Congalton和Green，1991；Rosenfield et al .，1982）。因此，對(duì)應(yīng)于每個(gè)空間自相關(guān)程度，各生成一高一低兩幅類別比例差異圖。在兩幅類別比例差異高的地圖上，大約90%的像素被分為大型類（Class 1），另外的10%分為小型類（Class 2）。兩幅低類別差異圖（H46和L46）的兩類類別比例幾乎相等（約60%的像素歸為Class 1，40%的像素歸為Class 2）。結(jié)合空間自相關(guān)程度和類別比例，仿真生成了四幅500 * 500專題地圖（H91、L91 H46和L46），如圖1所示，表1

14、列出了詳細(xì)的配置。這四幅地圖表示了四種類別比例（10%，10%，40%，和90%）和兩種空間自相關(guān)程度（Moran's I < 0.20和Moran's I > 0.80）的8種示例。四幅仿真圖的Moran's I相關(guān)圖如圖2所示。圖1.仿真空間自相關(guān)性的參考圖：（a） 高空間相關(guān)性和高類別比例差異(H91);（b） 高空間相關(guān)性和低類別比例差異(H46);（c） 低空間相關(guān)性和高類別比例差異(L91);（d） 低空間相關(guān)性和低類別比例差異(L46)。黑色為Class 1，白色為Class 2。表1 仿真參考圖的參數(shù)仿真地圖空間相關(guān)性（Moran's

15、 I）Class 1Class 2H910.880.900.10H460.900.590.41L910.180.900.10L460.060.580.42仿真圖像被用來(lái)代替真實(shí)圖像的原因是，很難獲得一系列具有可控空間自相關(guān)程度和類別比例的分類參考圖像。在實(shí)際圖像中，因?yàn)楹茈y控制空間自相關(guān)程度和錯(cuò)誤的百分比，會(huì)使系統(tǒng)分析變得困難。通過(guò)仿真的圖像,我們可以控制空間自相關(guān)的程度并且在所有圖像上產(chǎn)生恒定的錯(cuò)誤。通過(guò)這種方式，任何在輸出中的差異就只由可控制因素的變化而決定。2.2.分類誤差的注入先前的研究指出，由分類所產(chǎn)生的誤差并非隨機(jī)分布在專題地圖（Bian和Butler，1999；Congalton

16、，1988 b）。通常會(huì)存在一個(gè)由傳感器的屬性所造成，對(duì)應(yīng)于專題錯(cuò)誤之空間分布的清晰模式 （Foody，2002；Plourde和Congalton，2003），和/或在分類邊界有空間性關(guān)聯(lián)且存在誤差的地面條件（Congalton，1988 b，Edwards和Lowell，1996；鮑威爾et al .，2004；Steele et al .，1998）。大多數(shù)發(fā)生在邊界的錯(cuò)誤與標(biāo)準(zhǔn)數(shù)據(jù)集和混合像素的誤差配準(zhǔn)有關(guān)。鑒于上述考慮，本研究中使用的仿真地圖使用頻率分布模型仿真注入在分類邊界附近區(qū)域的誤差。每幅地圖中大約注入了誤差的20%作為分類誤差，這個(gè)誤差比例往往存在于監(jiān)督和非監(jiān)督分類中。不同地

17、圖中注入的誤差模式如圖3所示。注入誤差的地圖被視為分類地圖；沒(méi)有注入誤差的原始地圖被視為參考地圖。表2詳細(xì)展示了每一幅分類地圖的分類錯(cuò)誤和準(zhǔn)確性措施，Class12表示Class1的誤差注入Class2，Class21表示Class2的誤差注入Class1，正確分類的Class1和Class2分別表示為Class11和Class22。圖2.四幅仿真參考圖的相關(guān)圖（X-軸：滯后距離，單位像素；Y-軸：按Moran's I測(cè)算的空間自相關(guān)程度）。（H46：高空間相關(guān)性和低類別比例差異；H91：高空間相關(guān)性和高類別比例差異；L46：低空間相關(guān)性和低類別比例差異；L91：低空間相關(guān)性和高類別比

18、例差異）。表2 注入誤差的仿真地圖的參數(shù)仿真地圖Class 11的比例Class 22的比例Class 12的比例Class 21的比例總體精度Kappa系數(shù)H910.720.080.180.020.800.35H460.470.320.120.080.790.58L910.720.080.180.020.800.35H960.460.330.130.080.790.57（Class11：正確分類的Class1；Class22：正確分類的Class2；Class12：Class1的誤差注入Class2；Class21：Class2的誤差注入Class1；H46：高空間相關(guān)性和低分類比例差異；H

19、91：高空間相關(guān)性和高分類比例差異；L46：低空間相關(guān)性和低分類比例差異；L91：低空間相關(guān)性和高分類比例差異）圖3.不同地圖中注入的分類誤差（白色顯示）模式：（a）高空間相關(guān)性和高分類比例差異(H91);（b）高空間相關(guān)性和低分類比例差異(H46);（c）低空間相關(guān)性和高分類比例差異(L91);（d）低空間相關(guān)性和低分類比例差異(L46)。2.3.抽樣分類地圖和參考地圖仿真后，在ArcGIS環(huán)境中實(shí)現(xiàn)三種抽樣方法（簡(jiǎn)單隨機(jī)抽樣（SRS）、系統(tǒng)抽樣（SYS）和分層隨機(jī)抽樣（StrRS）的抽樣。遙感圖像通常以單個(gè)像素為單位進(jìn)行抽樣。每個(gè)地圖使用11個(gè)不同的樣本大?。◤?5到1296），按3種抽樣

20、方式各仿真抽樣100次。換句話說(shuō)，需要仿真實(shí)驗(yàn)重復(fù)100次以檢查穩(wěn)定性措施的精度。仿真次數(shù)的選擇要兼顧統(tǒng)計(jì)的穩(wěn)定性和計(jì)算成本。從統(tǒng)計(jì)學(xué)的觀點(diǎn)來(lái)看，30次仿真應(yīng)足以提供統(tǒng)計(jì)置信需要（Bian和Butler，1999；Openshaw和Alvanides，1999）。應(yīng)該注意，這里使用的最大樣本量只是像素總數(shù)的0.52%左右，這遠(yuǎn)遠(yuǎn)小于Congalton（1988 b）和Stehman（2000） 的研究中最大人口抽樣比例。簡(jiǎn)單隨機(jī)抽樣（SRS）不放回、獨(dú)立、隨機(jī)地選取每個(gè)像素（Congalton，1988 b），每個(gè)像素被選取的概率相同。在系統(tǒng)抽樣(SYS)中，只有第一個(gè)抽樣像素是隨機(jī)選擇的，其

21、他所有采樣像素選擇以固定間隔從最初的像素中選?。–ongalton，1988 b）。SYS抽樣使用的間隔由樣本大小決定，并使樣本在空間上均勻分布。在分層隨機(jī)抽樣（StrRS）中，每個(gè)分類地圖再被分為兩層：Class 1和Class 2，然后每層內(nèi)隨機(jī)選擇抽樣像素。StrRS中每個(gè)類的總樣本量大小與該類在地圖上的大小成正比（Fitzpatrick-Lins，1981）。本文使用的分層抽樣不同于Congalton（1988 b）使用的，這里進(jìn)行了幾何分層而不是類范疇的分層。按地圖類的分層是一種常見的實(shí)現(xiàn)精度評(píng)估的分層方式，可以提高用戶準(zhǔn)確性估計(jì)的精度（Stehman，2004 b）。對(duì)于每一次抽樣

22、，都對(duì)比其在分類圖和參考圖中采樣像素的類別值，并生成傳統(tǒng)的誤差矩陣。然后對(duì)每次抽樣中Class 11、Class 22、Class 12和Class 21的比例求和。每次仿真都生成包括整體精度和kappa系數(shù)在內(nèi)的準(zhǔn)確性檢驗(yàn)參數(shù)。同時(shí)還要計(jì)算這些估計(jì)量的均值和方差。2.4.抽樣方法的比較對(duì)比變異系數(shù)（CV）和每個(gè)估計(jì)量的離差。變異系數(shù)是標(biāo)準(zhǔn)差與均值的比，因?yàn)樗€考慮了均值，通常被稱為相對(duì)標(biāo)準(zhǔn)差（Burt和Barber，1996）。估計(jì)量由為每種采樣方法和樣本量進(jìn)行的100次仿真的真值得到。使用變異系數(shù)代替Congalton（1988 b）研究中使用的均值和方差是為了確保直接比較不同的精度措施。

23、對(duì)于每個(gè)樣本大小和不同的抽樣方法，變異系數(shù)測(cè)出了一幅仿真圖像中一系列估計(jì)精度與預(yù)期均值（即每個(gè)測(cè)量的真值）的接近程度。如果從仿真估計(jì)的標(biāo)準(zhǔn)差是均值的一半，則其CV值為0.5（或50%）。抽樣法的CV越低，從每幅仿真圖中獲得的精度的變異性就越小，因此其精度也越高。為了比較不同的抽樣方法，Stehman（2000）使用“設(shè)計(jì)效果”計(jì)算評(píng)估了SYS的精度和StrRS相對(duì)于SRS的精度。對(duì)于每個(gè)樣本的大小，設(shè)計(jì)效果的是方差與SYS的比值或StrRS與SRS方差的比值。在這項(xiàng)研究中，準(zhǔn)確性測(cè)量的方差估計(jì)使用以下公式：這里P是一個(gè)測(cè)量精度的真值，Pi是仿真量i的估計(jì)值。SYS和StrRS的設(shè)計(jì)效果是為了計(jì)

24、算Class 11、Class 22、kappa系數(shù)和整體精度所占的比例。設(shè)計(jì)效果乘以100是為了達(dá)到采樣方法所需的觀測(cè)數(shù)量，以提供與SRS抽樣100個(gè)觀察對(duì)象相同精度的樣本大小。如果某抽樣設(shè)計(jì)的設(shè)計(jì)效果小于1，那么這個(gè)設(shè)計(jì)就比隨機(jī)抽樣抽樣具有更好的精度。3.結(jié)果與討論3.1.變異系數(shù)（CV）的分析圖4-6中顯示了正確分類的Class 1（Class 11），Class 2（22）的變異系數(shù)，總體精度，SRS，SYS，StrRS的kappa系數(shù)。和預(yù)期結(jié)果一樣，除了系統(tǒng)抽樣中的一些異常，對(duì)于所有抽樣方法和精度的措施，CV值都隨樣本量的增加而減少。對(duì)于所有三種抽樣方法，盡管這些差異隨著樣本量的增

25、加而減少，但四種精度評(píng)價(jià)中CV值的差異在高分類比例地圖（H91和L91）中要比低分類比例地圖（H46和L46）的差異大。這表明不同的抽樣方法的精度差異更多是由相異分類比例造成的，而不是空間自相關(guān)的程度。圖4：與仿真地圖中簡(jiǎn)單隨機(jī)抽樣所需樣本量相對(duì)應(yīng)的變異系數(shù)(CV): （a）高空間相關(guān)性和高分類比例差異(H91);（b）高空間相關(guān)性和低分類比例差異(H46);（c）低空間相關(guān)性和高分類比例差異(L91);（d）低空間相關(guān)性和低分類比例差異(L46)。從圖4-6可以觀察到，不同的場(chǎng)景中的不同精度的CV值以不同的曲線顯示。其中在所有的地圖中Class 11的比例高于Class 22，不論地圖的空間

26、自相關(guān)程度如何，其CV值的方差都顯示比類22的方差低。兩個(gè)類別之間的差異越高，CV中觀察到的差異就越高。這意味著存在高比例類的精度措施將有一個(gè)更高精度。在三個(gè)不同的抽樣方法中比較類11和22的CV值，可以看出類22的分層隨機(jī)方法產(chǎn)生了較低的CV值。這表明，分層抽樣(StrRS)可以提高小比例類的精度。在圖4-6中比較整體精度的CV值，可以看出總準(zhǔn)確度的精度受采樣方法和分類比例差異的影響不大。在所有的數(shù)據(jù)里，總準(zhǔn)確度的CV值隨樣本量的增加略有下降趨勢(shì)。相反kappa系數(shù)的CV值，受分類比例差異的影響極大。高差異的地圖（H91 L91）中，kappa系數(shù)的CV值遠(yuǎn)遠(yuǎn)大于低差異地圖（H46 L46）

27、的CV值。這表明kappa系數(shù)對(duì)高分類差異地圖更敏感。例如，使用隨機(jī)抽樣設(shè)計(jì)的25個(gè)樣本量，H46和L46地圖里kappa系數(shù)的CV值分別0.27和0.28 而在相同的條件下H91和L91地圖的CV值為0.50。在所有數(shù)據(jù)里，kappa系數(shù)的CV值更接近那些低比例分類（Class 22）的值，然而總準(zhǔn)確度使CV值更類似于高比例類（類11）。這意味著總準(zhǔn)確度的精度受大類的影響更大，而kappa系數(shù)的精度由小類的精度決定。這一趨勢(shì)在高類比例差異的地圖中更加明顯，尤其在隨機(jī)和系統(tǒng)抽樣的設(shè)計(jì)中。比較圖4 6中不同精度措施的CV值，發(fā)現(xiàn)在低分類比例差異的地圖（H46和L46）上三種不同抽樣設(shè)計(jì)提供了類似

28、的精度。然而，在高分類比例差異的地圖（H91和L91）上，kappa系數(shù)和類22的CV值在使用分層隨機(jī)抽樣設(shè)計(jì)是顯著降低。很明顯，StrRS大大提高了小類的精度和kappa系數(shù)。這就證實(shí)了Congalton和Green（1999）,Foody（2002）與Stehman和 Czaplewski（1998）提出的建議：推薦使用分層隨機(jī)抽樣處理小類問(wèn)題?？臻g自相關(guān)影響準(zhǔn)確度測(cè)量的精度。通過(guò)比較高、低空間自相關(guān)程度的CV值，高空間相關(guān)性的地圖比低空間自相關(guān)性的地圖的CV值高。隨著樣本量的增加，具有高空間相關(guān)性的地圖上的CV值并不總是遵循嚴(yán)格遞減的趨勢(shì)。例如，在地圖H46中以系統(tǒng)抽樣的方法，樣本量為1

29、44的樣本的CV值高于樣本量為100的樣本的CV值。在地圖上可以找到類似的異常H91在81年和144年的樣本大小。從這些數(shù)據(jù)中沒(méi)有明顯的跡象表明這些樣本量是如何與地圖上空間自相關(guān)程度在質(zhì)量上相關(guān)的。3.2.對(duì)最小需要樣本量的分析從仿真實(shí)驗(yàn)的到的CV值可以被認(rèn)為是一個(gè)估計(jì)量（總精確度、kappa系數(shù)等）的相對(duì)標(biāo)準(zhǔn)誤差。當(dāng)對(duì)所有可能的樣本的平均估計(jì)的平均值等于其預(yù)期值（即真實(shí)值）時(shí)，則這個(gè)估計(jì)是無(wú)偏（Congalton，1988 b）且它的CV值應(yīng)該是零。然而，在現(xiàn)實(shí)中完全無(wú)偏估計(jì)是很罕見的。如果平均有真值的10%（CV值為0.1）是允許的最大相對(duì)標(biāo)準(zhǔn)誤差的估計(jì)，我們可以根據(jù)不同精度的措施從仿真實(shí)

30、驗(yàn)（表3）的CV值來(lái)總結(jié)所需的最小樣本大小。如表3指出，為了達(dá)到類似水平的精度，不同精度所需要的最小樣本量就會(huì)差別很大。樣品所需的大型類少于小類來(lái)達(dá)到同樣的精度。一幅地圖上兩個(gè)類的比例差別越大，每個(gè)類所需最小樣本量的差異就越大。表3：對(duì)于不同仿真實(shí)驗(yàn)的精度措施總體精度從真值中達(dá)到10%的平均相對(duì)標(biāo)準(zhǔn)誤差需要樣本量。在所有情況下，總體精度所需的樣本最少，而kappa系數(shù)達(dá)到相同的精度最需要樣品最多。根據(jù)地圖和抽樣方法，總體精度從真值中達(dá)到10%的平均相對(duì)標(biāo)準(zhǔn)誤差需要樣本量為25 49，而kappa需要的樣本量為196-1296。比較使用不同的抽樣方法達(dá)到相同的精度測(cè)量所需的樣本大小，很明顯，分層

31、隨機(jī)抽樣大大減少所需的最小樣本量。例如，在地圖H46，SRS和SYS分別需要100和196大小的樣本，而對(duì)于CLASS 11，StrRS只需要81個(gè)樣本。同樣的趨勢(shì)也存在于其他估算精度措施中?？臻g自相關(guān)行對(duì)不同精度措施所需的最小樣本量略有影響。對(duì)于StrRS而言，這種對(duì)高分類比例差異的地圖上的影響比低分類比例差異的影響更大。當(dāng)使用StrRS時(shí)，高空間自相關(guān)地圖（H91）所需的大型類和總體精度的樣本量比低空間自相關(guān)地圖（L91）要少。除了H91地圖上的一個(gè)案例，在地圖上高類比例差異地圖（H91和L91）上，SRS和SYS所需的最小樣本大小對(duì)于不同精度的措施是相同的。然而，在低分類差異的地圖（H9

32、1和L91）上為了得到大型類、總體精度和kappa系數(shù)，空間自相關(guān)對(duì)所需的最小樣本量的影響是明顯的。高空間自相關(guān)性增加了為了獲取大型類和整體精度所需的最小樣本量，另外在使用系統(tǒng)抽樣代替簡(jiǎn)單隨機(jī)抽樣時(shí)，也增加了為了獲取kappa系數(shù)所需最小樣本量。圖5：與仿真地圖中系統(tǒng)抽樣所需樣本量相對(duì)應(yīng)的變異系數(shù)(CV): （a）高空間相關(guān)性和高分類比例差異(H91);（b）高空間相關(guān)性和低分類比例差異(H46);（c）低空間相關(guān)性和高分類比例差異(L91);（d）低空間相關(guān)性和低分類比例差異(L46)。圖6. 與仿真地圖中分層隨機(jī)抽樣所需樣本量相對(duì)應(yīng)的變異系數(shù)(CV): （a）高空間相關(guān)性和高分類比例差異(

33、H91);（b）高空間相關(guān)性和低分類比例差異(H46);（c）低空間相關(guān)性和高分類比例差異(L91);（d）低空間相關(guān)性和低分類比例差異(L46)。3.3 設(shè)計(jì)效果分析表4-7分別列出了設(shè)計(jì)效果、用來(lái)估計(jì)分類1（CLASS11）和分類2（CLASS22）正確分類比例的StrRS和SYS設(shè)計(jì)效果對(duì)SRS的方差的比、總體精度、kappa系數(shù)。設(shè)計(jì)效果測(cè)量了相對(duì)于簡(jiǎn)單隨機(jī)抽樣的其它抽樣設(shè)計(jì)的精度。為了使系統(tǒng)或分層設(shè)計(jì)可以達(dá)到與SRS100個(gè)仿真觀測(cè)對(duì)象相同的精度，表4-7中設(shè)計(jì)效果的真值都乘以100作為仿真的觀測(cè)對(duì)象。當(dāng)設(shè)計(jì)效果大于1時(shí)，SRS比使用的抽樣設(shè)計(jì)的精度高；否則，使用的抽樣設(shè)計(jì)比SRS的

34、精度高。不同的抽樣設(shè)計(jì)在不同的空間自相關(guān)水平，不同區(qū)域的比例的地圖上顯示不同的設(shè)計(jì)效果。對(duì)于CLASS11（表4），除了極少的例外StrRS的設(shè)計(jì)效果小于1。很明顯，在高空間自相關(guān)的地圖、低空間自相關(guān)且低分類差異的地圖上，StrRS總是比SRS的精度高。表4中SYS顯示的一個(gè)不一致貫穿了研究的不同樣本量。例如，在H91地圖中，SYS對(duì)樣本量為25，49，和81的前三個(gè)樣本的設(shè)計(jì)效果小于1，對(duì)樣本量為100，144的樣本設(shè)計(jì)效果大于1，并且再次下降遠(yuǎn)低于1，直到在400樣本量時(shí)大于1，之后再次下降到低于1。在11個(gè)樣本大小中，H91地圖中286大小的樣本SYS比SRS實(shí)現(xiàn)更好的精度，地圖H46中

35、，625達(dá)到了更好的精度。然而，在低空間自相關(guān)地圖（L91和L46）中，大多數(shù)SYS的設(shè)計(jì)效值大于1，系統(tǒng)設(shè)計(jì)效果的范圍值波動(dòng)也小于那些地圖上高空間自相關(guān)的地圖。這表明對(duì)于CLASS 11，SRS在低空間自相關(guān)的地圖上可以達(dá)到更高的精度?；贑LASS 22（表5）的SYS和StrRS設(shè)計(jì)效果也可以看到相似的趨勢(shì)。不管樣本大小如何StrRS的設(shè)計(jì)效果都遠(yuǎn)遠(yuǎn)小于1。在L91地圖上樣本大小為1296時(shí)，StrRS設(shè)計(jì)效果達(dá)到最大值0.504。與CLASS 11相比，CLASS 22的StrRS設(shè)計(jì)效果的真值在大部分的樣本大小中要小得多，這表明無(wú)論樣本大小或空間格局如何StrRS都取得了比SRS更好

36、的精度評(píng)估的準(zhǔn)確度。這符合先前的CV值的結(jié)果，并且確認(rèn)使用StrRS估計(jì)小類效果更好。和CLASS 11類似，在低空間自相關(guān)的地圖（L91H和L96）上大部分CLASS 22進(jìn)行SYS抽樣的設(shè)計(jì)效果的真值都大于1；在高空間相關(guān)性地圖H91和H46上的11個(gè)類型中只有2個(gè)的真值大于1。幾何所有高空間相關(guān)的地圖中小類別的分類SYS比SRS的精度要高。然而，在低空間相關(guān)性的地圖上正好相反。比較SYS和StrRS的設(shè)計(jì)效果發(fā)現(xiàn)StrRS除了在H46中1296這個(gè)最大樣本中外在所有類型的地圖上的值都很小。很明顯，在SRS，SYS和StrRS中，StrRS對(duì)所有小類別類型的精度最高。當(dāng)樣本量較小時(shí)StrR

37、S的優(yōu)勢(shì)就更加明顯。表6列出了估計(jì)總體精度的不同抽樣方式的設(shè)計(jì)效果值。與表4、表5中對(duì)CLASS 11和CLASS 22和估計(jì)的設(shè)計(jì)效果不同，表6中沒(méi)有一行是所有值都小于1的。StrRS總體精度的設(shè)計(jì)效果值遠(yuǎn)遠(yuǎn)大于表4、5中相應(yīng)的值。這表明與SRS相比，StrRS在估計(jì)總體精度時(shí)其精度不會(huì)有很明顯的優(yōu)勢(shì)?？傮w精度效果值的范圍在不同地圖和不同樣本量上分布多樣化，并且在1上下浮動(dòng)。例如，對(duì)于H91上的系統(tǒng)抽樣，SYS的設(shè)計(jì)效果值從樣本量25開始到81下降到0.91，到144時(shí)增長(zhǎng)到1.21，然后在接下來(lái)的3個(gè)樣本上又繼續(xù)下降。在樣本量為400時(shí)，設(shè)計(jì)效果值從0.65激增到1.95，然后繼續(xù)下降。S

38、tehman（2000）在SYS的方差和SRS相比情況下對(duì)誤分類的比例估計(jì)中也發(fā)現(xiàn)了類似的不一致性，盡管在其研究中設(shè)計(jì)效果的值比表6中的分布差異更大。一般來(lái)說(shuō)，在更多的情況下，估計(jì)低空間相關(guān)性的地圖的總體精度時(shí)與SYS和StrRS相比SRS可以達(dá)到更好的精度。相對(duì)于表4、5，表6中的值更接近于1。表6中的最小值為0.64，而表4、5中的最小值分別為0.31和0.18。很明顯，這三種抽樣方法在估計(jì)總體精度比估計(jì)正確分類的個(gè)體類的差異樣小很多。針對(duì)kappa系數(shù)和總體精度的設(shè)計(jì)效果（表7）與CLASS 11和CLASS 22相比展現(xiàn)了一種不同的模式。對(duì)于StrRS而言，類別差異的比空間自相關(guān)對(duì)設(shè)計(jì)

39、效果的影響更大。所有高分類差異的地圖（H91和L91）其StrRS的設(shè)計(jì)效果值小于1。在地圖H91和L46上相同樣本大小時(shí)，StrRS的設(shè)計(jì)效果值一直比SYS和SRS的相應(yīng)值要低。這表明在這3中抽樣中，StrRS對(duì)kappa系數(shù)的估計(jì)效果最好。然而，在低空間差異的地圖（H46和L46）上沒(méi)有類似的情況。在地圖H46和L46上空間自相關(guān)的影響是證明存在的，但很難對(duì)三種抽樣的設(shè)計(jì)效果進(jìn)行有效的排名。更多的情況是L46與H46相比其設(shè)計(jì)效果大于1，表明在低空間自相關(guān)的地圖上估計(jì)kappa系數(shù)時(shí)SRS可以取得更好精度。表4 相對(duì)于SRS針對(duì)CLASS 11不同抽樣方法的不同設(shè)計(jì)效果表5 相對(duì)于SRS針

40、對(duì)CLASS 22不同抽樣方法的不同設(shè)計(jì)效果表6 相對(duì)于SRS針對(duì)估計(jì)總體精度不同抽樣方法的不同設(shè)計(jì)效果表7 相對(duì)于SRS針對(duì)估計(jì)kappa系數(shù)不同抽樣方法的不同設(shè)計(jì)效果4.總結(jié)借助于這些仿真的二進(jìn)制地圖，這次研究發(fā)現(xiàn)在不同抽樣設(shè)計(jì)下不同精度措施的精度受分類比例差異的影響要比空間自相關(guān)程度大。一幅地圖上某個(gè)類的比例越大，不管地圖上空間自相關(guān)程度如何，這個(gè)類的分類精度就越好。一般情況下，總體精度的準(zhǔn)確度受那些大類的影響較大，kappa系數(shù)受那些小類的影響較大。類別比例、空間自相關(guān)程度、抽樣設(shè)計(jì)的變化對(duì)kappa系數(shù)和小類的準(zhǔn)確影響相對(duì)較大，對(duì)總體精度和大類的精度影響相對(duì)較小。不同的準(zhǔn)確性措施想要

41、達(dá)到相同的精度所需的最小樣本量差別很大。一個(gè)類別的比例越大，所需的樣本量就越少。在本次研究所受測(cè)試的措施中，總體精度需要的樣本最少，kappa系數(shù)需要的卻最多。相對(duì)于其他抽樣方法，分層隨機(jī)抽樣(StrRS)大大減少了所需的最小樣本量?？臻g自相關(guān)程度對(duì)StrRS所需的最小樣本量的影響在高分類差異的地圖上表現(xiàn)的更加明顯，然而在小比例地圖上對(duì)隨機(jī)抽樣和系統(tǒng)抽樣的影響更大。本研究的意義是，空間自相關(guān)和分類比例的效果對(duì)抽樣方法和樣本大小的選擇是復(fù)雜的。推薦某一特別抽樣方法和大小取決于的空間自相關(guān)程度、類別比例差異和某一給定應(yīng)用所需的精度指數(shù)。這也部分解釋了本文中對(duì)合適抽樣方法和樣本大小的選擇的矛盾性結(jié)論

42、（1988 b Congalton；Maling，1989；Lo和Watson，1998；Stehman，2000)。對(duì)于估算一個(gè)小類正確分類的比例，StrRS可以有效地降低其方差和所需的最小樣本量。與SRS和SYS相比，StrRS在估計(jì)小類時(shí)一直取得最好的精度。當(dāng)樣本量很小，分層抽樣估計(jì)小類的優(yōu)勢(shì)更明顯。這與以前的研究結(jié)論一致（Congalton和Green，1999；Rosenfield et al .，1982）。StrRS也實(shí)現(xiàn)精度比SRS在所有情況下，對(duì)于估算一個(gè)大型類正確分類的比例，除了在一幅高分類差異比例、高空間自相關(guān)的地圖上，在另外所有情況下，StrRS也取得了比SRS更好的分

43、類精度。在高空間自相關(guān)和低類別比例差異的地圖上，對(duì)于大型類的精度估計(jì)，SYS比SRS更有可能取得更好的精度，然而在高空間自相關(guān)和高類別比例差異的地圖上，SRS更有說(shuō)服力。不同的抽樣設(shè)計(jì)中對(duì)總體精度的精度估計(jì)的變化相對(duì)少一些?？傮w精度所需的最小樣本量遠(yuǎn)遠(yuǎn)小于其他的精度措施。如果某一應(yīng)用需要總體精度，那么相對(duì)較少的樣本量將達(dá)到一個(gè)高精度的估計(jì)并且不同的抽樣設(shè)計(jì)結(jié)果也不會(huì)有什么太大的不同至于更好地估計(jì)kappa系數(shù)，建議在高類別比例差異的地圖上選擇StrRS以減少所需的最小樣本量。然而在低類別比例差異的地圖上，優(yōu)先推薦低空間自相關(guān)的地圖使用SRS，高空間自相關(guān)的地圖使用系統(tǒng)或分層抽樣，盡管這兩個(gè)的優(yōu)

44、勢(shì)并不明顯。上面的結(jié)果只有在空間自相關(guān)模式和類別比例差異類似的二進(jìn)制地圖上才適用本研究的結(jié)果。對(duì)于超過(guò)兩個(gè)類別的地圖，地圖應(yīng)該轉(zhuǎn)化為一系列的二進(jìn)制地圖以直接使用本文描述的結(jié)果。地圖配置改變時(shí)，這項(xiàng)研究其觀察到的所需的設(shè)計(jì)效應(yīng)值和最小樣本大小可能不適用（例如兩個(gè)類的比例變化至70%和30%，空間自相關(guān)程度變化，或者類似空間自相關(guān)但不同地圖配置的地圖）。因?yàn)樵谡嬲倪b感應(yīng)用中會(huì)遇到許多不同的地圖模式和類結(jié)構(gòu)，還需要進(jìn)一步的仿真和研究系統(tǒng)地評(píng)估不同的空間模式和類別比例帶來(lái)的變化。致謝本研究得到了加拿大國(guó)家科學(xué)與工程研究委員會(huì)探索資金的支持。作者要感謝Jie Tie和Dr. Paul Treiz在此次

45、研究項(xiàng)目中的建設(shè)性意見和幫助。作者還贊賞富有洞察力的六個(gè)匿名評(píng)論者的評(píng)論和建議。The effect of spatial autocorrelation and class proportion on the accuracy measures from different sampling designsDongMei Chen_, Hui WeiDepartment of Geography, Queen's University, Kingston, ON K7L 3N6, CanadaAbstract：Four binary thematic maps with combin

46、ations of two spatial autocorrelation levels and two different class proportions are simulated to study their effect on the precision of accuracy measures from different sampling designs. A series of eleven sample sizes (from a minimum of 25 to a maximum of 1296) are simulated using three popular sa

47、mpling designs, including simple random sampling (SRS), systematic sampling (SYS), and stratified random sampling (StrRS) on the four simulated maps. The conventional error matrix and related accuracy measures are calculated for each simulation, and the precision of different estimates of accuracy m

48、easures is compared among the three sampling designs. The selection of a particular sampling design and sample size depends on the spatial autocorrelation level, the class proportion difference, and the accuracy indices that a given application requires. In general, the class proportion difference h

49、as a greater impact on the performance of different sampling methods than the spatial autocorrelation level does on a map. For estimating the accuracy of individual classes, stratified sampling achieves better precision than SRS and SYS with smaller sample sizes, especially for estimating the small

50、class. For estimating the overall accuracy, different sampling designs achieve very similar levels of precision with fewer samples. To achieve a better estimate of the kappa coefficient, stratified random sampling is recommended for use on a map with a high class proportion difference, while random

51、sampling is preferred for a map with low spatial autocorrelation and a low class proportion difference.Keywords: Accuracy assessment； Classification error； Sampling ；Spatial autocorrelation； Class proportion1. IntroductionWith the development of remote sensing technology, thematic maps generated fro

52、m remotely sensed data have been widely used for different applications in environmental modeling, monitoring, and planning. Thematic maps generated from remotely sensed imagery are usually not a perfect representation of reality, and they always contain errors and uncertainty (Foody, 2002). Using t

53、hose maps without knowing the errors and uncertainty they contain can result in significant risk in decision making. Therefore, in the last decade, there has been an increasing demand for an assessment of the accuracy of thematic maps (Congalton and Green, 1999; Congalton and Plourde, 2002; Congalto

54、n, 2002; Foody, 2002; Lunetta and Lyon, 2004; Stehman and Czaplewski, 1998).The accuracy of a thematic map based on remote sensing refers to the correctness of a map or classification (Foody, 2002), or the degree that the derived information agrees with reference data (or ground truth) (Campbell, 19

55、96). The common approach to evaluate the accuracy of thematic maps generated from remotely sensed data is to compare the reference data with the thematic map. Since it is impractical to collect reference data for all the pixels on a map due to the limitations of time, cost, and physical access, samp

56、led reference data are often needed. Once the reference data are collected, they are compared with those on the map to produce an error matrix from which quantitative accuracy indices, such as the overall accuracy, user's accuracy, producer's accuracy, and overall and individual the kappa co

57、efficients can be calculated (Congalton, 1991; Congalton and Green, 1999).The sampling method and the number of samples (or sample size) are the two most important factors determining the efficiency and the cost of the accuracy assessment (Jensen, 1996). There are many published equations and guidel

58、ines for choosing the appropriate sample size (Cochran, 1977; Jensen, 1996). Of these, the binomial distribution or normal approximation to the binomial distribution is often used to compute the required sample size (Congalton, 1991). These equations, however, are based on the proportion of correctl

59、y classified samples and some allowable error, and may not be appropriate for creating an error matrix (Congalton, 2004). The current literature offers no consensus on the minimum sample size needed. Genderen et al. (1978) suggested that a sample size of at least 30 was needed in order to accept derived thematic maps with a 9