Moranx27s-I(莫蘭指數(shù))與蝦神

1、王慶喜等的書(shū)?區(qū)域經(jīng)濟(jì)研究實(shí)用方法：基于ArcGIS、GeoDa和R的運(yùn)用?前兩天聊了空間統(tǒng)計(jì)學(xué)里面的兩個(gè)經(jīng)典概念，今天來(lái)說(shuō)說(shuō)第一篇文章留下的大坑：Moran's I首先，Moran 's I這個(gè)東西，官方叫做：莫蘭指數(shù)，是澳大利亞統(tǒng)計(jì)學(xué)家帕特里克阿爾弗雷德皮爾斯莫蘭(Patrick Alfred PierceMoran )(好長(zhǎng)的名字，不過(guò)一般都簡(jiǎn)稱(chēng)為:帕克莫蘭，就是以下列圖這位中年帥哥了)，在 1950年提出的。這一年，朝鮮戰(zhàn)爭(zhēng)爆發(fā)。莫蘭同學(xué)1917年出生在澳大利亞的悉尼，后來(lái)考入了劍橋大學(xué)，第二次世界大戰(zhàn)的時(shí)候，參加了盟軍，并且因?yàn)樵跀?shù)學(xué)和物理學(xué)上面的特長(zhǎng)，被安排在劍橋大

2、學(xué)的外彈道學(xué)實(shí)驗(yàn)室(External Ballistics Laboratory )負(fù)責(zé)火箭的研究工作。戰(zhàn)爭(zhēng)完畢后，任教于牛津大學(xué)，并且就在牛津任教期間，提出了關(guān)于莫蘭指數(shù)的問(wèn)題。另外再加一點(diǎn)點(diǎn)小花絮，莫蘭同學(xué)終生未獲得博士學(xué)位，但是據(jù)他晚年回憶，他似乎對(duì)這個(gè)事情一直感到驕傲(自己并非博士，但是帶出了無(wú)數(shù)的博士生)。那么莫蘭指數(shù)到底是個(gè)啥東西呢？莫蘭指數(shù)一般是用來(lái)度量空間相關(guān)性的一個(gè)重要指標(biāo)。一般說(shuō)來(lái)，莫蘭指數(shù)分為全局莫蘭指數(shù)(GlobalMoran s I )和安瑟倫局部莫蘭指數(shù)(AnselinLocal Moran's I )后者是美國(guó)亞利桑那州立大學(xué)地理與規(guī)劃學(xué)院院長(zhǎng)Luc An

3、selin教授在1995年提出的，后面我們會(huì)說(shuō)到。今天就簡(jiǎn)單說(shuō)說(shuō)全局莫蘭指數(shù)，也是狹義上的莫蘭指數(shù)。莫蘭指數(shù)是一個(gè)有理數(shù)， 經(jīng)過(guò)方差歸一化之后， 它的值會(huì)被歸一化到-1.0 1.0之間。(如 果有喜歡看數(shù)學(xué)公式的，我最后貼出了全局莫蘭指數(shù)的計(jì)算公式，這里是科普性質(zhì)的，我就不貼數(shù)學(xué)公式來(lái)虐待大家的大腦了。當(dāng)然，這個(gè)歸一化是一般的情況，根據(jù)某些特殊的情況，也會(huì)計(jì)算出一些不在這個(gè)范圍內(nèi)的值，最后來(lái)討論為什么會(huì)超出這個(gè)范圍。全局莫蘭指數(shù)計(jì)算完成之后，全部的要素，就會(huì)給出你一個(gè)關(guān)于全部數(shù)據(jù)的相關(guān)性的數(shù)值(反之，局部莫蘭指數(shù)，就每個(gè)要素都會(huì)給你一個(gè)相關(guān)性數(shù)值了，這個(gè)以后在說(shuō))。所以我們可 以根據(jù)他給出的值

4、，來(lái)看當(dāng)前你需要計(jì)算的數(shù)據(jù)結(jié)果了。Moran s I >0 表示空間正相關(guān)性，其值越大，空間相關(guān)性越明顯，Moran s I <0 表示空間負(fù)相關(guān)性，其值越小，空間差異越大，否那么，Moran s I = 0 ，空間呈隨機(jī)性。這里需要注意一下啊，空間差異和空間異質(zhì)性是不同的概念?？臻g差異(spatialdisparity)是指不同地域范疇因?yàn)?社會(huì)、經(jīng)濟(jì)等)開(kāi)展水平與其結(jié)構(gòu)不同，而產(chǎn)生的差異。而空間異質(zhì)性(spatialheterogeneity)是指因?yàn)榭臻g位置的不同而引發(fā)的獲取到不同的數(shù)據(jù)。所以二者切不可混為一談。最后，我們們來(lái)看看，什么叫做正相關(guān)，什么叫做負(fù)相關(guān)。所謂的相關(guān)，

5、就是指相互關(guān)系，正相關(guān)，就是隨著自變量的增長(zhǎng)，應(yīng)變量也隨著增長(zhǎng)，比方蝦神的年紀(jì)和血壓， 就是標(biāo)準(zhǔn)的正相關(guān)。 而負(fù)相關(guān)當(dāng)然就是相反了，隨著自變量的增長(zhǎng)而減少，比方蝦神的年紀(jì)和體力那么空間上面的正相關(guān)， 就是指隨著空間分布位置 距離的聚集，相關(guān)性就也就越發(fā)顯著。 空間上的負(fù)相關(guān)就正好相反了，隨著空間分布位置的離散，反而相關(guān)性變得顯著了。像如下我采用中國(guó)行政區(qū)劃計(jì)算出來(lái)的結(jié)果：2005-2021某種疾病T-犯病人數(shù)莫蘭指數(shù) 人口勘莫蘭指數(shù)空間相關(guān)性分析2.40.350 30,250 2 150.10 05n '20052006200 了20OB2021Z01O 20212021範(fàn)病人數(shù)莫蘭指

6、數(shù)01496G70.1709960 17A7040 212410.2760570-2W110 3G57040.327546人口教奠蘭指頻0.1S71590.174240.15676601473250.144230.1203350 W15B40.102033整個(gè)圖表可以看出來(lái)，人口數(shù)和患病的人數(shù)，都與空間信息成正相關(guān)， 就是說(shuō)，空間分布聚集度大的地方，人口數(shù)和患病人數(shù)也相應(yīng)多。但是可以看見(jiàn)的，患病人數(shù)，隨著時(shí)間推移，他的莫蘭指數(shù)在上升，而人口數(shù)隨著年份，莫蘭指數(shù)在下降，這說(shuō)明了中國(guó)人口的數(shù)量慢慢的與空間分布的相關(guān)性在減弱，而患病人數(shù)與空間分布的相關(guān)性在增加。當(dāng)然，莫蘭指數(shù)只是在衡量空間相關(guān)性時(shí)候

7、的一個(gè)重要指標(biāo)，并不完全能夠代表空間相關(guān)性,還需要有其他的數(shù)據(jù)進(jìn)行驗(yàn)證和綜合考量。下面局部局部?jī)H供不怕死腦細(xì)胞的同學(xué)參考：來(lái)源于ArcGIS for Destkop的幫助文檔1全局莫蘭指數(shù)的公式：空間I Xll'J Moran's 1 tfti mJ 我少為:i-1 j-A其中刊足要素i的屈性與英平均值S 一 X的瞇 叫 是要承i和3 ZH的空何權(quán)堇,n尊丁耍索越民 星所有空何權(quán)亟的渥合：1L n% = 士 f JQ 1 j=l統(tǒng)計(jì)的工得分按以下壓式計(jì)算,(3)(h嚴(yán) _£-ETMlE_T = l/(n 1)Vl = E鬥一 EF其中r2、剛剛討論了，莫蘭指數(shù)一般是在

8、-1 1之間，那么有時(shí)候突然算出來(lái)超出這個(gè)區(qū)間的數(shù)據(jù)，是怎么回事呢？是不是軟件出了bug ？答案是和軟件bug無(wú)關(guān)。通常，Global Moran s I指數(shù)介于-1.0 到1.0 之間。是只有對(duì)我們權(quán)重進(jìn)行了行標(biāo)準(zhǔn) 化行標(biāo)準(zhǔn)化的意思，就是在做空間距離矩陣的時(shí)候，對(duì)矩陣中的每一行，求和后，每個(gè)元 素除以所在行元素之和這種標(biāo)準(zhǔn)化操作時(shí)才會(huì)這樣。如果沒(méi)有對(duì)權(quán)重進(jìn)行行標(biāo)準(zhǔn)化處理， 那么指數(shù)值可能會(huì)落在-1.0到1.0的范圍之外，這表示參數(shù)設(shè)置有問(wèn)題。 最常見(jiàn)的問(wèn)題如下:1. 輸入的數(shù)據(jù)嚴(yán)重偏斜創(chuàng)立數(shù)據(jù)值的直方圖可了解此情況，空間關(guān)系的概念化或距離范圍的設(shè)置使得某些要素的相鄰要素非常少。Global

9、Moran s I統(tǒng)計(jì)量是漸進(jìn)正態(tài)的，這意味著，對(duì)于偏斜數(shù)據(jù)，每個(gè)要素至少需要具有8個(gè)相鄰要素。為距離范圍或距離閾值參數(shù)計(jì)算的默認(rèn)值可確保每個(gè)要素至少具有1個(gè)相鄰要素，但這可能不夠，尤其是在輸入數(shù)據(jù)中的有的值出現(xiàn)嚴(yán)重偏斜時(shí)。2. 使用反距離空間關(guān)系的概念化，并且反距離非常小。關(guān)于反距離過(guò)小的問(wèn)題，是因?yàn)樵谶x擇反距離的幕的時(shí)候，為了突出拉伸，選擇了一個(gè)過(guò)高的冪，這樣就會(huì)把反距離距離的倒數(shù)變得非常的小?？聪旅骊P(guān)于反距離中幕的說(shuō)明：h4D0.0250.000625Q000015625500,020.00040.000008GO0.0166670.0002 7S4.62962E-06700.0142S

10、50.0002042.9154SE-06300.01250.0001561.95313E-06300.0111110.0001231.37174E-O61000,010*00010,0000011100.0090919.26E-057.51315E437120O.OOS593&盟匚専55.78704E-O71300,007592.55166E'O71400.0071435JE-053.64431E-07 h®幕用于進(jìn)一步強(qiáng)調(diào)點(diǎn)的距離幕越大，距離近的點(diǎn)的作用越大， 插值的結(jié)果越陡悄。幕越小，距離的間隔作用越小.插 值的結(jié)果越平滑口幕的偵常規(guī)上不應(yīng)該太大乜3.未選擇行標(biāo)準(zhǔn)

11、化，但應(yīng)選擇。除非聚合方案與所分析的字段直接相關(guān)，否那么，只要對(duì)數(shù)據(jù)進(jìn)行了聚合處理，就應(yīng)選擇行標(biāo)準(zhǔn)化。好，關(guān)于全局莫蘭值的介紹今天先到這里，下次我們來(lái)看看在 ArcGIS里面如何使用這個(gè)工具來(lái)進(jìn)行計(jì)算。白話空間統(tǒng)計(jì)番外：再談莫蘭指數(shù)(Moran's I )原創(chuàng) 2021 年 03 月 15 日 14:38:03?標(biāo)簽：?ArcGIS /?空間統(tǒng)計(jì) /?Globe Mora ns I/?全局空間自相關(guān)/?莫蘭指數(shù)?17328以前寫(xiě)文章的時(shí)候，有些過(guò)于草率，本來(lái)以為作為科普，把這個(gè)名詞告 訴大家就可以了，結(jié)果應(yīng)該是這個(gè)東西國(guó)內(nèi)的科普性文章太少，很多同 學(xué)都拿來(lái)做入門(mén)讀物了，而且還屢次閱讀，

12、讀著讀著，就發(fā)現(xiàn)，蝦神你 文章里面好多坑啊該說(shuō)的沒(méi)有說(shuō)清楚，關(guān)鍵還有很多說(shuō)錯(cuò)的地 方每次遇見(jiàn)這種情況，我都想這樣：正所謂“教然后知缺乏，這段時(shí)間以來(lái)很多同學(xué)跟我討論了關(guān)于空間統(tǒng)計(jì)的一些內(nèi)容，讓我很受啟發(fā)和教育，所以我決定把一起的一些漏洞和坑給補(bǔ)上。今天再來(lái)談?wù)勀m指數(shù)這個(gè)空間統(tǒng)計(jì)的入門(mén)概念。還有同學(xué)問(wèn)過(guò)，說(shuō)蝦神你能不能說(shuō)說(shuō)在ArcGIS里面怎么用這個(gè)工具啊。遇見(jiàn)這個(gè)問(wèn)題的時(shí)候，蝦神首先表示：休這時(shí)讓我敘曲ft吶不過(guò)既然同學(xué)們有要求，那就寫(xiě)寫(xiě)唄。人類(lèi)天然有歸納的習(xí)慣，比方看見(jiàn)一堆東西之后，會(huì)用很簡(jiǎn)單的一個(gè)字詞、句來(lái)統(tǒng)合表達(dá)對(duì)整體的一個(gè)印象，比方:又另外:對(duì)于三哥的閱兵。米帝大統(tǒng)領(lǐng)也給出了一個(gè)字評(píng)

13、語(yǔ)：贊所以，對(duì)于一票數(shù)據(jù)，我們首先也會(huì)給出一個(gè)綜合性的評(píng)論。比方“這 數(shù)據(jù)真尼瑪?shù)膩y。當(dāng)然，這種評(píng)論更多是“定性的，對(duì)于科學(xué) 觀測(cè)法來(lái)說(shuō)，我們要給出一個(gè)量化的評(píng)定標(biāo)準(zhǔn)，所以就有了各種指數(shù)。那么這個(gè)所謂的莫蘭指數(shù)， 就是用來(lái)衡量空間自相關(guān)的程度的一個(gè)綜合 性評(píng)價(jià)特指全局莫蘭指數(shù)。關(guān)于空間自相關(guān)， 我以前也寫(xiě)過(guò)一篇文章，大家有興趣就去翻歷史文章 吧，這里僅作簡(jiǎn)單的回憶。其實(shí)空間自相關(guān)要是把空間兩個(gè)字去掉，就 是經(jīng)典統(tǒng)計(jì)學(xué)里面的相關(guān)性分析， 加上空間之后， 就變成了空間與屬性 共同作用的相關(guān)性分析了。自相關(guān)的這個(gè)“自，表示你進(jìn)行相關(guān)性觀察統(tǒng)計(jì)量，是來(lái)源于不同對(duì) 象的同一個(gè)屬性， 比方兩學(xué)生不同對(duì)象

14、，同時(shí)對(duì)他們的數(shù)學(xué)成績(jī) 統(tǒng) 一屬性進(jìn)行統(tǒng)計(jì)，如果他們同桌空間鄰接，而且 A 考得好 B 就考 得好，A考不好B也考不好高端相關(guān)，那么根本上就可以判定他們 他們的空間自相關(guān)性很強(qiáng)有考試串通作弊的行為。如以下列圖所示：54同桌73我覺(jué)得這個(gè)兩個(gè)破貓之間一定有問(wèn)題情況1課桌X%995478課桌學(xué)道犀 科難靈成 木！昏不 這啊心99547B所以我們可以看見(jiàn)，如果排除空間關(guān)系， A貓和B貓，以與情況2得A貓和X貓，都是相關(guān)的，特別是情況 2, A貓和X貓簡(jiǎn)直是完全相關(guān)。但是加上空間關(guān)系之后，情況2計(jì)算出來(lái)的A貓和X貓，可能就是完全 不相關(guān)了，最最關(guān)鍵得是定義他們的空間關(guān)系，這個(gè)遠(yuǎn)隔萬(wàn)水千山，也 頂不住現(xiàn)

15、代化通信工具啊這里排除這種情況，僅僅用常規(guī)意義上的空間鄰接關(guān)系來(lái)定義。所以說(shuō)，經(jīng)典相關(guān)性分析是兩條數(shù)據(jù) 屬性維度 之間的相互依賴(lài)關(guān)系， 那么空間自相關(guān)就是在空間范圍內(nèi)的相互依賴(lài)程度。全局的莫蘭指數(shù)就是用來(lái)衡量空間自相關(guān)程度的。在 ArcGIS 的工具集 里面，這個(gè)工具干脆就直接叫做“空間自相關(guān) Spatial Autocorrelation Global Moran's I。使用這個(gè)工具，首先來(lái)看一份數(shù)據(jù)，美國(guó)俄懷明州有關(guān)肺癌的一份統(tǒng)計(jì) 數(shù)據(jù)，分別選取是 68年、78 年、88年三個(gè)年度的男性肺癌的記錄進(jìn)行 可視化，以下數(shù)據(jù)可以提供下載，見(jiàn)文章最后：數(shù)據(jù)GallicJ雄Ai;扎 w予孟

16、Ej-i1E.1cXZLM-±insftK I沿注i ±li 蓋量U乂二 3.1(HtaraSTS- IO':r:上巴=1血；i,畫(huà)晝；mg#g->: J啟量' i和：«§: fC<sh-i> 匚 t wi5tnc 5裝晝；X2Em 藝益：；cL«£ Mr. z«妣雖3EL 套：1ZzariniJty«*= 16Mcr G<r 紅宣-TztlslLuII 滋童j 44z-n瑩里e眾邑：S5K 蔬 g a； iT E J PJJ養(yǎng)uJilZ- 起全7Fr=-:1=熬號(hào)4惹空宀J

17、Lllrr S7S- 27Pee6 t£C -芳量.12MMkZLl ELg 靈蠹S5 二tri：:-Toluit zmflSra %Lcfazi或壘：11Hezizy敷癖sK=“亍at a-, o畠生上|趕-Put nflu .(I聯(lián)": nWptnritt 姑雖!1968年 男性肺癌r.felie kiE 茁孟5羔呈；?=-* r±mtQ sr雖一i« 啦亙：Be lient 常歳z=Tir7 芒亙CoLvnhiuiATziru ZIX： TL7-ul t-an 竝訊：l：Atftitbula藝?yán)誹ranl±i ns藝宜;nWii. 1h豆

18、丘匸 當(dāng)晝Srk - me &a=k-u- rzLS *?茁登12甄匿2并童.©Zrarfnri劭豊=弗Exc fzls.-戟段3可壬衛(wèi)七t 筈晝：12從整體的情況來(lái)看，數(shù)據(jù)量是在不斷上升的，當(dāng)然，人口在增長(zhǎng)，病患 的數(shù)據(jù)也相應(yīng)增長(zhǎng)，是符合情理的事情。那么接下，我們可以來(lái)計(jì)算一下空間自相關(guān)， 空間自相關(guān)解釋什么東西 呢？解釋的是，這些病患的數(shù)據(jù)，是否與空間分布又關(guān)系？也就是說(shuō)， 一個(gè)縣本身的肺癌病患數(shù)量，是否與他周邊的縣的肺癌病患數(shù)量有關(guān)？ 這種判定，需要同時(shí)從空間上和屬性上來(lái)判定。全局莫蘭指數(shù)是一個(gè)在-1 1之間的數(shù)，如下所示：I-1負(fù)相關(guān)的程度 正相關(guān)的程度當(dāng)然，解讀的時(shí)

19、候，還需要有 P值和Z得分來(lái)判定，P值和Z得分的相 關(guān)內(nèi)容，也請(qǐng)看以前寫(xiě)過(guò)的博客。在 ArcGIS 中，工具在如下位置：Spatial Statistics ToolsAn alyz ing Patter nsSpatial Autocorrelati on(Moran's I)ArcToolbox:+ 令 Spatial Analyst TookQ SpatialTools- 也 Andlyjng Patterns* Av&riage Mearet Neigkbor；f High/Low 匚lus-tering (GetisOrd General G) / Increfnen

20、tal ptial Auto correctionMulti-Di!tan« Spatial Cluster Analysis (RipleSpatial Autoco-relation (Morans l1+i 務(wù) Mapping 匚luter&+' 蟄 Measuring Geographic Distributions + Modeling Spatial R亡b£onships'h 筍 Rendering 曰 Utilities:Calculjte- Areas了 匚alculte Dirtan匚色 Sand from Meighbor 匚o

21、l FN卜翻開(kāi)之后，相關(guān)參數(shù)說(shuō)明如下:r.,r* ptial Auto correct ton : Mcri nz I;生形抿否G4.-F.告>咸結(jié)Input F ohlxnig_LJI6® Input Fi*l<l1300一輸入你的空間數(shù)據(jù)日同要進(jìn)行評(píng)估是否自相關(guān)的字段.一般是數(shù)(jen#r 1+ & Report (cpti anal)CoikCpluftllz.ttion of SpLtial R»latioiishipCDHTIGUTTY_EDGES_CORMEESDistance Method'I EUCLIBEWI_DISTANCES

22、電sail"RDFDi31« BAikd Thrsh&ld ListE竺cptuali t壷ti.Mi 。萱_R慮昨2：tiKTlJITY酗缸二C沿狂陋IFVERSE 1ISTAWEINVERSE 1ISTAWCE_SQUARED FIIED DISTAMCE RWZOnjF IllDIFFiHCECqjjfGWTTT_RGIS_tJHn匚1 rn Z JI TED G_C?(j FJ匡吃GET SFATIL WEIGlfTS FRC1 TILEWmatrix File (opt 1 oitiJLj&KCancelEnvraimente.- j«

23、Htde Help這里空間關(guān)系概念化我選擇了 CONTIGUITY_EDGES_CORN也就是所謂的Queen's Case,共邊共點(diǎn)都被視為鄰接要素。這個(gè)參數(shù)的選擇非常重要，一定要注意選擇。然后計(jì)算如下，如果不勾選生成圖形結(jié)果報(bào)告，直接會(huì)彈出以下計(jì)算結(jié)果：很容易看出：P值大于0.05的95噓信度，而且Z得分也沒(méi)有過(guò)1.65這個(gè)臨界值，也就說(shuō)這個(gè)數(shù)據(jù)偏向于隨機(jī)了剩下的結(jié)果根本上不用讀，解讀的方法，請(qǐng)大家看以前寫(xiě)P值和Z得分。當(dāng)然，如果你勾選了生成圖形結(jié)果報(bào)告，還會(huì)生成一個(gè)html的頁(yè)面,如下：Spatial Autocorrelation ReportHoran1Crittul Val

24、ue 2*5core c -2.5 8-2.50 - -1,56 -1- 9G £.£5 -1.65 " 1.&5 1-65 一 lr96 1-9G - 238 > 2-38Random：ClusteredGiven the 2-score of 1.266657945, the pattern does not appear to te significantiy different than randgmGlobal Moran's I SummaryMoran's Index:0.054501Expected Index;-0.

25、011494Variance:0.0028027-score:1.246666Rvalue:0.212520這個(gè)報(bào)告就直接告訴，你的z得分沒(méi)有過(guò)臨界值，所以數(shù)據(jù)顯著的表現(xiàn)出了隨機(jī)模式我們依次把78年、88年的數(shù)據(jù)都計(jì)算完成，計(jì)算結(jié)果如下:1978 年:5tart Tinie: Tue Mai IE:03:S9 201*scxpt- SprialAurccciel-atior-mEIE:Jiie input 工巳己p二工亡 class 殆亡曰 nor appeaxGlobal Mc:ran f s I Summary'Icxar：' g Iziden;fjExpected Ind

26、e«:0 <0119Variance:0 0030532-seere:1.655512p-value:0.OS7B21-Writing hmi report.E : wo2rkspaceGIS datadaraohloMorana 1 Resulrl. honl Completed sciipt Spatialtocaxielarior .*Succeeded at Tua Kar 15 14:03 :40 201 衛(wèi)lped Tire: 0*43 seconds1II1988 年: MessagesIStaxt Time: Tue Hax 15 14:06:02 201R-i

27、ng sexist Sati&lAutGccxrlaicn WAE21ING -S£ = Tiie npuc iearie clas deei not appear pq cQntain e二n二亡匚匸巳3 P己匸曰Global Mgish ' s I SurmaiyNcan1s Index:0lOEffi9Expected Indeji:7、01.43Variance:0003153z-score :2-143381c-value:0.032083Writing hrnLL xeport + * .E :wcrksE；aceGIS_dflt&d注t:呂otL

28、iQllQ工眞說(shuō)£工_號(hào)圭呂詛ltd . hntl Ccitfileted sci2.pr SpatalAi匸qcq工工電丄NtiQ土 . Succeeded ac Tue £(ar 15 14; 06:03 2C1 (Classed Tine : C T 32 seconds生成的圖形報(bào)告如下:Spatial Autocorrelation RpportMoran's Index1978年Spatial Aiitacorretation ReportMoran s Index: restore: value; H1988 年Given tiie z-score of 1.&55511B&8&3, there is a less than 10H Ifkelihood that this clustered p-attm could be the neailtof random chance.Given the r-scoie of 2.I ess tha