第一二章土地信息學(xué)

1、地理信息工程 GIS 土地資源管理 何宗宜,地圖數(shù)據(jù)處理模型的原理與方法,數(shù)字地圖制圖標(biāo)準(zhǔn)化 地理信息的自動(dòng)綜合 專(zhuān)題地圖的自動(dòng)生成 地理信息的空間分析,地圖數(shù)據(jù)處理模型的原理與方法,第一章 概述,第二章 地圖制圖數(shù)據(jù)處理模型的數(shù)學(xué)基礎(chǔ),第三章 地圖要素分布特征模型,第四章 地圖要素選取指標(biāo)模型,第五章 地圖要素結(jié)構(gòu)選取模型,第六章 地圖制圖要素分級(jí)模型,內(nèi)容提要,第十三章 空間數(shù)據(jù)多尺度處理模型,第七章 地圖制圖評(píng)價(jià)模型,第八章 地圖制圖要素相關(guān)模型,第九章 地圖制圖要素分布趨勢(shì)模型,第十章 地圖制圖要素預(yù)測(cè)模型,第十一章 地圖制圖要素信息簡(jiǎn)化模型,第十二章 地圖制

2、圖要素類(lèi)型劃分模型,內(nèi)容提要,第一章 概述,1-1地圖制圖數(shù)據(jù)處理模型的發(fā)展,1、公元前3世紀(jì)數(shù)學(xué)方法在地圖制圖中的應(yīng)用僅局限于地圖的數(shù)學(xué)基礎(chǔ) ； 2、本世紀(jì)40年代，利用圖解計(jì)算法和數(shù)理統(tǒng)計(jì)方法研究地圖要素的選取獲得了較好的效果； 3、50年代以來(lái)，地學(xué)研究方法從定性分析發(fā)展到定量分析； 4、60年代，多元統(tǒng)計(jì)分析應(yīng)用于地學(xué)領(lǐng)域，推動(dòng)了地圖制圖數(shù)據(jù)處理模型的發(fā)展；,5、70年代，應(yīng)用統(tǒng)計(jì)分析和信息論分析地圖內(nèi)容，在此基礎(chǔ)上，形成了比較系統(tǒng)的地圖制圖數(shù)據(jù)處理模型的理論與方法； 6、80年代，開(kāi)始把模糊數(shù)學(xué)、最優(yōu)化方法等現(xiàn)代數(shù)學(xué)引入專(zhuān)題地圖制圖的研究領(lǐng)域， 7、90年代以來(lái)，許多地圖制圖學(xué)者利用

3、數(shù)學(xué)形態(tài)學(xué)、分形理論和小波理論等現(xiàn)代數(shù)學(xué)對(duì)空間數(shù)據(jù)多尺度處理與表示進(jìn)行深入探討。,第一章 概述,1-1地圖制圖數(shù)據(jù)處理模型的發(fā)展,1-2 地圖制圖數(shù)據(jù)處理模型的應(yīng)用,地圖制圖綜合的數(shù)學(xué)模型 : 1選取指標(biāo)數(shù)學(xué)模型 2結(jié)構(gòu)選取數(shù)學(xué)模型 3圖形化簡(jiǎn)數(shù)學(xué)模型,第一章 概述,地圖制圖數(shù)據(jù)處理模型在專(zhuān)題地圖制圖中應(yīng)用 1地圖制圖要素的分級(jí)數(shù)學(xué)模型 2地圖制圖要素的相關(guān)數(shù)學(xué)模型 3地圖制圖要素空間分布趨勢(shì)的數(shù)學(xué)模型 4地圖制圖要素動(dòng)態(tài)分析和預(yù)測(cè)的數(shù)學(xué)模型 5地圖制圖要素信息簡(jiǎn)化的數(shù)學(xué)模型 6地圖制圖要素類(lèi)型劃分的數(shù)學(xué)模型,1-2地圖制圖數(shù)據(jù)處理模型的應(yīng)用,第一章 概述,1-2地圖制圖數(shù)據(jù)處理模型的應(yīng)用,第

4、一章 概述,空間數(shù)據(jù)多尺度處理數(shù)學(xué)模型 1.數(shù)學(xué)形態(tài)學(xué)模型 2.分形理論模型 3.小波理論模型 運(yùn)用現(xiàn)代數(shù)學(xué)方法部分解決了空間圖形數(shù)據(jù)多尺度處理與表示,第二章 數(shù)學(xué)基礎(chǔ),2-1地圖制圖數(shù)據(jù)處理模型的數(shù)理統(tǒng)計(jì)基礎(chǔ),一、地圖制圖數(shù)據(jù)類(lèi)型,二、地圖制圖數(shù)據(jù)的數(shù)字特征,三、地圖制圖數(shù)據(jù)的分布特征參數(shù),四、地圖制圖數(shù)據(jù)的標(biāo)準(zhǔn)化,一、地圖制圖數(shù)據(jù)類(lèi)型,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1定量數(shù)據(jù),（1）間隔尺度數(shù)據(jù) （2）比率尺度數(shù)據(jù),2定性數(shù)據(jù),（1）有序尺度數(shù)據(jù) （2）二元數(shù)據(jù) （3）名義尺度數(shù)據(jù),二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1頻數(shù)與頻率,設(shè)有一組數(shù)據(jù)為x1，x2，xn，

5、按一定的間距分組；在各組出現(xiàn)的次數(shù)稱為頻數(shù)，用fi表示；各組頻數(shù)與總頻數(shù)之比叫頻率，用pi表示。計(jì)算公式如下：,二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2平均數(shù)、數(shù)學(xué)期望、中位數(shù)和眾數(shù),（1）平均數(shù) 是表示地圖制圖數(shù)據(jù)分布的集中位置，用x表示。設(shè)有一組數(shù)據(jù)為x1，x2，xn，則x 為：,二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2平均數(shù)、數(shù)學(xué)期望、中位數(shù)和眾數(shù),（2）數(shù)學(xué)期望 數(shù)學(xué)期望Mx是以概率Pi為權(quán)的加權(quán)平均數(shù)，表示為：,二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2平均數(shù)、數(shù)學(xué)期望、中位數(shù)和眾數(shù),（3）中位數(shù) 中位數(shù)是按數(shù)值大小排列

6、的中間數(shù)，偶數(shù)列則為中間兩個(gè)數(shù)的平均值。 （4）眾數(shù) 眾數(shù)是出現(xiàn)次數(shù)最多的某一數(shù)值。,二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),3極差、離差、方差和變異系數(shù),這些數(shù)值是反映數(shù)據(jù)的離散程度。 （1）極差 極差是最大值與最小值的差值。 （2）離差 離差是各數(shù)值與平均值之差。,二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),3極差、離差、方差和變異系數(shù),（3）方差 方差是用離差平方和除以樣本容量得出的，它是反映各數(shù)值與平均值的離散程度的重要指標(biāo)。,二、地圖制圖數(shù)據(jù)的數(shù)字特征,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),3極差、離差、方差和變異系數(shù),（4）變異系數(shù) 變異系數(shù)是衡量要素

7、的相對(duì)變化（波動(dòng)）的程度。即：,三、地圖制圖數(shù)據(jù)的分布特征參數(shù),2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1偏態(tài)系數(shù),表示要素分布的不對(duì)稱性。,3是三階中心矩， s為標(biāo)準(zhǔn)差。當(dāng)Cv0時(shí)，眾數(shù)在平均值的左邊，稱為正偏；Cv0時(shí)，眾數(shù)在平均值的右邊，稱為負(fù)偏；當(dāng)Cv=0時(shí)，圖形對(duì)稱,三、地圖制圖數(shù)據(jù)的分布特征參數(shù),2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1偏態(tài)系數(shù),三、地圖制圖數(shù)據(jù)的分布特征參數(shù),2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2峰態(tài)系數(shù),表示分布圖形的峰度高低，是要素分布在均值附近的集中程度。,4是四階中心矩，s為標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)正態(tài)分布時(shí)，Ce=3；當(dāng)Ce 3時(shí)，稱為高峰態(tài)；Ce 3時(shí)，稱為底峰態(tài)。,三、地圖制圖數(shù)

8、據(jù)的分布特征參數(shù),2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2峰態(tài)系數(shù),四、地圖制圖數(shù)據(jù)的標(biāo)準(zhǔn)化,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化,設(shè)有n個(gè)單元，每個(gè)單元有m個(gè)數(shù)據(jù)，每個(gè)變量可記為xij；i=1，2，n；j=1，2，m。標(biāo)準(zhǔn)化后的變量xij為：,四、地圖制圖數(shù)據(jù)的標(biāo)準(zhǔn)化,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2極差標(biāo)準(zhǔn)化,標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化要計(jì)算標(biāo)準(zhǔn)差，為了方便，也可采用極差標(biāo)準(zhǔn)化，把變量變換到0和1范圍之內(nèi)。標(biāo)準(zhǔn)化后的變量xij為：,五、回歸分析,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1一元線性回歸,（1）回歸方程 一元線性回歸 主要是處理兩個(gè) 制圖變量x 與y之 間的線性關(guān)系。,2-1 數(shù) 理 統(tǒng) 計(jì)

9、基 礎(chǔ),設(shè)這條直線方程為: a,b是待定的參數(shù),對(duì)于每個(gè)x i對(duì)應(yīng)的觀測(cè)值yi與 之間有誤差,若有一條直線能使所有誤差平方和達(dá)到最小，那么，這條直線就稱為回歸直線。 令誤差平方和為Q，則 :,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),要使Q為最小，由微積分中求極值的原理可知，只要將Q分別對(duì)a、b求偏導(dǎo)數(shù)，然后令偏導(dǎo)數(shù)為0，即可求出a、b，令 :,即:,這樣：,其中：,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),根據(jù)以上公式可求出：,求出a、b后，便可寫(xiě)出y 對(duì)x 的回歸方程：,五、回歸分析,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),1一元線性回歸,（2）回歸方程的顯著性檢驗(yàn) 對(duì)一元線性回歸方程一般采用相關(guān)系數(shù)檢驗(yàn)法。相關(guān)系數(shù)

10、: 若計(jì)算出的r值大于查表（相關(guān)系數(shù)檢驗(yàn)表）值r，則認(rèn)為相關(guān)顯著，回歸方程有意義。是置信水平，1-代表置信度，如=005，表示可靠程度為95。,五、回歸分析,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2一元非線性回歸,（1）回歸方程 一元非線性回歸方程的求法一般是通過(guò)數(shù)學(xué)變換，使非線性關(guān)系化為線性關(guān)系，再利用線性回歸的方法解求非線性回歸方程。,五、回歸分析,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2一元非線性回歸,（1）回歸方程 當(dāng)變量x與y之間是冪函數(shù)關(guān)系: 對(duì)上式兩邊取對(duì)數(shù),令:,于是有:,代入直線 回歸方程：,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),2一元非線性回歸,（2）回歸方程的顯著性檢驗(yàn) 一元非線性回歸方程

11、的顯著性檢驗(yàn)，是檢驗(yàn)變量x 與y之間的關(guān)系是否有非線性回歸方程建立的這種非線性關(guān)系，即觀測(cè)點(diǎn)（xi，yi）與曲線的擬合程度的好壞，一般用相關(guān)指數(shù)進(jìn)行檢驗(yàn)。 相關(guān)指數(shù)： 式中： 若計(jì)算出的R值大于查表值R，則認(rèn)為相關(guān)顯著，回歸方程有意義。,五、回歸分析,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),3多元線性回歸分析,（1）多元線性回歸方程 設(shè)有p個(gè)自變量x1，x2，xp 與因變量y，它們有如下關(guān)系式,式中， 為待定參數(shù)。 設(shè)對(duì)變量x1，x2，xp ，y作了n次觀測(cè)，其中第k次觀測(cè)數(shù)據(jù)為： 令,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),將Q分別對(duì) 求偏導(dǎo)數(shù)，得方程:,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),由第一個(gè)方程得： 式

12、中： 將b0代入后面p個(gè)方程，整理得:,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),式中：,解出 可得,如果只有 三個(gè)變量，則,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),式中：,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),（2）多元線性回歸方程的顯著性檢驗(yàn) 對(duì)多元線性回歸方程的顯著性檢驗(yàn)一般采用F檢驗(yàn)法。統(tǒng)計(jì)量 式中： 如果計(jì)算值F大于查表值F，認(rèn)為回歸方程相關(guān)顯著，回歸方程有意義。,五、回歸分析,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),4多元非線性回歸分析,（1）多元非線性回歸方程 設(shè)有p個(gè)自變量x1，x2，xp 與因變量y，它們有如下關(guān)系式: 對(duì)上式兩邊取對(duì)數(shù)，得,令,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),于是有線性關(guān)系: 如果只有 三

13、個(gè)變量，則: 那么： 式中,2-1 數(shù) 理 統(tǒng) 計(jì) 基 礎(chǔ),（2）多元非線性回歸方程顯著性檢驗(yàn) 多元非線性回歸方程的顯著性檢驗(yàn)與多元線性回歸方程相似，采用F檢驗(yàn)法。統(tǒng)計(jì)量：,如果計(jì)算值F大于查表值F，認(rèn)為回歸方程相關(guān)顯著，回歸方程有意義。,一、模糊數(shù)學(xué)基礎(chǔ)知識(shí),2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),1模糊集合,模糊集合 由隸屬函數(shù) 來(lái)表征，隸屬函數(shù) 在0，1區(qū)間中取值，其大小反映元素x對(duì)模糊集合的隸屬度。,+,+,+,+,2模糊集合的基本運(yùn)算,（1）相等 把隸屬函數(shù)全部相等的兩個(gè)模糊集合稱為相等，即 則,+,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),2模糊集合的基本運(yùn)算,（2）補(bǔ)集 的補(bǔ)集為,+,+,（3）并

14、集 模糊集合 和 的并集 ，其隸屬函數(shù)為,+,+,+,+,+,+,記作,用模糊集合符號(hào)表示為,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（4）交集 模糊集合 和 的并集 ，其隸屬函數(shù)為,+,+,+,+,+,+,記作,用模糊集合符號(hào)表示為,3廣義模糊算子,由于在模糊集合運(yùn)算過(guò)程中信息損失偏多，運(yùn)算過(guò)程過(guò)于粗糙，不少數(shù)學(xué)學(xué)者提出適應(yīng)不同情況的模糊算子，提高了模糊集合運(yùn)算的精度。,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),+,（1）Zadeh模糊算子：“”，“”,（2）概率模糊算子：“”，“ ”,+,（3）有界模糊算子：“”，“”,+,（4）Einstain模糊算子：“ ”，“ ”,+,+,+,2-2 模 糊 數(shù) 學(xué)

15、基 礎(chǔ),+,（5）V模糊算子 :“ ”，“ ”,+,+,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),4地圖制圖數(shù)據(jù)處理模糊算子,實(shí)際地圖制圖數(shù)據(jù)處理中往往是要全面考慮各種因素對(duì)制圖要素的影響，不管這些因素在模糊處理過(guò)程中所起的作用大小，而且在運(yùn)算過(guò)程中信息量損失達(dá)到最小；這樣，可使地圖制圖數(shù)據(jù)處理的數(shù)學(xué)模型有較高的精度。我們稱這種模糊算子為M（，）模糊算子，即,+,二、模糊綜合評(píng)判,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),利用模糊綜合評(píng)判對(duì)地圖制圖數(shù)據(jù)處理中某些帶有模糊性的現(xiàn)象進(jìn)行評(píng)判時(shí)，就是研究“因素集”和“評(píng)判集”的模糊關(guān)系。,1模糊綜合評(píng)判,（1）因素集U 制圖現(xiàn)象（物體）的重要性取決于多種因素，這些因素構(gòu)

16、成一個(gè)集合，稱為因素集U U=(u1，u2，un) （2）評(píng)判集V 將制圖現(xiàn)象（物體）的重要性程度分為m個(gè)評(píng)價(jià)等級(jí)，它們構(gòu)成評(píng)判集V V=(v1，v2，vm),2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（3）模糊綜合評(píng)判矩陣 每個(gè)因素對(duì)各個(gè)等級(jí)都有一個(gè)評(píng)判結(jié)果，構(gòu)成單因素評(píng)判模糊集 n個(gè)因素的評(píng)判構(gòu)成模糊綜合評(píng)判矩陣,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（4）因素權(quán)重集 由于各個(gè)因素對(duì)制圖現(xiàn)象（物體）的影響程度不一樣，所以要對(duì)這些因素分配不同的權(quán)重。,（5）模糊綜合評(píng)判結(jié)果集 根據(jù)模糊綜合評(píng)判矩陣和因素權(quán)重集，通過(guò)模糊變換可得評(píng)判結(jié)果 根據(jù)最大隸屬原則，在 中，看誰(shuí)的數(shù)值最大，評(píng)判結(jié)果就評(píng)定為相應(yīng)的等級(jí)。,

17、2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（1）因素集U 設(shè)因素集U=（u1，u2，un），其中ui是第一級(jí)因素（大因素）。第一級(jí)因素可由相應(yīng)的第二級(jí)因素綜合評(píng)定，第二級(jí)因素可由相應(yīng)的第三級(jí)因素綜合評(píng)定，依次類(lèi)推。將因素集U根據(jù)一定屬性和層次列出第二、第三、,2模糊多層次綜合評(píng)判,其中， ui=（c1，c2， ，cm） （i=1，2，n） cj=（w1，w2， ，wl） （j=1，2，m） wk=（e1，e2， ，et） （k=1，2，l）,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（2）評(píng)價(jià)等級(jí)集V 假設(shè)評(píng)定等級(jí)為d個(gè)級(jí)別，則 V=(v1，v2，vd) 需要注意的是各級(jí)因素的評(píng)價(jià)等級(jí)個(gè)數(shù)應(yīng)相等，即V對(duì)ui ，c

18、j ，wk ， 均適用。,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（3）因素權(quán)重集 U中的n個(gè)子集為一級(jí)因素，相應(yīng)的權(quán)重為一級(jí)權(quán)重集，即 Pu=（p1，p2，pn） 且 uI中各因素權(quán)重為二級(jí)權(quán)重集，即 Pui=（pi1，pi2，pim） 且,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),（4）評(píng)價(jià)計(jì)算 為了敘述方便，以三級(jí)模型為例，并設(shè)評(píng)定為四個(gè)級(jí)別，即 V=(v1，v2，v3，v4) 先求出cj的單因素評(píng)價(jià)矩陣。對(duì)cj中第k個(gè)因素進(jìn)行簡(jiǎn)單的模糊評(píng)判，得出評(píng)價(jià)集的隸屬度，即 （rk1 ，rk2 ，rk3 ，rk4），k=1，2，l 且,當(dāng)k遍取1，2，l后，得到模糊關(guān)系矩陣,2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),由 與

19、三級(jí)評(píng)價(jià)因素的權(quán)重集，算得cj的評(píng)價(jià)結(jié) 果為 cj=（pij1 ，pij2 ，pijl）（rij）l4= （bij1 ，bij2 ，bij3 ，bij4 ），（j=1，2，m),2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),構(gòu)造第二級(jí)模糊綜合評(píng)判矩陣。以cj（j=1，2，m）的評(píng)價(jià)結(jié)果為行向量，作出ui的模糊綜合評(píng)判矩陣,由 與二級(jí)因素權(quán)重Pui算得ui 的評(píng)判結(jié)果為 ui=（pi1 ，pi2 ，pim）（rij）m4=（bi1 ，bi2 ，bi3 ，bi4 ），（i=1，2，n),2-2 模 糊 數(shù) 學(xué) 基 礎(chǔ),由U的各子集ui的評(píng)判結(jié)果構(gòu)成U的單因素評(píng)判矩陣,由與一級(jí)因素權(quán)重Pu，算得模糊多層次綜合評(píng)判

20、結(jié)果U U=（p1 ，p2 ，pn）（rij）n4=（b1，b2 ，b3 ，b4 ） 根據(jù)最大隸屬度原則，b1，b2 ，b3 ，b4四個(gè)數(shù)值中誰(shuí)最大，評(píng)判結(jié)果定為相應(yīng)的等級(jí)。,第二章 數(shù)學(xué)基礎(chǔ),2-3地圖制圖數(shù)據(jù)處理模型的信息論基礎(chǔ),一、熵函數(shù),1不肯定程度與信息量 不同事件的不肯定程度是不一樣的。發(fā)生概率越小的事件，不肯定程度就越大；發(fā)生概率越大的事件，不肯定程度就小。小概率事件發(fā)生了，信息量很大，如飛機(jī)失事，各大新聞媒體相互轉(zhuǎn)載發(fā)表，這是因?yàn)樵撓⒌男畔⒘看?。事件不肯定程度越大信息量就越大?設(shè)事件,2-3 信 息 論 基 礎(chǔ),則有熵函數(shù),2熵函數(shù)的定義 熵函數(shù)是衡量事件不肯定程度的數(shù)學(xué)表

21、達(dá)式。,2-3 信 息 論 基 礎(chǔ),3熵函數(shù)的性質(zhì) （1）熵函數(shù)的非負(fù)性 概率p(xi)滿足1p(xi) 0，所以，H(X) 0 （2）熵函數(shù)的連續(xù)性 從（2-43）可以看出，熵函數(shù)是連續(xù)函數(shù)，如果概率值發(fā)生很小的變化，熵函數(shù)也會(huì)作很小變化。 （3）熵函數(shù)的確定性 當(dāng)p=0或p=1時(shí)， H(X)=0 在概率論中，前者稱為不可能事件，后者稱為必然事件，它們都沒(méi)有不肯定性。,2-3 信 息 論 基 礎(chǔ),（4）熵函數(shù)的最大值 在等概率情況下，熵函數(shù)的值最大。當(dāng),時(shí),（5）在等概率條件下，隨著可能結(jié)局量n的增加，不肯定程度增大。,2-3 信 息 論 基 礎(chǔ),（6）熵的可加性 如果某一事件A是由n個(gè)互不

22、相容事件A1，A2，An所組成的完備事件 A= A1+A2+An,假設(shè)An事件是由An1， An2， Anm所組成的完備事件，則有 H(A)=H(A)+p(An)H(An) 這就是熵的可加性。事件的新熵等于原熵加上某一事件概率乘以某一事件熵。,2-3 信 息 論 基 礎(chǔ),4連續(xù)隨機(jī)變量的熵 連續(xù)變量總是可以用離散變量來(lái)逼近的，根據(jù)前式有連續(xù)隨機(jī)變量的熵函數(shù):,對(duì)于正態(tài)分布隨機(jī)變量，它的密度函數(shù)為：,正態(tài)分布的熵與數(shù)學(xué)期望無(wú)關(guān)，只與方差有關(guān)。,2-3 信 息 論 基 礎(chǔ),5多維熵 由兩個(gè)或兩個(gè)以上隨機(jī)變量組成的熵稱為多維熵。設(shè)有兩個(gè)離散隨機(jī)變量 X=(x1，x2，xn) Y=(y1，y2，ym)

23、 則有聯(lián)合熵,對(duì)于連續(xù)隨機(jī)變量有,可以推廣到兩個(gè)以上隨機(jī)變量的熵。 多維熵有基本特性 H（X，Y）H（X）+H（Y）,2-3 信 息 論 基 礎(chǔ),6條件熵 兩個(gè)隨機(jī)變量的條件熵為,根據(jù)概率乘法定理 P(X/Y)=p(X/Y)p(Y)=p(Y/X)p(X) 有,同樣可以有,條件熵的基本性質(zhì),二、信息量,1信息量的定義 信息量是不肯定程度減小的量。包含在Y變量中關(guān)于X變量的信息量為 Ix(Y)=H(Y)-H(Y/X) 還可以寫(xiě)成 Ix(Y)=H(Y)+H(X)-H(X,Y) 2信息量的特性 （1）信息量的非負(fù)性 因?yàn)?H(Y)H(Y/X) 所以 Ix(Y)=H(Y)-H(Y/X) 0,2-3 信

24、息 論 基 礎(chǔ),（2）Ix(Y) =Iy(X) 由于 Ix(Y)= H(Y)-H(Y/X)=H(Y)+H(X)-H(X,Y) Iy(X)= H(X)-H(X/Y)=H(X)+H(Y)-H(X,Y) 所以 Ix(Y) =Iy(X) 這表明X中包含Y的信息量和Y中包含X的信息量相等。 （3）當(dāng)X與Y相互獨(dú)立，信息 Ix(Y) =Iy(X)=0 當(dāng)X與Y相互獨(dú)立時(shí)，有 H(X/Y)=H(X) H(Y/X)=H(Y) 信息 Ix(Y) =H(Y)-H(Y/X)=H(Y)-H(Y)=0 Iy(X)= H(X)-H(X/Y)=H(X)-H(X)=0,2-3 信 息 論 基 礎(chǔ),3地圖上用熵表示信息量 信息

25、量是不肯定程度減小的量，可通過(guò)熵來(lái)確定。在地圖制圖數(shù)據(jù)處理中，一般都假設(shè)地圖信息能被人們?nèi)拷邮埽藭r(shí)，地圖要素不肯定程度減小的量就是地圖要素的熵，從這個(gè)意義來(lái)講，可以直接用熵表示信息量。,2-3 信 息 論 基 礎(chǔ),4信息與相關(guān) 根據(jù)前式有,2-3 信 息 論 基 礎(chǔ),對(duì)于條件熵有,所以,式中，r是兩個(gè)隨機(jī)變量X和Y的相關(guān)系數(shù)。,2-3 信 息 論 基 礎(chǔ),三、信息論的幾個(gè)重要概念,1最大熵 在等概率情況下，熵函數(shù)的值最大。這時(shí)的熵稱為最大熵，根據(jù)前式有最大熵 Hmax=logn 2相對(duì)熵 變量實(shí)有熵同它可能最大熵之比，稱為相對(duì)熵，即 3剩余熵 在熵沒(méi)有達(dá)到最大值時(shí)，表示一部分信息沒(méi)有參加活動(dòng)，稱為剩余熵，也稱冗余度，即 R=1-H0,4信息量的單位 信息量的單位是按對(duì)數(shù)的低來(lái)區(qū)分。以2為低的對(duì)數(shù)計(jì)算得到的信息量的單位為bit（比特），是信息量最常用的單位。以3、e、10為低的對(duì)數(shù)計(jì)算的信息量的單位，分別為tet（鐵特）、net（奈特）、det（笛特）。,2-3 信 息 論 基 礎(chǔ),三、信息論的幾個(gè)重要概念,第二章 數(shù)學(xué)基礎(chǔ),2-4地圖制圖數(shù)據(jù)處理模型的圖論基礎(chǔ),一、基本概念,圖論是借助事物的抽象圖形來(lái)研究