實(shí)驗(yàn)一-灰度圖像信息熵的相關(guān)計(jì)算與分析(共6頁(yè))

1、實(shí)驗(yàn)一 灰度圖像信息熵的相關(guān)計(jì)算與分析姓名：學(xué)號(hào)：姓名：學(xué)號(hào)：姓名：學(xué)號(hào)：姓名：學(xué)號(hào)：一、實(shí)驗(yàn)?zāi)康?、復(fù)習(xí)信息熵，條件熵，聯(lián)合熵，互信息，相對(duì)熵的基本定義, 掌握其計(jì)算方法，學(xué)習(xí)互信息與相對(duì)熵的區(qū)別之處并比較兩者的有效性，加深對(duì)所學(xué)理論理論知識(shí)的理解。 2、掌握?qǐng)D像的的基本處理方法，了解圖像的編碼原理。 3、學(xué)習(xí)使用matlab，掌握matlab的編程。 4、通過(guò)對(duì)比分析，。在解決問(wèn)題的過(guò)程中，鍛煉自身對(duì)問(wèn)題的研究能力。二、實(shí)驗(yàn)內(nèi)容與要求 1、計(jì)算灰度圖像的信息熵，條件熵，聯(lián)合熵，互信息，相對(duì)熵，并比較互信息和相對(duì)熵在判別兩幅圖像的聯(lián)系與區(qū)別。 2、利用matlab編程計(jì)算，并書寫完整實(shí)驗(yàn)報(bào)告

2、。 三、實(shí)驗(yàn)原理 1、信息熵離散隨機(jī)變量X的熵H(X)為：圖像熵是一種特征的統(tǒng)計(jì)形式，它反映了圖像中平均信息量的多少。圖像的一 維熵表示圖像中灰度分布的聚集特征所包含的信息量，將圖像的灰度值進(jìn)行數(shù)學(xué)統(tǒng)計(jì)，便可得到每個(gè)灰度值出現(xiàn)的次數(shù)及概率，則定義灰度圖像的一元灰度熵為： 利用信息熵的計(jì)算公式便可計(jì)算圖像的信息熵，求出任意一個(gè)離散信源的熵（平均自信息量）。自信息是一個(gè)隨機(jī)變量,它是指某一信源發(fā)出某一消息所含有的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。任何一個(gè)消息的自信息量都代表不了信源所包含的平均自信息量。 信息熵的意義：信源的信息熵H是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。它是從平均意義

3、上來(lái)表征信源的總體特性的。對(duì)于某特定的信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。圖像的一維熵可以表示圖像灰度分布的聚集特征，卻不能反映圖像灰度分布的空間特征，為了表征這種空間特征，可以在一維熵的基礎(chǔ)上引入能夠反映灰度分布空間特征的特征量來(lái)組成圖像的二維熵。選擇圖像的鄰域灰度均值作為灰度分布的空間特征量，與圖像的像素灰度組成特征二元組，記為( i, j )，其中i 表示像素的灰度值，j 表示鄰域灰度, 上式能反應(yīng)某像素位置上的灰度值與其周圍像素灰度分布的綜合特征，其中 f(i, j)為特征二元組(i, j)出現(xiàn)的頻數(shù)，N 為圖像的尺度，定義離散的圖像二維熵為： 構(gòu)造的圖像二維

4、熵可以在圖像所包含信息量的前提下，突出反映圖像中像素位置的灰度信息和像素鄰域內(nèi)灰度分布的綜合特征。 2、聯(lián)合熵離散型隨機(jī)變量（X,Y）的聯(lián)合分布函數(shù)為,其聯(lián)合熵：3、條件熵若，則條件熵為： 4、相對(duì)熵相對(duì)熵是對(duì)兩種分布之間的偏移的測(cè)量，在統(tǒng)計(jì)學(xué)中，以概率比的對(duì)數(shù)的期望形式出現(xiàn)。相對(duì)熵是兩個(gè)概率分布P和Q差別的非對(duì)稱性的度量。是用來(lái)度量使用基于Q的編碼來(lái)編碼來(lái)自P的樣本平均所需的額外的比特個(gè)數(shù)。典型情況下，P表示數(shù)據(jù)的真實(shí)分布，Q表示數(shù)據(jù)的理論分布，模型分布，或P的近似分布。相對(duì)熵的定義如下： p(x) 和 q(x)之間相關(guān)熵為 5、互信息互信息是一個(gè)隨機(jī)變量包含另一個(gè)隨機(jī)變量多少的一個(gè)量度，是

5、一個(gè)隨機(jī)變量由另一個(gè)隨機(jī)變量的信息其不確定性的減少。 互信息的定義如下：兩個(gè)隨機(jī)變量X和Y，聯(lián)合概率分布函數(shù)p(x, y)，邊緣概率分布函數(shù)為p(x)和p(y)，互信息為聯(lián)合分布和分布乘積之間的相對(duì)熵?；バ畔⑹且挥杏玫男畔⒍攘浚竷蓚€(gè)事件集合之間的相關(guān)性，互信息的值越大（小），相關(guān)程度越高（低）。相對(duì)熵是兩個(gè)概率分布差別的非對(duì)稱性的度量，是用來(lái)度量使用基于一個(gè)的編碼來(lái)編碼來(lái)自另一個(gè)的樣本平均所需的額外的比特個(gè)數(shù)，相對(duì)熵的值越大（?。?，非對(duì)稱性的量度越大（?。瑐?cè)面反映相關(guān)程度的低（高）。兩者都可以用來(lái)衡量?jī)煞鶊D像的相關(guān)程度，但是也有區(qū)別。四、實(shí)驗(yàn)步驟 1) 輸入一幅圖像，并將其轉(zhuǎn)換成灰度圖像。

6、 2) 統(tǒng)計(jì)出圖像中每個(gè)灰度階象素概率。 3) 統(tǒng)計(jì)出圖像中相鄰兩象素的灰度階聯(lián)合分布矩陣。 4) 計(jì)算出每幅圖像的熵和成對(duì)圖像的條件熵，聯(lián)合熵，互信息，相對(duì)熵 5）分析實(shí)驗(yàn)結(jié)果。五、實(shí)驗(yàn)結(jié)果及分析1）表1.各個(gè)圖片的信息熵與圖一之間的聯(lián)合熵，互信息，條件熵以及相對(duì)熵。信息熵聯(lián)合熵互信息條件熵相對(duì)熵圖一7.597614.75570.50427.09930.0174圖二7.66247.1581圖一7.597614.86690.44257.15500.0395圖三7.71197.2693圖一7.597614.93640.39927.19840.0599圖四7.73807. 3388圖一7.5976

7、14.52110.73236.86520.0088圖五7.65596.92352）實(shí)驗(yàn)中生成的灰度圖像：圖一對(duì)比圖對(duì)比圖與圖一相同部分3）結(jié)果分析：從原始圖像可以看出圖1分別與圖2，圖3，圖4的差別原來(lái)越大。從計(jì)算結(jié)果上看，它們的互信息的值越來(lái)越小、相對(duì)熵的值越來(lái)越大，與實(shí)際相符，結(jié)果正確?；仡櫥バ畔⑴c相對(duì)熵的定義，我們可以了解到互信息是一種有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性，因此互信息越大，二者的相似程度就越高。而相對(duì)熵基于熵來(lái)定義，其直觀意義是用p進(jìn)行編碼平均比q多的比特?cái)?shù)，也就是p與q的差距，p與q差距越大相對(duì)熵就越大。用兩者不同的信息去衡量相同的信息，會(huì)產(chǎn)生較大的誤差。所以在衡量?jī)蓚€(gè)隨機(jī)變量的相關(guān)程度時(shí)，互信息要比相對(duì)熵有優(yōu)勢(shì)，效果會(huì)更好一些。六、心得體會(huì)本次大作業(yè)我們首先對(duì)之前學(xué)過(guò)的知識(shí)復(fù)習(xí)一下，加深對(duì)信息熵、聯(lián)合熵、互信息、條件熵以及相對(duì)熵的理解。對(duì)于KL散度,雖然老師上課有專門講解過(guò),但是具體操作的時(shí)候還是概念不太清晰,為此我們參考網(wǎng)絡(luò)已有的資料又重新學(xué)習(xí)了一下。在圖像的選擇方面，我們剛開始決定用一組圖像來(lái)計(jì)算，