第4章離散信道

第4章離散信道4.1離散信道的數(shù)學(xué)模型4.2信道的分類4.3離散無記憶信道4.4信道的組合4.5信道容量

本章小結(jié)4.1離散信道的數(shù)學(xué)模型信道數(shù)學(xué)模型由于干擾的存在，信道的輸出Y與信道的輸入X不完全相同，用條件概率p(y|x)描述信道特性。而輸入和輸出又有各自的統(tǒng)計特性，分別用和表示。為什么要研究信道？因為信道上存在干擾！【例4-1，P50】在一個非常安靜的教室里，老師說“這個袋子里裝有4個蘋果”，學(xué)生聽到后，能夠非?？隙ǖ嘏袛嗬蠋熣f的就是“這個袋子里裝有4個蘋果”；在一個非常嘈雜的教室里，老師說“這個袋子里裝有4個蘋果”，有的學(xué)生聽成“這個袋子里裝有4個蘋果”；有的學(xué)生聽成“這個袋子里裝有10個蘋果”；學(xué)生都不能肯定自己聽到的是對的；若將老師說的作為信道輸入，學(xué)生聽的是信道輸出，前者是無干擾（無噪聲）信道，后者是有干擾（有噪聲）信道。4.2信道的分類根據(jù)傳輸媒質(zhì)（狹義信道）分

有線信道：明線、對稱電纜、同軸電纜及光纜等。

無線信道：地波傳播、短波電離層反射、超短波或微波視距中繼、人造衛(wèi)星中繼以及各種散射信道等。根據(jù)統(tǒng)計特性恒參信道：信道的統(tǒng)計特性不隨時間變化。如明線、對稱電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計特性隨時間發(fā)生變化。大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對流層散射信道等。根據(jù)輸入輸出符號的時間特性離散信道：又稱數(shù)字信道。該類信道中輸入空間、輸出空間均為離散時間集合，集合中事件的數(shù)量是有限的，或者無限的，隨機變量取值都是離散的。如GSM。連續(xù)信道：又稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的，即隨機變量的取值數(shù)量是無限的，或者不可數(shù)的。

如：有線電視、廣播。半離散半連續(xù)信道：輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機變量一個是離散的，另一個是連續(xù)的。如手機與固話之間的信道。根據(jù)輸入輸出個數(shù)兩端信道（單用戶信道）：電話多元接入信道：信道的復(fù)用廣播信道：廣播兩端信道輸入輸出多元接入信道廣播信道輸入端輸入端輸入端輸入端輸出端輸出端輸出端輸出端輸出端輸入端多元接入信道的例子【例4-2，P51】第二代或者第三代移動通信都屬于多元接入信道，這是因為多個用戶發(fā)送的消息經(jīng)過編碼之后，是通過一個信道傳輸?shù)?，即采用信道?fù)用技術(shù)；兩者復(fù)用方法不同：第二代移動通信系統(tǒng)采用時分復(fù)用技術(shù)；第三代移動通信系統(tǒng)采用碼分復(fù)用技術(shù)。根據(jù)記憶特性無記憶信道：信道的輸出僅與當(dāng)前的輸入有關(guān)，與以前的輸入無關(guān)。有記憶信道：信道的輸出不僅與當(dāng)前的輸入有關(guān)，與以前的輸入也有關(guān)系。根據(jù)出現(xiàn)差錯的概率：

隨機差錯信道：信道中傳輸碼元所遭受的噪聲是隨機的、獨立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯誤不會成串出現(xiàn)。如：高斯白噪聲信道。

突發(fā)差錯信道：信道中噪聲或干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，使碼元錯誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動通信的信道、光盤存儲屬于該類信道。幾種特殊信道無噪無損信道：輸入集和輸出集之間存在一一對應(yīng)的關(guān)系。有噪無損信道：有噪無損信道的一個輸入符號可能對應(yīng)多個輸入符號，而一個輸出符號只對應(yīng)一個輸入符號。無噪有損信道：無噪有損信道的一個輸入符號只對應(yīng)一個輸入符號，而一個輸出符號可能對應(yīng)多個輸入符號。無用信道：輸入與輸出相互獨立，沒有任何關(guān)系。4.3離散無記憶信道4.3.1離散信道的數(shù)學(xué)模型4.3.2信道疑義度和噪聲熵4.3.3信道的平均互信息及含義單符號離散無記憶信道單符號信道：信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性；信道的分析可簡化為對單個符號的信道分析，此時輸入、輸出可以看做是單符號的。單符號離散無記憶信道：信道的輸入、輸出隨機變量又都是離散的。數(shù)學(xué)模型設(shè)離散信道的輸入變量為X，輸出變量為Y，對應(yīng)的概率空間分別為

輸入符號集合的元素個數(shù)為r，輸出符號集合的元素個數(shù)為s。4.3.1離散無記憶信道的數(shù)學(xué)模型信道轉(zhuǎn)移概率離散無記憶信道中，當(dāng)前的輸出yj僅與當(dāng)前的輸入xi有關(guān)，與過去的輸入無關(guān)，即yj出現(xiàn)的概率僅與xi有關(guān)，即一組條件概率：叫作信道轉(zhuǎn)移概率。其中含義：表示輸入符號是xi時，輸出符號是yj的概率。即：通過信道傳輸，xi轉(zhuǎn)移為yj的概率。信道轉(zhuǎn)移矩陣（信道矩陣）輸入有r個符號：輸出有s個符號：所有r×s個條件概率構(gòu)成一個矩陣：

該矩陣稱為：信道轉(zhuǎn)移矩陣或者信道矩陣

說明信道矩陣可以簡記為其中：由于信道中存在干擾或者噪聲，信道輸入符號與輸出符號之間并不是一一對應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計方法。輸入，由于傳輸?shù)倪^程中出現(xiàn)錯誤，用條件轉(zhuǎn)移概率

可以表示輸出為yj

的各種可能性。假設(shè)串口通信的誤碼率為4%，即A發(fā)送“0”而B接收到“1”的概率是0.04，A發(fā)送“1”而B接收到“0”的概率也是0.04，可以得到該信道的信道轉(zhuǎn)移矩陣；此信道稱為二元（進制）對稱信道（BSC）【例4-3，P53】二元對稱信道（簡稱為BSC（BinarySymmetricChannel））二元：輸入和輸出符號集均為{0,1}，即r=s=2。對稱：1變成0和0變成1的概率相等。p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=pBSC的信道矩陣：注：這種信道的輸出符號僅與對應(yīng)時刻輸入符號有關(guān),與以前輸入無關(guān)，故稱此信道是無記憶信道。4.3.2信道疑義度和噪聲熵【例4-1（續(xù)），P50】1、信道疑義度在嘈雜的環(huán)境中，學(xué)生對老師講的話有“疑義”，如何衡量這種疑義的大小呢？【定義4-1】

稱信道輸入空間X對輸出空間Y的條件熵為信道疑義度。信道疑義度含義：收到全部輸出符號Y以后，對輸入符號X尚存在的平均不確定性。這種不確定性是由信道干擾引起的。對有噪無損信道：H(X|Y)=0（例4-4給出）。H(X|Y)≤H(X)：收到輸出符號Y以后，總能消除一些對X的不確定性，獲得一些信息。2、噪聲熵【定義4-2】

稱信道輸出空間Y對輸入空間X的條件熵為噪聲熵。噪聲熵含義：與信道疑義度一樣，源于噪聲干擾。從不同角度衡量了噪聲干擾對信息傳輸?shù)挠绊?。對無噪有損信道：H(Y|X)=0（例4-4給出）。H(Y|X)≤H(Y)。【例4-4，P54】考慮4.2節(jié)介紹的三種特殊信道的“信道疑義度”和“噪聲熵”。

信道疑義度和噪聲熵例子11、無噪無損信道：由于觀察到輸出之后，對信道輸入不存在不確定性，因此信道疑義度H(X|Y)=0。由于輸入符號肯定能被正確傳輸，因此噪聲熵H(Y|X)=02、有噪無損信道：由于觀察到輸出之后，對信道輸入不存在不確定性，因此信道疑義度H(X|Y)=0。由于輸入符號經(jīng)過傳輸之后有多種情況出現(xiàn)，因此噪聲熵H(Y|X)≠03、無噪有損信道：由于觀察到輸出之后，對信道的輸入存在不確定性，因此信道疑義度H(X|Y)≠0。由于輸入符號肯定能被正確傳輸，因此噪聲熵H(Y|X)=0【例4-5，P54】接例4-3，假設(shè)串口0和1的分布為等概分布，信道矩陣為：信道疑義度和噪聲熵例子2試計算該信道的信道疑義度和噪聲熵。解：根據(jù)已知條件有各種概率計算則聯(lián)合概率分布為Y的分布為PX︱Y為因此，信道疑義度為噪聲熵為4.3.3信道的平均互信息及含義【定義4-3】原始信源熵與信道疑義度之差稱為平均互信息。I(X;Y)=H(X)-H(X|Y)傳遞過去的信息量=原有信息量-未傳遞過去的信息量。平均互信息的公式化表示：可見平均互信息是信源分布、信道參數(shù)的函數(shù)。疑義度和噪聲熵說明含義接收到信道的輸出符號集Y之后，平均每個符號獲得的關(guān)于信道輸入符號集X的信息量，即通過信道傳送過去的信息量。平均互信息的性質(zhì)：（回顧）非負(fù)性；互易性（對稱性）：I(X;Y)=I(Y;X)極值性：I(X;Y)≤H(X);I(X;Y)≤H(Y);凸函數(shù)性（下面給出兩個定理）凸函數(shù)兩個定理【定理4-1】

對于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù)。固定信道：信道傳遞概率p(y|x)不變信源信道證明兩個定理【定理4-2】

對于固定的信源分布，平均互信息I(X;Y)是信道傳遞概率p(y|x)的下凸函數(shù)。固定信源：信源概率分布p(x)不變信源信道證明平均互信息的例子【例4-6，P57】

一個二元對稱信道，信道輸入（信源）和信道矩陣如下：試計算該信道的互信息量，并說明它是信源的上凸函數(shù)、信道的下凸函數(shù)。非矩陣解法解：

聯(lián)合概率分布為Y的分布為因此，互信息量為固定信道p固定從0到1變化固定信源固定p從0到1變化對固定信道，即p為一個固定常數(shù)，而信源變化，即ω從0到1變化時，平均互信息I(X:Y)的圖形如圖所示，從途中可以看出，平均互信息是信源的上凸函數(shù)；對固定信源，即ω為一個固定常數(shù)，而信道變化，即p從0到1變化時，平均互信息I(X:Y)的圖形如圖所示，從途中可以看出，平均互信息是信道的下凸函數(shù)；非矩陣解法4.4信道的組合信道的組合實際中常常遇到兩個或多個信道組合在一起使用組合方式并行：積信道串行：級聯(lián)信道例如：Internet例如：GSM本節(jié)重點介紹級聯(lián)信道（串聯(lián)信道）級聯(lián)信道模型：信道1的傳遞概率記為p(y|x)；信道2的傳遞概率記為p(z|xy)。信道Ip(y|x)信道IIp(z|xy)XYZ級聯(lián)信道（串聯(lián)信道）【引理4-1】級聯(lián)信道中，平均互信息滿足以下關(guān)系I(XY;Z)≥I(Y;Z)I(XY;Z)≥I(X;Z)等號成立的充要條件是，對所有的x,y,z有證明等號成立的條件是，說明級聯(lián)信道輸出Z僅依賴于Y，而與前面的X無關(guān)；這意味著X,Y,Z構(gòu)成一個馬爾可夫鏈。說明【定理4-3】若隨機變量X,Y,Z構(gòu)成一個馬爾可夫鏈，即則有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)定理4-3叫做數(shù)據(jù)處理定理；它的含義是通過串聯(lián)信道的傳輸，只會丟失信息，不會增加信息，至多保持原來的消息量。這是信息不增性原理。即信息只能來自信源，不會來自信道。證明說明【例4-7，P60】

兩個離散二元對稱信道串聯(lián)，第一個信道輸入為：兩個信道的信道矩陣相同，均為如果X,Y,Z構(gòu)成一個馬爾可夫鏈，試比較單個信道和串聯(lián)信道的平均互信息。級聯(lián)信道例1解：根據(jù)例4-6，可以得到單個信道的平均互信息為：一個馬爾可夫鏈，則串聯(lián)信道總的信道矩陣為根據(jù)平均互信息定義，可以算出串聯(lián)信道平均互信息：

I(X;Z)=1-H(2p(1-p))從圖中能夠看出I(X;Z)≤I(X;Y)

即：單個信道的平均互信息大于串聯(lián)信道的平均互信息。級聯(lián)信道例1【例4-8，P60】一個串聯(lián)信道如圖所示。X,Y,Z構(gòu)成馬爾可夫鏈，求總的信道矩陣：解：由圖可知：信道I和信道II的信道矩陣分別為級聯(lián)信道例2X,Y,Z構(gòu)成一個馬爾可夫鏈，則因此，串聯(lián)信道的等效信道如圖所示：級聯(lián)信道例24.5信道容量4.5.1信息傳輸率4.5.2信道容量的定義及含義4.5.3三種特殊信道的信道容量4.5.4對稱信道的信道容量4.5.5一般信道的容量4.5.6信源和信道的匹配在信息傳輸過程中，信道每傳遞一個符號所能攜帶（載荷）的平均信息量稱為信道的信息傳輸率，記作R。單位：比特/符號：若平均傳輸一個符號需要t秒，而每一個符號傳送的信息量為I(X;Y)，則信道每秒傳輸?shù)男畔⒘繛?/p>

單位：比特/秒(bps)通常將Rt稱為信息傳輸速率，或者傳輸速率。4.5.1信息傳輸率信息傳輸速率例【例4-9，P61】幾種常見無線通信系統(tǒng)的傳輸速率。紅外通信115Kbps~4Mbps無線局域網(wǎng)藍(lán)牙1～2MbpsHomeRF1.6～10Mbps802.11b11Mbps802.11g54Mbps802.11a54～108Mbps移動通信2G9.6～19.2Kbps3G144Kbps～2.4Mbps微波通信150Mbps通信衛(wèi)星1GMbps4.5.2信道容量的定義及含義【定義4-4】

信道容量定義為平均互信息的最大值：單位是比特/符號。對于固定的信道，平均互信息I(X:Y)的是信源的上凸函數(shù)；因此對于給定的信道，總存在一種信源分布，使平均互信息I(X:Y)達到最大值。即：傳輸每一個符號平均獲得的信息量最大；這個最大的信息傳輸率稱為該信道的信道容量。信道容量說明：由定理4.2.1知，I(X;Y)是p(x)的上凸函數(shù)，稱使I(X;Y)取最大值的p(x)為最佳輸入分布。信道容量表示信道傳送信息的最大能力。由I(X;Y)的定義式可知，I(X;Y)是由信道特性p(y|x)和信源特性p(x)共同決定的，但是容量C已對所有可能的p(x)取最大值，因此

容量C僅與信道特性p(y|x)有關(guān)，也就是說，容量C是信道的固有特性，與信源無關(guān)。信道容量的例子例4-6已計算平均互信息當(dāng)信源等概分布，即ω=1/2時，I(X;Y)取最大值：【例4-10，P62】接例4-6，計算二元對稱信道的信道容量。解：二元對稱信道容量曲線說明：信道容量C僅為信道錯誤傳遞概率的函數(shù)；錯誤傳遞概率p不同，二元對稱信道容量不同當(dāng)p=1/2時，是一種最壞的信道，C=0，信息全部損失在信道中了；當(dāng)p=0或1時，C=1是，信道能夠無失真?zhèn)鬟f信源信息；4.5.3三種特殊信道的信道容量三種特殊信道無噪無損信道有噪無損信道無噪有損信道假設(shè)信道輸入有r個符號：輸出有s個符號：無噪無損信道輸出與輸入是一一對應(yīng)關(guān)系，即信道矩陣為單位矩陣。因此信道疑義度H(X|Y)=0，噪聲熵H(Y|X)=0。則I(X;Y)=H(X)-H(X|Y)=H(X)=H(Y)-H(Y|X)=H(Y)因此信道容量其中：r=s最佳輸入分布為等概分布。r=s=4有噪無損信道一個輸入對應(yīng)多個互不相交的輸出，即信道矩陣的每一列只有一個非零元素。由于知道輸出之后，必然能夠確定其對應(yīng)的輸入是什么，因此信道疑義度H(X|Y)=0。則I(X;Y)=H(X)-H(X|Y)=H(X)因此信道容量r=3s=6無噪有損信道一個輸出對應(yīng)多個互不相交的輸入，即信道矩陣的每一行只有一個“1”，其余元素均為0。由于知道輸出之后，必然能夠確定其對應(yīng)的輸入是什么，因此噪聲熵H(Y|X)=0。則I(X;Y)=H(Y)-H(Y|X)=H(Y)因此信道容量r=6s=34.5.4對稱信道的信道容量【定義4-5】

信道矩陣的每一行都是其他行的不同排列，則稱此類信道為輸入對稱信道。離散信道由信道矩陣描述；信道矩陣具有不同的特性，信道將有不同的特性；有一類特殊的離散信道，信道矩陣具有很強的對稱性。【定義4-6】

信道矩陣的每一列都是其他列的不同排列，則稱此類信道為輸出對稱信道。【定義4-7】

若一個離散無記憶信道，既是輸入對稱信道，又是輸出對稱信道，這類信道稱為對稱信道。對稱信道的例子【例4-11，P63】給出4個信道矩陣，判斷它們屬于何種類型的信道。解：P1中兩行都是由1/3和1/6構(gòu)成，輸入對稱信道；P2中兩列都是由0.4、0.6和0.5構(gòu)成，輸出對稱信道。P3中兩行都是由1/3和1/6構(gòu)成，且兩列都是由1/3和1/6構(gòu)成，對稱信道；P4中行和列都是由1/2、1/3和1/6構(gòu)成，對稱信道。對稱信道的容量為了給出對稱信道的信道容量和最佳輸入分布，先給出一個引理?！疽?-2】對于對稱信道，當(dāng)輸入分布為等概分布時，輸出分布也為等概分布。證明【定理4-4】

若一個離散對稱信道有r個輸入符號，s個輸出符號，則當(dāng)輸入為等概分布時，達到信道容量C，且C=logs-H(p1p2…ps)

式中，p1

p2…ps為信道矩陣中的任一行。說明：使輸出為等概分布時，達到信道容量；求離散信道的最佳輸入分布，實質(zhì)上是求一種輸入分布p(x)，使輸出熵H(Y)達到最大；當(dāng)輸出符號等概分布時，輸出熵H(Y)達到最大；由引理4-2可知，當(dāng)輸入分布為等概分布時，輸出也為等概分布。因此對稱信道的最佳輸入分布是等概分布。證明對稱信道容量的例子1【例4-12，P65】接例4-3，在串口通信中，信道矩陣為求該信道的信道容量。解：信道矩陣中行和列都是由0.96和0.04構(gòu)成，對稱信道。信道容量為：

C=logs-H(p1p2…ps

)=log2-H(0.96,0.04)=0.7577比特/符號對稱信道容量的例子2【例

，增】

這是一個對稱信道最佳輸入為：信道容量為：C=logs-H(p1

p2…ps)=log3-H(1/2,1/3,1/6)

比特/符號4.5.5一般信道的容量對于一般的離散無記憶信道而言，信道容量的計算比較復(fù)雜，可以用迭代算法實現(xiàn)。迭代步驟如下：取初始分布p(0)(x)。根據(jù)公式（4-21）計算P(k)(xi|yj)。根據(jù)公式（4-22）計算p(k+1)(xi)。根據(jù)公式（4-23）計算C(k+1)。若|C(k+1)?

C(k)|<δ，則轉(zhuǎn)向步驟7。令k=k+1，轉(zhuǎn)向步驟2。輸出p(k+1)(xi)和C(k+1)。4.5.6信源和信道的匹配信源與信道達到匹配的含義：信源處于最佳輸入分布，使得信息傳輸率R達到了信道容量C。但通常情況下，讓信源處于最佳輸入分布并不容易，此時信道有剩余：信道剩余度=C-I(X;Y)信源編碼的目的就是通過編碼，改變原始信源的統(tǒng)計特性，使得信道剩余度盡可能小。原始信源信道不匹配原始信源信道信源編碼基本匹配本章小結(jié)信道可以從不同的角度分類。從輸入和輸出符號的時間特性分，可以分為離散信道、連續(xù)信道和半連續(xù)信道。從輸入和輸出端的個數(shù)分，可以分為兩端信道、多元接入信道和廣播信道。從信道的統(tǒng)計特性分，信道可以分為恒參信道和隨參信道。從信道的記憶特性分，信道可以分為無記憶信道和有記憶信道。還給出了三種特殊信道：無噪無損信道、有噪無損信道、無噪有損信道。離散無記憶信道是一類重要的信道，可以用信道轉(zhuǎn)移概率描述。衡量信道噪聲大小有兩個指標(biāo)：信道疑義度和噪聲熵。平均互信息衡量了信道的實際輸出能力。從平均互信息引出了信道容量的概念，重點研究了離散無記憶信道的信道容量。信道容量衡量了信道的最大傳輸能力。最后是級聯(lián)信道，以及信源和信道的匹配。信道輸入、輸出符號之間的聯(lián)合分布為→前向概率，表示在輸入為X=xi

時，通過信道后接收為yj

的概率，描述了信道噪聲的特性。p(xi)為先驗概率。

聯(lián)合分布還可以表示為→后驗概率,表示當(dāng)接收符號為yj時,信道輸入為xi的概率。數(shù)學(xué)：各種概率及計算返回可以得到后驗概率為由前向概率和先驗概率可計算出信道輸出符號概率矩陣表示形式或:H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪聲熵信道疑義度（損失熵）TransmittedpartofinformationH(X/Y)—信道疑義度/損失熵。

Y關(guān)于X的后驗不確定度。表示收到變量Y后，對隨機變量X仍然存在的不確定度。代表了在信道中損失的信息。H(X)—X的先驗不確定度/無條件熵。I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。H(Y/X)—噪聲熵。表示發(fā)出隨機變量X后，對隨機變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對應(yīng)關(guān)系，發(fā)出X后必能確定對應(yīng)的Y，而現(xiàn)在不能完全確定對應(yīng)的Y，這顯然是由信道噪聲所引起的。返回數(shù)學(xué)：凸函數(shù)的定義（附錄A.1)則稱f(x)在定義域上為嚴(yán)格上凸函數(shù)則稱f(x)在定義域上為嚴(yán)格下凸函數(shù)返回凸性是反映函數(shù)變化關(guān)系的一個基本性質(zhì)設(shè)有一個一元函數(shù)f(x)如圖所示，則此函數(shù)是上凸的。對于凸函數(shù)，有詹森（Jenson）不等式E[f(x)]f(E[x])

【凸函數(shù)定義】f的定義域中任意兩個矢量X1，X2（X1≠X2），對于任意小于1的正數(shù)α（0<α<1)，若證明：設(shè)為固定的信道。令p1(x)和p2(x)為信源的兩種分布，相應(yīng)的平均互信息量分別記為：【定理4-1】

對于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù)。(固定信道：信道傳遞概率p(y|x)不變)和再選擇信源符號集X的另一種概率分布p(x)，滿足：其中，相應(yīng)的平均互信息量為根據(jù)平均互信息定義有：其中，應(yīng)用到合并后，有上式第一項：