信道容量合并課件

第3章信道容量第3章信道容量3.0引言3.1信道的數(shù)學模型和分類3.2單符號離散信道的信道容量（重點）特殊信道；一般信道；解方程組；定義；信道容量定理利用計算機迭代計算（實驗內(nèi)容）3.3多符號離散信道（多個輸入、輸出符號）3.4離散組合信道（獨立并聯(lián)級聯(lián)）3.5連續(xù)信道重點：香農(nóng)公式的推導物理意義應用3.6信道編碼定理2第3章信道容量3.0引言1.信道的定義2.信道的功能3.影響信息傳輸速率的因素4.研究信道的目的3.1信道的數(shù)學模型和分類3.2單符號離散信道的信道容量3.3多符號離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理3引言1.信道的定義2.信道的功能以電（光）信號的形式傳輸、放大和存儲信息長距離傳輸衰減大噪聲和干擾需放大、中繼、再生通信的傳輸通道《通信原理》

：廣義信道《信息論與編碼》：以狹義信道為主

重點：信道容量的求取狹義：傳輸媒介

eg:空氣電話線同軸電纜

雙絞線光纖微波/衛(wèi)星中繼廣義：傳輸媒介+調(diào)制功能+編碼功能4引言3.影響信息傳輸速率的因素物理信道本身特性（信道幅頻、相頻特性）載荷信息的信號形式（數(shù)字/模擬是否調(diào)頻調(diào)相）信源輸出信號的統(tǒng)計特性平均互信息量的極值性信源熵的大小信源統(tǒng)計特性是否與信道匹配4.研究信道的目的信息論中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，從而分析信道的特性。5本章重點

針對各種信道，其信道容量的計算，特別是單符號信道、連續(xù)信道中的香農(nóng)公式。主要研究內(nèi)容：（兩個方面）在什么條件（信源的輸入概率分布）下，通過信道的信息量最大？最大值等于多少？6第3章信道容量3.0引言3.1信道的數(shù)學模型和分類1.信道的輸入輸出關系2.信道的數(shù)學模型3.信道的分類3.2單符號離散信道的信道容量3.3多符號離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理71.信道的輸入輸出關系信號在信道中傳輸會引入噪聲和干擾，它們使得信號通過信道后產(chǎn)生錯誤和失真；信道的輸入和輸出之間一般并不是確定性的函數(shù)關系，而是統(tǒng)計依賴關系；知道了信道的輸入信號、輸出信號以及它們之間的統(tǒng)計依賴關系，信道的全部特性就確定了。一般來說，輸入和輸出信號多為時間連續(xù)的隨機信號，可用隨機過程來描述。

實際信號：帶限隨機序列8P(Y/X)XY離散信道：一系列條件轉(zhuǎn)移概率構成的信道矩陣連續(xù)信道：條件概率密度函數(shù)離散、單符號：隨機變量離散、多符號：隨機序列連續(xù)、單符號：隨機變量連續(xù)、多符號：隨機過程輸入、輸出符號輸入符號輸出符號信道轉(zhuǎn)移特性2.信道的數(shù)學模型（三大組成要素）9離散信道輸入/輸出均離散連續(xù)信道輸入/輸出均連續(xù)半連續(xù)信道

輸入連續(xù)/輸出離散，或反之A.按輸入、輸出信號的特點分類單符號信道用隨機變量描述多符號信道用隨機序列描述B.按信道輸入、輸出隨機變量個數(shù)的多少分類單用戶信道一對用戶多用戶信道多個用戶共享C.按輸入、輸出用戶的個數(shù)分類3.信道的分類10有干擾信道：實際信道無干擾信道：理想信道

例：計算機和外存間的信道D.按信道中是否存在干擾或噪聲分類無記憶信道：當前時刻輸出僅與當前時刻的輸入有關有記憶信道：當前時刻輸出還與過去時刻的輸入、輸出,將來時刻的輸入、輸出有關E.按信道是否存在記憶特性分類平穩(wěn)信道：信道統(tǒng)計特性不隨時間變化非平穩(wěn)信道：信道統(tǒng)計特性隨時間變化F.按信道統(tǒng)計特性是否隨時間變化分類11實際信道實際信道：多為以上各種分類的組合:離散單符號信道離散多符號無記憶信道離散多符號有記憶信道連續(xù)單符號(變量)信道連續(xù)非平穩(wěn)信道連續(xù)有記憶信道12第3章信道容量3.0引言3.1信道的數(shù)學模型和分類3.2單符號離散信道的信道容量（重點）1.單符號信道的定義和數(shù)學模型2.信道容量的定義及一般求取原則3.幾種特殊信道的信道容量4.通過解方程組求信道容量3.3多符號離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理133.3單符號離散信道的信道容量3.3.1單符號信道的定義和數(shù)學模型信道轉(zhuǎn)移概率矩陣3.3.2信道容量的定義及一般求取原則1.第二章內(nèi)容相關內(nèi)容的回憶2.數(shù)據(jù)處理定理3.3.3幾種特殊信道的信道容量無噪強對稱對稱準對稱3.3.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；補充：利用定義進行求解143.3.1單符號信道的定義和數(shù)學模型單符號：信道輸入、輸出都只是單個符號，可以用單個的隨機變量進行描述。信道轉(zhuǎn)移（統(tǒng)計）特性：輸入：輸出：也可理解為：單符號信源+信道……115信道轉(zhuǎn)移概率矩陣簡稱：信道矩陣…???每一列的和不一定等于1（只有強對稱信道等特

殊情況下才等于1）每一行的和單符號信道的數(shù)學模型（續(xù)）16實際信道矩陣舉例實例1二進制對稱信道17正方波負方波實際信道矩陣舉例實例2二元刪除信道183.3單符號離散信道的信道容量3.3.1單符號信道的定義和數(shù)學模型信道轉(zhuǎn)移概率矩陣3.3.2信道容量的定義及一般求取原則1.第二章內(nèi)容相關內(nèi)容的回憶2.數(shù)據(jù)處理定理3.3.3幾種特殊信道的信道容量無噪強對稱對稱準對稱3.3.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；補充：利用定義進行求解19如果信源熵為，當然希望在信道輸出端接收全部的信息量。但由于干擾的存在，信宿只能接收到。信道容量：在某一信道中，可能達到的最大值。*輸入信源的概率分布可調(diào)單位：比特/符號3.3.2信道容量的定義及一般求取原則20有時更關心：單位時間內(nèi)信道的極限信息傳輸率。假設平均每個符號的傳輸時間需要t秒：單位：比特/秒比特/符號秒/符號*極限信息傳速率211.選定信道，信道轉(zhuǎn)移特性保持不變2.選擇不同試驗信源3.尋找平均互信息量的最大值問題：如何測定某實際信道的信道容量？用實驗方法測定信道容量的步驟信道容量的求取原則22上述利用實驗的測量方法很直觀，但由于實際的信源有無窮多種可能的概率分布，這種測量方法肯定是不現(xiàn)實的。因此，我們必須采用數(shù)學計算的方法。問題：最大值如何計算？計算依據(jù)是什么？分析：當固定信道轉(zhuǎn)移特性的條件下，平均互信息量是信源概率分布的上凸函數(shù)。上凸函數(shù)的特點函數(shù)的最大值或者在邊界上，或者對應中間導數(shù)等于0的點，而該點是唯一的導數(shù)等于0的點。信道容量的求取原則（續(xù)）23信道容量的計算即為多元函數(shù)求極值的問題。信源概率分布，向量輸入輸出的條件概率/信道傳遞概率分布，矩陣1.如果固定信道，調(diào)節(jié)信源，則有：2.如果固定信源，調(diào)節(jié)信道，則有：凸函數(shù)性24(2)凸函數(shù)性質(zhì)的具體內(nèi)容當信道固定時，是關于的上凸函數(shù)當信源固定時，是關于的下凸函數(shù)凸函數(shù)性(續(xù))25該性質(zhì)是研究信道容量的理論基礎該性質(zhì)是研究率失真函數(shù)的理論基礎由于信源概率分布必須滿足歸一化條件。因此，對平均互信息量的最大值的計算就轉(zhuǎn)化為在歸一化條件下，計算信源概率分布的條件極值問題。因此，最一般的方法就是采用拉格朗日乘數(shù)法。注意：信道容量是信道本身特性的參量。盡管這個最大值的計算過程涉及到最佳信源的尋找問題，但一旦找到這樣一個最大值以后，這個值就與信源無關了。對比：電阻器的阻值物體的密度信道容量的求取原則（續(xù)）26數(shù)據(jù)處理定理1.平均聯(lián)合互信息量平均條件互信息量平均聯(lián)合互信息量：聯(lián)合隨機變量發(fā)生后所間接提供的關于的信息量。隨機事件對發(fā)生后所間接提供的關于的信息量。聯(lián)合互信息量：27條件互信息量：在隨機事件已經(jīng)發(fā)生的條件下，隨機事件發(fā)生后，所間接提供的關于隨機事件的信息量。在隨機變量已發(fā)生的前提下，隨機變量發(fā)生后，所間接提供的關于隨機變量的信息量。平均條件互信息量：28數(shù)據(jù)處理定理的內(nèi)容對于串聯(lián)信道,例:微波接力通信(地球曲率、功率限制)。數(shù)據(jù)處理定理：證：首先對進行變形29式(a)接下來對進行變形：30式(a)接下來對進行變形：式(b)用式(b)減去式(a),得：式(c)31式(c)式(d)同理可得：物理意義：聯(lián)合隨機變量

發(fā)生后，提供的關于

的平

均互信息量，等于從

中獲得的平均互信

息量，與在

已知的條件下從

中獲

得的平均條件互信息量，二者的和。32接下來對串聯(lián)信道做如下假設：已知的條件下，與無關。將上式代入式(c)，有：同理可證式(c)式(d)根據(jù)式(d)，有：同理可得：33物理意義：每經(jīng)過一級信道，或每進行一次數(shù)據(jù)處理，平均互信息量趨于變?。ūM管消息的形式可能更加有用）。日常生活中的例子：人的傳話系統(tǒng)在90年代，薩達姆有大殺傷性武器。90%的人相信薩達姆有大殺傷性武器。

薩達姆有90種大殺傷性武器。

薩達姆有大殺傷性武器?！畔⒉辉鲈?4利用多次測量獲取更多平均互信息量單次測量多次測量類比：在做物理實驗時，采用多次測量取平均的方

法消除大部分隨機誤差的影響。單次測量：多次測量：只需證明：35證明：證：為簡化起見，只證明。對i

的求和

放到內(nèi)層香農(nóng)不等式對i

的求和

放到外層36例：

信源

的輸出為。設計兩個獨立實驗去觀察它，其結果分別為，已知條件概率：(1)求和。(2)求,并與(1)

的結果進行比較。解:求解思路需求。需求實驗獨立：的求解類似。3738解：(1)利用和，得：比特/符號比特/符號比特/符號比特/符號比特/符號39,,得：(2)利用,比特/符號比特/符號比特/符號確實有：403.2

單符號離散信道的信道容量3.2.1單符號信道的定義和數(shù)學模型3.2.2信道容量的定義及一般求取原則3.2.3幾種特殊信道的信道容量1.離散無噪信道的信道容量2.強對稱離散信道的信道容量3.對稱離散信道的信道容量4.準對稱離散信道的信道容量3.2.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；補充：利用定義進行求解413.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無噪信道的信道容量2.強對稱離散信道的信道容量3.對稱離散信道的信道容量4.準對稱離散信道的信道容量42離散無噪信道的信道容量三種子類型：1.具有一一對應關系的無噪信道（）2.具有擴展性能的無噪信道（）3.具有歸并性能的無噪信道（）43特點：每條輸入消息對應唯一的一條輸出消息；或反之。1.具有一一對應關系的無噪信道（）44特點:(1)每一行只有1個1，其余為0(2)每一列只有1個1，其余為0一一對應信道矩陣的特點45分析：對于一一對應信道，；最佳輸入分布對應？根據(jù)前面的分析，信道容量的一般求取原則是求平均互信息量關于輸入信源分布在歸一化條件下的條件極值，但對于特殊信道，則沒必要這么繁瑣。平均互信息量的三種計算方法問題：回答：最佳輸入：*46問題：在一一對應信道中，與之間的關系？回答：472.具有擴展性能的無噪信道（）輸出是對輸入的擴展。一條輸入消息可能對應多條輸出消息。但一條輸出消息只對應一條輸入消息。特點：48行：可能有多個非零元素。列：只有1個非零元素。分析：；最佳輸入分布對應？特點：當已知時，跟著確定。最佳輸入：*擴展性能信道矩陣的特點49問題：在擴展無噪信道中，與之間的關系？回答：50輸出是對輸入的歸并。一條輸出消息可能對應多條輸入消息。但一條輸入消息只對應一條輸出消息。特點：3.具有歸并性能的無噪信道（）51元素：非0即1。行：只有1個1。列：可能不止1個1。分析：；最佳輸入分布對應？特點：當已知時，跟著確定。最佳輸入：*使

的歸并性能信道矩陣的特點52解如下方程組：問題：在歸并無噪信道中，與之間的關系？回答：最佳輸入概率分布并不是唯一的53(1)(2)(3)

練習：試求以下信道的信道容量及最佳輸入分布54解：(1)從信道轉(zhuǎn)移圖可看出，是一一對應信道，所以：信道轉(zhuǎn)移圖比特/符號最佳輸入分布：等概率分布55解：(2)從信道轉(zhuǎn)移圖可看出，是歸并信道，所以：信道轉(zhuǎn)移圖比特/符號最佳輸入分布：？56解如下方程組：最佳輸入概率分布并不是唯一的57解：(3)從信道轉(zhuǎn)移圖可看出，是擴展信道，所以：信道轉(zhuǎn)移圖比特/符號最佳輸入分布：等概率分布58一一對應信道無噪無損信道信道類型特點輸入確定→輸出確定輸出確定→輸入確定結論最佳輸入：輸入等概擴展信道無損信道最佳輸入：輸入等概歸并信道無噪信道最佳輸入：使輸出等概的輸入輸出確定→輸入確定反過來不行輸入確定→輸出確定反過來不行技巧：輸入與輸出誰的消息數(shù)少，就取誰的對數(shù)。前提：必須是以上三種信道之一。593.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無噪信道的信道容量2.強對稱離散信道的信道容量3.對稱離散信道的信道容量4.準對稱離散信道的信道容量60輸入、輸出消息數(shù)相等（個）b.每個輸入符號正確傳遞概率總錯誤傳遞概率其它符號錯誤傳遞概率1.強對稱離散信道的定義612.信道矩陣特點對角線元素都為b.其余元素都為c.每行之和等于1（正常）每列之和也等于1（特殊）d.矩陣為對稱陣62問題：三種形式中，應用哪種進行推導比較方便？回答：第二種，因為是已知的。首先，推導強對稱條件下的計算公式。3.信道容量計算公式的推導及最佳信源分布63對信道矩陣的每一行，是個常量。將上式代回平均互信息量的第二種表示式：64對強對稱信道，信道容量的計算轉(zhuǎn)化為求最大信宿熵。顯然，當輸出信號等概率分布時，最大。但必須保證存在某種信源分布恰好使輸出等概率分布。分析：是否存在某種信源分布，滿足上述條件？65觀察上述方程組發(fā)現(xiàn)，當輸入為等概率分布時，輸出也一定為等概率分布，所以：*最佳信源分布：等概。要求:能推導信道容量的計算公式,并分析最佳輸入分布。664.二進制對稱信道(特例)代入,得：一般：67當時：比特/符號當時：比特/符號、獨立當

時：無用信道強噪聲信道、

獨立68例3.2.1設有擾離散信道的輸入端是A,B,C,D

4個字母。該信道的正確傳輸概率為1/2，錯誤傳輸概率平均分布在其它三個字母上。求信道容量及最佳輸入分布。比特/符號最佳輸入分布：信道為強對稱信道。69例3.2.2有一個二元對稱信道，其信道矩陣該信道能以1500二元符號/秒的速度傳輸符號?，F(xiàn)有一消息序列共有14000個二元符號，并設P(0)=P(1)=1/2，問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳遞完？思路：70計算步驟：(1)計算信源的單符號熵(2)計算信源符號序列含有的信息量(3)計算信道傳輸能力（信道容量單位：比特/符號）(5)判斷是否符合要求？（計算10秒可傳遞的信息量）(4)計算信道傳輸能力（信道容量單位：比特/秒）思路：71(4)比特/符號符號/秒比特/秒比特/秒(5)計算10秒鐘可傳遞的信息量比特比特結論：不能實現(xiàn)無失真?zhèn)鬏敗?1)比特/符號(2)符號比特/符號比特(3)比特/符號723.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無噪信道的信道容量2.強對稱離散信道的信道容量3.對稱離散信道的信道容量4.準對稱離散信道的信道容量73一個矩陣的每一行都是同一集合中各元素(注：重復元素分別計)的不同排列。行可排列：例：矩陣中的某行為1.對稱信道的定義74矩陣可排列：矩陣的行和列都是可排列的。一個矩陣的每一行都是同一集合中各元素(注：重復元素分別計)的不同排列。行可排列：一個矩陣的每一列都是同一集合中各元素的不同排列。列可排列：對稱信道的定義信道矩陣具有可排列性的信道。1.對稱信道的定義75練習：判斷下列矩陣表示的信道是否對稱信道?76應用平均互信息量的第二種形式：推導對稱信道條件下的計算公式：2.信道容量公式的推導及最佳輸入分布77將上式代回平均互信息量的第二種形式：分析：是否存在某種信源分布，使輸出符號等概？如果由于列可排列，每列元素的和為常量。為常量78對于對稱信道：(與強對稱信道比較)最佳輸入：*練習：求如下信道的信道容量及最佳輸入分布。解：比特/符號最佳輸入分布：該信道為對稱信道。行可排列列可排列要求:能推導信道容量的計算公式,并分析最佳輸入分布。793.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無噪信道的信道容量2.強對稱離散信道的信道容量3.對稱離散信道的信道容量4.準對稱離散信道的信道容量80定義：一個

行列離散信道矩陣的行可排列，但列不可排列。但是矩陣中的列可分成個不相交的子集，各子集分別有列。每個子集對應的子矩陣

具有可排列性。

行可排列列不可排列

行可排列

列可排列4.準對稱離散信道的信道容量81

行可排列列不可排列

行可排列

列可排列

行可排列列不可排列82

對于準對稱信道，達到信道容量的最佳輸入分布是等概率分布，其信道容量為：其中：n是輸入符號集的個數(shù)是第k個子矩陣的列元素之和(常數(shù))為整個信道矩陣中的行元素(常數(shù))是第k個子矩陣中的行元素之和(常數(shù))s是子矩陣的個數(shù)*定理：83證明思路：證明等概率分布是最佳輸入分布。在1的基礎上，再證明計算公式的正確性。

對于準對稱信道，達到信道容量的最佳輸入分布是等概率分布，其信道容量為：定理證明84詳細證明見后附補充內(nèi)容綜合前面的幾項結果：的前一部分的后一部分最終可得：注意：與教材P80公式只是形式上不同。85可分解為：套用計算公式：行列均可排列n：信道矩陣行數(shù)Nk：子集k行元素的和Mk：子集k列元素的和H：整個信道矩陣行熵s：子矩陣的個數(shù)最佳輸入分布：例:求如下信道矩陣的信道容量及最佳輸入分布86比特/符號最佳輸入分布：準對稱信道行可排列列可排列練習：求如下信道的信道容量及最佳輸入分布873.2

單符號離散信道的信道容量3.2.1單符號信道的定義和數(shù)學模型3.2.2信道容量的定義及一般求取原則3.2.3幾種特殊信道的信道容量3.2.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；883.2.4通過解方程組求信道容量1.計算思路第二章內(nèi)容的回顧2.計算過程推導得出具體計算公式3.計算步驟總結抽取2中的主要步驟另：分析為什么只適用于輸入、輸出消息數(shù)相等的信道4.舉例和練習公式如何應用5.補充內(nèi)容直接利用信道容量的數(shù)學定義進行求解89

對一般離散信道求信道容量，就是在固定信道條件下，對所有可能的輸入概率分布p(xi)

，求平均互信息量的極大值。

因為I(X;Y)是n個變量{p(x1),p(x2),…,p(xn)}的多元函數(shù)，并滿足，所以應用拉格朗日乘數(shù)法計算這個條件極值。

由于I(X;Y)是輸入概率分布p(xi)的上凸函數(shù)，只要存在著關于p(xi)偏導數(shù)等于零的點，則該點一定對應最大值。1.計算思路902.用拉格朗日乘數(shù)法求信道容量(計算過程推導)其中λ為拉格朗日乘子(待定系數(shù))，解方程組：引進一個輔助函數(shù)可得一般信道容量C。91在第二章中學習過，平均互信息量有三種表示形式：在具體的應用中，具體選用哪種，根據(jù)實際情況而定!在下面的推導中，我們選用上面的第二種形式，因為在求信道容量時，由于信道是固定的，所以是固定的。因而，在求取對的導數(shù)時比較簡便。分析：推導過程請同時參見教材P81。92將I(X;Y)的第二種表達式代入輔助函數(shù)，并求導得：第三項對求的偏導數(shù)可得：93接下來，對第二項求的偏導數(shù)，可得：在求信道容量時，由于信道是固定的，不隨的變化而變化，是常量。所以，可得：94接下來，對第三項求的偏導數(shù)，結果為：將剛才得到的三項關于的偏導數(shù)整理在一起，得：求和等于1合并同類項整理后得：95對式(a)兩邊乘以p(xi)，并求和得：式(b)左邊為平均互信息的極大值，即：對式(a)移項后可得：式(a)式(b)96則：由上式和信道矩陣可求出。有了后，根據(jù)式(c)：令：式(c)兩邊對j求和：移項得：最終得：97共有4個步驟：共n個方程，m個未知數(shù)。注:必須有n=m（輸入、輸出消息數(shù)相等），且信道矩陣為非奇異矩陣（即：)時，方程組才有唯一解（克萊姆法則），教材中未對此進行專門說明。*(1)由求，。3.利用方程組求信道容量計算步驟---總結98(2)根據(jù)求得的，由求C。注意：在第(2)步信道容量C被求出后，計算并沒有結束，必須根據(jù)后繼步驟解出相應的p(xi)，并確認所有的p(xi)≥0時，所求的C才有效。(4)由，通過求方程組可求出p(xi)，并驗證p(xi)是否為非負值。(3)

由

求p(yj)。99例3.2.4

有一信道矩陣，求信道容量C。分析：一一對應?擴展無噪?歸并無噪?強對稱?對稱?準對稱?當時：4.利用方程組求解信道容量---舉例100例3.2.4

有一信道矩陣，求信道容量C。已知條件：(1)由

求，

。解：4.利用方程組求解信道容量---舉例101代入根據(jù)上述方程組可得和：102可得：(2)由求C。代入剛才求得的比特/符號103(3)由求。將代入得：104(4)由求p(xi)，并判斷是否為非負。代入第(3)步求得的p(y1)、p(y2)及信道矩陣得：105判斷是否非負？求得的信道容量有效?！尽坷?06可解得：解:(1)計算。練習：求如下信道的信道容量。107(2)根據(jù)計算信道容量。代入，得：比特/符號代入，得：(3)根據(jù)和計算。108(4)根據(jù)計算，并判斷是否符合非負性。解得：求得的信道容量有效。109待續(xù)補充內(nèi)容準對稱信道容量求解證明直接利用信道容量的定義求解一般信道容量

對于準對稱信道，達到信道容量的最佳輸入分布是等概率分布，其信道容量為：其中：n是輸入符號集的個數(shù)是第k個子矩陣的列元素之和(常數(shù))為整個信道矩陣中的行元素(常數(shù))是第k個子矩陣中的行元素之和(常數(shù))s是子矩陣的個數(shù)*準對稱信道容量112證明思路：證明等概率分布是最佳輸入分布。在1的基礎上，再證明計算公式的正確性。

對于準對稱信道，達到信道容量的最佳輸入分布是等概率分布，其信道容量為：定理證明113信道容量定理的內(nèi)容：

設有一般離散信道，有n個輸入，m個輸出。當且僅當存在常數(shù)C，使輸入分布p(xi)滿足：（1）當（2）當時，I(X;Y)達到最大值，且最大值等于C。其中：比較：僅在已知已經(jīng)發(fā)生時，其發(fā)生向信宿Y所提供的平均信息量。信源X整體上向信宿Y所提供的平均信息量。*對條件1的簡易證明

把剛才得出的如下式子：式(a)式(b)至于條件(2)的證明可參見李亦農(nóng)老師教材中的$4.2.6節(jié)。思路：證：演變?yōu)樽C明：1.證明等概率分布是最佳輸入分布

對于準對稱信道，達到信道容量的最佳輸入分布是等概率分布，其信道容量為：116子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列思路：是一個s項的和式，若這s項中每一項的值都與i無關，則與i無關，即滿足信道容量定理。目標：證明紅方框內(nèi)的部分是一個與i無關的量。117子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標：(1)與i無關。(2)與i無關。118子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(1)的證明:子集k第i行對應熵的負值因子集k的行可排列，該項的值與i無關119子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(2)的證明:子集k第i行的和，與i無關120子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(2)的證明:子集k第j列的和，因子集k的列可排列，與j無關121子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,