信道容量合并課件

第3章信道容量第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量（重點(diǎn)）特殊信道；一般信道；解方程組；定義；信道容量定理利用計(jì)算機(jī)迭代計(jì)算（實(shí)驗(yàn)內(nèi)容）3.3多符號(hào)離散信道（多個(gè)輸入、輸出符號(hào)）3.4離散組合信道（獨(dú)立并聯(lián)級(jí)聯(lián)）3.5連續(xù)信道重點(diǎn)：香農(nóng)公式的推導(dǎo)物理意義應(yīng)用3.6信道編碼定理2第3章信道容量3.0引言1.信道的定義2.信道的功能3.影響信息傳輸速率的因素4.研究信道的目的3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理3引言1.信道的定義2.信道的功能以電（光）信號(hào)的形式傳輸、放大和存儲(chǔ)信息長(zhǎng)距離傳輸衰減大噪聲和干擾需放大、中繼、再生通信的傳輸通道《通信原理》

：廣義信道《信息論與編碼》：以狹義信道為主

重點(diǎn)：信道容量的求取狹義：傳輸媒介

eg:空氣電話線同軸電纜

雙絞線光纖微波/衛(wèi)星中繼廣義：傳輸媒介+調(diào)制功能+編碼功能4引言3.影響信息傳輸速率的因素物理信道本身特性（信道幅頻、相頻特性）載荷信息的信號(hào)形式（數(shù)字/模擬是否調(diào)頻調(diào)相）信源輸出信號(hào)的統(tǒng)計(jì)特性平均互信息量的極值性信源熵的大小信源統(tǒng)計(jì)特性是否與信道匹配4.研究信道的目的信息論中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限傳輸能力，從而分析信道的特性。5本章重點(diǎn)

針對(duì)各種信道，其信道容量的計(jì)算，特別是單符號(hào)信道、連續(xù)信道中的香農(nóng)公式。主要研究?jī)?nèi)容：（兩個(gè)方面）在什么條件（信源的輸入概率分布）下，通過信道的信息量最大？最大值等于多少？6第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類1.信道的輸入輸出關(guān)系2.信道的數(shù)學(xué)模型3.信道的分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理71.信道的輸入輸出關(guān)系信號(hào)在信道中傳輸會(huì)引入噪聲和干擾，它們使得信號(hào)通過信道后產(chǎn)生錯(cuò)誤和失真；信道的輸入和輸出之間一般并不是確定性的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴關(guān)系；知道了信道的輸入信號(hào)、輸出信號(hào)以及它們之間的統(tǒng)計(jì)依賴關(guān)系，信道的全部特性就確定了。一般來說，輸入和輸出信號(hào)多為時(shí)間連續(xù)的隨機(jī)信號(hào)，可用隨機(jī)過程來描述。

實(shí)際信號(hào)：帶限隨機(jī)序列8P(Y/X)XY離散信道：一系列條件轉(zhuǎn)移概率構(gòu)成的信道矩陣連續(xù)信道：條件概率密度函數(shù)離散、單符號(hào)：隨機(jī)變量離散、多符號(hào)：隨機(jī)序列連續(xù)、單符號(hào)：隨機(jī)變量連續(xù)、多符號(hào)：隨機(jī)過程輸入、輸出符號(hào)輸入符號(hào)輸出符號(hào)信道轉(zhuǎn)移特性2.信道的數(shù)學(xué)模型（三大組成要素）9離散信道輸入/輸出均離散連續(xù)信道輸入/輸出均連續(xù)半連續(xù)信道

輸入連續(xù)/輸出離散，或反之A.按輸入、輸出信號(hào)的特點(diǎn)分類單符號(hào)信道用隨機(jī)變量描述多符號(hào)信道用隨機(jī)序列描述B.按信道輸入、輸出隨機(jī)變量個(gè)數(shù)的多少分類單用戶信道一對(duì)用戶多用戶信道多個(gè)用戶共享C.按輸入、輸出用戶的個(gè)數(shù)分類3.信道的分類10有干擾信道：實(shí)際信道無(wú)干擾信道：理想信道

例：計(jì)算機(jī)和外存間的信道D.按信道中是否存在干擾或噪聲分類無(wú)記憶信道：當(dāng)前時(shí)刻輸出僅與當(dāng)前時(shí)刻的輸入有關(guān)有記憶信道：當(dāng)前時(shí)刻輸出還與過去時(shí)刻的輸入、輸出,將來時(shí)刻的輸入、輸出有關(guān)E.按信道是否存在記憶特性分類平穩(wěn)信道：信道統(tǒng)計(jì)特性不隨時(shí)間變化非平穩(wěn)信道：信道統(tǒng)計(jì)特性隨時(shí)間變化F.按信道統(tǒng)計(jì)特性是否隨時(shí)間變化分類11實(shí)際信道實(shí)際信道：多為以上各種分類的組合:離散單符號(hào)信道離散多符號(hào)無(wú)記憶信道離散多符號(hào)有記憶信道連續(xù)單符號(hào)(變量)信道連續(xù)非平穩(wěn)信道連續(xù)有記憶信道12第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量（重點(diǎn)）1.單符號(hào)信道的定義和數(shù)學(xué)模型2.信道容量的定義及一般求取原則3.幾種特殊信道的信道容量4.通過解方程組求信道容量3.3多符號(hào)離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理133.3單符號(hào)離散信道的信道容量3.3.1單符號(hào)信道的定義和數(shù)學(xué)模型信道轉(zhuǎn)移概率矩陣3.3.2信道容量的定義及一般求取原則1.第二章內(nèi)容相關(guān)內(nèi)容的回憶2.數(shù)據(jù)處理定理3.3.3幾種特殊信道的信道容量無(wú)噪強(qiáng)對(duì)稱對(duì)稱準(zhǔn)對(duì)稱3.3.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；補(bǔ)充：利用定義進(jìn)行求解143.3.1單符號(hào)信道的定義和數(shù)學(xué)模型單符號(hào)：信道輸入、輸出都只是單個(gè)符號(hào)，可以用單個(gè)的隨機(jī)變量進(jìn)行描述。信道轉(zhuǎn)移（統(tǒng)計(jì)）特性：輸入：輸出：也可理解為：?jiǎn)畏?hào)信源+信道……115信道轉(zhuǎn)移概率矩陣簡(jiǎn)稱：信道矩陣…???每一列的和不一定等于1（只有強(qiáng)對(duì)稱信道等特

殊情況下才等于1）每一行的和單符號(hào)信道的數(shù)學(xué)模型（續(xù)）16實(shí)際信道矩陣舉例實(shí)例1二進(jìn)制對(duì)稱信道17正方波負(fù)方波實(shí)際信道矩陣舉例實(shí)例2二元?jiǎng)h除信道183.3單符號(hào)離散信道的信道容量3.3.1單符號(hào)信道的定義和數(shù)學(xué)模型信道轉(zhuǎn)移概率矩陣3.3.2信道容量的定義及一般求取原則1.第二章內(nèi)容相關(guān)內(nèi)容的回憶2.數(shù)據(jù)處理定理3.3.3幾種特殊信道的信道容量無(wú)噪強(qiáng)對(duì)稱對(duì)稱準(zhǔn)對(duì)稱3.3.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；補(bǔ)充：利用定義進(jìn)行求解19如果信源熵為，當(dāng)然希望在信道輸出端接收全部的信息量。但由于干擾的存在，信宿只能接收到。信道容量：在某一信道中，可能達(dá)到的最大值。*輸入信源的概率分布可調(diào)單位：比特/符號(hào)3.3.2信道容量的定義及一般求取原則20有時(shí)更關(guān)心：?jiǎn)挝粫r(shí)間內(nèi)信道的極限信息傳輸率。假設(shè)平均每個(gè)符號(hào)的傳輸時(shí)間需要t秒：?jiǎn)挝唬罕忍?秒比特/符號(hào)秒/符號(hào)*極限信息傳速率211.選定信道，信道轉(zhuǎn)移特性保持不變2.選擇不同試驗(yàn)信源3.尋找平均互信息量的最大值問題：如何測(cè)定某實(shí)際信道的信道容量？用實(shí)驗(yàn)方法測(cè)定信道容量的步驟信道容量的求取原則22上述利用實(shí)驗(yàn)的測(cè)量方法很直觀，但由于實(shí)際的信源有無(wú)窮多種可能的概率分布，這種測(cè)量方法肯定是不現(xiàn)實(shí)的。因此，我們必須采用數(shù)學(xué)計(jì)算的方法。問題：最大值如何計(jì)算？計(jì)算依據(jù)是什么？分析：當(dāng)固定信道轉(zhuǎn)移特性的條件下，平均互信息量是信源概率分布的上凸函數(shù)。上凸函數(shù)的特點(diǎn)函數(shù)的最大值或者在邊界上，或者對(duì)應(yīng)中間導(dǎo)數(shù)等于0的點(diǎn)，而該點(diǎn)是唯一的導(dǎo)數(shù)等于0的點(diǎn)。信道容量的求取原則（續(xù)）23信道容量的計(jì)算即為多元函數(shù)求極值的問題。信源概率分布，向量輸入輸出的條件概率/信道傳遞概率分布，矩陣1.如果固定信道，調(diào)節(jié)信源，則有：2.如果固定信源，調(diào)節(jié)信道，則有：凸函數(shù)性24(2)凸函數(shù)性質(zhì)的具體內(nèi)容當(dāng)信道固定時(shí)，是關(guān)于的上凸函數(shù)當(dāng)信源固定時(shí)，是關(guān)于的下凸函數(shù)凸函數(shù)性(續(xù))25該性質(zhì)是研究信道容量的理論基礎(chǔ)該性質(zhì)是研究率失真函數(shù)的理論基礎(chǔ)由于信源概率分布必須滿足歸一化條件。因此，對(duì)平均互信息量的最大值的計(jì)算就轉(zhuǎn)化為在歸一化條件下，計(jì)算信源概率分布的條件極值問題。因此，最一般的方法就是采用拉格朗日乘數(shù)法。注意：信道容量是信道本身特性的參量。盡管這個(gè)最大值的計(jì)算過程涉及到最佳信源的尋找問題，但一旦找到這樣一個(gè)最大值以后，這個(gè)值就與信源無(wú)關(guān)了。對(duì)比：電阻器的阻值物體的密度信道容量的求取原則（續(xù)）26數(shù)據(jù)處理定理1.平均聯(lián)合互信息量平均條件互信息量平均聯(lián)合互信息量：聯(lián)合隨機(jī)變量發(fā)生后所間接提供的關(guān)于的信息量。隨機(jī)事件對(duì)發(fā)生后所間接提供的關(guān)于的信息量。聯(lián)合互信息量：27條件互信息量：在隨機(jī)事件已經(jīng)發(fā)生的條件下，隨機(jī)事件發(fā)生后，所間接提供的關(guān)于隨機(jī)事件的信息量。在隨機(jī)變量已發(fā)生的前提下，隨機(jī)變量發(fā)生后，所間接提供的關(guān)于隨機(jī)變量的信息量。平均條件互信息量：28數(shù)據(jù)處理定理的內(nèi)容對(duì)于串聯(lián)信道,例:微波接力通信(地球曲率、功率限制)。數(shù)據(jù)處理定理：證：首先對(duì)進(jìn)行變形29式(a)接下來對(duì)進(jìn)行變形：30式(a)接下來對(duì)進(jìn)行變形：式(b)用式(b)減去式(a),得：式(c)31式(c)式(d)同理可得：物理意義：聯(lián)合隨機(jī)變量

發(fā)生后，提供的關(guān)于

的平

均互信息量，等于從

中獲得的平均互信

息量，與在

已知的條件下從

中獲

得的平均條件互信息量，二者的和。32接下來對(duì)串聯(lián)信道做如下假設(shè)：已知的條件下，與無(wú)關(guān)。將上式代入式(c)，有：同理可證式(c)式(d)根據(jù)式(d)，有：同理可得：33物理意義：每經(jīng)過一級(jí)信道，或每進(jìn)行一次數(shù)據(jù)處理，平均互信息量趨于變小（盡管消息的形式可能更加有用）。日常生活中的例子：人的傳話系統(tǒng)在90年代，薩達(dá)姆有大殺傷性武器。90%的人相信薩達(dá)姆有大殺傷性武器。

薩達(dá)姆有90種大殺傷性武器。

薩達(dá)姆有大殺傷性武器?！畔⒉辉鲈?4利用多次測(cè)量獲取更多平均互信息量單次測(cè)量多次測(cè)量類比：在做物理實(shí)驗(yàn)時(shí)，采用多次測(cè)量取平均的方

法消除大部分隨機(jī)誤差的影響。單次測(cè)量：多次測(cè)量：只需證明：35證明：證：為簡(jiǎn)化起見，只證明。對(duì)i

的求和

放到內(nèi)層香農(nóng)不等式對(duì)i

的求和

放到外層36例：

信源

的輸出為。設(shè)計(jì)兩個(gè)獨(dú)立實(shí)驗(yàn)去觀察它，其結(jié)果分別為，已知條件概率：(1)求和。(2)求,并與(1)

的結(jié)果進(jìn)行比較。解:求解思路需求。需求實(shí)驗(yàn)獨(dú)立：的求解類似。3738解：(1)利用和，得：比特/符號(hào)比特/符號(hào)比特/符號(hào)比特/符號(hào)比特/符號(hào)39,,得：(2)利用,比特/符號(hào)比特/符號(hào)比特/符號(hào)確實(shí)有：403.2

單符號(hào)離散信道的信道容量3.2.1單符號(hào)信道的定義和數(shù)學(xué)模型3.2.2信道容量的定義及一般求取原則3.2.3幾種特殊信道的信道容量1.離散無(wú)噪信道的信道容量2.強(qiáng)對(duì)稱離散信道的信道容量3.對(duì)稱離散信道的信道容量4.準(zhǔn)對(duì)稱離散信道的信道容量3.2.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；補(bǔ)充：利用定義進(jìn)行求解413.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無(wú)噪信道的信道容量2.強(qiáng)對(duì)稱離散信道的信道容量3.對(duì)稱離散信道的信道容量4.準(zhǔn)對(duì)稱離散信道的信道容量42離散無(wú)噪信道的信道容量三種子類型：1.具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（）2.具有擴(kuò)展性能的無(wú)噪信道（）3.具有歸并性能的無(wú)噪信道（）43特點(diǎn)：每條輸入消息對(duì)應(yīng)唯一的一條輸出消息；或反之。1.具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（）44特點(diǎn):(1)每一行只有1個(gè)1，其余為0(2)每一列只有1個(gè)1，其余為0一一對(duì)應(yīng)信道矩陣的特點(diǎn)45分析：對(duì)于一一對(duì)應(yīng)信道，；最佳輸入分布對(duì)應(yīng)？根據(jù)前面的分析，信道容量的一般求取原則是求平均互信息量關(guān)于輸入信源分布在歸一化條件下的條件極值，但對(duì)于特殊信道，則沒必要這么繁瑣。平均互信息量的三種計(jì)算方法問題：回答：最佳輸入：*46問題：在一一對(duì)應(yīng)信道中，與之間的關(guān)系？回答：472.具有擴(kuò)展性能的無(wú)噪信道（）輸出是對(duì)輸入的擴(kuò)展。一條輸入消息可能對(duì)應(yīng)多條輸出消息。但一條輸出消息只對(duì)應(yīng)一條輸入消息。特點(diǎn)：48行：可能有多個(gè)非零元素。列：只有1個(gè)非零元素。分析：；最佳輸入分布對(duì)應(yīng)？特點(diǎn)：當(dāng)已知時(shí)，跟著確定。最佳輸入：*擴(kuò)展性能信道矩陣的特點(diǎn)49問題：在擴(kuò)展無(wú)噪信道中，與之間的關(guān)系？回答：50輸出是對(duì)輸入的歸并。一條輸出消息可能對(duì)應(yīng)多條輸入消息。但一條輸入消息只對(duì)應(yīng)一條輸出消息。特點(diǎn)：3.具有歸并性能的無(wú)噪信道（）51元素：非0即1。行：只有1個(gè)1。列：可能不止1個(gè)1。分析：；最佳輸入分布對(duì)應(yīng)？特點(diǎn)：當(dāng)已知時(shí)，跟著確定。最佳輸入：*使

的歸并性能信道矩陣的特點(diǎn)52解如下方程組：?jiǎn)栴}：在歸并無(wú)噪信道中，與之間的關(guān)系？回答：最佳輸入概率分布并不是唯一的53(1)(2)(3)

練習(xí)：試求以下信道的信道容量及最佳輸入分布54解：(1)從信道轉(zhuǎn)移圖可看出，是一一對(duì)應(yīng)信道，所以：信道轉(zhuǎn)移圖比特/符號(hào)最佳輸入分布：等概率分布55解：(2)從信道轉(zhuǎn)移圖可看出，是歸并信道，所以：信道轉(zhuǎn)移圖比特/符號(hào)最佳輸入分布：？56解如下方程組：最佳輸入概率分布并不是唯一的57解：(3)從信道轉(zhuǎn)移圖可看出，是擴(kuò)展信道，所以：信道轉(zhuǎn)移圖比特/符號(hào)最佳輸入分布：等概率分布58一一對(duì)應(yīng)信道無(wú)噪無(wú)損信道信道類型特點(diǎn)輸入確定→輸出確定輸出確定→輸入確定結(jié)論最佳輸入：輸入等概擴(kuò)展信道無(wú)損信道最佳輸入：輸入等概歸并信道無(wú)噪信道最佳輸入：使輸出等概的輸入輸出確定→輸入確定反過來不行輸入確定→輸出確定反過來不行技巧：輸入與輸出誰(shuí)的消息數(shù)少，就取誰(shuí)的對(duì)數(shù)。前提：必須是以上三種信道之一。593.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無(wú)噪信道的信道容量2.強(qiáng)對(duì)稱離散信道的信道容量3.對(duì)稱離散信道的信道容量4.準(zhǔn)對(duì)稱離散信道的信道容量60輸入、輸出消息數(shù)相等（個(gè)）b.每個(gè)輸入符號(hào)正確傳遞概率總錯(cuò)誤傳遞概率其它符號(hào)錯(cuò)誤傳遞概率1.強(qiáng)對(duì)稱離散信道的定義612.信道矩陣特點(diǎn)對(duì)角線元素都為b.其余元素都為c.每行之和等于1（正常）每列之和也等于1（特殊）d.矩陣為對(duì)稱陣62問題：三種形式中，應(yīng)用哪種進(jìn)行推導(dǎo)比較方便？回答：第二種，因?yàn)槭且阎?。首先，推?dǎo)強(qiáng)對(duì)稱條件下的計(jì)算公式。3.信道容量計(jì)算公式的推導(dǎo)及最佳信源分布63對(duì)信道矩陣的每一行，是個(gè)常量。將上式代回平均互信息量的第二種表示式：64對(duì)強(qiáng)對(duì)稱信道，信道容量的計(jì)算轉(zhuǎn)化為求最大信宿熵。顯然，當(dāng)輸出信號(hào)等概率分布時(shí)，最大。但必須保證存在某種信源分布恰好使輸出等概率分布。分析：是否存在某種信源分布，滿足上述條件？65觀察上述方程組發(fā)現(xiàn)，當(dāng)輸入為等概率分布時(shí)，輸出也一定為等概率分布，所以：*最佳信源分布：等概。要求:能推導(dǎo)信道容量的計(jì)算公式,并分析最佳輸入分布。664.二進(jìn)制對(duì)稱信道(特例)代入,得：一般：67當(dāng)時(shí)：比特/符號(hào)當(dāng)時(shí)：比特/符號(hào)、獨(dú)立當(dāng)

時(shí)：無(wú)用信道強(qiáng)噪聲信道、

獨(dú)立68例3.2.1設(shè)有擾離散信道的輸入端是A,B,C,D

4個(gè)字母。該信道的正確傳輸概率為1/2，錯(cuò)誤傳輸概率平均分布在其它三個(gè)字母上。求信道容量及最佳輸入分布。比特/符號(hào)最佳輸入分布：信道為強(qiáng)對(duì)稱信道。69例3.2.2有一個(gè)二元對(duì)稱信道，其信道矩陣該信道能以1500二元符號(hào)/秒的速度傳輸符號(hào)。現(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)P(0)=P(1)=1/2，問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳遞完？思路：70計(jì)算步驟：(1)計(jì)算信源的單符號(hào)熵(2)計(jì)算信源符號(hào)序列含有的信息量(3)計(jì)算信道傳輸能力（信道容量單位：比特/符號(hào)）(5)判斷是否符合要求？（計(jì)算10秒可傳遞的信息量）(4)計(jì)算信道傳輸能力（信道容量單位：比特/秒）思路：71(4)比特/符號(hào)符號(hào)/秒比特/秒比特/秒(5)計(jì)算10秒鐘可傳遞的信息量比特比特結(jié)論：不能實(shí)現(xiàn)無(wú)失真?zhèn)鬏敗?1)比特/符號(hào)(2)符號(hào)比特/符號(hào)比特(3)比特/符號(hào)723.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無(wú)噪信道的信道容量2.強(qiáng)對(duì)稱離散信道的信道容量3.對(duì)稱離散信道的信道容量4.準(zhǔn)對(duì)稱離散信道的信道容量73一個(gè)矩陣的每一行都是同一集合中各元素(注：重復(fù)元素分別計(jì))的不同排列。行可排列：例：矩陣中的某行為1.對(duì)稱信道的定義74矩陣可排列：矩陣的行和列都是可排列的。一個(gè)矩陣的每一行都是同一集合中各元素(注：重復(fù)元素分別計(jì))的不同排列。行可排列：一個(gè)矩陣的每一列都是同一集合中各元素的不同排列。列可排列：對(duì)稱信道的定義信道矩陣具有可排列性的信道。1.對(duì)稱信道的定義75練習(xí)：判斷下列矩陣表示的信道是否對(duì)稱信道?76應(yīng)用平均互信息量的第二種形式：推導(dǎo)對(duì)稱信道條件下的計(jì)算公式：2.信道容量公式的推導(dǎo)及最佳輸入分布77將上式代回平均互信息量的第二種形式：分析：是否存在某種信源分布，使輸出符號(hào)等概？如果由于列可排列，每列元素的和為常量。為常量78對(duì)于對(duì)稱信道：(與強(qiáng)對(duì)稱信道比較)最佳輸入：*練習(xí)：求如下信道的信道容量及最佳輸入分布。解：比特/符號(hào)最佳輸入分布：該信道為對(duì)稱信道。行可排列列可排列要求:能推導(dǎo)信道容量的計(jì)算公式,并分析最佳輸入分布。793.2.3幾種特殊信道的信道容量特殊信道：信道轉(zhuǎn)移概率滿足特定規(guī)律的信道1.離散無(wú)噪信道的信道容量2.強(qiáng)對(duì)稱離散信道的信道容量3.對(duì)稱離散信道的信道容量4.準(zhǔn)對(duì)稱離散信道的信道容量80定義：一個(gè)

行列離散信道矩陣的行可排列，但列不可排列。但是矩陣中的列可分成個(gè)不相交的子集，各子集分別有列。每個(gè)子集對(duì)應(yīng)的子矩陣

具有可排列性。

行可排列列不可排列

行可排列

列可排列4.準(zhǔn)對(duì)稱離散信道的信道容量81

行可排列列不可排列

行可排列

列可排列

行可排列列不可排列82

對(duì)于準(zhǔn)對(duì)稱信道，達(dá)到信道容量的最佳輸入分布是等概率分布，其信道容量為：其中：n是輸入符號(hào)集的個(gè)數(shù)是第k個(gè)子矩陣的列元素之和(常數(shù))為整個(gè)信道矩陣中的行元素(常數(shù))是第k個(gè)子矩陣中的行元素之和(常數(shù))s是子矩陣的個(gè)數(shù)*定理：83證明思路：證明等概率分布是最佳輸入分布。在1的基礎(chǔ)上，再證明計(jì)算公式的正確性。

對(duì)于準(zhǔn)對(duì)稱信道，達(dá)到信道容量的最佳輸入分布是等概率分布，其信道容量為：定理證明84詳細(xì)證明見后附補(bǔ)充內(nèi)容綜合前面的幾項(xiàng)結(jié)果：的前一部分的后一部分最終可得：注意：與教材P80公式只是形式上不同。85可分解為：套用計(jì)算公式：行列均可排列n：信道矩陣行數(shù)Nk：子集k行元素的和Mk：子集k列元素的和H：整個(gè)信道矩陣行熵s：子矩陣的個(gè)數(shù)最佳輸入分布：例:求如下信道矩陣的信道容量及最佳輸入分布86比特/符號(hào)最佳輸入分布：準(zhǔn)對(duì)稱信道行可排列列可排列練習(xí)：求如下信道的信道容量及最佳輸入分布873.2

單符號(hào)離散信道的信道容量3.2.1單符號(hào)信道的定義和數(shù)學(xué)模型3.2.2信道容量的定義及一般求取原則3.2.3幾種特殊信道的信道容量3.2.4通過解方程組求信道容量適用于輸入、輸出消息數(shù)相等的信道；883.2.4通過解方程組求信道容量1.計(jì)算思路第二章內(nèi)容的回顧2.計(jì)算過程推導(dǎo)得出具體計(jì)算公式3.計(jì)算步驟總結(jié)抽取2中的主要步驟另：分析為什么只適用于輸入、輸出消息數(shù)相等的信道4.舉例和練習(xí)公式如何應(yīng)用5.補(bǔ)充內(nèi)容直接利用信道容量的數(shù)學(xué)定義進(jìn)行求解89

對(duì)一般離散信道求信道容量，就是在固定信道條件下，對(duì)所有可能的輸入概率分布p(xi)

，求平均互信息量的極大值。

因?yàn)镮(X;Y)是n個(gè)變量{p(x1),p(x2),…,p(xn)}的多元函數(shù)，并滿足，所以應(yīng)用拉格朗日乘數(shù)法計(jì)算這個(gè)條件極值。

由于I(X;Y)是輸入概率分布p(xi)的上凸函數(shù)，只要存在著關(guān)于p(xi)偏導(dǎo)數(shù)等于零的點(diǎn)，則該點(diǎn)一定對(duì)應(yīng)最大值。1.計(jì)算思路902.用拉格朗日乘數(shù)法求信道容量(計(jì)算過程推導(dǎo))其中λ為拉格朗日乘子(待定系數(shù))，解方程組：引進(jìn)一個(gè)輔助函數(shù)可得一般信道容量C。91在第二章中學(xué)習(xí)過，平均互信息量有三種表示形式：在具體的應(yīng)用中，具體選用哪種，根據(jù)實(shí)際情況而定!在下面的推導(dǎo)中，我們選用上面的第二種形式，因?yàn)樵谇笮诺廊萘繒r(shí)，由于信道是固定的，所以是固定的。因而，在求取對(duì)的導(dǎo)數(shù)時(shí)比較簡(jiǎn)便。分析：推導(dǎo)過程請(qǐng)同時(shí)參見教材P81。92將I(X;Y)的第二種表達(dá)式代入輔助函數(shù)，并求導(dǎo)得：第三項(xiàng)對(duì)求的偏導(dǎo)數(shù)可得：93接下來，對(duì)第二項(xiàng)求的偏導(dǎo)數(shù)，可得：在求信道容量時(shí)，由于信道是固定的，不隨的變化而變化，是常量。所以，可得：94接下來，對(duì)第三項(xiàng)求的偏導(dǎo)數(shù)，結(jié)果為：將剛才得到的三項(xiàng)關(guān)于的偏導(dǎo)數(shù)整理在一起，得：求和等于1合并同類項(xiàng)整理后得：95對(duì)式(a)兩邊乘以p(xi)，并求和得：式(b)左邊為平均互信息的極大值，即：對(duì)式(a)移項(xiàng)后可得：式(a)式(b)96則：由上式和信道矩陣可求出。有了后，根據(jù)式(c)：令：式(c)兩邊對(duì)j求和：移項(xiàng)得：最終得：97共有4個(gè)步驟：共n個(gè)方程，m個(gè)未知數(shù)。注:必須有n=m（輸入、輸出消息數(shù)相等），且信道矩陣為非奇異矩陣（即：)時(shí)，方程組才有唯一解（克萊姆法則），教材中未對(duì)此進(jìn)行專門說明。*(1)由求，。3.利用方程組求信道容量計(jì)算步驟---總結(jié)98(2)根據(jù)求得的，由求C。注意：在第(2)步信道容量C被求出后，計(jì)算并沒有結(jié)束，必須根據(jù)后繼步驟解出相應(yīng)的p(xi)，并確認(rèn)所有的p(xi)≥0時(shí)，所求的C才有效。(4)由，通過求方程組可求出p(xi)，并驗(yàn)證p(xi)是否為非負(fù)值。(3)

由

求p(yj)。99例3.2.4

有一信道矩陣，求信道容量C。分析：一一對(duì)應(yīng)?擴(kuò)展無(wú)噪?歸并無(wú)噪?強(qiáng)對(duì)稱?對(duì)稱?準(zhǔn)對(duì)稱?當(dāng)時(shí)：4.利用方程組求解信道容量---舉例100例3.2.4

有一信道矩陣，求信道容量C。已知條件：(1)由

求，

。解：4.利用方程組求解信道容量---舉例101代入根據(jù)上述方程組可得和：102可得：(2)由求C。代入剛才求得的比特/符號(hào)103(3)由求。將代入得：104(4)由求p(xi)，并判斷是否為非負(fù)。代入第(3)步求得的p(y1)、p(y2)及信道矩陣得：105判斷是否非負(fù)？求得的信道容量有效。【】例：106可解得：解:(1)計(jì)算。練習(xí)：求如下信道的信道容量。107(2)根據(jù)計(jì)算信道容量。代入，得：比特/符號(hào)代入，得：(3)根據(jù)和計(jì)算。108(4)根據(jù)計(jì)算，并判斷是否符合非負(fù)性。解得：求得的信道容量有效。109待續(xù)補(bǔ)充內(nèi)容準(zhǔn)對(duì)稱信道容量求解證明直接利用信道容量的定義求解一般信道容量

對(duì)于準(zhǔn)對(duì)稱信道，達(dá)到信道容量的最佳輸入分布是等概率分布，其信道容量為：其中：n是輸入符號(hào)集的個(gè)數(shù)是第k個(gè)子矩陣的列元素之和(常數(shù))為整個(gè)信道矩陣中的行元素(常數(shù))是第k個(gè)子矩陣中的行元素之和(常數(shù))s是子矩陣的個(gè)數(shù)*準(zhǔn)對(duì)稱信道容量112證明思路：證明等概率分布是最佳輸入分布。在1的基礎(chǔ)上，再證明計(jì)算公式的正確性。

對(duì)于準(zhǔn)對(duì)稱信道，達(dá)到信道容量的最佳輸入分布是等概率分布，其信道容量為：定理證明113信道容量定理的內(nèi)容：

設(shè)有一般離散信道，有n個(gè)輸入，m個(gè)輸出。當(dāng)且僅當(dāng)存在常數(shù)C，使輸入分布p(xi)滿足：（1）當(dāng)（2）當(dāng)時(shí)，I(X;Y)達(dá)到最大值，且最大值等于C。其中：比較：僅在已知已經(jīng)發(fā)生時(shí)，其發(fā)生向信宿Y所提供的平均信息量。信源X整體上向信宿Y所提供的平均信息量。*對(duì)條件1的簡(jiǎn)易證明

把剛才得出的如下式子：式(a)式(b)至于條件(2)的證明可參見李亦農(nóng)老師教材中的$4.2.6節(jié)。思路：證：演變?yōu)樽C明：1.證明等概率分布是最佳輸入分布

對(duì)于準(zhǔn)對(duì)稱信道，達(dá)到信道容量的最佳輸入分布是等概率分布，其信道容量為：116子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列思路：是一個(gè)s項(xiàng)的和式，若這s項(xiàng)中每一項(xiàng)的值都與i無(wú)關(guān)，則與i無(wú)關(guān)，即滿足信道容量定理。目標(biāo)：證明紅方框內(nèi)的部分是一個(gè)與i無(wú)關(guān)的量。117子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(biāo)：(1)與i無(wú)關(guān)。(2)與i無(wú)關(guān)。118子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(biāo)(1)的證明:子集k第i行對(duì)應(yīng)熵的負(fù)值因子集k的行可排列，該項(xiàng)的值與i無(wú)關(guān)119子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(biāo)(2)的證明:子集k第i行的和，與i無(wú)關(guān)120子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,列可排列目標(biāo)(2)的證明:子集k第j列的和，因子集k的列可排列，與j無(wú)關(guān)121子集1子集s行可排列列可排列行可排列列可排列子集k行可排列,