第3章-信道容量-3課件

第3章信道容量第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.2.1單符號(hào)信道的定義和數(shù)學(xué)模型3.2.2信道容量的定義及一般求取原則3.2.3幾種特殊信道的信道容量3.2.4通過(guò)解方程組求信道容量3.3多符號(hào)離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理2第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.3.1

多符號(hào)離散信道定義及數(shù)學(xué)模型3.3.2離散無(wú)記憶信道N次擴(kuò)展信道的信道容量3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理3定義單符號(hào)離散信道：信道的輸入和輸出均可用單個(gè)的隨

機(jī)變量描述。信道的轉(zhuǎn)移特性由信道轉(zhuǎn)移概率矩陣描述。單符號(hào)信源+信道多符號(hào)離散信道：傳輸信道還是離散信道本身，只是

每次輸入輸出有多個(gè)符號(hào)在不同時(shí)刻進(jìn)行數(shù)據(jù)傳遞。多符號(hào)信源+信道信道的轉(zhuǎn)移特性由信道轉(zhuǎn)移概率矩陣描述。3.3.1

多符號(hào)離散信道定義及數(shù)學(xué)模型4根據(jù)信道是否具有記憶特性，可將信道劃分為：無(wú)記憶信道：有記憶信道：信道在任意時(shí)刻的輸出只取決于當(dāng)前時(shí)刻的輸入，而與之前和之后時(shí)刻的輸入和輸出都無(wú)關(guān)。信道在某一時(shí)刻的輸出不僅取決于當(dāng)前時(shí)刻的輸入，還與之前或之后時(shí)刻的輸入或輸出有關(guān)。平穩(wěn)信道：非平穩(wěn)信道：根據(jù)信道統(tǒng)計(jì)特性是否隨時(shí)間變化，可將信道劃分為：信道的統(tǒng)計(jì)特性不隨時(shí)間變化。(恒參)信道的統(tǒng)計(jì)特性隨時(shí)間而變化。(變參)5為簡(jiǎn)化起見(jiàn)，本課程只研究平穩(wěn)無(wú)記憶信道。平穩(wěn)信道的數(shù)學(xué)模型：物理意義：輸入隨機(jī)序列與輸出隨機(jī)序列之間的轉(zhuǎn)移概率等于各離散時(shí)刻隨機(jī)變量間轉(zhuǎn)移概率的連乘。*無(wú)記憶信道的數(shù)學(xué)模型：解釋：6單符號(hào)信道即為平穩(wěn)無(wú)記憶信道。解釋：非平穩(wěn)信道有記憶信道單符號(hào)信道可由描述平穩(wěn)無(wú)記憶信道單符號(hào)信源+無(wú)記憶信道多符號(hào)信源+無(wú)記憶信道平穩(wěn)無(wú)記憶信道的N次擴(kuò)展信道：?jiǎn)畏?hào)信道：7多符號(hào)信道的數(shù)學(xué)模型單符號(hào)離散信道：行行同一符號(hào)集列同一符號(hào)集列多符號(hào)離散信道：共個(gè)元素8不一定等于1單符號(hào)信道多符號(hào)信道9單符號(hào)信道二次擴(kuò)展信道信道矩陣?yán)?.3.1

求二元對(duì)稱信道二次擴(kuò)展信道的信道矩陣10練習(xí)：求二元對(duì)稱信道三次擴(kuò)展信道的信道矩陣11若離散無(wú)記憶信道的輸入和輸出分別是N長(zhǎng)序列，則平均互信息量滿足：定理：證明：?jiǎn)栴}：上式何時(shí)取等號(hào)？回答：N個(gè)時(shí)刻的輸出符號(hào)統(tǒng)計(jì)獨(dú)立時(shí)。其中第一項(xiàng)：3.3.2離散無(wú)記憶信道N次擴(kuò)展信道的信道容量12再看第二項(xiàng)：【無(wú)記憶性】13類似地，可證明：…代入前面得到的第一項(xiàng)，有：14物理意義：對(duì)于離散無(wú)記憶信道的N次擴(kuò)展信道，其總體的平均互信息量不大于各時(shí)刻單符號(hào)對(duì)應(yīng)的平均互信息量之和。問(wèn)題：上式何時(shí)取等號(hào)？分析：N個(gè)時(shí)刻的輸出符號(hào)統(tǒng)計(jì)獨(dú)立時(shí)。問(wèn)題：輸入符號(hào)之間是何關(guān)系時(shí)，輸出符號(hào)統(tǒng)計(jì)獨(dú)立？結(jié)論：當(dāng)信源是無(wú)記憶信源的N次擴(kuò)展信源時(shí)，輸出符

號(hào)之間統(tǒng)計(jì)獨(dú)立。即：當(dāng)滿足15證明：當(dāng)證：【全概率公式】【全概率公式】有【無(wú)記憶信道】【無(wú)記憶信源】16綜合前面的分析，可得如下重要結(jié)論：*離散無(wú)記憶信道的次擴(kuò)展信道，其平均互信息，不大于個(gè)隨機(jī)變量分別單獨(dú)通過(guò)信道的平均互信息量之和。2.僅當(dāng)輸入端的個(gè)輸入隨機(jī)變量統(tǒng)計(jì)獨(dú)立時(shí)(即無(wú)記憶信源的次擴(kuò)展信源)，信道的總平均互信息等于這個(gè)變量單獨(dú)通過(guò)信道的平均互信息之和。3.由于研究的是平穩(wěn)信源和平穩(wěn)信道，最終有：*單位：比特/符號(hào)17第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.4離散組合信道3.4.1獨(dú)立并聯(lián)信道3.4.2級(jí)聯(lián)(串聯(lián))信道3.5連續(xù)信道3.6信道編碼定理183.4.1獨(dú)立并聯(lián)信道典型應(yīng)用：通過(guò)多個(gè)信道并行傳輸，加快傳輸速度。獨(dú)立：并聯(lián)信道之間相互獨(dú)立。每個(gè)信道的輸出僅取決于該信道的輸入，而與其它信道的輸入和輸出無(wú)關(guān)。每個(gè)時(shí)刻的輸出僅取決于該時(shí)刻的輸入，而與其它時(shí)刻的輸入和輸出無(wú)關(guān)。對(duì)比19離散無(wú)記憶信道N次擴(kuò)展信道的結(jié)論可推廣到獨(dú)立并聯(lián)信道。一般情況下，N個(gè)獨(dú)立信道總的平均互信息量小于各信道的平均互信息量之和。1.*2.獨(dú)立并聯(lián)信道的信道容量等于各自信道容量的和，但必須滿足如下條件：*(1)各信源之間是相互獨(dú)立的。(2)各信源同時(shí)達(dá)到最佳輸入分布。203.4.2級(jí)聯(lián)(串聯(lián))信道典型實(shí)例：衛(wèi)星電視，微波接力通信等。【先去掉，再加上

】21對(duì)于級(jí)聯(lián)信道，總的信道矩陣等于各級(jí)信道矩陣的連乘積。(注意乘積順序)結(jié)論：*例3.4.1

設(shè)有兩個(gè)離散二元對(duì)稱信道，求二者級(jí)聯(lián)信道的信道容量。22級(jí)聯(lián)后的等效信道也是二元對(duì)稱信道。解：根據(jù)強(qiáng)對(duì)稱信道的計(jì)算公式：23例3.4.2

把

個(gè)離散二元對(duì)稱信道級(jí)聯(lián)起來(lái)，要求證明該信道可以等效于一個(gè)二元對(duì)稱信道，其錯(cuò)誤傳遞概率為。并證明當(dāng)時(shí)，且時(shí)有：解：使用數(shù)學(xué)歸納法。先證明時(shí)，等式成立。假設(shè)：等式對(duì)成立。證明：等式對(duì)成立。24證：當(dāng)時(shí)，時(shí)成立。假設(shè)：等式對(duì)成立則再級(jí)聯(lián)一級(jí)后，有：錯(cuò)誤傳遞概率為。證明：總轉(zhuǎn)移概率矩陣級(jí)的25得證【化簡(jiǎn)步驟略】當(dāng)時(shí)且，上述信道矩陣趨近于：

強(qiáng)噪聲信道無(wú)用信道代入,得：26第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理273.5.1連續(xù)信道信道容量的定義多符號(hào)(變量)信道連續(xù)信道單符號(hào)(變量)信道連續(xù)信道：信道的輸入和輸出隨機(jī)變量都取值于連續(xù)集合。多符號(hào)信道離散信道單符號(hào)信道為簡(jiǎn)化起見(jiàn)，本課程只研究單變量連續(xù)信道。

單符號(hào)離散信道數(shù)學(xué)模型：

單變量連續(xù)信道數(shù)學(xué)模型：28離散信道信道容量：固定連續(xù)信道信道容量：固定

極值點(diǎn)位于邊界極值點(diǎn)位于定義域內(nèi)

離散信道一般求取原則：是關(guān)于的上凸函數(shù)。計(jì)算機(jī)迭代拉格朗日乘數(shù)法求條件極值29問(wèn)題：離散信道一般求取原則是否適用于連續(xù)信道？回答：不適用。

計(jì)算機(jī)迭代方法肯定不適用于連續(xù)系統(tǒng)。拉格朗日乘數(shù)法只能求解多維空間中的條件極值點(diǎn)，而無(wú)法求取最佳分布概率密度函數(shù)。一般性連續(xù)信道的信道容量并不容易求取，只有在一些特殊情況下才相對(duì)容易計(jì)算。結(jié)論：303.5.2加性連續(xù)信道信道容量的求取31加性連續(xù)信道噪聲(N)與信號(hào)(X)統(tǒng)計(jì)獨(dú)立。噪聲對(duì)信號(hào)的干擾表現(xiàn)為和輸入線性疊加。信道模型證明：對(duì)于加性連續(xù)信道，其信道轉(zhuǎn)移特性為噪聲的概率密度，即：。證明：對(duì)于加性連續(xù)信道，其信道轉(zhuǎn)移特性為噪聲的概率密度，即：。證：概率論：根據(jù)根據(jù)其中：雅克比行列式32回憶：第二章中為什么把叫做噪聲熵？信宿熵從信源處獲得的關(guān)于信宿的信息量由噪聲帶來(lái)的“偽信息量”更直觀的解釋：33根據(jù)所證明的

求取加性信道的信道容量：【信源X與噪聲N統(tǒng)計(jì)獨(dú)立】加性信道的信道容量取決于兩方面：通過(guò)改變，使最大，加性信道的平均互信息量達(dá)到信道容量。噪聲的統(tǒng)計(jì)特性，當(dāng)信道選定后，該項(xiàng)為常數(shù)。34常見(jiàn)限定條件：1.峰值功率受限:

2.平均功率受限:3.均值受限:均勻分布高斯(正態(tài))分布指數(shù)分布最常見(jiàn)最大離散熵：信源等概率分布時(shí)熵最大。最大連續(xù)熵：不同限定條件下，結(jié)果也不相同。353.5.3平均功率受限條件下高斯信道的信道容量36某次實(shí)驗(yàn)的結(jié)果是功率為平均功率為

隨機(jī)信號(hào)方差與平均功率的關(guān)系:高斯加性信道:是指噪聲(N)的概率密度符合高斯分布，并滿足：零均值根據(jù)高斯分布的概率密度可計(jì)算出噪聲熵的計(jì)算37其中：噪聲熵的計(jì)算(續(xù))38問(wèn)題：在信源平均功率受限的條件下,何時(shí)最大？分析：有限，有限。問(wèn)題：在什么條件下，服從高斯分布？分析：目前的已知條件有：噪聲服從零均值的高斯分布，X與N獨(dú)立?；卮穑河筛怕收?當(dāng)也服從零均值的高斯分布時(shí),有：也服從高斯分布，且滿足：滿足高斯分布的條件下，最大?；卮穑河邢??！尽开?dú)立輸出信號(hào)的平均功率受限高斯信道選定，即確定下來(lái)39根據(jù)第二章中連續(xù)信源的相關(guān)結(jié)論,有:信噪比單位：比特/符號(hào)香農(nóng)公式的第一種形式：*很多時(shí)候，我們更需要的是單位時(shí)間內(nèi)的信息傳輸率。假設(shè)：連續(xù)信號(hào)已按采樣定理進(jìn)行采樣,成為離散信號(hào)。再代入之前所得公式，最后得：40設(shè)信道的頻帶為，則每秒需進(jìn)行次采樣，在接收端才可無(wú)失真地恢復(fù)出原始信號(hào)。采樣定理：秒符號(hào)秒比特符號(hào)比特單位轉(zhuǎn)換：?jiǎn)挝唬罕忍?秒香農(nóng)公式的第二種形式：*香農(nóng)公式的形式還可以進(jìn)一步地推廣。在通信原理課程中將學(xué)習(xí)隨機(jī)信號(hào)功率譜密度的概念，其與隨機(jī)信號(hào)平均功率的關(guān)系為：41通信原理中還將學(xué)習(xí)高斯白噪聲的概念。所謂高斯白噪聲是指功率譜密度為常數(shù)()，而在一個(gè)頻帶為的信道中，噪聲的平均功率為:【乘以是因?yàn)楣β首V均為對(duì)稱譜】將的表示式代入第二種形式，可得：?jiǎn)挝唬罕忍?秒香農(nóng)公式的第三種形式：*當(dāng)信道的頻帶很寬時(shí)，，此時(shí)有:【】42例3.5.1

在圖片傳輸中，每幀約為個(gè)像素，為了能很好地重現(xiàn)圖像，需分16個(gè)亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每秒鐘傳送30幀圖片所需信道的帶寬（功率信噪比為）。解：?jiǎn)挝唬罕忍?秒幀/秒像素/幀比特/像素比特/秒43

必須指出的是，盡管香農(nóng)公式在推導(dǎo)過(guò)程中附加了很多限制條件，如：高斯加性信道，信號(hào)與噪聲獨(dú)立，信號(hào)的平均功率受限等等。但是，實(shí)踐表明，多數(shù)情況下，實(shí)際信道可認(rèn)為是符合或者近似符合這些特點(diǎn)的。因此，香農(nóng)公式具有非常普遍的意義。

另一方面，即便是對(duì)于非高斯信道，香農(nóng)公式仍具有重要意義。原因是：根據(jù)第二章中最大連續(xù)熵定理，在平均功率受限情況下，高斯分布的噪聲熵具有最大值，根據(jù)

，在香農(nóng)公式的推導(dǎo)過(guò)程中所扣除的值比實(shí)際噪聲熵值要多，因此算出的信道容量比實(shí)際值偏小。對(duì)于非高斯信道，用香農(nóng)公式算出的信道容量是其理論上的下限值。3.5.4關(guān)于香農(nóng)公式使用范圍的討論及相關(guān)重要結(jié)論44香農(nóng)公式：重要結(jié)論：1.帶寬一定時(shí)，提高信噪比能提高信道容量。例3.5.2

普通電話線路的帶寬可近似為,當(dāng)信噪比為時(shí)，計(jì)算其信道容量。當(dāng)信噪比提升為為，重新計(jì)算信道容量。比特/秒信噪比為時(shí)比特/秒分析：信噪比增加10倍，但信道容量?jī)H增加約1.5倍。解：信噪比為時(shí)，，代入得：45比較：假設(shè)線路帶寬從提高到，而信號(hào)功率保持不變，計(jì)算信道容量。解：由于帶寬提高10倍，信噪比下降10倍。代入公式可得：比特/秒香農(nóng)公式：信道容量提高：倍。相比于初始條件，即：帶寬，信噪比為2.當(dāng)倍數(shù)相同時(shí),增加帶寬通常比提高信噪比更有效。463.

無(wú)噪連續(xù)信道的信道容量為無(wú)窮大。香農(nóng)公式：原因：4.當(dāng)增加信道帶寬時(shí)，并不能使信道容量無(wú)限增加。證：令根據(jù)高數(shù)中的知識(shí)，47信道容量隨信道帶寬的變化48設(shè)傳輸時(shí)間為,則總信息量

。當(dāng)所需要傳輸?shù)目傂畔⒘恳欢〞r(shí)，則帶寬、傳輸時(shí)間、信噪比

三者可進(jìn)行相互轉(zhuǎn)換。若傳輸時(shí)間固定，則可通過(guò)擴(kuò)展信道的帶寬來(lái)降低對(duì)信噪比的要求；或者，通過(guò)提高信噪比實(shí)現(xiàn)在窄帶信道上進(jìn)行傳輸（即：可降低對(duì)的要求）。香農(nóng)公式：49例3.5.3

若要保持信道的信息傳輸率比特/秒,當(dāng)信道的帶寬從降低到，求信號(hào)功率所需提高的倍數(shù)。解：帶寬降低前：帶寬降低后：分析：帶寬較小地降低(25%)要求信噪比必須有較大的提高(60%)；帶寬較小地增加信噪比較大改善50設(shè)傳輸時(shí)間為,則總信息量

。(2)若信號(hào)功率不變,則增加信道的帶寬可以縮短傳輸時(shí)間，從而換取傳輸時(shí)間的節(jié)??；或者花費(fèi)較長(zhǎng)的時(shí)間來(lái)?yè)Q取頻帶的節(jié)省。例如：為了能在窄帶電纜信道中傳送電視信號(hào)，往往可用增加傳送時(shí)間的辦法來(lái)壓縮所需要的帶寬。首先把電視信號(hào)以高速記錄在錄像帶上，然后慢放這個(gè)磁帶，慢到使輸出頻率降低到足以在窄帶電纜中傳送的程度。在接收端，將接收到的慢錄像帶進(jìn)行快放，于是恢復(fù)了原來(lái)的電視信號(hào)。（但損失了實(shí)時(shí)性）51(3)若保持信道的帶寬不變，可通過(guò)花費(fèi)較長(zhǎng)的時(shí)間降低所需要的信噪比(①可以變大，系統(tǒng)可以工作在噪聲更惡劣的環(huán)境下或者遠(yuǎn)距離通信中;②可降低對(duì)通信發(fā)射設(shè)備功率的要求)；或者通過(guò)提高發(fā)射功率加快傳輸時(shí)間。設(shè)傳輸時(shí)間為,則總信息量

。一般而言，究竟以誰(shuí)換取誰(shuí)，要根據(jù)實(shí)際情況而定。例如：宇宙飛船與地面通信，由于信噪比很小，所以著重考慮增加帶寬和傳輸時(shí)間來(lái)?yè)Q取信噪比；而如果信道頻帶資源非常緊張，則要考慮通過(guò)提高信噪比或增加傳輸時(shí)間來(lái)降低對(duì)帶寬的要求。總結(jié)：通信系統(tǒng)中，帶寬、時(shí)間、信噪比可進(jìn)行互換。52第3章信道容量3.0引言3.1信道的數(shù)學(xué)模型和分類3.2單符號(hào)離散信道的信道容量3.3多符號(hào)離散信道3.4離散組合信道3.5連續(xù)信道3.6信道編碼定理53若有一離散無(wú)記憶平穩(wěn)信道，其信道容量為。輸入序列長(zhǎng)度為，只要待傳送的信息率，總可以找到一種編碼，當(dāng)足夠長(zhǎng)時(shí)，譯碼差錯(cuò)概率，為所指定的任意大于零的正數(shù)。反之，當(dāng)時(shí)，任何編碼的必大于零，當(dāng)時(shí)，。

對(duì)連續(xù)信道也有類似的結(jié)論。

對(duì)信道編碼定理嚴(yán)格的數(shù)學(xué)證明可參見(jiàn)傅祖蕓老師教材中的$6.4節(jié)。信道編碼定理的結(jié)論(數(shù)學(xué)描述)：54信道容量表示的是信道的極限信息傳輸能力。如果要求的信息傳輸速率超過(guò)了，無(wú)法實(shí)現(xiàn)無(wú)失真?zhèn)鬏?；否則，則總可以找到某種方法實(shí)現(xiàn)近乎無(wú)失真的傳輸。分析：直觀解釋：55通過(guò)剛才的分析，只要,理論上就可實(shí)現(xiàn)近乎無(wú)失真地傳輸。但具體如何來(lái)實(shí)現(xiàn)呢？香農(nóng)先生只給出了大的指導(dǎo)方向，即通過(guò)編碼的方法。具體而言，就是增加信道符號(hào)序列的長(zhǎng)度。

信道編碼的最基本思想：在信息碼元的基礎(chǔ)上增加監(jiān)督碼元，通過(guò)信道符號(hào)序列長(zhǎng)度的增加實(shí)現(xiàn)傳輸差錯(cuò)的檢驗(yàn)與糾正。56作業(yè)3.1，3.2，3.6，3.7，3.8，3.18

5758P(Y/X)XY離散信道：一系列條件轉(zhuǎn)移概率構(gòu)成的信道矩陣連續(xù)信道：條件概率密度函數(shù)離散、單符號(hào)：隨機(jī)變量離散、多符號(hào)：隨機(jī)序列連續(xù)、單符號(hào)：隨機(jī)變量連續(xù)、多符號(hào)：隨機(jī)過(guò)程輸入、輸出符號(hào)輸入符號(hào)輸出符號(hào)信道轉(zhuǎn)移特性2.信道的數(shù)學(xué)模型（三大組成要素）59信道轉(zhuǎn)移概率矩陣簡(jiǎn)稱：信道矩陣…???每一列的和不一定等于1（只有強(qiáng)對(duì)稱信道等特

殊情況下才等于1）每一行的和單符號(hào)信道的數(shù)學(xué)模型（續(xù)）6061信道容量：在某一信道中，可能達(dá)到的最大值。*輸入信源的概率分布可調(diào)單位：比特/符號(hào)單位：比特/秒比特/符號(hào)秒/符號(hào)問(wèn)題：最大值如何計(jì)算？計(jì)算依據(jù)是什么？分析：當(dāng)固定信道轉(zhuǎn)移特性的條件下，平均互信息量是信源概率分布的上凸函數(shù)。上凸函數(shù)的特點(diǎn)函數(shù)的最大值或者在邊界上，或者對(duì)應(yīng)中間導(dǎo)數(shù)等于0的點(diǎn)，而該點(diǎn)是唯一的導(dǎo)數(shù)等于0的點(diǎn)。信道容量的求取原則（續(xù)）62信道容量的計(jì)算即為多元函數(shù)求極值的問(wèn)題。信源概率分布，向量輸入輸出的條件概率/信道傳遞概