第3章：信道容量

1、n信道的功能：信道的功能：以信號(hào)形式傳輸和存儲(chǔ)信息。以信號(hào)形式傳輸和存儲(chǔ)信息。n信道傳輸信息的速率：信道傳輸信息的速率：與物理信道本身的特性、載荷與物理信道本身的特性、載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān)。信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān)。n信道容量研究?jī)?nèi)容：信道容量研究?jī)?nèi)容：在什么條件下，通過(guò)信道的信息在什么條件下，通過(guò)信道的信息量最大。量最大。n信道定義：信道定義：傳輸信息的媒介或通道。傳輸信息的媒介或通道。信道也可以看作信道也可以看作一種變換，把輸入變換成輸出。一種變換，把輸入變換成輸出。n信道的隨機(jī)性：信道的隨機(jī)性：由于干擾和噪聲的存在，變換是隨機(jī)由于干擾和噪聲的存

2、在，變換是隨機(jī)（概率）的。（概率）的。n信道的描述：信道的描述：用條件轉(zhuǎn)移概率表示。用條件轉(zhuǎn)移概率表示。第三章 信道容量本章內(nèi)容n信道的數(shù)學(xué)模型及分類(lèi)信道的數(shù)學(xué)模型及分類(lèi)n單符號(hào)離散信道的信道容量單符號(hào)離散信道的信道容量n一般信道的數(shù)學(xué)模型一般信道的數(shù)學(xué)模型n信道的分類(lèi)信道的分類(lèi)n實(shí)際的信道實(shí)際的信道3.1 信道的數(shù)學(xué)模型及分類(lèi)(1) 一般信道的數(shù)學(xué)模型n信息論對(duì)信道的研究：信息論對(duì)信道的研究：對(duì)具體物理信道抽象，建立與各對(duì)具體物理信道抽象，建立與各種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在這些模型信種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在這些模型信道上傳輸?shù)钠毡橐?guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計(jì)。道上傳輸?shù)?/p>

3、普遍規(guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計(jì)。n信道模型：信道模型：不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程，把信不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程，把信道模型看作黑匣子。道模型看作黑匣子。n數(shù)學(xué)模型的數(shù)學(xué)符號(hào)表示：數(shù)學(xué)模型的數(shù)學(xué)符號(hào)表示： X P(Y/X) Y(2) 信道的分類(lèi)信道的分類(lèi) 根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi)根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi) 根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi)根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi) 根據(jù)輸入輸出個(gè)數(shù)分類(lèi)根據(jù)輸入輸出個(gè)數(shù)分類(lèi) 根據(jù)信道上有無(wú)干擾分類(lèi)根據(jù)信道上有無(wú)干擾分類(lèi) 根據(jù)信道有無(wú)記憶特性分類(lèi)根據(jù)信道有無(wú)記憶特性分類(lèi) 根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi)根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類(lèi)n離

4、散信道：離散信道：輸入和輸出的隨機(jī)序列的取值都是離散的信道。輸入和輸出的隨機(jī)序列的取值都是離散的信道。n連續(xù)信道：連續(xù)信道：輸入和輸出的隨機(jī)序列的取值都是連續(xù)的信道。輸入和輸出的隨機(jī)序列的取值都是連續(xù)的信道。n半離散半離散半連續(xù)信道半連續(xù)信道：輸入變量取離散值而輸出變量取連輸入變量取離散值而輸出變量取連續(xù)值，或反之續(xù)值，或反之. 根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi)根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類(lèi)n單符號(hào)信道：?jiǎn)畏?hào)信道：輸入和輸出端都只用一個(gè)輸入和輸出端都只用一個(gè)隨機(jī)變量隨機(jī)變量來(lái)表示。來(lái)表示。n離散無(wú)記憶擴(kuò)展信道離散無(wú)記憶擴(kuò)展信道（多符號(hào)信道）（多符號(hào)信道）：輸入和輸出端用輸入和輸出端用隨

5、機(jī)變量隨機(jī)變量序列（隨機(jī)矢量）序列（隨機(jī)矢量）來(lái)表示。來(lái)表示。 根據(jù)輸入輸出個(gè)數(shù)分類(lèi)根據(jù)輸入輸出個(gè)數(shù)分類(lèi)n單用戶(hù)信道：?jiǎn)斡脩?hù)信道：只有一個(gè)輸入和一個(gè)輸出的信道。只有一個(gè)輸入和一個(gè)輸出的信道。n多用戶(hù)信道：多用戶(hù)信道：有多個(gè)輸入和多個(gè)輸出的信道。有多個(gè)輸入和多個(gè)輸出的信道。(多元接入信道和廣多元接入信道和廣播信道播信道) 根據(jù)信道上有無(wú)干擾分類(lèi)根據(jù)信道上有無(wú)干擾分類(lèi)n有干擾信道：有干擾信道：存在干擾或噪聲或兩者都有的信道。存在干擾或噪聲或兩者都有的信道。實(shí)際信道一般實(shí)際信道一般都是有干擾信道。都是有干擾信道。n無(wú)干擾信道：無(wú)干擾信道：不存在干擾或噪聲，或干擾和噪聲可忽略不計(jì)的信不存在干擾或噪聲，

6、或干擾和噪聲可忽略不計(jì)的信道。道。計(jì)算機(jī)和外存設(shè)備之間的信道可看作是無(wú)干擾信道。計(jì)算機(jī)和外存設(shè)備之間的信道可看作是無(wú)干擾信道。 根據(jù)信道有無(wú)記憶特性分類(lèi)根據(jù)信道有無(wú)記憶特性分類(lèi)n無(wú)記憶信道：無(wú)記憶信道：輸出僅與當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道。輸出僅與當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道。n有記憶信道：有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去輸入和信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去輸入和（或）過(guò)去輸出有關(guān)。（或）過(guò)去輸出有關(guān)。(3) 實(shí)際的信道實(shí)際的信道n實(shí)際信道的帶寬總是有限的，所以輸入和輸出信號(hào)總可實(shí)際信道的帶寬總是有限的，所以輸入和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究。隨機(jī)序

7、列中每個(gè)隨機(jī)變量的以分解成隨機(jī)序列來(lái)研究。隨機(jī)序列中每個(gè)隨機(jī)變量的取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。n一個(gè)實(shí)際信道可同時(shí)具有多種屬性。一個(gè)實(shí)際信道可同時(shí)具有多種屬性。 最簡(jiǎn)單的信道是單符號(hào)離散信道。最簡(jiǎn)單的信道是單符號(hào)離散信道。n信道容量定義信道容量定義n幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量n離散信道容量的一般計(jì)算方法離散信道容量的一般計(jì)算方法3.2 單符號(hào)離散信道的信道容量(1) 信道容量的定義信道容量的定義 單符號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型 信道的信息傳輸率信道的信息傳輸率 信道容量信道容量 單符

8、號(hào)離散信道的數(shù)學(xué)模型單符號(hào)離散信道的數(shù)學(xué)模型a 信道模型信道模型b 信道統(tǒng)計(jì)特性信道統(tǒng)計(jì)特性a 信道模型信道模型n設(shè)輸入：設(shè)輸入：Xx1,x2,xi,xn 輸出：輸出：Yy1,y2,yj,ymn其信道模型：其信道模型：a 信道模型信道模型n用線圖描述：用線圖描述：b 信道統(tǒng)計(jì)特性信道統(tǒng)計(jì)特性n信道統(tǒng)計(jì)特性：信道統(tǒng)計(jì)特性：由信道轉(zhuǎn)移概率描述。由信道轉(zhuǎn)移概率描述。n信道轉(zhuǎn)移概率（信道傳遞概率）：信道轉(zhuǎn)移概率（信道傳遞概率）：條件概率條件概率 p(yj /xi)。n信道特性表示：信道特性表示：用信道轉(zhuǎn)移概率矩陣，簡(jiǎn)稱(chēng)用信道轉(zhuǎn)移概率矩陣，簡(jiǎn)稱(chēng)信道矩陣。信道矩陣。n反信道矩陣：反信道矩陣：由條件概率由條

9、件概率 p(xi /yj) 表示。表示。 )/()/()/()/()/()/()/()/()/(2122221112112121nmnnmmnmxypxypxypxypxypxypxypxypxypxxxyyy信信道道矩矩陣陣 )/()/()/()/()/()/()/()/()/(2122221112112121mnmmnnmnyxpyxpyxpyxpyxpyxpyxpyxpyxpyyyxxx反反信信道道矩矩陣陣 信道的信息傳輸率信道的信息傳輸率n研究信道的目的：研究信道的目的：討論信道中平均每個(gè)符號(hào)傳送的信息討論信道中平均每個(gè)符號(hào)傳送的信息量量（信道的信息傳輸率）（信道的信息傳輸率）。n信道

10、的信息傳輸率：信道的信息傳輸率：就是平均互信息：就是平均互信息： R=I(X;Y) H(X) H(X/Y)（比特（比特/符號(hào)）符號(hào)）平均互信息平均互信息 I(X;Y) 就是接收到符號(hào)就是接收到符號(hào) Y 后平均后平均每個(gè)符號(hào)獲得的關(guān)于每個(gè)符號(hào)獲得的關(guān)于 X 的信息量的信息量 信道的信息傳輸率信道的信息傳輸率n如果信源熵為如果信源熵為 H(X)，希望在信道輸出端接收的信息量就，希望在信道輸出端接收的信息量就是是 H(X)，由于干擾的存在，一般只能接收到，由于干擾的存在，一般只能接收到 I(X;Y)。n輸出端輸出端 Y 往往只能獲得關(guān)于輸入往往只能獲得關(guān)于輸入 X 的部分信息，這是由的部分信息，這是

11、由于平均互信息性質(zhì)決定的：于平均互信息性質(zhì)決定的：I(X;Y)H(X)。nI(X;Y) 是信源無(wú)條件概率是信源無(wú)條件概率 p(xi) 和信道轉(zhuǎn)移概率和信道轉(zhuǎn)移概率 p(yj /xi) 的二元函數(shù)：的二元函數(shù)： nimjniijiijijinimjjijjiijijiniijijxypxpxypxypxpypxypyxpYXIxypxpyxpxypxpyp11121121)/()()/(log)/()()()/(log)();()/()()()/()()( 信道容量信道容量n當(dāng)信道特性當(dāng)信道特性 p(yj /xi) 固定后，固定后，I(X;Y)隨信源概率分布隨信源概率分布 p(xi) 的變化而變

12、化。的變化而變化。n調(diào)整調(diào)整 p(xi)，在接收端就能獲得不同的信息量。由平均，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，互信息的性質(zhì)已知，I(X;Y) 是是 p(xi) 的上凸函數(shù)，因的上凸函數(shù)，因此總能找到一種概率分布此總能找到一種概率分布 p(xi)（即某一種信源），（即某一種信源），使使信道所能傳送的信息率為最大。信道所能傳送的信息率為最大。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 信道容量信道容量n信道容量信道容量 C：在信道中最大的信息傳輸速率，單位是比在信道中最大的信息傳輸速率，單位是比特特/信道符號(hào)

13、。信道符號(hào)。n單位時(shí)間的信道容量單位時(shí)間的信道容量 Ct：若信道平均傳輸一個(gè)符號(hào)需若信道平均傳輸一個(gè)符號(hào)需要要 t 秒鐘，則單位時(shí)間的信道容量為：秒鐘，則單位時(shí)間的信道容量為：n Ct 實(shí)際是信道的最大信息傳輸速率。實(shí)際是信道的最大信息傳輸速率。（比比特特秒秒）);(max1)(YXItCixpt （比特信道符號(hào)）);(maxmax)()(YXIRCiixpxp結(jié)結(jié) 論論nC 和和 Ct 都是求平均互信息都是求平均互信息 I(X;Y) 的條件極大值問(wèn)題，的條件極大值問(wèn)題，當(dāng)輸入信源概率分布當(dāng)輸入信源概率分布 p(xi) 調(diào)整好以后，調(diào)整好以后， C 和和Ct 已與已與 p(xi) 無(wú)關(guān)，而僅僅

14、是信道轉(zhuǎn)移概率的函數(shù)，只與信道無(wú)關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)；統(tǒng)計(jì)特性有關(guān)；n信道容量是完全信道容量是完全描述信道特性描述信道特性的參量；的參量；n信道容量是信道信道容量是信道能夠傳送的最大信息量能夠傳送的最大信息量。 離散無(wú)噪聲信道的信道容量離散無(wú)噪聲信道的信道容量 強(qiáng)對(duì)稱(chēng)離散信道的信道容量強(qiáng)對(duì)稱(chēng)離散信道的信道容量 對(duì)稱(chēng)離散信道的信道容量對(duì)稱(chēng)離散信道的信道容量 準(zhǔn)對(duì)稱(chēng)離散信道的信道容量準(zhǔn)對(duì)稱(chēng)離散信道的信道容量 (2) 幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量 離散無(wú)噪信道的信道容量離散無(wú)噪信道的信道容量 a 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道具有一一對(duì)應(yīng)關(guān)系的無(wú)噪

15、信道 b 具有擴(kuò)展性能的無(wú)噪信道具有擴(kuò)展性能的無(wú)噪信道 c 具有歸并性能的無(wú)噪信道具有歸并性能的無(wú)噪信道a 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）（無(wú)噪無(wú)損信道）n信道線圖信道線圖a 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）（無(wú)噪無(wú)損信道）n信道矩陣信道矩陣 00010010010010001000010000100001a 具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）（無(wú)噪無(wú)損信道）n因?yàn)樾诺谰仃囍兴性鼐且驗(yàn)樾诺谰仃囍兴性鼐?“1” 或或 “0”，X 和和 Y 有確有確定的對(duì)應(yīng)關(guān)系：定的對(duì)應(yīng)關(guān)系：n

16、已知已知 X 后后 Y 沒(méi)有不確定性，沒(méi)有不確定性，n收到收到 Y 后，后，X 也不存在不確定性，也不存在不確定性，nI(X;Y)=H(X)=H(Y)。n當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)確定關(guān)系的無(wú)噪信道當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)確定關(guān)系的無(wú)噪信道達(dá)到信道容量達(dá)到信道容量（信源（信源 X 的最大熵）的最大熵）噪聲熵：噪聲熵：H(Y/X)=0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)=0符號(hào)）符號(hào)）（比特（比特/log)(max);(max2)()(nXHYXICiixpxp b 具有擴(kuò)展性能的無(wú)噪信道具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）（有噪無(wú)損信道）nn0損失熵?fù)p失熵/信

17、道疑義度：信道疑義度：H(X/Y)=0b 具有擴(kuò)展性能的無(wú)噪信道具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）（有噪無(wú)損信道）n其信道矩陣為：其信道矩陣為： )/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxypn雖然信道矩陣中的元素不全是雖然信道矩陣中的元素不全是“1”或或“0”，但由于每，但由于每列中只有一個(gè)非零元素：已知列中只有一個(gè)非零元素：已知 Y 后，后，X 不再有任何不不再有任何不確定度，確定度， n信道容量為：信道容量為：n此時(shí)輸入端符號(hào)熵小于輸出端符號(hào)熵，此時(shí)輸入端符號(hào)熵小于輸出端

18、符號(hào)熵，H(X) 0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)=0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(X) b 具有擴(kuò)展性能的無(wú)噪信道具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）（有噪無(wú)損信道）n熵之間的關(guān)系：熵之間的關(guān)系：c 具有歸并性能的無(wú)噪信道具有歸并性能的無(wú)噪信道（無(wú)噪有損信道）（無(wú)噪有損信道）nnm，輸入，輸入 X 的符號(hào)集個(gè)數(shù)大于輸出的符號(hào)集個(gè)數(shù)大于輸出 Y 的符號(hào)集個(gè)數(shù)：的符號(hào)集個(gè)數(shù)：噪聲熵：噪聲熵：H(Y/X)=0損失熵?fù)p失熵/信道疑義度：信道疑義度：H(X/Y)0 100010010001001n信道矩陣中的元素非信道矩陣中的元素非“0”即即

19、 “1” ，每行僅有一個(gè)非零元素，每行僅有一個(gè)非零元素，但每列的非零元素個(gè)數(shù)大于但每列的非零元素個(gè)數(shù)大于 1：n已知某一個(gè)已知某一個(gè) xi 后，對(duì)應(yīng)的后，對(duì)應(yīng)的 yj 完全確定，完全確定，n收到某一個(gè)收到某一個(gè) yj 后，對(duì)應(yīng)的后，對(duì)應(yīng)的 xi 不完全確定，不完全確定， 信道疑義度信道疑義度 H(X/Y)0。 n信道容量為：信道容量為：n這種信道的輸入端符號(hào)熵大于輸出端符號(hào)熵，這種信道的輸入端符號(hào)熵大于輸出端符號(hào)熵，H(X) H(Y)。符號(hào)）符號(hào)）（比特（比特/log)(max);(max2)()(mYHYXICiixpxp 噪聲熵：噪聲熵：H(Y/X)=0損失熵?fù)p失熵/信道疑義度：信道疑義度

20、：H(X/Y)0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(Y) n注意：注意：在求信道容量時(shí)，調(diào)整的始終是輸入端的概率分在求信道容量時(shí)，調(diào)整的始終是輸入端的概率分布布 p(xi) ，盡管信道容量式子中平均互信息，盡管信道容量式子中平均互信息 I(X;Y) 等等于輸出端符號(hào)熵于輸出端符號(hào)熵 H(Y)，但是在求極大值時(shí)調(diào)整的仍然，但是在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布是輸入端的概率分布 p(xi) ，而不能用輸出端的概率分，而不能用輸出端的概率分布布 p(yj) 來(lái)代替。來(lái)代替。n熵之間的關(guān)系：熵之間的關(guān)系：舉例舉例：圖圖3.2.4a的信道容量是的信道容量是 log

21、23=1.585(比特比特/信道信道符號(hào)符號(hào))，求要達(dá)到這一信道容量對(duì)應(yīng)的信源概率分布。，求要達(dá)到這一信道容量對(duì)應(yīng)的信源概率分布。q由信道矩陣得由信道矩陣得 p(y1)= p(x1)1+ p(x2)1 p(y2)= p(x3)1+ p(x4)1 p(y3)= p(x5)1q只要只要 p(y1)= p(y2)= p(y3)= (1/3)，H(Y) 達(dá)到最大達(dá)到最大值，即達(dá)到信道容量值，即達(dá)到信道容量 C。舉例舉例：q此時(shí)使此時(shí)使 p(y1)= p(y2)= p(y3)= (1/3) 的信源概率分布的信源概率分布p(xi),i=1,2,3,4,5 存在，但不是惟一的。存在，但不是惟一的。 q這種信

22、道的輸入符號(hào)熵大于輸出符號(hào)熵，即這種信道的輸入符號(hào)熵大于輸出符號(hào)熵，即 H(X) H(Y)。100010010001001結(jié)結(jié) 論論n無(wú)損信道的信道容量無(wú)損信道的信道容量 C 只決定于信道的輸入符只決定于信道的輸入符號(hào)數(shù)號(hào)數(shù) n，與信源無(wú)關(guān)。，與信源無(wú)關(guān)。n無(wú)噪信道的信道容量無(wú)噪信道的信道容量 C 只決定于信道的輸出符只決定于信道的輸出符號(hào)數(shù)號(hào)數(shù) m，與信源無(wú)關(guān)。，與信源無(wú)關(guān)。 強(qiáng)對(duì)稱(chēng)離散信道的信道容量強(qiáng)對(duì)稱(chēng)離散信道的信道容量 a 什么是強(qiáng)對(duì)稱(chēng)離散信道什么是強(qiáng)對(duì)稱(chēng)離散信道 b 強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn) c 強(qiáng)對(duì)稱(chēng)離散信道的信道容量強(qiáng)對(duì)稱(chēng)離散信道的信道容量 d 輸入是什么概率分布時(shí)達(dá)

23、到信道容量輸入是什么概率分布時(shí)達(dá)到信道容量 e 二進(jìn)制均勻信道二進(jìn)制均勻信道a 什么是強(qiáng)對(duì)稱(chēng)離散信道什么是強(qiáng)對(duì)稱(chēng)離散信道n單符號(hào)離散信道的單符號(hào)離散信道的 X 和和 Y 取值均由取值均由 n 個(gè)不同符號(hào)組成，個(gè)不同符號(hào)組成，即即Xx1,x2,xi,xn，Yy1,y2,yj,ynn每每n信道矩陣為：信道矩陣為： pppPnpnpnpnpnpnpnn11111111)(1 npnpp為為：個(gè)個(gè)符符號(hào)號(hào)的的錯(cuò)錯(cuò)誤誤傳傳遞遞概概率率其其它它為為：個(gè)個(gè)符符號(hào)號(hào)的的正正確確傳傳遞遞概概率率，a 什么是強(qiáng)對(duì)稱(chēng)離散信道什么是強(qiáng)對(duì)稱(chēng)離散信道n這種信道稱(chēng)為這種信道稱(chēng)為強(qiáng)對(duì)稱(chēng)（均勻）強(qiáng)對(duì)稱(chēng)（均勻）信道。信道。n這類(lèi)

24、信道中這類(lèi)信道中：總的錯(cuò)誤概率是：總的錯(cuò)誤概率是 p，對(duì)稱(chēng)平均地分配給，對(duì)稱(chēng)平均地分配給(n1)個(gè)輸出符號(hào)個(gè)輸出符號(hào).n信道矩陣中每行之和等于信道矩陣中每行之和等于 1，每列之和也等于，每列之和也等于 1。一般。一般信道矩陣中，每列之和不一定等于信道矩陣中，每列之和不一定等于 1。b 強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)n強(qiáng)對(duì)稱(chēng)信道矩陣，它的每一行和每一強(qiáng)對(duì)稱(chēng)信道矩陣，它的每一行和每一 列都是同一集合各個(gè)元素的不同排列。列都是同一集合各個(gè)元素的不同排列。n由平均互信息定義：由平均互信息定義： 個(gè)個(gè))1(11,nnpnpp njijijnininiiijninjijixypxypHHxpxypx

25、ypxpXYHXYHYHYXI121112)/(log)/()()/(log)/()()/()/()();(其其中中令令：其其中中條條件件熵熵：b 強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)nHni 的意義：的意義：是固定是固定 X=xi 時(shí)對(duì)時(shí)對(duì) Y 求和，相當(dāng)于在信道求和，相當(dāng)于在信道矩陣中選定了某一行，對(duì)該行上各列元素的自信息求加矩陣中選定了某一行，對(duì)該行上各列元素的自信息求加權(quán)和。由于信道的對(duì)稱(chēng)性，每一行都是同一集合的不同權(quán)和。由于信道的對(duì)稱(chēng)性，每一行都是同一集合的不同排列，所以：排列，所以：n當(dāng)當(dāng) xi 不同時(shí)，不同時(shí)，Hni 只是求和順序不同，求和結(jié)果完全一只是求和順序不同，求和結(jié)果完全

26、一樣。所以樣。所以Hni 與與 X 無(wú)關(guān)，是一個(gè)常數(shù)。無(wú)關(guān)，是一個(gè)常數(shù)。)log()1(log1212 npnpninppH njijijnixypxypH12)/(log)/(b 強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)強(qiáng)對(duì)稱(chēng)信道矩陣特點(diǎn)n因此：因此：)(max)()/()();()()/()(1nixpninininiiHYHCHYHXYHYHYXIHHxpXYHi 所以：所以：c 強(qiáng)對(duì)稱(chēng)離散信道的信道容量強(qiáng)對(duì)稱(chēng)離散信道的信道容量n 如何達(dá)到信道容量如何達(dá)到信道容量：求一種輸入分布使求一種輸入分布使 H(Y) 取最大值。取最大值。n 現(xiàn)已知輸出符號(hào)集現(xiàn)已知輸出符號(hào)集 Y 共有共有 n 個(gè)符號(hào)，則個(gè)符號(hào)，則 H(

27、Y)log2n。根據(jù)最。根據(jù)最大離散熵定理，只有當(dāng)大離散熵定理，只有當(dāng) p(yj)= (1/n)，即輸出端呈等概率分布時(shí)，即輸出端呈等概率分布時(shí)， H(Y) 才達(dá)到最大值才達(dá)到最大值 log2n 。n 要獲得這一最大值，可通過(guò)下面公式尋找相應(yīng)的輸入概率分布；要獲得這一最大值，可通過(guò)下面公式尋找相應(yīng)的輸入概率分布；n 現(xiàn)一般情況下不一定存在一種輸入符號(hào)的概率，使輸出符號(hào)達(dá)到現(xiàn)一般情況下不一定存在一種輸入符號(hào)的概率，使輸出符號(hào)達(dá)到等概率分布。但強(qiáng)對(duì)稱(chēng)離散信道存在。等概率分布。但強(qiáng)對(duì)稱(chēng)離散信道存在。njxypxpypniijij, 2 , 1)/()()(1 d 輸入是什么概率分布時(shí)達(dá)到信道容量輸入

28、是什么概率分布時(shí)達(dá)到信道容量n強(qiáng)對(duì)稱(chēng)離散信道的輸入和輸出之間概率關(guān)系可用矩陣表強(qiáng)對(duì)稱(chēng)離散信道的輸入和輸出之間概率關(guān)系可用矩陣表示為：示為： nnTnnnnTnnnnpnpnpnpnpnpnTnnnPPPPxpxpxppppxpxpxpPypypyp ，的的轉(zhuǎn)轉(zhuǎn)置置，對(duì)對(duì)于于對(duì)對(duì)稱(chēng)稱(chēng)矩矩陣陣是是其其中中)()()()()()()()()(211111112121d 輸入是什么概率分布時(shí)達(dá)到信道容量輸入是什么概率分布時(shí)達(dá)到信道容量n信道矩陣中的每一行都是由同一集合信道矩陣中的每一行都是由同一集合 中的諸元素的不同排列組成，所以保中的諸元素的不同排列組成，所以保 證了證了當(dāng)輸入符號(hào)當(dāng)輸入符號(hào) X 是

29、等概率分布，是等概率分布， 即即 p(xi)=(1/n) 時(shí)，輸出符號(hào)時(shí)，輸出符號(hào) Y 一定是等概率分布，一定是等概率分布，這時(shí)這時(shí) H(Y)=log2n。相應(yīng)的信道容量為：。相應(yīng)的信道容量為： 個(gè)個(gè))1(11,nnpnpp)/(logloglog,loglog12221122信道符號(hào)信道符號(hào)比特比特 npnpnpnipppnpHnHnCd 輸入是什么概率分布時(shí)達(dá)到信道容量輸入是什么概率分布時(shí)達(dá)到信道容量n結(jié)論：結(jié)論：當(dāng)信道輸入呈等概率分布時(shí)，強(qiáng)對(duì)稱(chēng)離散信道能當(dāng)信道輸入呈等概率分布時(shí)，強(qiáng)對(duì)稱(chēng)離散信道能夠傳輸最大的平均信息量，即達(dá)到信道容量。夠傳輸最大的平均信息量，即達(dá)到信道容量。 這個(gè)信道容量

30、只與信道的輸出符號(hào)數(shù)這個(gè)信道容量只與信道的輸出符號(hào)數(shù) n 和相應(yīng)信道矩和相應(yīng)信道矩陣中的任一行矢量有關(guān)。陣中的任一行矢量有關(guān)。e 二進(jìn)制均勻信道二進(jìn)制均勻信道n當(dāng)當(dāng) n=2 時(shí)的強(qiáng)對(duì)稱(chēng)離散信道就是二進(jìn)制均勻信道。時(shí)的強(qiáng)對(duì)稱(chēng)離散信道就是二進(jìn)制均勻信道。n二進(jìn)制均勻信道的信道容量為：二進(jìn)制均勻信道的信道容量為：n二進(jìn)制均勻信道容量二進(jìn)制均勻信道容量 曲線如圖曲線如圖3.2.6所示。所示。pppppHpHppppC2222loglog)()(1loglog1 其其中中： 對(duì)稱(chēng)離散信道的信道容量對(duì)稱(chēng)離散信道的信道容量 a 可排列性可排列性 b 對(duì)稱(chēng)離散信道定義對(duì)稱(chēng)離散信道定義 c 對(duì)稱(chēng)離散信道的信道容

31、量對(duì)稱(chēng)離散信道的信道容量a 可排列性可排列性n行可排列：行可排列：一個(gè)矩陣的每一行都是同一集合一個(gè)矩陣的每一行都是同一集合Qq1,q2,qm 中諸元素的不同排列。中諸元素的不同排列。n列可排列：列可排列：一個(gè)矩陣的每一列都是同一集合一個(gè)矩陣的每一列都是同一集合Pp1,p2,pn 中諸元素的不同排列。中諸元素的不同排列。n矩陣可排列（具有可排列性）：矩陣可排列（具有可排列性）：一個(gè)矩陣的行和列都是一個(gè)矩陣的行和列都是可排列的。可排列的。b 對(duì)稱(chēng)離散信道定義對(duì)稱(chēng)離散信道定義n 對(duì)稱(chēng)離散信道：對(duì)稱(chēng)離散信道：信道矩陣具有可排列性。信道矩陣具有可排列性。n 對(duì)稱(chēng)離散信道行、列集合的特點(diǎn)：對(duì)稱(chēng)離散信道行、

32、列集合的特點(diǎn)：n 當(dāng)當(dāng) mn 時(shí)，時(shí)，P 是是 Q 的子集。的子集。n 當(dāng)當(dāng) m=n 時(shí)，時(shí)，Q 和和 P 中的所有元素重合，中的所有元素重合，Q 和和 P 是是同一集合。同一集合。b 對(duì)稱(chēng)離散信道定義對(duì)稱(chēng)離散信道定義n舉例：舉例： 的子集的子集是是，對(duì)稱(chēng)信道對(duì)稱(chēng)信道QPnmPQP 61316161313131316161616131311 6131212161313121616131212是是同同一一集集合合和和，對(duì)對(duì)稱(chēng)稱(chēng)信信道道QPnmPb 對(duì)稱(chēng)離散信道定義對(duì)稱(chēng)離散信道定義n舉例：舉例： 7 . 01 . 02 . 01 . 02 . 07 . 0231613161616131313PP不

33、對(duì)稱(chēng)信道不對(duì)稱(chēng)信道c 對(duì)稱(chēng)離散信道的信道容量對(duì)稱(chēng)離散信道的信道容量的的元元素素為為信信道道矩矩陣陣中中的的任任一一行行其其中中，因因此此：，無(wú)無(wú)關(guān)關(guān)的的常常數(shù)數(shù)，故故也也是是與與輸輸入入所所以以素素的的不不同同排排列列，一一行行都都是是同同一一集集合合諸諸元元由由于于信信道道的的對(duì)對(duì)稱(chēng)稱(chēng)性性，每每mmmimimiqqqqqqHYHHYHYXIHXYHXH,),()()();()/(2121 mjijijmiminiiijnimjijixypxypHHxpYHxypxypxpYHXYHYHYXI121211)/(log)/()()()/(log)/()()()/()();(其其中中：c 對(duì)稱(chēng)離散

34、信道的信道容量對(duì)稱(chēng)離散信道的信道容量n對(duì)稱(chēng)離散信道的信道容量與強(qiáng)對(duì)稱(chēng)的形式相同，只是這對(duì)稱(chēng)離散信道的信道容量與強(qiáng)對(duì)稱(chēng)的形式相同，只是這里里 mn。n由于對(duì)稱(chēng)信道的特點(diǎn)，其信道矩陣中每一列都是由同一由于對(duì)稱(chēng)信道的特點(diǎn)，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證了當(dāng)集合中的諸元素的不同排列組成，所以保證了當(dāng) X 等等概率分布時(shí)，概率分布時(shí)，Y 也是等概率分布，從而使也是等概率分布，從而使 Y 的熵達(dá)到的熵達(dá)到最大值最大值 log2m，即信道容量。，即信道容量。),(log)(max212)(mmixpqqqHmHYHCi 信道容量為：信道容量為：n準(zhǔn)對(duì)稱(chēng)離散信道定義：準(zhǔn)對(duì)稱(chēng)

35、離散信道定義：一個(gè)一個(gè) n 行行 m 列單符號(hào)離散信道矩列單符號(hào)離散信道矩陣陣 P 的行可排列，列不可排列。但是矩陣中的的行可排列，列不可排列。但是矩陣中的 m 列可列可分成分成 S 個(gè)不相交的子集，各子集分別有個(gè)不相交的子集，各子集分別有m1,m2,ms個(gè)元個(gè)元素素(m1+m2+ms=m)，由，由 n 行行 mk(k=1,2,s) 列組列組成的子矩陣成的子矩陣 Pk 具有可排列性。具有可排列性。n舉例舉例 兩個(gè)子矩陣均是可排列的，故信道兩個(gè)子矩陣均是可排列的，故信道 P 是準(zhǔn)對(duì)稱(chēng)信道。是準(zhǔn)對(duì)稱(chēng)信道。 8181818122141412118181214181814121PPP子子矩矩陣陣相相交

36、交的的子子集集，構(gòu)構(gòu)成成兩兩個(gè)個(gè)兩兩列列和和后后兩兩列列分分成成互互不不陣陣的的前前具具有有可可排排列列性性，但但把把矩矩行行具具有有可可排排列列性性，列列不不 準(zhǔn)對(duì)稱(chēng)離散信道的信道容量準(zhǔn)對(duì)稱(chēng)離散信道的信道容量 n準(zhǔn)對(duì)稱(chēng)離散信道容量為：準(zhǔn)對(duì)稱(chēng)離散信道容量為：n可以證明：可以證明：實(shí)現(xiàn)離散準(zhǔn)對(duì)稱(chēng)無(wú)記憶信道信道容量的輸入實(shí)現(xiàn)離散準(zhǔn)對(duì)稱(chēng)無(wú)記憶信道信道容量的輸入符號(hào)集的分布為等概率分布。符號(hào)集的分布為等概率分布。),()(log)(2121mkkskkqqqHypypmC skmypypkypkMypjkkkj,2,1)()()()( 個(gè)個(gè)子子集集中中概概率率的的平平均均值值為為第第其其中中81818

37、1812P 8181214181814121P214141211Pn舉例舉例n已知準(zhǔn)對(duì)稱(chēng)信道矩陣已知準(zhǔn)對(duì)稱(chēng)信道矩陣 ，求其信，求其信道容量道容量 81818121/243212212222 mxypxpmxypxpmypypjijiiMypijiiMypjjj83412121/121211211111 mxypxpmxypxpmypypjijiiMypijiiMypjjjsignbitqqqHypypmCmkskkk/06125. 0,log-, 211 如何計(jì)算離散信道容量如何計(jì)算離散信道容量 用拉格朗日乘子法求信道容量用拉格朗日乘子法求信道容量 一般離散信道容量計(jì)算步驟一般離散信道容量計(jì)算

38、步驟(3) 離散信道容量的一般計(jì)算方法離散信道容量的一般計(jì)算方法 如何計(jì)算離散信道容量如何計(jì)算離散信道容量n由于由于 I(X;Y) 是輸入概率分布是輸入概率分布 p(xi) 的上凸函數(shù)，所以極大值一定存在。的上凸函數(shù)，所以極大值一定存在。n因?yàn)橐驗(yàn)?I(X;Y) 是是 n 個(gè)變量個(gè)變量 p(x1),p(x2),p(xn) 的多元函數(shù)，并滿足的多元函數(shù)，并滿足 ，所以可用拉各朗日乘子法計(jì)算這個(gè)條件極值。，所以可用拉各朗日乘子法計(jì)算這個(gè)條件極值。 niixp11)(對(duì)一般離散信道求信道容量，就是在固定信道條件下，對(duì)所有可對(duì)一般離散信道求信道容量，就是在固定信道條件下，對(duì)所有可能的輸入概率分布能的輸

39、入概率分布 p(xi) ，求平均互信息的極大值。，求平均互信息的極大值。 nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();( 用拉各朗日乘子法求信道容量用拉各朗日乘子法求信道容量n引進(jìn)一個(gè)新函數(shù)引進(jìn)一個(gè)新函數(shù) 其中其中為拉各朗日乘子，解方程組：為拉各朗日乘子，解方程組： 可得一般信道容量可得一般信道容量 C。)20. 2 . 3(1)();(1 niixpYXI )21. 2 . 3(0)(1)();()(1 iniiixpxpYXIxp )/()()()22. 2 . 3()/()()(1ijijniijijxypxdpydpxypxp

40、yp有由n將將 I(X;Y) 的表達(dá)式代入的表達(dá)式代入(3.2.21)得：得：0)(1)()/(log)/()()(log)(112112 ininiiijmjijimjjjxpxpxypxypxpypyp mjijijmjijjijxypxypexypypxyp121220)/(log)/(log)/()(log)/( 求求偏偏導(dǎo)導(dǎo)得得： nimjjijjiypxypyxpYXI112)()/(log)();(n整理得：整理得：)24. 2 . 3(log)(log()()/(log)/()(212211 eexpypxypxypxpniijijijnimji)23. 2 . 3(log)(

41、)/(log)/(122 mjjijijeypxypxyp 并并求求和和：上上式式兩兩邊邊乘乘以以其其中中：)(1)/(1imjijxpxyp n上式左邊為平均互信息的極大值，即：上式左邊為平均互信息的極大值，即：)28. 2 . 3(2)()26. 2 . 3()27. 2 . 3(Cjjjyp 得得：，再再由由和和信信道道矩矩陣陣求求出出由由得得：代代入入式式)23. 2 . 3()25. 2 . 3()25. 2 . 3(log2 eC mjjijmjjijmjijijCypxypCypxypxypxyp121212)()log/()(log)/()/(log)/()26. 2 . 3(

42、)(log2Cypjj 令令：)27. 2 . 3()/()/(log)/(112 mjjijmjijijxypxypxyp 則則：)29. 2 . 3(2log22, 122)(12111 mjmjCmjCmjjjjjCypj 求求出出信信道道容容量量：求求和和得得：上上式式兩兩邊邊對(duì)對(duì))22. 2 . 3()/()()()(1 niijijixypxpypxp求求：)28. 2 . 3(2)(Cjjyp求： 一般離散信道容量計(jì)算步驟一般離散信道容量計(jì)算步驟n一般離散信道容量的計(jì)算步驟總結(jié)如下：一般離散信道容量的計(jì)算步驟總結(jié)如下：。求求由由；，求，求由由；，求，求由由；，求，求由由)(, )

43、/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj 注意：n 在第步信道容量在第步信道容量 C 被求出后，計(jì)算并沒(méi)有結(jié)束，必被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的，并確認(rèn)所有的 p(xi)0 時(shí)，所求時(shí)，所求的的 C 才存在。才存在。n 在對(duì)在對(duì) I(X;Y) 求偏導(dǎo)時(shí)，僅限制求偏導(dǎo)時(shí)，僅限制 ，并，并沒(méi)有限制沒(méi)有限制 p(xi)0 ，所以求出的，所以求出的 p(xi) 有可能為負(fù)值，有可能為負(fù)值，此時(shí)此時(shí) C 就不存在，必須對(duì)就不存在，

44、必須對(duì) p(xi) 進(jìn)行調(diào)整，再重新求解進(jìn)行調(diào)整，再重新求解 C。n 現(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解?，F(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。 niixp11)(注意：n 在第步信道容量在第步信道容量 C 被求出后，計(jì)算并沒(méi)有結(jié)束，必被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的，并確認(rèn)所有的 p(xi)0 時(shí)，所求時(shí)，所求的的 C 才存在。才存在。n 在對(duì)在對(duì) I(X;Y) 求偏導(dǎo)時(shí)，僅限制求偏導(dǎo)時(shí)，僅限制 ，并，并沒(méi)有限制沒(méi)有限制 p(xi)0 ，所以求出的，所以求出的 p(xi) 有可能為負(fù)值，有可能為負(fù)值，此時(shí)此時(shí) C 就不存在，必須對(duì)就不存在，必

45、須對(duì) p(xi) 進(jìn)行調(diào)整，再重新求解進(jìn)行調(diào)整，再重新求解 C。n 現(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解?，F(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。 niixp11)(注意：n 在第步信道容量在第步信道容量 C 被求出后，計(jì)算并沒(méi)有結(jié)束，必被求出后，計(jì)算并沒(méi)有結(jié)束，必須解出相應(yīng)的須解出相應(yīng)的 p(xi) ，并確認(rèn)所有的，并確認(rèn)所有的 p(xi)0 時(shí)，所求時(shí)，所求的的 C 才存在。才存在。n 在對(duì)在對(duì) I(X;Y) 求偏導(dǎo)時(shí)，僅限制求偏導(dǎo)時(shí)，僅限制 ，并，并沒(méi)有限制沒(méi)有限制 p(xi)0 ，所以求出的，所以求出的 p(xi) 有可能為負(fù)值，有可能為負(fù)值，此時(shí)此時(shí) C 就不存在，必須對(duì)就不存在，必須

46、對(duì) p(xi) 進(jìn)行調(diào)整，再重新求解進(jìn)行調(diào)整，再重新求解 C。n 現(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解?，F(xiàn)在一般采用計(jì)算機(jī)，運(yùn)用迭代算法求解。 niixp11)(例3.2.2：有一信道矩陣 ，求信道容量 C。 101 1222222211121)1 (log)1 (loglog1)1 (log)1 (log)1 (0)/(log)/()/(，有有：由由mjijijmjjijxypxypxyp 1212)1(1log2logCCmjj，有有由由111211)1 (1)1 ()(1)(,)1 (112)(22)(1ypypypypCCjj有：，由因?yàn)橐驗(yàn)槭菞l件轉(zhuǎn)移概率是條件轉(zhuǎn)移概率 p(y1/x2

47、) ，所以，所以 01，從而有：，從而有：p(x1)0， p(x2) 0 ，保證了，保證了 C 的存在。的存在。 11211111222111)1(1)1()(,)1(1)1()()1)()(,)()()(, )/()()(xpxpxpypxpxpypxypxpypniijij解得：解得：由由若信道的輸入和輸出隨機(jī)序列中的每一個(gè)隨機(jī)變量都取值若信道的輸入和輸出隨機(jī)序列中的每一個(gè)隨機(jī)變量都取值于同一符號(hào)集，并且隨機(jī)序列中每個(gè)隨機(jī)變量都是統(tǒng)計(jì)獨(dú)于同一符號(hào)集，并且隨機(jī)序列中每個(gè)隨機(jī)變量都是統(tǒng)計(jì)獨(dú)立的，這種信道稱(chēng)為離散無(wú)記憶多符號(hào)信道。立的，這種信道稱(chēng)為離散無(wú)記憶多符號(hào)信道。若信道的輸入和輸出隨機(jī)序列

48、中的每一個(gè)隨機(jī)變量可以取若信道的輸入和輸出隨機(jī)序列中的每一個(gè)隨機(jī)變量可以取值于不同的輸入符號(hào)集或輸出符號(hào)集，并且隨機(jī)序列中每值于不同的輸入符號(hào)集或輸出符號(hào)集，并且隨機(jī)序列中每個(gè)隨機(jī)變量都是統(tǒng)計(jì)獨(dú)立的，這種信道稱(chēng)為一般離散無(wú)記個(gè)隨機(jī)變量都是統(tǒng)計(jì)獨(dú)立的，這種信道稱(chēng)為一般離散無(wú)記憶信道。憶信道。；，其中的一個(gè)發(fā)出序列設(shè)信源NlxxxXXXXXXnlNN2, 1,2121P(YN/XN)NNXXXX21NNYYYY21；，其中的一個(gè)接收序列信宿NlyyyYYYYYYmlNN2, 1,2121這種信道相當(dāng)于單符號(hào)離散信道在這種信道相當(dāng)于單符號(hào)離散信道在N個(gè)不同的時(shí)刻連續(xù)運(yùn)個(gè)不同的時(shí)刻連續(xù)運(yùn)用了用了N次，

49、所以也可以稱(chēng)為離散無(wú)記憶單符號(hào)次，所以也可以稱(chēng)為離散無(wú)記憶單符號(hào)N次擴(kuò)展信次擴(kuò)展信道。道。 NlllNNNNNNXYpXYpXYpXYpXXXYYYpXYp122112121/離散無(wú)記憶多符號(hào)信道的傳遞概率等于各單位時(shí)刻相應(yīng)的離散無(wú)記憶多符號(hào)信道的傳遞概率等于各單位時(shí)刻相應(yīng)的單符號(hào)無(wú)記憶信道的傳遞概率的連乘。單符號(hào)無(wú)記憶信道的傳遞概率的連乘。 NNNNNNNNXYHYHYXHXHYXI/;離散無(wú)記憶多符號(hào)信道的平均互信息離散無(wú)記憶多符號(hào)信道的平均互信息 NlllNNNlllNNNNNNXYHXYHYXHYXHYYYHYHXXXHXH112121/其中因?yàn)樾诺赖妮斎胄蛄兄械碾S機(jī)變量取自同一信源符

50、號(hào)集，因?yàn)樾诺赖妮斎胄蛄兄械碾S機(jī)變量取自同一信源符號(hào)集，且輸出序列中的隨機(jī)變量都取同一信宿符號(hào)集，所有的信且輸出序列中的隨機(jī)變量都取同一信宿符號(hào)集，所有的信源符號(hào)通過(guò)相同的信道傳送到輸出端，因此滿足源符號(hào)通過(guò)相同的信道傳送到輸出端，因此滿足YXIYXIYXIYXINN;2211YXNIYXIYXINlllNN;1即信源無(wú)記憶時(shí)，無(wú)記憶信道的即信源無(wú)記憶時(shí)，無(wú)記憶信道的N次擴(kuò)展信道的平均互信次擴(kuò)展信道的平均互信息等于原來(lái)信道的平均互信息的息等于原來(lái)信道的平均互信息的N倍。倍。離散無(wú)記憶多符號(hào)信道的信道容量離散無(wú)記憶多符號(hào)信道的信道容量 NCCYXIYXIYXICNllNlxpNlllxpNNxp

51、N111;max;max;max離散無(wú)記憶多符號(hào)信道的信道容量等于原離散單符號(hào)信道離散無(wú)記憶多符號(hào)信道的信道容量等于原離散單符號(hào)信道的信道容量的的信道容量的N倍。倍。信道1P(Y/X)信道2P(Z/XY)XYZ在一些實(shí)際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如在一些實(shí)際通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道。例如n微波中繼接力通信就是一種串聯(lián)信道。微波中繼接力通信就是一種串聯(lián)信道。n信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一信宿收到數(shù)據(jù)后再進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理系統(tǒng)可看成一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)信道。信道P(Z/X)XZnxxxX,21nyyyY,21nzzzZ,21信道信道1的輸出的輸出Y與其輸入與其輸入X統(tǒng)計(jì)相關(guān)，信道統(tǒng)計(jì)相關(guān)，信道2的輸出的輸出Z與其與其輸入輸入Y統(tǒng)計(jì)相關(guān)，一般來(lái)講，統(tǒng)計(jì)相關(guān)，一般來(lái)講，Z與與X統(tǒng)計(jì)相關(guān)。統(tǒng)計(jì)相關(guān)。級(jí)聯(lián)的結(jié)構(gòu)決定了級(jí)聯(lián)的結(jié)構(gòu)決定了Z的取值在給定的取值在給定Y以后與以后與X將不再有關(guān)將不再有關(guān)在概率論中稱(chēng)在概率論中稱(chēng)XYZ的