信道及信道容量

第3章信道與信道容量3.0引言3.1信道分類(lèi)和描述3.2離散信道及數(shù)學(xué)模型3.3信道容量3.4離散信道的信道容量3.5多用戶信道及信道容量3.6連續(xù)信道及信道容量信息工程學(xué)院通信工程系3.0

引言信道作為通信系統(tǒng)中的重要組成部分，是傳輸信息的媒介和通道，其任務(wù)是以信號(hào)的形式傳輸和存儲(chǔ)信息。在物理信道一定的情況下，總是希望傳輸?shù)男畔⒃蕉嘣胶谩＿@不僅僅與物理信道本身特性有關(guān)，還與載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān)。本章討論“什么條件下，通過(guò)信道的信息量最大”。信息工程學(xué)院通信工程系3.1

信道分類(lèi)和描述信道分類(lèi)1、根據(jù)信道兩端輸入和輸出集合的個(gè)數(shù)，分為：兩端信道(單用戶信道)--輸入、輸出均只有一個(gè)多端信道(多用戶信道)--輸入、輸出有多個(gè)2、根據(jù)輸入、輸出隨機(jī)變量的個(gè)數(shù)，分為：?jiǎn)畏?hào)信道--輸入、輸出用隨機(jī)變量表示多符號(hào)信道--輸入、輸出用隨機(jī)矢量表示3、根據(jù)信道上有無(wú)噪聲(干擾)，分為：有噪(擾)信道無(wú)噪(擾)信道信息工程學(xué)院通信工程系3.1

信道分類(lèi)和描述4、根據(jù)信道有無(wú)記憶特性，分為：無(wú)記憶信道--輸出僅與當(dāng)前輸入有關(guān)，與先前輸入無(wú)關(guān)有記憶信道--輸出不僅與當(dāng)前輸入有關(guān)，還與先前輸入有關(guān)5、根據(jù)輸入輸出信號(hào)的特點(diǎn)，分為：離散信道(數(shù)字信道)--輸入、輸出隨機(jī)變量均為離散取值，取值可有限或無(wú)限。連續(xù)信道(模擬信道)--輸入、輸出隨機(jī)變量均為連續(xù)取值半離散(連續(xù))信道--一個(gè)為離散，一個(gè)為連續(xù)信息工程學(xué)院通信工程系3.1

信道分類(lèi)和描述信道描述所有信道都有輸入集和輸出集，當(dāng)輸入集的信號(hào)經(jīng)過(guò)信道輸出為輸出集時(shí)，噪聲或干擾會(huì)從信道引入，它們使信號(hào)在通過(guò)信道后產(chǎn)生錯(cuò)誤和失真。信道的輸入和輸出信號(hào)之間不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴的關(guān)系，因此只要知道信道的輸入信號(hào)，輸出信號(hào)以及它們之間統(tǒng)計(jì)關(guān)系，則能夠確定信道的全部特性。由于實(shí)際信道的帶寬總是有限的，所以輸入信號(hào)和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究，信道整體描述包含以下三要素：（1）信道輸入統(tǒng)計(jì)概率空間：（2）信道輸出統(tǒng)計(jì)概率空間：

（3）信道的統(tǒng)計(jì)特性，即信道轉(zhuǎn)移概率矩陣：信息工程學(xué)院通信工程系條件概率為該條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率。

XY3.2

離散信道及數(shù)學(xué)模型離散信道數(shù)學(xué)模型設(shè)離散信道的輸入空間為輸出空間為概率分布為概率分布為信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型將所有轉(zhuǎn)移概率以矩陣方式列出，得：其中該矩陣完全描述了信道在干擾作用下的統(tǒng)計(jì)特性，稱為信道矩陣(n行m列)。信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型反信道矩陣(m行n列)其中信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型（1）聯(lián)合概率其中稱為前向概率，描述信道的噪聲特性。稱為后向概率，后驗(yàn)概率。稱為先驗(yàn)概率。（2）輸出符號(hào)的概率（3）后驗(yàn)概率表明輸出端收到任一符號(hào)，必定是輸入端某一符號(hào)輸入所致。

離散信道中的概率關(guān)系信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型單符號(hào)離散信道單符號(hào)離散信道是最簡(jiǎn)單的離散信道，即信道的輸入輸出都只是單個(gè)隨機(jī)變量的，單符號(hào)離散信道的輸入變量為，輸出為。條件概率為滿足信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型典型的單符號(hào)離散信道

1.二進(jìn)制對(duì)稱信道二進(jìn)制對(duì)稱信道也稱二元對(duì)稱信道或BSC信道，它的輸入為，輸出為，其轉(zhuǎn)移概率矩陣為且有

二進(jìn)制對(duì)稱信道線圖信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型

2.二進(jìn)制刪除信道二進(jìn)制刪除信道的輸入為，輸出為，其轉(zhuǎn)移概率矩陣為且有二進(jìn)制刪除信道線圖信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型多符號(hào)離散信道(N次擴(kuò)展信道)如果在不同時(shí)刻有多個(gè)來(lái)自于同一信源的隨機(jī)變量（多符號(hào)信源）通過(guò)離散信道傳輸，則稱該信道為多符號(hào)離散信道。多符號(hào)離散信源在N個(gè)不同時(shí)刻分別通過(guò)單符號(hào)離散信道{X

P(Y/X)Y}，在輸出端出現(xiàn)，形成一個(gè)新的信道，此即多符號(hào)離散信道。

由于新信道相當(dāng)于單符號(hào)離散信道在N個(gè)不同的時(shí)刻連續(xù)運(yùn)用了N次，也稱為單符號(hào)離散信道的N次擴(kuò)展信道。

信息工程學(xué)院通信工程系多符號(hào)離散信道數(shù)學(xué)模型3.2

離散信道及數(shù)學(xué)模型Xk取值:{x1,x2,…,xn}，則X共有nN

種,i=1～nNYk取值:{y1,y2,…,ym}，則Y共有mN種

,j=1～mNP(Y|X){p(yj|xi)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型信道矩陣為注意：每行元素之和等于1。其中信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型信道組合假設(shè)信道1和信道2如下：下面介紹三種基本的信道組合方式。信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型1.

并行信道（積信道）若信道1和信道2同時(shí)分別傳送消息，并且兩個(gè)信道相互獨(dú)立，則組合信道的輸入集由所有有序?qū)M成，

即組合信道輸入集，輸出集由組成，即輸出集

。由到的轉(zhuǎn)移概率為：稱這樣組合成的信道為信道1和信道2的獨(dú)立并行信道或積信道。以來(lái)表示，信道1和信道2稱為積信道的分信道。易推廣到N個(gè)獨(dú)立信道構(gòu)成并行信道。信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型2.

和信道若任一單位時(shí)間可隨機(jī)的選用信道1或信道2中的一個(gè)（兩者不能同時(shí)選用）。選用信道1的概率為

，選用信道2的概率為

，且

。組合信道的輸入空間

，輸出空間

轉(zhuǎn)移概率分布為：

稱此組合信道為和信道，以

表示。信息工程學(xué)院通信工程系3.2

離散信道及數(shù)學(xué)模型3.

級(jí)聯(lián)信道若將信道1的輸出作為信道2的輸入，信道1的輸入集就是組合信道的輸入集，信道2的輸出集就是組合信道的輸出集，稱這樣組成的信道為級(jí)聯(lián)信道又稱為串行信道。若信道1和信道2級(jí)聯(lián)，則要求信道1的輸出集和信道2的輸入集相同。給定信道1和信道2的轉(zhuǎn)移概率和，則級(jí)聯(lián)信道的轉(zhuǎn)移概率為這樣就得到了一個(gè)新的離散信道，輸入集為，輸出集為

，轉(zhuǎn)移概率矩陣為。信息工程學(xué)院通信工程系3.3

信道容量

研究信道的目的：討論信道中平均每個(gè)符號(hào)所能傳輸?shù)男畔⒘?，即信道的信息傳輸率R。

在通信系統(tǒng)中，如果信源熵為，希望在信道的輸出端接收的信息量就是。然而由于信道干擾的存在，在接收端只能接收到。

由平均互信息的物理意義可知，表示接收到Y(jié)后平均每個(gè)符號(hào)獲得關(guān)于X的信息量。因此，信道的信息傳輸率就是平均互信息量。同時(shí)由平均互信息性質(zhì)可知，，意味著輸出端Y往往只能獲得關(guān)于輸入X的部分信息。信息工程學(xué)院通信工程系3.3

信道容量信道容量的定義

信道容量含義包含2點(diǎn)：①給定信道時(shí)，在各種信源分布下求出最大平均互信息。②給定信道時(shí)，理論上能傳輸最大平均信息量，表征信道傳送信息的最大能力。信道容量定義為平均互信息量的最大值：平均互信息是信源分布的上凸函數(shù)。對(duì)于一個(gè)固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。

信道容量C

只與信道的統(tǒng)計(jì)特性有關(guān)，而與信源的分布無(wú)關(guān)。信道容量是完全描述信道特征的參數(shù)，反應(yīng)的是信道的最大的信息傳輸能力。信息工程學(xué)院通信工程系3.3

信道容量信息傳輸速率Rt:

單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘浚羝骄鶄鬏斠粋€(gè)符號(hào)需要t秒，則信道每秒平均傳輸?shù)男畔⒘繛椋盒畔鬏斅蔙:

信道中平均每個(gè)符號(hào)所能傳送的信息量。由于平均互信息的含義是接收到符號(hào)Y后，平均每個(gè)符號(hào)獲得的關(guān)于X的信息量，因此信道信息傳輸率R就是平均互信息。最大信息傳輸速率Ct:

若平均傳輸一個(gè)符號(hào)需要t秒，則信道單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛椋盒畔⒐こ虒W(xué)院通信工程系3.4

離散信道的信道容量離散對(duì)稱信道的信道容量矩陣相關(guān)定義：行可排列——矩陣每行各元素都來(lái)自同一集合中元素的不同排列。

列可排列——矩陣每列各元素都來(lái)自同一集合中元素的不同排列。矩陣可排列——矩陣的行、列皆可排列。

對(duì)稱信道：信道矩陣具有可排列性，稱為對(duì)稱信道。

(1)

時(shí)，為同一集合。時(shí)，中，其中一個(gè)必為另一個(gè)子集。

(2)輸入等概→輸出等概。性質(zhì)：信息工程學(xué)院通信工程系3.4

離散信道的信道容量離散對(duì)稱輸入信道(行可排列)——如果一個(gè)離散無(wú)記憶信道的信道矩陣中，每一行都是其它行的同一組元素的不同排列，則稱此類(lèi)信道為離散輸入對(duì)稱信道。離散對(duì)稱輸出信道(列可排列)——如果一個(gè)離散無(wú)記憶信道的信道矩陣中，每一列都是其它列的同一組元素的不同排列，則稱此類(lèi)信道為離散輸出對(duì)稱信道。信息工程學(xué)院通信工程系3.4

離散信道的信道容量離散對(duì)稱信道如果一個(gè)離散無(wú)記憶信道的信道矩陣中，每一行都是其它行的同一組元素的不同排列，并且每一列都是其它列的同一組元素的不同排列，則稱此類(lèi)信道為離散對(duì)稱信道。信息工程學(xué)院通信工程系3.4

離散信道的信道容量

定理：如果一個(gè)離散對(duì)稱信道具有n個(gè)輸入符號(hào)，m個(gè)輸出符號(hào)，則當(dāng)輸入等概分布時(shí)，達(dá)到信道容量C。由于對(duì)稱信道的特點(diǎn)，輸入等概率分布輸出等概率分布。當(dāng)輸出等概分布時(shí)，即時(shí)達(dá)到信道容量。矩陣行中的所有元素的熵離散對(duì)稱信道的信道容量信息工程學(xué)院通信工程系3.4

離散信道的信道容量例設(shè)一個(gè)對(duì)稱信道的信道轉(zhuǎn)移矩陣為求其信道容量。信息工程學(xué)院通信工程系3.4

離散信道的信道容量解由對(duì)稱離散信道的信道容量公式得：信息工程學(xué)院通信工程系3.4

離散信道的信道容量準(zhǔn)對(duì)稱離散信道的信道容量如果單符號(hào)離散信道矩陣的行可排列，列不可排列；但矩陣中按列分為不相交的子集，各個(gè)子集組成矩陣是可排列的，則稱這樣的信道為準(zhǔn)對(duì)稱信道。由行可排列知:n輸入個(gè)數(shù)m輸出個(gè)數(shù)信道容量信息工程學(xué)院通信工程系

只要使輸出變量Y呈等概率分布，上式第一項(xiàng)達(dá)到最大值，從而得出信道容量C。由于[P]中各列不具可排列性，為了使，則輸入概率分布的某些概率必須出現(xiàn)負(fù)值。（不合理）

如何在非負(fù)的條件下，使H(Y)達(dá)到其最大值？3.4

離散信道的信道容量信息工程學(xué)院通信工程系3.4

離散信道的信道容量可將中的m項(xiàng)分成s個(gè)子集。各子集分別有個(gè)元素則令第k個(gè)集合的概率平均值為因?yàn)?，且信息工程學(xué)院通信工程系3.4

離散信道的信道容量信息工程學(xué)院通信工程系3.4

離散信道的信道容量把子集中的變成其均值，將使第k個(gè)子集中的熵達(dá)到最大。由于子矩陣具有可排列性，只要信源呈等概率分布即可使第k個(gè)子集中的輸出概率相等，即達(dá)到其均值。信息工程學(xué)院通信工程系3.4

離散信道的信道容量相應(yīng)的準(zhǔn)對(duì)稱信道容量為例信道矩陣的信道容量信息工程學(xué)院通信工程系3.4

離散信道的信道容量解：分成可排列的子矩陣信息工程學(xué)院通信工程系3.4

離散信道的信道容量強(qiáng)對(duì)稱離散信道的信道容量

信道特點(diǎn)：信道輸入、輸出取值均為n個(gè)不同的符號(hào)組成每個(gè)符號(hào)正確傳輸概率均為其他(n-1)符號(hào)錯(cuò)誤傳輸概率為

矩陣特點(diǎn):n×n階對(duì)稱陣每行和為1,每列和為1信息工程學(xué)院通信工程系3.4

離散信道的信道容量問(wèn)題：求一種分布使得H(Y)最大？信息工程學(xué)院通信工程系3.4

離散信道的信道容量輸出符號(hào)集Y共有n個(gè)符號(hào)，當(dāng)輸出等概率分布時(shí)，H(Y)達(dá)到最大值。要得到最大值，由公式尋求相應(yīng)的輸入概率分布。一般情況下，不一定存在一種輸入符號(hào)的概率分布，使輸出符號(hào)概率等概率分布，從而使H(Y)最大。信息工程學(xué)院通信工程系3.4

離散信道的信道容量對(duì)于強(qiáng)對(duì)稱離散信道，其輸入和輸出符號(hào)概率關(guān)系可用矩陣表示為由對(duì)稱矩陣可知信息工程學(xué)院通信工程系3.4

離散信道的信道容量信道矩陣中的每一行都是由同一個(gè)集合中的元素不同排列組成，所以保證了當(dāng)輸入符號(hào)X等概率時(shí)，輸出Y也一定等概率分布，此時(shí)。強(qiáng)對(duì)稱信道的信道容量[結(jié)論]對(duì)強(qiáng)對(duì)稱信道，輸入等概→輸出等概，從而達(dá)到C。信息工程學(xué)院通信工程系3.4

離散信道的信道容量離散無(wú)噪信道的信道容量

無(wú)損確定信道：一對(duì)一(n=m)信道矩陣：?jiǎn)挝痪仃嚀p失熵:

噪聲熵:

x1x2x3

xny1y2y3

yn………信息工程學(xué)院通信工程系

無(wú)損信道：一對(duì)多(n＜m)具有擴(kuò)展性的無(wú)噪信道信道矩陣：每列只有一個(gè)非0元素，不全是0、1損失熵噪聲熵x1x2x3y1y2y3y4y53.4

離散信道的信道容量信息工程學(xué)院通信工程系3.4

離散信道的信道容量

確定信道：多對(duì)一(n>m)具有歸并性的無(wú)噪信道信道矩陣：每行只有一個(gè)元素“1”，其它全是0損失熵噪聲熵y1y2y3x1x2x3x4x5信息工程學(xué)院通信工程系一般離散無(wú)記憶信道的信道容量3.4

離散信道的信道容量根據(jù)離散無(wú)記憶信道的信道容量的定義可知信道容量的計(jì)算就是在固定信道的條件下，即條件下，求函數(shù)的極大值。已知輸入概率分布的上凸函數(shù)，極大值一定存在。具體使用拉格朗日法實(shí)現(xiàn)：首先引入一個(gè)新函數(shù)，λ是拉格朗日乘子，解方程組

可得一般信道容量C。信息工程學(xué)院通信工程系3.4

離散信道的信道容量由貝葉斯公式可知:由帶入方程組可得求偏導(dǎo)數(shù)可得信息工程學(xué)院通信工程系3.4

離散信道的信道容量整理可得同乘并求和則平均互信息的最大值，即信道容量帶入信息工程學(xué)院通信工程系3.4

離散信道的信道容量令則可由信道矩陣求出兩邊對(duì)j求和可得信道容量信息工程學(xué)院通信工程系3.4

離散信道的信道容量一般離散信道容量的計(jì)算步驟如下：（1）由，求出。（2）由，求出C。（3）由，求出。（4）由，求出。強(qiáng)調(diào)：在第2步信道容量C被求出后，必須解出相應(yīng)的，并確認(rèn)所有的時(shí)，C才存在，否則，對(duì)調(diào)整，再重新求解C。信息工程學(xué)院通信工程系3.4

離散信道的信道容量例：求信道矩陣的信道容量C。信息工程學(xué)院通信工程系3.4

離散信道的信道容量解：由公式可知信息工程學(xué)院通信工程系3.4

離散信道的信道容量從而導(dǎo)致保證C的存在。信息工程學(xué)院通信工程系3.4

離散信道的信道容量多符號(hào)(單符號(hào)擴(kuò)展)離散無(wú)記憶信道的信道容量Xk取值:{x1,x2,…,xn}，則X共有nN

種,i=1～nNYk取值:{y1,y2,…,ym}，則Y共有mN種

,j=1～mNP(Y|X){p(yj|xi)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

信息工程學(xué)院通信工程系3.4

離散信道的信道容量若多符號(hào)離散信道的轉(zhuǎn)移概率滿足

則稱為離散無(wú)記憶信道的N次擴(kuò)展信道。即在k時(shí)刻，輸出隨機(jī)變量只與對(duì)應(yīng)的輸入隨機(jī)變量有關(guān)。離散無(wú)記憶N次擴(kuò)展信道兩端的平均互信息:離散無(wú)記憶信道的N次擴(kuò)展信道的平均互信息，不大于N個(gè)隨機(jī)變量單獨(dú)通過(guò)信道的平均互信息之和。當(dāng)且僅當(dāng)信源無(wú)記憶,或信源X是離散無(wú)記憶信源X的N次擴(kuò)展信源時(shí)，等號(hào)成立。信息工程學(xué)院通信工程系3.4

離散信道的信道容量離散無(wú)記憶信道的N次擴(kuò)展信道，當(dāng)輸入端的N個(gè)輸入隨機(jī)變量統(tǒng)計(jì)獨(dú)立時(shí)，信道的總平均互信息等于這N個(gè)變量單獨(dú)通過(guò)信道的平均互信息量之和。離散無(wú)記憶信源的N次擴(kuò)展信源輸入端X=X1X2…XN任一個(gè)隨機(jī)變量取自同一個(gè)符號(hào)集合通過(guò)同一個(gè)離散無(wú)記憶信道信道；輸出端Y=Y1Y2…YN任一隨機(jī)變量Yk取自同一個(gè)符號(hào)集合可知，因此，信息工程學(xué)院通信工程系3.4

離散信道的信道容量離散無(wú)記憶信道的N次擴(kuò)展信道，如果信源也是離散無(wú)記憶信源的N次擴(kuò)展信源，則信道總的平均互信息量是單符號(hào)離散無(wú)記憶信道的平均互信息量的N倍。如果用和分別表示離散無(wú)記憶信道及N次擴(kuò)展信道的信道容量，則此式說(shuō)明離散無(wú)記憶的N次擴(kuò)展信道的信道容量等于原單個(gè)符號(hào)離散信道的信道容量的N倍，只有當(dāng)輸入信源是無(wú)記憶的及每個(gè)輸入隨機(jī)變量的分布各自達(dá)到最佳分布時(shí)，才達(dá)到信道容量NC

。信息工程學(xué)院通信工程系3.4

離散信道的信道容量組合信道的信道容量

并行信道(積信道)的信道容量并行信道的特點(diǎn)是所有信道并聯(lián)使用，組合后信道的轉(zhuǎn)移概率為:各個(gè)并行信道互信息為：由于所以當(dāng)且僅當(dāng)相互獨(dú)立時(shí)才有所以，并行信道的信道容量為即整個(gè)并行信道的信道容量是各組成信道的信道容量之和。信息工程學(xué)院通信工程系和信道的信道容量3.4

離散信道的信道容量選用信道1的概率為

，選用信道2的概率為

，且信道轉(zhuǎn)移概率分布為和信道的平均互信息為令信道容量為信息工程學(xué)院通信工程系3.4

離散信道的信道容量令即信道容量為：帶入信息工程學(xué)院通信工程系3.4

離散信道的信道容量

N

個(gè)獨(dú)立信道的和信道，即各信道輸入、輸出、轉(zhuǎn)移概率和信道容量為，則和信道的信道容量為。每個(gè)信道被使用的概率為。信息工程學(xué)院通信工程系3.4

離散信道的信道容量級(jí)聯(lián)信道的信道容量

級(jí)聯(lián)信道的信道容量不可能大于其中某個(gè)組成信道的信道容量。實(shí)際上，當(dāng)信道不斷級(jí)聯(lián)時(shí)，級(jí)聯(lián)信道的信道容量一般將趨于零。信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量單符號(hào)（多符號(hào)）信道中都是一個(gè)輸入端和一個(gè)輸出端的信道，稱該信道為單用戶信道，相應(yīng)通信的系統(tǒng)稱為單路通信系統(tǒng)。單路通信系統(tǒng)解決兩個(gè)用戶之間的信息傳遞問(wèn)題。如果多個(gè)用戶之間需要相互傳遞信息，就要用多個(gè)單用戶信道構(gòu)成信道群，繼而形成通信網(wǎng)。為了提高通信效率，通信網(wǎng)中的信道往往允許多個(gè)輸入端和多個(gè)輸出端，該信道稱為多用戶信道，相應(yīng)的通信系統(tǒng)稱為多路通信系統(tǒng)。研究多路通信系統(tǒng)的信息傳遞理論，稱為多用戶信息論或網(wǎng)絡(luò)信息論。單用戶信道是多用戶信道的基礎(chǔ)，而實(shí)際的信道大部分是多用戶信道。如計(jì)算機(jī)通信、衛(wèi)星通信、廣播通信等。多用戶信道主要包含：多址接入信道廣播信道相關(guān)信源的多用戶信道信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量多址接入信道（多元接入信道）多址接入信道指多個(gè)用戶的信息用多個(gè)編碼器分別編碼后，用同一個(gè)信道傳輸，在接收端用一個(gè)譯碼器譯碼，然后分送給不同的用戶。即多個(gè)輸入端，一個(gè)輸出端的多用戶信道。

多址接入信道模型信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量最簡(jiǎn)單的多址接入信道是只有兩個(gè)輸入端和一個(gè)輸出端的二址接入信道，二址接入信道信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量設(shè)信道的兩個(gè)輸入隨機(jī)變量X1和X2分別取值于集合輸出隨機(jī)變量Y取值于集合，則信道特性由條件轉(zhuǎn)移概率表示為

兩個(gè)編碼器分別將兩個(gè)原始信源U1和U2的符號(hào)編成適合于信道傳輸?shù)男盘?hào)X1和X2，一個(gè)譯碼器把信道輸出Y譯成兩路相應(yīng)的信源符號(hào)和。

信息工程學(xué)院通信工程系由傳至的信息率用R1表示。它是從Y中獲得關(guān)于X1的平均互信息量，即。若X2已知，則可排除X2

引起的對(duì)于X1的傳輸干擾，使得R1達(dá)到最大，故有當(dāng)改變編碼器1和2使得X1和X2能夠達(dá)到最合適的概率分布，使得平均互信息量達(dá)到最大值時(shí)，稱最大值為條件信道容量即，3.5

多用戶信道及信道容量信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量同理從Y獲得的關(guān)于X1X2

的平均互信息量總信道容量信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量當(dāng)X1和X2相互獨(dú)立時(shí)，滿足不等式二址接入信道信息率和信道容量之間滿足如下條件：這些條件可以確定二址接入信道以R1和

R2為坐標(biāo)的二維空間中的某個(gè)區(qū)域的，該區(qū)域的界限是二址接入信道的容量。圖中陰影區(qū)域都滿足上述的條件。信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量

二址接入信道的結(jié)論易推廣到多址接入信道。若信道有N個(gè)輸入端和一個(gè)輸出端，第i個(gè)編碼器輸出消息的信息率為相應(yīng)的條件信道容量為，信道總?cè)萘繛椋瑒t信息率和信道容量之間應(yīng)滿足如下限制條件：

當(dāng)輸入各信源相互獨(dú)立時(shí)，。這些限制條件規(guī)定了一個(gè)在N

維空間中的體積，這個(gè)體積的外形是一個(gè)截取角的多面體，多面體內(nèi)是信道允許的信息率多面體的上界就是多址接入信道的容量。

信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量廣播信道廣播信道指具有一個(gè)輸入和多個(gè)輸出的信道。通常廣播電臺(tái)或廣播電視傳輸系統(tǒng)在一定范圍內(nèi)只有一個(gè)發(fā)射臺(tái)，但有許多接收機(jī)，可視為典型的廣播信道。最簡(jiǎn)單的廣播信道是一個(gè)輸入兩個(gè)輸出的廣播信道。對(duì)于連續(xù)變量（離散變量），其總的信道特性用來(lái)表示。信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量單輸入多輸出（退化的）廣播信道如果廣播信道的條件概率密度滿足

則稱該信道為退化的廣播信道。

退化的廣播信道可以看成是兩個(gè)信道的串聯(lián)。信道1和信道2的特性分別由和兩個(gè)條件概率密度來(lái)描述。Y1是第一個(gè)信道的輸出，Y2是第二個(gè)信道的輸出。退化的廣播信道模型信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量這意味著Y2的條件概率與X無(wú)關(guān)，所以信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量通過(guò)改變使得最大，即求得的最大值，然后改變和，但保持不變，只要即可得出退化廣播信道的信息率可達(dá)區(qū)域。信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量相關(guān)信源的多用戶信道

上述討論是相互獨(dú)立信源的多用戶信道，下面討論相關(guān)信源的多戶信道問(wèn)題。下圖為兩個(gè)相關(guān)信源用戶用兩個(gè)獨(dú)立信道傳送的多用戶信道模型(I)和兩個(gè)相關(guān)信源用三個(gè)獨(dú)立信道傳送的多用戶信道模型(II)。

信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量

X1和X2是相關(guān)信源，是它們的復(fù)現(xiàn)。R1，R2和R0分別表示各路信道的信息率。

討論的問(wèn)題：當(dāng)個(gè)信源的熵H(X1)，H(X2)和H(X1X2)已知時(shí)，R1，R2和R0最小為多少？信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量由于信源的相關(guān)性，必有在I型連接下，只要就能無(wú)差錯(cuò)的傳送X1

和X2

。上式可用左圖中陰影部分區(qū)域表示傳送相關(guān)信源所需的聯(lián)合信道容量，陰影區(qū)域的邊界是傳送相關(guān)信源所必須的最小聯(lián)合信道容量。如果一個(gè)信道容量大，另一個(gè)信道容量小。C2C10H（X1/X2）H（X1）H（X1X2）H（X1X2）H（X1）H（X2/X1）信息工程學(xué)院通信工程系3.5

多用戶信道及信道容量在II型連接下，使用3個(gè)信道。信道0是公共信道，信道1和2是私有信道。各信道的信道容量滿足W是任一待定的隨機(jī)變量，作為信道0的輸出符號(hào)。只要滿足上式信道0可以無(wú)差錯(cuò)輸出W，譯碼器I和譯碼器II能夠正確譯碼。信息工程學(xué)院通信工程系3.6

連續(xù)信道及信道容量當(dāng)信道的輸入和輸出隨機(jī)變量都取值于連續(xù)集合的信道稱為連續(xù)信道。信道傳遞特性用條件概率密度函數(shù)表示。信道數(shù)學(xué)模型表示為，如下圖連續(xù)信道數(shù)學(xué)模型信息工程學(xué)院通信工程系3.6

連續(xù)信道及信道容量仿照離散信道，連續(xù)信道的信道容量定義為：式中為輸入信源的概率密度。連續(xù)信道的信道容量不易計(jì)算，加性連續(xù)信道簡(jiǎn)單。

加性信道：噪聲為連續(xù)隨機(jī)變量

N

，且與輸入X相互統(tǒng)計(jì)獨(dú)立的信道。信道噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加，即Y=X+N。信息工程學(xué)院通信工程系3.6

連續(xù)信道及信道容量加性加性連續(xù)信道模型對(duì)于加性連續(xù)信道，由坐標(biāo)變換理論可知，其中噪聲N的概率密度函數(shù)。信道的條件概率密度函數(shù)等于噪聲的概率密度函數(shù)。由連續(xù)條件熵定義可得：信息工程學(xué)院通信工程系3.6

連續(xù)信道及信道容量完全由信道噪聲概率密度函數(shù)決定的熵，與加性信道的條件熵相等，說(shuō)明是由信道噪聲引起的，故稱為噪聲熵。由加性信道的特征，其信道容量為加性信道容量C就是選取，使輸出熵達(dá)到最大值。對(duì)于不同的限制條件，加性信道容量取決于噪聲N（信道）的統(tǒng)計(jì)特性和輸入變量X的限制條件。X和N統(tǒng)計(jì)獨(dú)立信息工程學(xué)院通信工程系3.6

連續(xù)信道及信道容量高斯加性連續(xù)信道如果加性連續(xù)信道中的噪聲N是均值為0，方差為高斯隨機(jī)變量，即該信道稱為高斯加性噪聲信道。信道的傳遞概率密度函數(shù)為，即噪聲平均功率信息工程學(xué)院通信工程系3.6

連續(xù)信道及信道容量加性高斯信道的信道容量為當(dāng)輸入隨機(jī)變量X的概率密度是均值為0，方差為的高斯隨機(jī)變量，加性信道