熵速率和信道容量

1、2.7熵速率和信道容量信源熵速率信源在單位時間內(nèi)輸出的熵稱為信源的熵速率，也叫信息速率或傳信率。1.離散信源的熵速率2.連續(xù)信源的熵速率如果信源輸出信號的帶寬有限，最大為W，則根據(jù)采樣定理，為了采樣后不丟失任何信息，其采樣率應至少為2W，因此連續(xù)信源的熵速率應為:信道容量的概念信道容量是信道對信源一切可能的概率分布而言能夠傳送的最大熵速率，其單位為比特/秒等。1.離散信道的信道容量離散信源如果有n個符號，符號間無相關性且等概率分布，則其輸出熵最大：如果離散信道每秒最多能傳送個信源符號，則最大熵速率為：把信道可能傳送的最大熵速率定義為信道容量. 應該注意以下幾個問題：(1) 信道容量是信道可能傳

2、送的最大熵速率，實際傳信率可能大大低于信道容量，即可能的最大熵速率，造成信道容量不能充分利用。其原因是因為信源符號間有相關性及符號并非等概分布。解決的辦法是對原始信源符號進行編碼，即改造信源，使得信源和信道相匹配，這就是信源最佳編碼或稱為（與信道）匹配編碼。(2) 信道容量（單位為比特/秒等）與信道單位時間內(nèi)最多可傳輸?shù)姆枖?shù)（例如二進符號0、1）有關系，但這是兩個不同意義的物理量。其單位前者為比特/秒，后者為符號/秒。(3) 如果發(fā)現(xiàn)傳信率不能滿足要求，應先看信源有無可能改造得更好，以充分利用現(xiàn)有的信道容量。只有在要求的傳信率已高于現(xiàn)有信道的容量時，才考慮更換更大容量的信道。因為一般改造信道

3、要比改造信源的代價大得多（指長距離信道），或占用更多的資源。2.連續(xù)信源的信道容量前面已經(jīng)討論過，對于帶寬為平均功率受限的連續(xù)信源當其幅度為高斯分布時，其熵最大：根據(jù)采樣定理每秒的采樣數(shù)至少應為，于是信道傳送的最大熵速率也即信道容量為：離散有噪聲信道中的熵速率和信道容量前面已經(jīng)討論過信源發(fā)送一個消息，信宿接收到消息所獲得的信息量或所接收的熵，由下式表示：發(fā)送某一個消息，接收某一個消息的情況，不能反映全部消息的情況。如果對全部發(fā)送的消息進行統(tǒng)計平均，就可以得到接收某一個yj所獲得的關于的信息量：在信宿端接收到所有的情況下來計算收到一個消息的平均信息量，還應對全部接收消息p(yj)進行統(tǒng)計平均：例

4、2.7.1 仍以例2.1.5例2.2.1為例，如果該信源以平均1000消息/秒的速率發(fā)送信息，利用例2.1.5例2.2.1的結果計算信源熵速率和信宿接收的熵速率?？梢啥鹊奈锢斫忉屔睫r(nóng)用一個理想化的通信系統(tǒng)，對可疑度的物理意義作了解釋，他認為是為了克服信道中噪聲干擾，使信宿能無差錯地加以識別信源所發(fā)出的信息，而必須額外提供的糾正信息。 現(xiàn)在假設信源是一個二元等概離散信源。輸出有兩個符號0和1，而信道是對稱信道，即如發(fā)生錯誤，則發(fā)0錯為1和發(fā)1錯為0的概率相同。如發(fā)現(xiàn)收發(fā)端消息是一樣的，說明傳送無誤，于是理想觀察者對校正裝置發(fā)0，不進行校正，但如果發(fā)現(xiàn)收發(fā)端消息不一樣，就說明傳送有錯誤（由于信道中

5、噪聲干擾），于是理想觀察者就向校正裝置發(fā)1，令其糾錯。疑義度確是為了克服信道中的噪聲干擾，使信宿能正確獲得信源所發(fā)出的信息，而必須額外提供的糾正信息。理想觀察者發(fā)0（不糾錯）發(fā)1（糾錯）兩個消息，這兩個消息也可以組成一個概率空間，就象一個離散信源，于是理想觀察者提供的信息可按下述方法求得：p觀察者(0)=1-pp觀察者(1)=p若傳送無錯誤，則理想觀察者向校正裝置為0。例2.7.2有一個二元信源，輸出0和1兩種符號：。每秒信源發(fā)出10000個符號，信號通過有噪聲對稱信道，其差錯率為1%，求信宿收到的信息速率。連續(xù)有噪信道的熵速率研究一種最常用和重要的信道，稱為高斯白噪聲加性波形信道。其輸入和輸

6、出信號是隨機過程和，信道的噪聲是加性高斯白噪聲，所謂加性，即下式成立： y(t)=x(t)+n(t) (2.7.1)連續(xù)信源的最大熵是與限定條件有關的，而沒有絕對的最大熵。這里設輸入信號的平均功率受限為，信道的通帶是寬度為的矩形，信道中的干擾噪聲平均功率為，信源與噪聲的共熵為：H(X,n)=H(X)+H(n/X) (2.7.2)現(xiàn)在來看信宿端接收信號的概率分布。由于是加性干擾，則根據(jù)式（）接收的消息是發(fā)送消息與噪聲之和，所以對于任何給定的X,Y的分布規(guī)律與n是一樣的，即Y 的概率分布也是高斯分布，即：p(y/x)=p(n/x)連續(xù)有噪信道的信道容量如果固定信道，并設法使傳信率最大化，則此時的最

7、大熵速率就定義為信道容量，即： (2.7.3)現(xiàn)在的問題是信源或信宿端的幅度概率分布應為何種分布，才能使式（）達最大值?，F(xiàn)在來計算信道容量，設發(fā)送信號平均功率為P，信道中噪聲平均功率為N，由于是加性干擾，所以接受信號的平均功率為P+N。前面已經(jīng)知道固定，信道容量C就等于的最大化，在平均功率受限的前提下，接收信號Y為高斯分布時，H(Y)有最大值，由于高斯白噪聲n是高斯分布，故由Y和N合成的輸入信號也一定是高斯分布，所以在信源X為高斯分布或信宿端的Y為高斯分布時，H(Y)取得最大值。如果信道帶寬如前所述為W，則采樣率為2W，可以計算的最大值： (2.7.5) (2.7.6)式（）和（）就是有名的山農(nóng)公式，是信息論中最重要的公式，根據(jù)山農(nóng)公式可以得出重要的結論：1平均功率受限的高斯白噪聲連續(xù)信道，其信道容量與信道帶寬以及功率噪聲比有關，其值越大，信道容量越大。2平均功率受限的高斯白噪聲連續(xù)信道，只有在輸入信號幅度為高斯分布時，傳信率才能達到理論最大值，即等于信道