對稱信道容量的求解

1、HUANGHE S & T COLLEGE信息論與編碼課程設(shè)計(jì)對 稱 信 道 容 量 求 解院（系）名稱信息工程學(xué)院專業(yè)班級學(xué)號學(xué)生姓名指導(dǎo)教師2011年12月8日課程設(shè)計(jì)任務(wù)書2011 2012學(xué)年第一學(xué)期專業(yè)：通信工程學(xué)號:姓名：課程設(shè)計(jì)名稱:信息論與編碼課程設(shè)計(jì)設(shè)計(jì)題目:對稱信道容量的求解完成期限：自2011年12 月 19 日至2011年12月25日共1周設(shè)計(jì)目的1、深刻理解信道容量的概念；2、理解對稱信道的概念與容量公式；3、使用MATLAB或其他語言進(jìn)行編程。設(shè)計(jì)內(nèi)容給定信道的概率矩陣，編程判斷其是否為對稱信道，并求解其信道容量。設(shè)計(jì)要求1、任意給定矩陣；2、如矩陣不滿足信道矩陣的

2、要求，要能提示錯(cuò)誤。設(shè)計(jì)條件計(jì)算機(jī)、MATLAB或其他語言環(huán)境參考資料曹雪虹，張宗橙.信息論與編碼.北京：清華大學(xué)出版社，2007.王慧琴，數(shù)字圖像處理.北京：北京郵電大學(xué)出版社，2007.張德豐，MATLAB通信工程仿真 北京：機(jī)械工程出版社，2010陳魯生，信息論與編碼北京：科學(xué)出版社，2010指導(dǎo)教師（簽字）： 教研室主任（簽字）： 批準(zhǔn)日期：年 月 日摘要本課程設(shè)計(jì)主要以給定信道的概率矩陣1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/21/2;1/2 0 0 1/2通過計(jì)算機(jī)利用MATLAB軟件編輯判斷其是否為對稱信道， 如不是對稱信道，則提示錯(cuò)誤。并利用互信息量二等函數(shù)

3、來求平均互信息 量，并最終得到信道容量的結(jié)果。關(guān)鍵字：信道；信道容量；信道容量計(jì)算目錄 TOC o 1-5 h z 1緒論12信道容量概念13單用戶信道24多用戶信道35信道容量計(jì)算4 HYPERLINK l bookmark55 o Current Document 5.1離散單符號信道及其信道容量4 HYPERLINK l bookmark58 o Current Document 5.2信道容量計(jì)算思路5 HYPERLINK l bookmark61 o Current Document 5.3信道容量定理 5 HYPERLINK l bookmark64 o Current Docum

4、ent 5.4離散多符號信道及其信道容量56組合信道及其信道容量67程序設(shè)計(jì)7 HYPERLINK l bookmark69 o Current Document 8程序運(yùn)行與分析9總結(jié)11致謝12 HYPERLINK l bookmark99 o Current Document 參考文獻(xiàn)13緒論通信系統(tǒng)一般由信源、信道和信宿三部分組成，信道是信息傳遞的通道， 承擔(dān)信息的傳輸和儲(chǔ)存的任務(wù)，是構(gòu)成通信系統(tǒng)的重要組成部分。信道容量 是指信道能夠傳輸信息量的大小，我們經(jīng)常需要考慮如何去計(jì)算信道容量， 這也是香農(nóng)信息論一個(gè)很重要的方面。信道的種類有多種，信道容量也是 一個(gè)非常復(fù)雜的問題。信道容量概念

5、信息論不研究信號在信道中傳輸?shù)奈锢磉^程，它假定信道的傳輸特性 是已知的，這樣信道就可以用抽象的數(shù)學(xué)模型來描述。在信息論中，信道 通常表示成：X, P(YIX), Y，即信道輸入隨機(jī)變量X、輸出隨機(jī)變量Y以 及在輸入已知的情況下，輸出的條件概率分布P(YIX)。圖1信道容量根據(jù)信道的統(tǒng)計(jì)特性是否隨時(shí)間變化分為：恒參信道(平穩(wěn)信道)：信道的統(tǒng)計(jì)特性不隨時(shí)間變化。衛(wèi)星通信 信道在某種意義下可以近似為恒參信道。隨參信道(非平穩(wěn)信道)：信道的統(tǒng)計(jì)特性隨時(shí)間變化。如短波通 信中，其信道可看成隨參信道 。信道容量是信道的一個(gè)參數(shù)，反映了信道所能傳輸?shù)淖畲笮畔⒘浚?大小與信源無關(guān)。對不同的輸入概率分布，互信

6、息一定存在最大值。我們 將這個(gè)最大值定義為信道的容量。一但轉(zhuǎn)移概率矩陣確定以后，信道容量 也完全確定了。盡管信道容量的定義涉及到輸入概率分布，但信道容量的 數(shù)值與輸入概率分布無關(guān)。我們將不同的輸入概率分布稱為試驗(yàn)信源，對 不同的試驗(yàn)信源，互信息也不同。其中必有一個(gè)試驗(yàn)信源使互信息達(dá)到最 大。這個(gè)最大值就是信道容量。信道容量有時(shí)也表示為單位時(shí)間內(nèi)可傳輸?shù)亩M(jìn)制位的位數(shù)(稱信道 的數(shù)據(jù)傳輸速率，位速率)，以位/秒(b/s)形式予以表示，簡記為bps。通信的目的是為了獲得信息，為度量信息的多少(信息量)，我們用 到了熵這個(gè)概念。在信號通過信道傳輸?shù)倪^程中，我們涉及到了兩個(gè)熵，發(fā)射端處信源熵即發(fā)端信源

7、的不確定度，接收端處在接收信號條件 下的發(fā)端信源熵一一即在接收信號條件下發(fā)端信源的不確定度。接收到了信 號，不確定度小了，我們也就在一定程度上消除了發(fā)端信源的不確定性， 也就是在一定程度上獲得了發(fā)端信源的信息，這部分信息的獲取是通過信 道傳輸信號帶來的。如果在通信的過程中熵不能夠減小(不確定度減小) 的話，也就沒有通信的必要了。最理想的情況就是在接收信號條件下信源 熵變?yōu)? (不確定度完全消失)，這時(shí)，發(fā)端信息完全得到。通信信道，發(fā)端X，收端Y。從信息傳輸?shù)慕嵌瓤?，通過信道傳輸了 I(X;Y)=H(X)-H(XIY),(接收Y前后對于X的不確定度的變化)。I該值與 兩個(gè)概率有關(guān)，p(x),p(

8、yIx)，特定信道轉(zhuǎn)移概率一定，那么在所有 p(x)分 布中，max I(X;Y)就是該信道的信道容量C(互信息的上凸性)。3.單用戶信道容量信道是由輸入集A、輸出集B和條件概率P(y|x)，ye B,x e A所規(guī)定 的。當(dāng)B是離散集時(shí)，歸一性要求就是：圣俸P(S)= 1當(dāng)B是連續(xù)集時(shí)，P3| x)應(yīng)理解為條件概率密度，上式就成為積分形式。 如A和B都是離散集，信道所傳送的信息率(每符號)就是輸出符號和輸 入符號之間的互信息：錯(cuò)誤！未找到引用源。互信息與P(y| x)有關(guān)，也與輸入符號的概率 P(x)有關(guān)，后者可由改變編碼 器來變動(dòng)。若能改變P(x)使I(X;D最大，就能充分利用信道傳輸信息

9、的能力， 這個(gè)最大值就稱為單用戶信道容量 C，即：c = P驍I(x； S = P驍 S S式中z為所有允許的輸入符號概率分布的集。當(dāng)A或B是連續(xù)集時(shí)，相應(yīng)的概率應(yīng)理解為概率密度，求和號應(yīng)改為 積分，其他都相仿。4.多用戶信道容量多用戶信道容量問題要復(fù)雜一些。以二址接入信道為例，這種信道有兩個(gè)輸入X2 eA1和X2 eA2，分別與兩個(gè)信源聯(lián)結(jié)，發(fā)送信息率分別為 R1和R2；有一個(gè)輸出匕用它去提取這兩個(gè)信源的信息。若信道的條件概率 為 P(y | x1,x2)，貝U，max I(X1；Y/X2.) = Ct max I(X.；Y/Xj = C-FR? clear all ；x=0.25 0.25

10、 0.25 0.25;f1=1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/2 1/2;1/2 0 0 1/2;%定義信道概率的轉(zhuǎn)移矩陣Hf1=hmessage(x,f1,4,4)hx=message(x,4)disp(信道1的信道容量)c1=hx-hf1平均互信息量為hf1=0.1250此離散信源的平均信息量為hx=0信道1的信道容量c1=0.1250程序運(yùn)行與分析國 Editor - F:MATLABworkmessage.mFile Edit Text Cell Tools Debug Desktop Window Help1 ? X芽 若羸小。e m a 和幻 酒啟磨sta

11、Ck： , 田田日曰回|fLine r, i on rm&ssagG1 (.a, n：1- E:- for 11:n- r=r-x(i) =：4og (x (i) )/log :- end.- disp- r圖2程序輸入圖3信源的平均信息量MATLABFile Edit Debug Desktop Window Help芽 EIS園 f* Current Directory： F:MATLABwork 匚匡Shortcuts S How to Add 0 Whats New clear all；a D, 25 0. 25 0. 25 0. 2：&:fl-1/2 1/2： 0 0:0 1/2 1

12、/2 0:0 0 1/2 1/2:1/2 0 0 1/Z:%定義信道概率的轉(zhuǎn)移矩陣BflhtJiessagG (a. fl. 4. 4：1C? 4)dispC信道1的信道容量)clhx-hf10. 12500. 1E5D圖4信源符號輸入概率與信道容量關(guān)系由運(yùn)行圖可以看出給定任意矩陣r 1/2 1/2 0 0 0 1/2 1/20p =0 0 1/2 1/21/2 0 0 1/2輸入本程序，經(jīng)過MATLAB軟件運(yùn)行判斷其為對稱信道，利用函數(shù)message來求平均互信息量，得出信道1的平均互信息量 為hf1=0.1250，此時(shí)離散信源的平均信息量為：hx=0，最終得出信道1的信道容量：c1=0.1

13、25總 結(jié)本次課程設(shè)計(jì)我的課題是對稱信道容量求解的設(shè)計(jì)，開始的一個(gè)星期 我針對這個(gè)課題的任務(wù)要求從圖書館、上網(wǎng)等渠道獲取相關(guān)信息，查找相 關(guān)的參考資料，然后設(shè)定了本課題的設(shè)計(jì)方案。經(jīng)過近多日的努力，終于 將本次課程設(shè)計(jì)做完了，但由于水平有限，文中肯定有很多不恰當(dāng)?shù)牡胤剑?請老師指出其中的錯(cuò)誤和不當(dāng)之處，使我能做出改正，我會(huì)虛心接受。在 本次課程設(shè)計(jì)過程中，我增強(qiáng)了自己的動(dòng)手能力和分析能力。通過跟同學(xué) 的交流，也通過自己的努力，我按時(shí)完成了這次課程設(shè)計(jì)。在此過程中， 我學(xué)會(huì)了很多，也看到了很多自己的不足之處。在以后的學(xué)習(xí)生活中，我 會(huì)努力學(xué)習(xí)專業(yè)知識(shí)，完善自我，為將來的發(fā)展做好充分的準(zhǔn)備。總之，

14、在這次課程設(shè)計(jì)中，我受益匪淺，學(xué)到了很多書本上所沒有的 東西，懂得了理論和實(shí)際聯(lián)系的重要性。在以后的學(xué)習(xí)中，我不僅要把理 論知識(shí)掌握牢固，更要提高自己的動(dòng)手能力和分析能力。致 謝通過兩周的努力，終于將信息論與編碼課程設(shè)計(jì)完成了。本次課程設(shè)計(jì)目的是讓我們對所學(xué)的專業(yè)知識(shí)有更進(jìn)一步的了解和鞏固，讓我們能靈 活運(yùn)用所學(xué)的專業(yè)知識(shí)。在這次設(shè)計(jì)里我學(xué)到了很多，這對我來說是一種 進(jìn)步，每個(gè)人只要自己和自己比，每一次小的進(jìn)步就是大的突破。在這次 設(shè)計(jì)中我還看的了同學(xué)的友愛，當(dāng)遇到困難時(shí)只要他們知道的就會(huì)耐心地 指導(dǎo)和幫助，在論文完成之際，我要特別感謝指導(dǎo)老師的熱情關(guān)懷和悉心 指導(dǎo)。每次當(dāng)我有問題的時(shí)候去問老師，她都能耐心的幫我指導(dǎo)，和我一 起解決困難。通過這次的課程設(shè)計(jì)，不僅使我學(xué)到了很多專業(yè)方面的知識(shí)， 也讓我明白了不畏困難、勇于攀登艱難的重要性，