通信與信息理論基礎_第1章緒論.

1、1通信與信息理論基礎通信與信息理論基礎 羅明星羅明星 信息科學與技術學院信息科學與技術學院 2013年年9月月西南交通大學西南交通大學2參考書目參考書目l教材：教材： Robert J. McEliece(美美)著著.The Theory of Information and Coding(第第2版版) -北京北京:電子工業(yè)出版社電子工業(yè)出版社,2003.1l參考書參考書u沈連豐等編著信息論與編碼，科學出版社，第1版，2004.3主要內容主要內容l 緒論緒論 l 信息的度量信息的度量 l 信道及其容量信道及其容量 l 無失真信源編碼無失真信源編碼 l 率失真理論與有失真信源編碼率失真理論與有失

2、真信源編碼 l 信道編碼概述信道編碼概述 l 線性分組碼線性分組碼 l 循環(huán)碼循環(huán)碼 4補充內容補充內容l MIMO系統(tǒng)信道容量系統(tǒng)信道容量 l 網(wǎng)絡編碼網(wǎng)絡編碼l 多用戶信息論多用戶信息論5第第1 1章章 緒緒 論論1.1 通信系統(tǒng)模型通信系統(tǒng)模型1.2 信息論與編碼理論的主要內容信息論與編碼理論的主要內容 1.3 信息論與編碼理論的形成與發(fā)展信息論與編碼理論的形成與發(fā)展 1.4 信息論與編碼理論的應用信息論與編碼理論的應用 61.1 通信系統(tǒng)模型通信系統(tǒng)模型l 通信系統(tǒng)模型通信系統(tǒng)模型 71.2 信息論與編碼理論的主要內容信息論與編碼理論的主要內容 l 問題：問題：設想有兩個人，一個是發(fā)送

3、者A，另一個是接收者B，發(fā)送者A需要將消息盡可能準確地傳輸給接收者B。l 二元對稱信道二元對稱信道(BSC: the binary symmetric channel) （0 p 0.5） 81.2 信息論與編碼理論的主要內容信息論與編碼理論的主要內容 l 簡單傳輸方案簡單傳輸方案： 發(fā)送者A將需要傳輸?shù)拿總€符號直接發(fā)送一次，接收者B接收到任何一個符號后，都判定為發(fā)送者A發(fā)送的是該符號，那么這種“譯碼方案”出現(xiàn)錯誤的概率是p。 91.2 信息論與編碼理論的主要內容信息論與編碼理論的主要內容 l 編碼傳輸方案編碼傳輸方案：u編碼編碼 A將需要傳輸?shù)拿總€符號重復發(fā)送多次，例如三次，即傳輸符號0時，

4、就發(fā)送符號序列000；傳輸符號1時，就發(fā)送符號序列111。 u譯碼譯碼 接收者B接收到三個符號后，選擇其中出現(xiàn)次數(shù)最多的符號，就判定為發(fā)送者A發(fā)送的是該符號 u譯碼錯誤概率譯碼錯誤概率 232323 3(1)32.eppppppppp個符號出錯個符號出錯 提高了信道的可靠度提高了信道的可靠度 ! 降低了傳輸效率降低了傳輸效率! 10l 有效性有效性u問題：怎樣才能傳輸更多的消息u通信的實質：信息u研究思路：信息度量、信源編碼l 可靠性可靠性u信道出錯概率： e=p(cc)u問題：怎樣降低信道出錯概率e？u研究思路：信道編碼 e=p(u u) e=p(c c) 1.2 信息論與編碼理論的主要內容

5、信息論與編碼理論的主要內容 信息論與編碼理論主要目的信息論與編碼理論主要目的: 研究通信系統(tǒng)中信息傳輸?shù)挠行耘c可靠性研究通信系統(tǒng)中信息傳輸?shù)挠行耘c可靠性111.2 信息論與編碼理論的主要內容信息論與編碼理論的主要內容 l 信息的定義與度量信息的定義與度量l 數(shù)據(jù)壓縮數(shù)據(jù)壓縮: 信源編碼信源編碼 l 信道的最大容量信道的最大容量l 通信的可靠性通信的可靠性 : 信道編碼信道編碼 12l 1820-1830: 法拉第法拉第(M. Faraday)發(fā)現(xiàn)電磁感應規(guī)律發(fā)現(xiàn)電磁感應規(guī)律l 1832: J.Henry發(fā)明電報發(fā)明電報l 1838: 莫爾斯莫爾斯(F.B.Morse)發(fā)明電報碼發(fā)明電報碼(

6、 信源編碼的先驅信源編碼的先驅) l 1864: 麥克斯韋麥克斯韋(Maxwell)預言電磁波的存在預言電磁波的存在l 1876: 貝爾貝爾(A.G.Bell)發(fā)明電話發(fā)明電話l 1885: 凱爾文凱爾文(L. Kelvin)研究一條電纜的極限傳信率問題研究一條電纜的極限傳信率問題l 1888: 赫茲赫茲(H.Hertz)用實驗證明了電磁波的存在用實驗證明了電磁波的存在l 18951896: 英國的馬克尼英國的馬克尼(G. Marconi)和俄國的波波夫和俄國的波波夫發(fā)明了無線電通信發(fā)明了無線電通信l 1904: Fleming發(fā)明二極管發(fā)明二極管l 1906: DeForest發(fā)明三極管發(fā)明

7、三極管1.3 信息論與編碼理論的形成與發(fā)展信息論與編碼理論的形成與發(fā)展 13l 1904: Fleming發(fā)明二極管發(fā)明二極管l 1906: DeForest發(fā)明三極管發(fā)明三極管l 1907: 弗雷斯特弗雷斯特(L.Forest)發(fā)明電子管發(fā)明電子管(電磁波放大電磁波放大)l 1917: (G.A.Campbell)發(fā)明濾波器發(fā)明濾波器l 1922: 卡遜卡遜(J.R.Carson)研究調幅信號的頻譜結構研究調幅信號的頻譜結構,開始開始明確上下邊帶的概念明確上下邊帶的概念l 1924: 奈奎斯特奈奎斯特(H.Nyquist)與曲夫繆勒獨立指出與曲夫繆勒獨立指出: 信號信號傳輸速率與信道帶寬成正

8、比傳輸速率與信道帶寬成正比l 1925-1927: 建立電視系統(tǒng)建立電視系統(tǒng)l 1928: 奈奎斯特奈奎斯特(H.Nyquist)建立了限帶信號的采樣定理建立了限帶信號的采樣定理1.3 信息論與編碼理論的形成與發(fā)展信息論與編碼理論的形成與發(fā)展 14l 1928: 哈特萊哈特萊(R.V.Hartley)對信息量作了定義對信息量作了定義(H=Nlogs)l 1930: 維納維納(N.Wiener)研究隨機信號研究隨機信號l 1936: V.D. Landon發(fā)表有關噪聲的研究論文發(fā)表有關噪聲的研究論文l 1936: E.H.Armstrong提出頻率調制提出頻率調制 l 1939: 達德利達德利(

9、H.Dudley)發(fā)明聲碼器發(fā)明聲碼器( 信源編碼的先驅信源編碼的先驅) l 1939: H.Reeve提出脈沖編碼調制提出脈沖編碼調制l 1948: 香農香農(C.E. Shannon)創(chuàng)立信息論創(chuàng)立信息論 1.3 信息論與編碼理論的形成與發(fā)展信息論與編碼理論的形成與發(fā)展 15C. E. Shannon（香農（香農: 1916-2001）l Education: uBS, Mathematics and electrical engineering , University of Michigan, 1936.uMS, Electrical engineering, MIT, 1938uPh

10、.D, Mathematics, MIT, 1940.l Working Experienceu1940-1941, Princeton Universityu1941-1972, Bell Lab.u1956-1980, MIT, Professor16C. E. Shannon（香農（香農: 1916-2001）l Information & coding C. E. Shannon, A mathematical theory of communication theory（通信的數(shù)學理論）, Part 1&2, Bell Syst. Tech. J., Vol.27,

11、pp.379-423,623-656, 1948.l Cryptography C. E. Shannon: “Communication theory of secrecy systems,” （保密系統(tǒng)的通信理論） Bell Syst. Tech. J., Volume 28, 656-715, 1949.17lThe fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another po

12、int Shannon, 1948lShannon channel coding theorem: Arbitrarily reliable communication is possible at any rate below channel capacity.18信息論之父信息論之父Understanding, before almost anyone, the power that springs from encoding information in a simple language of 1s and 0s, Dr. Shannon as a young man wrote tw

13、o papers that remain monuments in the fields of computer science and information theory.Shannon was the person who saw that the binary digit was the fundamental element in all of communicationThat was really his discovery, and from it the whole communications revolution has sprung.1919CDMA之父之父“Advan

14、ces in digital communication in the latter half of this century were guided by the lessons of information theory but fueled by the progress in solid state electronics. ”-Viterbi信息論的貢獻信息論的貢獻2020信息論的貢獻信息論的貢獻MIMO容量容量B3G/4G, LTE空時編碼空時編碼/預編碼預編碼理論成果理論成果技術創(chuàng)新技術創(chuàng)新系統(tǒng)變革系統(tǒng)變革信源編碼定理信源編碼定理1G2G數(shù)據(jù)壓縮技術數(shù)據(jù)壓縮技術信道編碼定理信道編

15、碼定理RS/CC/Turbo/LDPC碼碼2G3G多用戶信息論多用戶信息論CDMA/多用戶檢測多用戶檢測2G/3G21 信息論與其它學科的關系信息論與其它學科的關系22信息論研究組織及期刊、會議信息論研究組織及期刊、會議l 組織：組織：IEEE Information Societyl 期刊：期刊：IEEE Transactions on Information Theoryl 會議：會議：uInformation Theory Symposium （ISIT）uInternational Symposium on Information Theory and its Applications

16、 (ISITA) 23l Shannon founded information theory in 1948lThe Shannon Award honors consistent and profound contributions to the field of information theoryDavid S. Slepian (1974)Robert M. Fano (1976)Peter Elias (1977)Mark S. Pinsker (1978)J. Wolfowitz (1979)W. Wesley Peterson (1981)Irving S. Reed (1982)Robert Gallager (1983)Solomon W. Golomb (1985)William L. Root (1986)James L. Massey (1988)Thomas M. Cover (1990)Andrew J. Viterbi (1991)Elwyn R. Berlekamp (1993) Aaron D. Wyner (1994) G. David Forney, Jr.(1995) Imre Csiszar (1996) Jacob Ziv (1997) Neil J. A. Sloane (1998) Tadao K