信息理論與編碼

1、1、信息論與編碼的關系信息論研究的是編碼極限，首先要通訊就要編碼，編碼有各種方法，選取好的，壓縮數(shù)據(jù)， 從編碼有效性來說，數(shù)據(jù)最短的最好，信息論告訴我們什么樣的情況數(shù)據(jù)最短。2、編碼與通訊的關系通訊就是把信息從A點傳到B點的過程，信息要進行傳遞必須把信息加載到一定載體上而 把信息指代給載體的過程就是編碼，如果要通訊就一定要進行編碼。3、什么是摩爾斯碼？摩爾斯碼是人類第一個使用的編碼，摩爾斯碼是由點和劃來表示常用的英文字母、標點符號 以及10個阿拉伯數(shù)字的編碼，通過這個編碼就可以把通常的電報內容用電碼形式傳遞出來。4、SOS的含義這三個救急信號是摩爾斯碼里的”，不是英文縮寫。5、信息論的發(fā)展簡史

2、1917 年頻分復用（載波）；1924 年采樣定理；1932 年摩爾斯電報系統(tǒng)；1948年Sha nnon發(fā)表論文“通訊的數(shù)學理論，從而“信息論誕生了。6、什么是加密編碼？舉例說明。利用密鑰方法對信號進行加密，即是取09打亂作為明碼，確定一個只有雙方之間知道的 密碼。例如字典碼加密過程，即是取兩本新華字典，一個字由五個數(shù)字組成，數(shù)字的前三位 表示頁碼，后二位表示這個字在一頁中的序碼。7、編碼需要解決通訊中的哪三個問題？1) 壓縮數(shù)據(jù)；2) 檢錯和糾錯；3) 通訊過程中的加密1、什么是信息科學、信息論 信息科學是研究所有信息現(xiàn)象的一門學科，信息論研究通訊中的信息傳遞、加密、壓縮、糾 錯。2、信息

3、論和信息科學的關系、區(qū)別 信息論只要講通訊里的信息處理問題，范圍窄；信息科學講的是所有領域的信息處理問題， 例如知識論等，范圍廣。信息論是信息科學中的一部分。3、信息科學研究的范圍和具體內容 信息科學研究通信中的信息和信息的獲取、傳遞、認知、再生、施效、組織等所有信息現(xiàn)象。1、信息的定義 維納的信息定義信息就是信息，不是物質也不是能量。 仙農的定義用來減少隨機不定性的東西。我們自己的定義信息是內容和載體的統(tǒng)一體，指代了內容的載體就是信息。2、信息的三要素以及它們之間的關系 信息三要素：載體、內容、指代；內容：傳輸?shù)男畔ⅲ复脑?；載體：物質、場；指代：編碼同一載體可指代不同內容，同一內容也可

4、指代不同載體。載體是物質的，內容是精神的，內 容通過指代到載體。3、成為載體的三個必要條件 必須是物質的、有兩種以上可分辨狀態(tài)、在時空位可排列和展開。1、什么是符號集、時空位？符號集中的符號與時空位的區(qū)別？舉例說明。符號集就是由符號組成的集合，例：英文26個字母、漢字、0 到9阿拉伯數(shù)字； 時空位就是通訊過程中的一個時空的點，其有不同的可分辨狀態(tài)。這個時空點可填充不同符 號，例：一排紅綠燈中的某個燈、7位ASCII碼中的一位。時空位是指信息中一個時空的位置，即存放編碼符號集的位子。2、什么是信息序列、信息流？信息序列：指代了內容的時空位序列；信息流：信息序列隨時間變換，由時空位構成的指代了內容

5、信息載體。3、什么是信源、信宿以及信道？舉例說明信源信息的產生和發(fā)送者，例：嘴； 信宿信息接受者，例：耳朵； 信道信源與信宿之間的信息傳輸媒介，例：空氣。4、信息如何分類？ 語法信息、語義信息、語用信息；自然信息、編碼信息；離散信息、連續(xù)信息。5、通訊中有哪三種編碼？信源編碼、信道編碼、加密編碼。6、信源編碼與信道編碼之間的關系、區(qū)別信源編碼就是在信源端對數(shù)據(jù)進行的壓縮編碼，目的是信源端壓縮數(shù)據(jù)使數(shù)據(jù)變短；信道編 碼就是使得信息可以在信道上傳輸以及正確傳輸，目的是在信道上正確傳遞數(shù)據(jù)，加了檢驗 位和糾錯位使得數(shù)據(jù)變長。7、什么是調制與解調？為什么要調制與解調？ 調制就是將需要傳輸?shù)男盘柤虞d到載

6、波上去的過程；解調就是把信號從載波中取出的過程 原因：因為天線發(fā)射無線電波必須滿足無線電波的半波長和天線的尺寸近似相等，才能有效地 發(fā)射，必須把低頻信號加載到高頻信號上去；可實現(xiàn)N個人和N個人之間的通訊。五1、什么是載體和內容信息量？載體信息量：載體最大能承載的信息量；內容信息量：內容包含的信息的多少。2、物理量的一般定量方法的三個步驟1）尋找一個單位，單位保證不變，容易獲取以及測量，不能消失；2）將待測量與單位比較，得到倍數(shù)關系；3）用測量倍數(shù)和單位得到測量值。3、信息的單位及換算關系信息單位：1）狀態(tài)數(shù)（個）；2）bit（以二為底的對數(shù)）；3）det （以十為底）；4）nat（ e）。換算

7、關系：用N的單位為種，I的單位為位bit，換算公式為I= log N（ bit）24、什么是Hartley公式？其單位是？1928年Hartley載體信息公式：I= log N（ bit）, N為可分辨狀態(tài)數(shù)。25、如何來計算一張光盤的信息量？光盤中有n個時空位，每個時空位有b種表示，則光盤的信息量為：N = bn （種），1二nlog b （ bit）n6、如何提高一張光盤存儲信息量？光盤儲存信息量的決定因素為：1）時空位的密度增加時空位的密度；2）一個時空位上的可分辨物理狀態(tài)數(shù)提高一個時空位上的可分辨物理狀態(tài)數(shù) 可據(jù)以上兩個因素提高光盤儲存信息量。六1、十個天干和十二個地支分別是什么？今年

8、、明年是什么年？天干：甲、乙、丙、丁、戊、己、庚、辛、壬、癸； 地支：子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。 天干地支組合成如下六十個計時序號，作為紀年、月、日、時的名稱，叫干支紀年法；用六 十甲子依次紀年，六十年一個輪回。今年是庚寅年，計算方法：天干年數(shù)減3，除以10 所得余數(shù)；地支年數(shù)減3，除 以 12 所得余數(shù)。明年是辛卯年。2、易經中表示陰、陽的符號分別是什么？64卦和二進制的關系式？ 陰：；陽： ；64 卦對應的是：六位二進制編碼；信息量=6 (bit)3、什么是內容信息量？其公式是？ 內容信息量：指代原像的多少，內容對應的狀態(tài)數(shù)對數(shù)的個數(shù)； 計算公式為：1= log 2

9、N (bit), N為內容的可分辨狀態(tài)數(shù)。七1、什么是滿指代、容余？ 滿指代：每一個載體狀態(tài)上都指代了內容。容余：載體里有一部分沒有指代內容。2、為什么符號集中的符號等概率使用時，符號集中的符號利用率最高？根據(jù)Shannon熵公式極值性有11H( pi，pn)-H(N ，N)=logN 由此可見，符號集中的符號等概率使用時，符號集中的符號利用率最高。3、什么是符號集的概率模型？ 模型：符號集狀態(tài)可能性的模型。條件概率：有事件A、B ,其中P(A) 0 ,在A事件發(fā)生的條件下，B事件發(fā)生的概率記為 P(B/A)。4、什么是信息熵？其公式、含義、單位 信息熵：有一定概率分布的符號集,在一個時空位上

10、的平均載體信息量。公式：H (P)仝 pWg ；(bi ti=1i含義:符號集在一個時空位上平均載體信息量。P是符號X出現(xiàn)的概率,丄是以P為等概iiPii率的符號集中符號的個數(shù)，log2 P是以P為等概率的符號集的載體信息量。i1、符號集的概率空間如何獲得？舉例說明。概率空間由統(tǒng)計獲得。P(X) = X1 X2 Xn ，其中 0- P -1 , E P =1。 P P . P廠 i12ni =12、什么是Shannon第一定理？給出了離散無記憶信源，無失真條件下，信息的壓縮編碼極限。設 C 為載體信息量， C 為sc 需要傳遞的內容信息量，則通過信息編碼得到的信源無失真的充要條件是：C C。s

11、c3、哈夫曼編碼及其步驟？舉例說明。 哈夫曼編碼是一種編碼方式，一種可變長編碼。步驟：將信源符號集的N個符號概率從大到小排列；用0和1代表兩個概率最小的信源符號，0指代給二個符號中的大概率還是小概率可任 意選擇，但編碼過程中必須保持一致。將兩個概率最小的符號合并成一個符號，合并后 符號的概率為兩個符號概率之和。將合并后的符號與原有符號組成新的符號集(N-1), 這個新符號集稱為縮減符號集；將縮減信源符號集中的符號再按概率從大到小排列，并且用0、1 表示兩個概率最小的 符號。然后將這兩個最小概率符號再合并成一個符號，和其余符號構成N-2的縮減符 號集；以此類推，最后縮減為只有兩個符號的縮減符號，

12、將0,1,賦于這兩個字符；從最后一個縮減符號回溯得到的二進制碼序列即為哈夫曼編碼。4、哈夫曼編碼的特點是什么？為什么哈夫曼編碼能壓縮數(shù)據(jù)？特點：可以保證概率大的信源符號對應短碼，概率小的對應長碼；哈夫曼編碼并非唯一；哈夫曼編碼對不同的信源的編碼效率不同；對信源進行哈夫曼編碼后，形成一個哈夫曼編碼表。解碼時，必須參照這一哈夫編碼才能正確譯碼。 因為當載體信息量無限接近于內容信息量然后達到壓縮極限就能壓縮數(shù)據(jù)，數(shù)據(jù)壓縮實質上是減少信息冗余量，冗余量的減少可以減少數(shù)據(jù)量而不減少信源的信息量。九、十1、什么是物理信道？舉例說明？ 由物理實體構成的信道，如：雙絞線、同軸電纜、光纖、空氣、真空等。2、什么

13、是信息傳輸速率？單位時間內在信道中傳輸?shù)妮d體信息量，用R表示，單位：bit/st3、什么是無噪聲物理信道容量？物理信道內可達到的最大信息傳輸速率，用Cw表示，單位：bit/s , Cw=max （ R）t4、什么是噪聲平均誤碼速率、有噪物理信道容量？單位時間內，由于噪聲干擾而產生的錯誤載體信息量，用R表示，單位：bit/sN單位時間內可正確接收的最大載體信息量，Cw二max（ R - R ）bit/stN5、決定有噪物理信道容量的因素是什么？1）信道載體的時空位密度（與技術有關）；2）噪聲水平（與環(huán)境有關）。6、什么是數(shù)學信道？數(shù)學信道：由數(shù)學模型決定的信道。7、什么是信息傳輸碼率？在信道中一

14、個時空位可傳輸?shù)妮d體信息量，用R表示，單位為：bit/時空位8、什么是噪聲平均錯誤碼率？在信道中，由噪聲引起的一個時空位中的錯誤信息量，用R表示，單位bit/時空位。N9、什么是數(shù)學信道容量？ 在數(shù)學信道中一個時空位最大可正確接收的載體信息量，用C表示，單位為bit/時空位10、什么是Shannon第二定理？在有噪聲數(shù)學信道中，無失真信道糾錯編碼存在的充要條件是R C - C ，其中C = C - C為編碼極限。s C Ds C D令R(D)二Cc-Cd , R(D )稱為信息率失真函數(shù)，其中D為失真度，則CsR ( D ) 例：1張圖有1024*768個點，現(xiàn)在允許100個點失真，問：如何進

15、行壓縮編碼？ 方法1：從整個圖中找出均勻的100個點，將這100個點去掉；收到信號后用去掉點的前后點的平均值代替去掉的點。從而恢復圖像。方法2：在邊緣取100個點，去掉后再恢復。3、知識的定義高級的信息，是加工后的信息；規(guī)律的總結；經驗的總結；概念之間的關聯(lián)。4、知識的分類？1) 自然科學：理科(物理、化學、數(shù)學)和工科(通訊、建筑、橋梁、化工)；2) 社會科學：歷史、地理、哲學、政治學、經濟學、心理學。5、知識可以用什么來表示？舉例說明。知識可以用：1) 數(shù)學符號；2) 文字和語言表示。舉例：蘋果可以用英文、希臘文或者中文等表示；空間關系可以用幾何來表示6、什么是知識的結構？如何使一個人的知

16、識結構適應社會？公理化的知識結構:公寸定寸命題、實踐一個人所擁有的所有知識集合。7、獲得知識的方法1) 歸納法：不完全歸納法和完全歸納法，例：數(shù)學歸納法。2) 演繹法：從普遍性結論或一般性事理推導出個別性結論的論證方法。3) 類比法。十二1、傳感器的三個基本參量1) 感知域；2) 靈敏度；3) 保真度。2、列舉幾種常用的傳感器及其在生活中的應用 光敏傳感器、聲敏傳感器、化學傳感器、壓力傳感器等。3、什么是模式識別？舉例說明。 根據(jù)模式庫中的模式與識別對象的比較，判斷識別對象屬于哪種模式的過程十三1、什么是控制論及其研究對象？ 控制論：研究各種控制系統(tǒng)的共同規(guī)律和方法的一門學科。 研究對象：各種控制系統(tǒng)。2、控制論的創(chuàng)始人是誰？維納3、舉例說明生活中常用的控制系統(tǒng)，并簡單說明其工作原理。P161 水位控制系統(tǒng)、姿態(tài)控制