信息論基礎(chǔ)和信號(hào)分析演示文稿

信息論基礎(chǔ)和信號(hào)分析演示文稿當(dāng)前第1頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)優(yōu)選信息論基礎(chǔ)和信號(hào)分析當(dāng)前第2頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)§1信息論的出現(xiàn)信息論是一門(mén)主要研究信息的傳輸和處理，并提出或探討其普遍性或規(guī)律性的科學(xué)。二次大戰(zhàn)后，維納(Wiener)提出的“控制論”和香農(nóng)(Shannon)提出的信息論，是現(xiàn)化科學(xué)工程的里程碑。早在本世紀(jì)20年代，奈奎斯特(Nyguist)和哈特萊(Hartley)，最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信息容量。1948年香農(nóng)發(fā)表討論信源和信道特性的《通信的數(shù)學(xué)原理》(AMathmaticalTheoryofCommunication)，次年發(fā)表有關(guān)通信中噪聲處理的兩篇權(quán)威性論文，奠定了現(xiàn)代信息論的基礎(chǔ)。當(dāng)前第3頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)信息及其度量信息的定義信息可理解為消息中包含的有意義的內(nèi)容。不同的消息可以包含相同的信息，如，分別用語(yǔ)言和文字發(fā)送的天氣預(yù)報(bào)，所含信息內(nèi)容相同。信息的度量傳輸信息的多少用“信息量”去衡量。對(duì)接收者來(lái)說(shuō)，事件越不可能發(fā)生，信息量就越大；即信息量反映事件的不確定性。當(dāng)前第4頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)信息量的計(jì)算由概率論可知，事件的不確定性可以用其出現(xiàn)的概率來(lái)描述。因此消息中所含的信息量I與消息出現(xiàn)的概率P(x)間的關(guān)系式應(yīng)反映如下規(guī)律：消息中所含的信息量I是出現(xiàn)該消息的概率P(x)的函數(shù)：I=P(x)消息的出現(xiàn)概率越小，它所含的信息量愈大；反之信息量愈小，且當(dāng)P(x)=1時(shí)，I=0。若干個(gè)相互獨(dú)立事件構(gòu)成的消息，所含的信息量等于各獨(dú)立事件信息量的和，即：I[p(x1)p(x2)p(x3)…]=I[p(x1)]+I[p(x2)]+I[p(x3)]+…

當(dāng)前第5頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)不難看出，若I與p(x)間的關(guān)系式為：

I=loga1/p(x)=-logap(x)

就可滿(mǎn)足上述要求。信息量的單位的確定取決于上式中對(duì)數(shù)底a的確定：哈特萊（Hartley）10奈特（nit）e比特（bit）2單位a值換算公式1nit=1.44bit1Hartley=3.22bit/當(dāng)前第6頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)當(dāng)消息是由幾個(gè)符號(hào)組成的離散信源時(shí)，整個(gè)消息信息量的計(jì)算公式為：其中：n：表示符號(hào)數(shù)；

Ni：第i個(gè)符號(hào)在消息中出現(xiàn)的次數(shù)；

p(xi)：第i個(gè)符號(hào)xi在消息中出現(xiàn)的概率， 且（各符號(hào)的出現(xiàn)互相統(tǒng)計(jì)獨(dú)立）當(dāng)前第7頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例題例1：設(shè)英文字母E出現(xiàn)的概率為1/3，X出現(xiàn)的概率為2/3，求出現(xiàn)E和X的信息量分別是多少？例2：某離散信源由0，1，2，3四種符號(hào)組成，其概率分別為3/8,1/4,1/4,1/8。求消息的信息量。當(dāng)前第8頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)等概率出現(xiàn)的離散消息的度量：若要傳遞的離散消息是在M個(gè)獨(dú)立等概的消息中的一個(gè)，則只需采用一個(gè)M進(jìn)制的波形來(lái)傳送。即傳送M個(gè)消息之一者與傳送M進(jìn)制波形之一完全等價(jià)的。規(guī)定：傳送兩個(gè)等概的二進(jìn)制波形之一的信息量為1，單位為“比特”。即：

I=log21/(1/2)=log22=1(bit)當(dāng)前第9頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)只要在接收者看來(lái)每一傳送波形是獨(dú)立等概出現(xiàn)的,則一個(gè)波形所傳遞的信息量為:

I=log21/P

(bit)

其中，P---每一波形出現(xiàn)的概率因P=1/M，上式又可以寫(xiě)做：

I=log2M

(bit)

其中，M---傳送的波形數(shù)當(dāng)前第10頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)平均信息量的計(jì)算非等概出現(xiàn)的離散消息的度量符號(hào)集：組成離散信息源的n個(gè)符號(hào)xi組成的集合每個(gè)符號(hào)xi在消息中是按一定概率P(xi)獨(dú)立出現(xiàn)的，設(shè)符號(hào)集中各符號(hào)出現(xiàn)的概率：其中當(dāng)前第11頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)

則x1、x2、…、xn所包含的信息量分別為-log2P(x1)、-log2P(x2)、…、-log2P(xn)。于是，每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均值，即平均信息量為其中稱(chēng)H(x)為信息源的熵，其單位為bit/符號(hào)當(dāng)前第12頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例題例3：設(shè)有A、B、C、D四個(gè)消息分別以概率1/4、1/8、1/8、1/2傳送，假設(shè)它們的出現(xiàn)相互獨(dú)立，試求消息熵。例4：試求二元離散信源的Hmax，并證明其正確性。例5：黑白電視機(jī)的圖象每秒傳輸25幀，每幀有625行；屏幕的寬度與高度之比為4：3。設(shè)圖象的每個(gè)像素的亮度有10個(gè)電平，各像素的亮度相互獨(dú)立，且等概出現(xiàn)，求電視圖像給觀眾的平均信息速率。當(dāng)前第13頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)連續(xù)消息的信息量的度量

連續(xù)消息的信息量可用概率密度來(lái)描述連續(xù)消息的平均信息量（相對(duì)熵）為式中f(x)---連續(xù)消息出現(xiàn)的概率密度當(dāng)前第14頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)§2信道容量定義：指信道在單位時(shí)間內(nèi)所能傳送的最大信息量。模擬信道的信道容量Shannon定律：在信號(hào)平均功率受限的高斯白噪聲信道中，信道的極限信息傳輸速率（信道容量）為 其中，B為信道帶寬，S/N為平均信號(hào)噪聲功率比在帶限系統(tǒng)中，若噪聲功率譜密度n0已知，則N＝n0B，所以C＝B＊log2(1+S/n0B)例6：若信道帶寬為3000Hz，信道上只存在加性白噪聲，信號(hào)噪聲功率比為30dB，求信道容量。當(dāng)前第15頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)結(jié)論提高信號(hào)與噪聲功率之比能增加信道容量。當(dāng)噪聲功率N∝0時(shí)，信道容量C趨于∞，這意味著無(wú)干擾信道容量為無(wú)窮大。增加信道頻帶（也就是信號(hào)頻帶）W并不能無(wú)限制地使信道容量增大。當(dāng)噪聲為白色高斯噪聲時(shí)，隨著W增大，噪聲功率N=Wn0(這里n0為噪聲的單邊功率譜密度）也增大，在極限情況下:當(dāng)前第16頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)由此可見(jiàn)，即使信道帶寬無(wú)限增大，信道容量仍然是有限的。信道容量一定時(shí)，帶寬W與信噪比S/N之間可以彼此互換。當(dāng)前第17頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)數(shù)字信道的信道容量數(shù)字信道：離散信道，只能傳送離散取值的數(shù)字信號(hào)典型數(shù)字信道：平穩(wěn)、對(duì)稱(chēng)、無(wú)記憶的離散信道平穩(wěn)：對(duì)任何碼元來(lái)說(shuō)，Pe的取值相同對(duì)稱(chēng)：任何碼元正確傳輸和錯(cuò)誤傳輸?shù)母怕逝c其他碼元一樣錯(cuò)誤傳輸時(shí)一個(gè)碼元錯(cuò)成其他碼元的概率都相同無(wú)記憶接收到的第i個(gè)碼元僅與發(fā)送的第i個(gè)碼元有關(guān)，而與以前發(fā)送的碼元無(wú)關(guān)。當(dāng)前第18頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)當(dāng)m=n時(shí)，為對(duì)稱(chēng)信道；若前后碼元輸出符號(hào)無(wú)關(guān)，即輸出符號(hào)只取決于當(dāng)前輸入符號(hào)，而與前后輸入符號(hào)無(wú)關(guān)，則為無(wú)記憶信道；離散信道的統(tǒng)計(jì)模型x1x2xny1y2ym……P(xn)P(ym)當(dāng)前第19頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)Nyquist準(zhǔn)則指出：帶寬為BHz的信道，所能傳送的信號(hào)的最高碼元速率（即調(diào)制速率）為2BBd。離散、無(wú)噪聲數(shù)字信道的信道容量可表示為：例7：若數(shù)字信道的帶寬為3000Hz，采用四進(jìn)制傳輸，計(jì)算無(wú)噪聲時(shí)該數(shù)字信道的信道容量。當(dāng)前第20頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)離散有損信道的信道容量收到y(tǒng)j的概率：定義互概率：則發(fā)送x收到y(tǒng)的熵為：收到y(tǒng)j的概率：定義互概率：則發(fā)送x收到y(tǒng)的熵為：當(dāng)前第21頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)離散有損信道的信道容量發(fā)送xi收到y(tǒng)j所獲得的信息量定義為：則：?jiǎn)挝粫r(shí)間內(nèi)實(shí)際傳送信息量的大小為：當(dāng)前第22頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)§3信號(hào)分析3.1確知信號(hào)分析

周期信號(hào)與非周期信號(hào)

能量信號(hào)與功率信號(hào)

信號(hào)的傅里葉變換3.2隨機(jī)信號(hào)分析當(dāng)前第23頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)§3信號(hào)分析重點(diǎn)：信號(hào)的分類(lèi)與特征難點(diǎn)：

1.信號(hào)類(lèi)型的區(qū)別于關(guān)系

2.傅里葉級(jí)數(shù)的物理意義---頻譜

當(dāng)前第24頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)信號(hào)可分為確知信號(hào)和隨機(jī)信號(hào)兩類(lèi)。確知信號(hào)：凡是能用函數(shù)表達(dá)式準(zhǔn)確表示出來(lái)的信號(hào)?！救缯也ā?/p>

確知信號(hào)分為周期信號(hào)和非周期信號(hào)。隨機(jī)信號(hào)：不能用函數(shù)表達(dá)式準(zhǔn)確表示出來(lái)的信號(hào)?！救缭肼暋看_知信號(hào)和隨機(jī)信號(hào)當(dāng)前第25頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)周期信號(hào)：滿(mǎn)足條件即時(shí)刻t的信號(hào)與時(shí)刻t+T0的信號(hào)相同?！纠空也ǚ侵芷谛盘?hào)：不滿(mǎn)足周期信號(hào)條件的信號(hào)。周期信號(hào)和非周期信號(hào)當(dāng)前第26頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)根據(jù)信號(hào)可以用能量式或功率式表示可分為能量信號(hào)和功率信號(hào)。能量信號(hào)和功率信號(hào)能量信號(hào)：能量積分是一定值，如單個(gè)矩形脈沖、各類(lèi)瞬變信號(hào)等功率信號(hào)：能量無(wú)限，但平均功率有限，如各種周期信號(hào)、常值信號(hào)、階躍信號(hào)等當(dāng)前第27頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)若f(t)表示在1歐姆電阻上的電壓(V)，則電流i(t)=f(t)(A)，在電阻上消耗的能量為能量信號(hào)如果E<∞，我們稱(chēng)f(t)為能量有限信號(hào)，簡(jiǎn)稱(chēng)為能量信號(hào)；若E>∞，則稱(chēng)為能量無(wú)限信號(hào)。當(dāng)前第28頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)P<∞，則稱(chēng)為功率信號(hào)。功率信號(hào)若f(t)在區(qū)間(-∞,+∞)的能量無(wú)限，但在有限區(qū)間(-T/2,T/2)滿(mǎn)足平均功率有限的條件當(dāng)前第29頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)說(shuō)明周期信號(hào)是功率信號(hào)。非周期信號(hào)既有能量信號(hào)，又有功率信號(hào)。當(dāng)前第30頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)連續(xù)信號(hào)和離散信號(hào)如果在某一時(shí)間間隔內(nèi)，對(duì)于一切時(shí)間值，除若干不連續(xù)點(diǎn)外，該函數(shù)都能給出確定的函數(shù)值，此信號(hào)稱(chēng)為連續(xù)信號(hào)。f(t)0t0tf(t)f0f1f2當(dāng)前第31頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)連續(xù)信號(hào)和離散信號(hào)和連續(xù)信號(hào)相對(duì)應(yīng)的是離散信號(hào)。代表離散信號(hào)的時(shí)間函數(shù)只在某些不連續(xù)的時(shí)間值上給定函數(shù)值。01234-1tf(tk)(3)(2)(4.5)(1.5)(6)(-1)當(dāng)前第32頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)一般而言，模擬信號(hào)是________?數(shù)字信號(hào)是________?問(wèn)題當(dāng)前第33頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)確定信號(hào)的時(shí)間特性表示信號(hào)的時(shí)間函數(shù)，包含了信號(hào)的全部信息量，信號(hào)的特性首先表現(xiàn)為它的時(shí)間特性。時(shí)間特性主要指信號(hào)隨時(shí)間變化快慢、幅度變化的特性。同一形狀的波形重復(fù)出現(xiàn)的周期長(zhǎng)短信號(hào)波形本身變化的速率（如脈沖信號(hào)的脈沖持續(xù)時(shí)間及脈沖上升和下降邊沿陡直的程度）以時(shí)間函數(shù)描述信號(hào)的圖象稱(chēng)為時(shí)域圖在時(shí)域上分析信號(hào)稱(chēng)為時(shí)域分析。當(dāng)前第34頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)確定信號(hào)的頻率特性信號(hào)還具有頻率特性，可用信號(hào)的頻譜函數(shù)來(lái)表示。在頻譜函數(shù)中，也包含了信號(hào)的全部信息量。頻譜就是頻率的分布曲線(xiàn)，復(fù)雜振蕩分解為振幅不同和頻率不同的諧振蕩，這些諧振蕩的幅值按頻率排列的圖形叫做頻譜。頻譜是頻率譜密度的簡(jiǎn)稱(chēng)。頻譜函數(shù)表征信號(hào)的各頻率成分，以及各頻率成分的振幅和相位。以頻譜描述信號(hào)的圖象稱(chēng)為頻域圖。在頻域上分析信號(hào)稱(chēng)為頻域分析。信號(hào)的每秒鐘變化的次數(shù)叫頻率用赫茲（Hz）作單位當(dāng)前第35頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)

時(shí)域特性與頻域特性的聯(lián)系當(dāng)前第36頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)

時(shí)域特性與頻域特性的聯(lián)系信號(hào)的頻譜函數(shù)和信號(hào)的時(shí)間函數(shù)既然都包含了信號(hào)的全部信息量，都能表示出信號(hào)的特點(diǎn),那么，信號(hào)的時(shí)間特性與頻率特性必然具有密切聯(lián)系。例：周期性脈沖信號(hào)的重復(fù)周期的倒數(shù)就是該信號(hào)的基波頻率，周期的大或小分別對(duì)應(yīng)著低的或高的基波和諧波頻率；通過(guò)傅立葉變換，可以揭示兩者之間的關(guān)系。當(dāng)前第37頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)12六月2023數(shù)字通信原理§4傅立葉變換與卷積周期信號(hào)的傅立葉變換非周期信號(hào)的傅立葉變換當(dāng)前第38頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)在滿(mǎn)足狄里赫萊條件下可以展開(kāi)為傅氏級(jí)數(shù)：周期信號(hào)的傅立葉變換n為整數(shù)，T為信號(hào)周期，w1是基波角頻率，cn是各頻率分量的系數(shù)：指數(shù)形式的傅立葉變換當(dāng)前第39頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)周期信號(hào)的傅立葉變換三角形式的傅立葉變換當(dāng)前第40頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)指數(shù)形式的傅立葉級(jí)數(shù)三角傅立葉級(jí)數(shù)與指數(shù)傅立葉級(jí)數(shù)并不是兩種不同類(lèi)型的級(jí)數(shù)，而只是同一級(jí)數(shù)的兩種不同的表示方法。指數(shù)級(jí)數(shù)形式比三角級(jí)數(shù)形式更簡(jiǎn)化更便于計(jì)算。當(dāng)前第41頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)頻譜和頻域分析法根據(jù)傅立葉變換原理，通常任何信號(hào)都可表示成各種頻率成分的正弦波之和。對(duì)于一個(gè)復(fù)雜信號(hào)，可用傅立葉分析將它分解為許多不同頻率的正弦分量，而每一正弦分量則以它的振幅和相位來(lái)表征。將各正弦分量的振幅與相位分別按頻率高低次序排列成頻譜?？赏ㄟ^(guò)傅立葉變換將時(shí)間變量變換為頻率變量去進(jìn)行分析，這種利用信號(hào)頻率特性的方法稱(chēng)為頻域分析法。當(dāng)前第42頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例：正弦波的頻譜當(dāng)前第43頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例：復(fù)雜周期信號(hào)當(dāng)前第44頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例：復(fù)雜周期信號(hào)當(dāng)前第45頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例：方波及其頻譜當(dāng)前第46頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例：鋸齒波及其頻譜當(dāng)前第47頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)例：三角波及其頻譜當(dāng)前第48頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)數(shù)字通信原理周期信號(hào)的頻譜特性周期信號(hào)具有離散譜只有在ω＝nω1的時(shí)候才有對(duì)應(yīng)的幅度譜線(xiàn)。當(dāng)前第49頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)12六月2023數(shù)字通信原理非周期信號(hào)的傅立葉變換當(dāng)前第50頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)數(shù)字通信原理例：阻尼振動(dòng)及其頻譜當(dāng)前第51頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)數(shù)字通信原理矩形波的寬度越窄，即τ越小，則過(guò)零點(diǎn)向兩邊伸展。若τ→０，f(t)則為沖激函數(shù)δ(t),則F(ω)的過(guò)零點(diǎn)趨于無(wú)窮遠(yuǎn)，F(xiàn)(ω)變成一條平行于橫軸的直線(xiàn)。例：矩形函數(shù)的頻譜函數(shù)當(dāng)前第52頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)數(shù)字通信原理例：沖激函數(shù)的頻譜函數(shù)當(dāng)前第53頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)12六月2023數(shù)字通信原理解釋非周期信號(hào)的頻譜是連續(xù)譜。[理解]當(dāng)T增加時(shí)，基頻ω1變小，頻譜線(xiàn)變密，且各分量的振幅也減小，但頻譜的形狀不變。在T→∞的極限情況下，每個(gè)頻率分量的間隔變?yōu)闊o(wú)窮小，而頻率分量有無(wú)窮多個(gè)，離散頻譜變成了連續(xù)頻譜。這時(shí)，f(t)已不是nω1的離散函數(shù)，而是ω的連續(xù)函數(shù)。當(dāng)前第54頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)12六月2023數(shù)字通信原理說(shuō)明負(fù)頻率為數(shù)學(xué)處理結(jié)果，實(shí)際的物理頻率只能是正值。從頻譜圖中，可以看出信號(hào)能量集中的頻帶。信道帶寬只考慮傳送矩形信號(hào)的主要能量部分，如取該信號(hào)的第一個(gè)零點(diǎn)或若干個(gè)零點(diǎn)位置定義為有效帶寬。當(dāng)矩形波形通過(guò)一個(gè)有限帶寬系統(tǒng)時(shí)，高頻分量會(huì)被濾掉。當(dāng)前第55頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)信號(hào)分析時(shí)域分析信號(hào)時(shí)域分析（線(xiàn)性系統(tǒng)疊加原理）卷積積分的應(yīng)用及其數(shù)學(xué)描述頻域分析周期信號(hào)的頻域分析(三角與指數(shù)傅立葉級(jí)數(shù)）非周期信號(hào)的頻域分析（傅立葉積分）信號(hào)在頻域與時(shí)域之間的變換（正反傅立葉變換式）頻譜與時(shí)間函數(shù)的關(guān)系當(dāng)前第56頁(yè)\共有65頁(yè)\編于星期二\2點(diǎn)卷積數(shù)學(xué)中關(guān)于兩個(gè)函數(shù)的一種無(wú)窮積分運(yùn)算它是其中一個(gè)函數(shù)翻轉(zhuǎn)并平移后與另一個(gè)函數(shù)的乘