信息論第七章

1、信息論第七章第1頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一第七章 保真度準(zhǔn)則下的信源編碼 7.1 失真度和平均失真度 7.2 信息率失真函數(shù)及其性質(zhì) 7.3 二元信源和離散對(duì)稱信源的 R(D)函數(shù) 7.6 連續(xù)信源的信息率失真函數(shù)7.7 保真度準(zhǔn)則下信源編碼定理第2頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 總可以找到一種輸入分布（信源編碼方法），使在無(wú)噪無(wú)損信道上，能夠以信道容量C無(wú)誤地傳輸信息。信源編碼無(wú)噪無(wú)損信道R = C ; PE = 0最佳分布消息壓縮冗余度最好地利用 C 無(wú)噪信道編碼定理回顧 第3頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一

2、只要RC，總可以找到一種信道編碼方法，使在信道上能夠以盡可能小的 PE 傳輸信息。 有噪信道編碼定理回顧 信源編碼消息信道R C; PE=信道編碼增加冗余度，最好地匹配信道特性第4頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 對(duì)于連續(xù)和模擬信源 H(s)= 信道傳輸率R = H(s)/n（比特/碼符號(hào)） R = 平均碼長(zhǎng) l = Hr(s) = H(s)/logr, l = 實(shí)際上,因?yàn)锽w有限,C 一定有限,RC, 及l(fā) = 均不可能. 存在問(wèn)題 第5頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 信宿對(duì)真實(shí)度的要求： 實(shí)際語(yǔ)音信號(hào)：20Hz8KHz 人耳能夠分辨：30

3、0Hz3400Hz 圖象色差：可達(dá)足夠多 視覺(jué)分辨：256級(jí)（黑白）已足夠 實(shí)際需求特點(diǎn) 可以允許一定的失真度 完全保真沒(méi)必要第6頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 限失真的信源編碼問(wèn)題 允許一定的失真度下，能將信源信息壓縮到什么程度？（最少需要多少比特才能在收端描述信源？） 一定的信息傳輸率R下，允許的最大失真是多少？ 引出的研究?jī)?nèi)容 相關(guān)問(wèn)題 失真如何度量？ 率失真函數(shù)如何計(jì)算？第7頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.1 失真度和平均失真度 7.1.1 失真度 7.1.2 平均失真度 保真度準(zhǔn)則第8頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21

4、分，星期一7.1.1 失真度 方法抽象：將與討論重點(diǎn)關(guān)系小的部分抽象 涉及信源編碼, 對(duì)信道進(jìn)行抽象 信道編碼信道信道譯碼 廣義無(wú)擾信道* 廣義無(wú)擾信道*可以略去 信道*是一個(gè)沒(méi)有干擾的廣義信道，信宿收到信息的失真只來(lái)自于信源編碼.第9頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一信源編碼信道編碼信道信道譯碼信源譯碼信源信宿廣義無(wú)擾信道*信源編碼信源譯碼信源信宿第10頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一方法虛擬：將討論重點(diǎn)虛擬細(xì)化 將限失真信源的編譯碼過(guò)程虛擬 信源編碼廣義無(wú)擾信道信源譯碼 試驗(yàn)信道 可以用信道傳遞概率來(lái)描述限失真信 源編譯碼前后的關(guān)系 數(shù)據(jù)壓縮視

5、為消息通過(guò)信道, 編碼失真 視為信道噪聲.7.1.1 失真度 第11頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一信源編碼信道編碼信道信道譯碼信源譯碼信源信宿信源編碼廣義無(wú)擾信道*信源譯碼信源信宿信源信宿試驗(yàn)信道UVP(V|U)第12頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一失真度定義信源變量 信源分布經(jīng)信道傳輸后, 輸出序列 用一個(gè)非負(fù)函數(shù) d(ui, vj) 表示信源發(fā)出符號(hào)ui , 接收符號(hào)vj的失真度的定量描述.7.1.1 失真度 第13頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一失真函數(shù) d(ui, vj) 有rs個(gè), 可排成矩陣形式 失真度定義7

6、.1.1 失真度 第14頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一失真函數(shù) d(ui, vj) 有距離的概念 失真度性質(zhì)性質(zhì)1： 時(shí), d = 0 性質(zhì)2：最小距離 d = 0 性質(zhì)3： 7.1.1 失真度 第15頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 失真函數(shù) d(ui, vj) 可以各式各樣, 應(yīng)盡可能符合信宿的主觀特性, 即主觀上的失真感覺(jué)應(yīng)與d(ui, vj) 的值相對(duì)應(yīng). d 越大所感覺(jué)的失真也越大, 而且最好成正比. 失真度函數(shù)的取值原則7.1.1 失真度 第16頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一均方失真： 常用的失真函數(shù)適用于

7、連續(xù)信源及離散信源, 特別是表示信源輸出符號(hào)的幅度值.絕對(duì)失真： 適用信源同上相對(duì)失真： 相對(duì)失真與主觀特性比較匹配, 但數(shù)學(xué)處理較繁瑣.7.1.1 失真度 第17頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一誤碼失真： 常用的失真函數(shù)適用于離散信源.7.1.1 失真度 第18頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一例1：離散對(duì)稱信源(r = s). 信源變量 接收變量 定義單個(gè)符號(hào)失真度解：失真函數(shù)矩陣7.1.1 失真度 第19頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一解：失真函數(shù)矩陣當(dāng)再現(xiàn)的接收符號(hào)與發(fā)送符號(hào)相同時(shí), 就不存在失真錯(cuò)誤, 所以失真度

8、不同時(shí)就有失真存在, 認(rèn)為引起的失真都相同, 取常數(shù)為1. 這種失真稱為漢明失真. 漢明失真矩陣D為方陣, 且對(duì)角線上的元素為0.7.1.1 失真度 第20頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一例2：刪除信源(s = r+1). 信源變量 接收變量 定義單個(gè)符號(hào)失真度解：失真函數(shù)矩陣7.1.1 失真度 第21頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一解：失真函數(shù)矩陣接收符號(hào) 作為刪除符號(hào). 若把信源符號(hào)再現(xiàn)為刪除符號(hào) 要比再現(xiàn)為其他接收符號(hào)的失真程度少一半. 7.1.1 失真度 第22頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 小 結(jié) 一般情況下根

9、據(jù)實(shí)際信源的失真, 可以定義不同的失真和誤差; 按主觀感覺(jué)上的差別大小定義失真度; 可按引起的損失、風(fēng)險(xiǎn)等定義失真度.第23頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.1.2 平均失真度 定義失真函數(shù)的數(shù)學(xué)期望為平均失真度. 只能表示兩個(gè)特定的具體符號(hào) 與 之間的失真. 為表示信道對(duì)信源平均每符號(hào)的失真大小, 需要引入平均失真度. 平均失真度第24頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 定義失真函數(shù)的數(shù)學(xué)期望為平均失真度. 平均失真度 是描述某信源在某信道傳輸(編碼)下的失真大小, 是從整體上描述某個(gè)系統(tǒng)的失真情況. 7.1.2 平均失真度 第25頁(yè)，共50頁(yè)

10、，2022年，5月20日，1點(diǎn)21分，星期一信源序列的平均失真度信源輸出符號(hào)序列 其中, 隨機(jī)變量 取自于同一符號(hào)集 輸入符號(hào)序列 共有 個(gè).接收端符號(hào)序列 其中, 隨機(jī)變量 取自于同一符號(hào)集 輸出符號(hào)序列 共有 個(gè).設(shè)輸入輸出7.1.2 平均失真度 第26頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一信源序列的平均失真度信源序列的失真度等于序列中對(duì)應(yīng)單個(gè)信源符號(hào)失真度之和。7.1.2 平均失真度 第27頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一N維信源序列的平均失真度7.1.2 平均失真度 第28頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一N維信源序列單個(gè)

11、符號(hào)的平均失真度當(dāng)信源和信道都無(wú)記憶時(shí)第l 個(gè)分量的平均失真度當(dāng)離散信源是平穩(wěn)信源 離散無(wú)記憶平穩(wěn)信源通過(guò)無(wú)記憶試驗(yàn)信道，序列的平均失真度等于單個(gè)符號(hào)平均失真度的N倍。7.1.2 平均失真度 第29頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.1.3 保真度準(zhǔn)則 （1）若平均失真度 不大于所允許的失真D，即 ，稱此為保真度準(zhǔn)則。（2）對(duì)于N維信源序列，保真度準(zhǔn)則為（3）當(dāng)信源固定（p(u)給定），單個(gè)符號(hào)失真度固定（ 給定）時(shí)，選擇不同的信道，相當(dāng)于不同的編碼方法，所得到的平均失真度 不同。有些信道滿足 ，另一些 。把滿足D失真許可信道組成一個(gè)集合BD， 第30頁(yè)，共50頁(yè)，20

12、22年，5月20日，1點(diǎn)21分，星期一7.2 信息率失真函數(shù)及其性質(zhì) 7.2.1 信息率失真函數(shù)7.2.2 信息率失真函數(shù)的性質(zhì) 第31頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.1 信息率失真函數(shù) 1.已知： 與失真函數(shù) 、信源分布 和信道傳輸函數(shù) 有關(guān)。當(dāng) 和 給定后,不同的 將決定了不同的 。 2.在保真度準(zhǔn)則條件下： 存在信道滿足的集合 。3.信道的互信息 是信道傳遞函數(shù) 的U型凸函數(shù)，因此某一信道 使 取極小值4.定義滿足失真條件下信源必須傳輸?shù)淖钚∑骄畔⒘繛樾畔⒙适д婧瘮?shù)，或稱率失真函數(shù)。第32頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.1

13、 信息率失真函數(shù) 離散無(wú)記憶平穩(wěn)信源情況下 物理意義 并不是實(shí)際的信道, 而是有失真信源編碼或信源壓縮的處理. 進(jìn)而可求出平均互信息的最小值. 即改變編碼方法使平均互信息最小, 實(shí)質(zhì)上是選擇一種編碼方法使信息傳輸率最小. 是信源特性參數(shù),與試驗(yàn)信道的選擇無(wú)關(guān). 反映了信源可以壓縮的程度,是在滿足一定失真度 ( )要求下,信源可壓縮的最低值.第33頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 是D的函數(shù),當(dāng)D很小時(shí), 應(yīng)很大。1. 的定義域(0, Dmax)第34頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì)

14、是D的函數(shù),當(dāng)D很小時(shí), 應(yīng)很大。1. 的定義域(0, Dmax)(3) 由(2)定義得 是使 的全體概率集合。即 和 統(tǒng)計(jì)獨(dú)立。當(dāng) 時(shí), 此時(shí)信源不需要輸出任何信息.第35頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 規(guī)定失真度為漢明失真度，失真矩陣為求：(1) (2) 達(dá)到最小值 時(shí)的信道函數(shù)？(3)此時(shí)的第36頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 表示為滿足保真度準(zhǔn)則 ,信道V必須從信源U獲取的信息量,即信源必須輸出的最小信息率 信源U的率失真函數(shù)。第37頁(yè)，共50頁(yè)，2022年，5月20

15、日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 要求同上例第38頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 要求同上例總結(jié)：上面三例中,失真矩陣 每列只有一個(gè)最小值,當(dāng)允許失真度 取最小值 時(shí)，信源輸出符號(hào)數(shù)不能有任何的壓縮。第39頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 例 要求同上例三種典型取值信源的信息率可壓縮.第40頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 2. 是關(guān)于D的U型凸函數(shù)在允許失真度D的定義域內(nèi), 是D的U型凸函數(shù).3

16、. 函數(shù)的單調(diào)遞減性和連續(xù)性計(jì)算 的條件是 ,顯然當(dāng) 時(shí), 將最小。第41頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.2.2 信息率失真函數(shù)的性質(zhì) 4. 的典型圖形 (1) 定義域 (2) U型函數(shù)(3) 連續(xù)而遞減第42頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一7.3 二元信源和離散對(duì)稱信源的R(D)函數(shù) 7.3.1 二元對(duì)稱信源的R(D)函數(shù)7.3.2 離散對(duì)稱信源的R(D)函數(shù)第43頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一第44頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一4-2 根軌跡繪制的基本法則 1. 繪制根軌跡的基本法則 2

17、. 閉環(huán)極點(diǎn)的確定. 第45頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一1. 繪制根軌跡的基本法則 法則1 根軌跡的起點(diǎn)和終點(diǎn)根軌跡起于開環(huán)極點(diǎn), 終于開環(huán)零點(diǎn). 閉環(huán)系統(tǒng)特征方程根軌跡的起點(diǎn) ,根軌跡的終點(diǎn) ,開環(huán)極點(diǎn)數(shù) = 開環(huán)零點(diǎn)數(shù), 數(shù)目小的出現(xiàn)在無(wú)窮遠(yuǎn).第46頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一1. 繪制根軌跡的基本法則 法則4 根軌跡在實(shí)軸上的分布實(shí)軸上的某一區(qū)域, 若其右邊開環(huán)實(shí)數(shù)零極點(diǎn)個(gè)數(shù)之和為奇數(shù), 則該區(qū)域必是根軌跡. 法則5 根軌跡的分離點(diǎn)與分離角兩條或兩條以上根軌跡分支在s平面上相遇又立即分開的點(diǎn), 稱為根軌跡的分離點(diǎn). 根軌跡進(jìn)入分離點(diǎn)的切線方向與離開分離點(diǎn)的切線方向之間的夾角稱為分離角. 分離點(diǎn)坐標(biāo) d 和分離角求解公式: 第47頁(yè)，共50頁(yè)，2022年，5月20日，1點(diǎn)21分，星期一 小 結(jié) 由兩個(gè)極點(diǎn)(實(shí)數(shù)極點(diǎn)或復(fù)數(shù)極點(diǎn))和一個(gè)有限零點(diǎn)組成的開環(huán)系統(tǒng), 只要有限零點(diǎn)沒(méi)有位于兩個(gè)實(shí)數(shù)極點(diǎn)之間, 當(dāng)K*從0變到時(shí), 閉環(huán)根軌跡的復(fù)數(shù)部