近代信息論第五章

1、近代信息論第五章第1頁，共21頁，2022年，5月20日，18點47分，星期三引言信源編碼定理 有效性 無失真下信道壓縮的界信道編碼定理 可靠性 無失真?zhèn)鬏?R的界出發(fā)點:無失真實際中有失真：連續(xù)信源的熵無窮大，要求信道容量也無窮大，而實際系統(tǒng)F有限，不可能無失真實際應用中允許失真，如電話，圖像壓縮問題如何描述信息的失真，及在限失真的條件下，編碼定理如何？第2頁，共21頁，2022年，5月20日，18點47分，星期三主要內(nèi)容第一節(jié)：率失真函數(shù)的定義第二節(jié)：率失真函數(shù)的性質(zhì)第3頁，共21頁，2022年，5月20日，18點47分，星期三第一節(jié) 率失真函數(shù)的定義失真函數(shù)的定義兩個符號集構(gòu)成積第4頁，

2、共21頁，2022年，5月20日，18點47分，星期三漢明失真函數(shù)歐幾里德距離測度絕對值失真測度例：失真函數(shù)第5頁，共21頁，2022年，5月20日，18點47分，星期三平均失真定義平均失真：失真 是主觀確定，根據(jù)失真所引起的損失、風險等因素人為規(guī)定。實際中，常常要求平均失真某一范圍率失真的問題第6頁，共21頁，2022年，5月20日，18點47分，星期三率失真函數(shù)I(X,Y) 表征信息的傳輸率：I(X,Y)=0 從Y中得不到X的信息 全失真X與Y一一對應 無失真I(X,Y)的大小反映了失真的大小recall：工程上允許失真：圖像壓縮 （SNR 表失真 壓縮倍數(shù)）語音傳輸 （SNR， MOS（

3、主觀評分）失真不能太大，需要保證可懂度和自然度3.5 GSM(RPE-LTP)4.0 CCITT(LD-CELP)第7頁，共21頁，2022年，5月20日，18點47分，星期三問題：當要求失真0I(X,Y)=H(X)-H(X|Y)H(X)相當于可以壓縮第16頁，共21頁，2022年，5月20日，18點47分，星期三例：選擇信道1：選擇信道2：則R(0)=H(X)可壓縮第17頁，共21頁，2022年，5月20日，18點47分，星期三Dmax R(Dmax)定義第18頁，共21頁，2022年，5月20日，18點47分，星期三兩個向量的內(nèi)積Dmax R(Dmax)I(X;Y)=0,X,Y獨立，第19頁，共21頁，2022年，5月20日，18點47分，星期三討論：1.2.某列全為1每行三者和為1R(Dmax)=minI(X,Y)=0第20頁，共21頁，2022年，5月20日，18點47分，星期三R(D)的數(shù)學特征R(D)是D的下凸函數(shù)；R(D)是關(guān)于D的連續(xù)函數(shù)；R(D)是關(guān)于D的單調(diào)遞減函數(shù)。DR(D)0DmaxDminDR(D)0Dm