信息論基礎(chǔ)-信源編碼課件

信息論基礎(chǔ)——信源編碼56、死去何所道，托體同山阿。57、春秋多佳日，登高賦新詩。58、種豆南山下，草盛豆苗稀。晨興理荒穢，帶月荷鋤歸。道狹草木長，夕露沾我衣。衣沾不足惜，但使愿無違。59、相見無雜言，但道桑麻長。60、迢迢新秋夕，亭亭月將圓。信息論基礎(chǔ)——信源編碼信息論基礎(chǔ)——信源編碼56、死去何所道，托體同山阿。57、春秋多佳日，登高賦新詩。58、種豆南山下，草盛豆苗稀。晨興理荒穢，帶月荷鋤歸。道狹草木長，夕露沾我衣。衣沾不足惜，但使愿無違。59、相見無雜言，但道桑麻長。60、迢迢新秋夕，亭亭月將圓。數(shù)據(jù)壓縮和信源編碼3.1等長碼32變長編碼33哈夫曼碼34算術(shù)碼香農(nóng)-費諾碼3.5通用信源編碼LZw算法習題三算術(shù)碼-Shannon-Fano-Elias碼fd0.概述是第一個能夠找到的好的變長碼原則:按照符號出現(xiàn)的概率從大到小排序,然后將其分成兩個出現(xiàn)概率相同或幾乎相同的子集一一個子集的編碼均以0打頭,另一個子集的編碼均以1打頭;然后把每個子集再分成兩個更小的子集,同樣確定所有碼字的第二位,依次循環(huán).信息論基礎(chǔ)——信源編碼56、死去何所道，托體同山阿。信息論基1數(shù)據(jù)壓縮和信源編碼3.1等長碼32變長編碼33哈夫曼碼34算術(shù)碼香農(nóng)-費諾碼3.5通用信源編碼LZw算法習題三數(shù)據(jù)壓縮和信源編碼2算術(shù)碼-Shannon-Fano-Elias碼fd0.概述是第一個能夠找到的好的變長碼原則:按照符號出現(xiàn)的概率從大到小排序,然后將其分成兩個出現(xiàn)概率相同或幾乎相同的子集一一個子集的編碼均以0打頭,另一個子集的編碼均以1打頭;然后把每個子集再分成兩個更小的子集,同樣確定所有碼字的第二位,依次循環(huán).算術(shù)碼-Shannon-Fano-Elias碼fd3算術(shù)碼-Shannon-Fano-Elias碼fdProbStepsFinal例1.0.2511:112.0.20103.0.150:0114.0.150:0105.0.1001:0016.0.10001:00017.0.05000:0000算術(shù)碼-Shannon-Fano-Elias碼fd4算術(shù)碼-Shannon-Fano-Elias碼fd0.概述其平均碼長:0.25×2+0.20×2+0.15×3+0.15×3+0.10×3+0.10×4+0.05×4=2.7bits/symbol其熵:-(0.251og0.25+0.20log0.20+0.15og0,15+0.15og0.15+0.10og0.10+0.10log0.10+0.05og0.052.67算這是一個較好的結(jié)果!算術(shù)碼-Shannon-Fano-Elias碼fd5算術(shù)碼-Shannon-Fano-Elias碼fdProbStepsFinal1.0.251122.0.2510:103.0.1250:0114.0.1250100105.0.125001:0016.0.125000000算術(shù)碼-Shannon-Fano-Elias碼fd6算術(shù)碼-Shannon-Fano-Elias碼fd例3算術(shù)碼-Shannon-Fano-Elias碼fd7算術(shù)碼-Shannon-Fano-Elias碼fd1基本思路用二進制小數(shù)表示信源的概率分布,如果概率分布取值大,則它的二進制位數(shù)就低;另外,為了使算術(shù)碼具有前綴性(無尾隨后綴),對概率分布采用累計求和計算算術(shù)碼-Shannon-Fano-Elias碼fd8算術(shù)碼-Shannon-Fano-Elias碼fd2編碼方法1)將信源符號X={ana2……,a}依次排列(不要求以概率大小排序);2)計算各符號的修正累積分函數(shù)值1=20+O1代表不小于x的整數(shù)3)確定各信源符號所對應(yīng)碼字的碼長l(a)=log-14)將F(a)表示為二進制小數(shù),并用小數(shù)點后的(a)位作為a的若二進制小數(shù)后面有尾數(shù),則截斷算術(shù)碼-Shannon-Fano-Elias碼fd9算術(shù)碼-Shannon-Fano-Elias碼fd其例1:若信源的概率分布為,,取信號字母表為U={0l,求信源的算術(shù)碼信源符號x概率p(x)字長l(x)0.25(二)37()=log0.75(-)算術(shù)碼-Shannon-Fano-Elias碼fd10算術(shù)碼-Shannon-Fano-Elias碼fd其例1:若信源的概率分布為,,取信號字母表為U={0l,求信源的算術(shù)碼小1①三算術(shù)碼-Shannon-Fano-Elias碼fd11信息論基礎(chǔ)——信源編碼課件12信息論基礎(chǔ)——信源編碼課件13信息論基礎(chǔ)——信源編碼課件14信息論基礎(chǔ)——信源編碼課件15信息論基礎(chǔ)——信源編碼課件16信息論基礎(chǔ)——信源編碼課件17信息論基礎(chǔ)——信源編碼課件18信息論基礎(chǔ)——信源編碼課件19信息論基礎(chǔ)——信源編碼課件20信息論基礎(chǔ)——信源編碼課件21信息論基礎(chǔ)——信源編碼課件22信息論基礎(chǔ)——信源編碼課件23信息論基礎(chǔ)——信源編碼課件24信息論基礎(chǔ)——信源編碼課件25信息論基礎(chǔ)——信源編碼課件26信息論基礎(chǔ)——信源編碼課件27信息論基礎(chǔ)——信源編碼課件28信息論基礎(chǔ)——信源編碼課件29信息論基礎(chǔ)——信源編碼課件30信息論基礎(chǔ)——信源編碼課件31信息論基礎(chǔ)——信源編碼課件32信息論基礎(chǔ)——信源編碼課件33信息論基礎(chǔ)——信源編碼課件34信息論基礎(chǔ)——信源編碼課件35信息論基礎(chǔ)——信源編碼課件36信息論基礎(chǔ)——信源編碼課件37信息論基礎(chǔ)——信源編碼課件38信息論基礎(chǔ)——信源編碼課件39信息論基礎(chǔ)——信源編碼課件40信息論基礎(chǔ)——信源編碼課件41信息論基礎(chǔ)——信源編碼課件42信息論基礎(chǔ)——信源編碼課件43信息論基礎(chǔ)——信源編碼課件44信息論基礎(chǔ)——信源編碼課件45信息論基礎(chǔ)——信源編碼課件46信息論基礎(chǔ)——信源編碼課件47信息論基礎(chǔ)——信源編碼課件48信息論基礎(chǔ)——信源編碼課件49信息論基礎(chǔ)——信源編碼課件50信息論基礎(chǔ)——信源編碼課件51信息論基礎(chǔ)——信源編碼課件52信息論基礎(chǔ)——信源編碼課件53信息論基礎(chǔ)——信源編碼課件54信息論基礎(chǔ)——信源編碼課件55信息論基礎(chǔ)——信源編碼課件56信息論基礎(chǔ)——信源編碼課件57信息論基礎(chǔ)——信源編碼課件58信息論基礎(chǔ)——信源編碼課件59信息論基礎(chǔ)——信源編碼課件60信息論基礎(chǔ)——信源編碼課件61信息論基礎(chǔ)——信源編碼課件62信息論基礎(chǔ)——信源編碼課件63信息論基礎(chǔ)——信源編碼課件64信息論基礎(chǔ)——信源編碼課件65信息論基礎(chǔ)——信源編碼課件66信息論基礎(chǔ)——信源編碼課件67信息論基礎(chǔ)——信源編碼課件68信息論基礎(chǔ)——信源編碼課件69信息論基礎(chǔ)——信源編碼課件70信息論基礎(chǔ)——信源編碼課件71信息論基礎(chǔ)——信源編碼課件72信息論基礎(chǔ)——信源編碼課件73信息論基礎(chǔ)——信源編碼課件74信息論基礎(chǔ)——信源編碼課件75信息論基礎(chǔ)——信源編碼課件76信息論基礎(chǔ)——信源編碼課件77信息論基礎(chǔ)——信源編碼課件78信息論基礎(chǔ)——信源編碼課件79信息論基礎(chǔ)——信源編碼課件80信息論基礎(chǔ)——信源編碼課件81信息論基礎(chǔ)——信源編碼課件82信息論基礎(chǔ)——信源編碼課件83信息論基礎(chǔ)——信源編碼課件84信息論基礎(chǔ)——信源編碼課件85信息論基礎(chǔ)——信源編碼課件86信息論基礎(chǔ)——信源編碼課件8766、節(jié)制使快樂增加并使享受加強。——德謨克利特

67、今天應(yīng)做的事沒有做，明天再早也是耽誤了。——裴斯泰洛齊

68、決定一個人的一生，以及整個命運的，只是一瞬之間。——歌德

69、懶人無法享受休息之樂。——拉布克

70、浪費時間是一樁大罪過?！R梭66、節(jié)制使快樂增加并使享受加強?！轮兛死?8信息論基礎(chǔ)——信源編碼56、死去何所道，托體同山阿。57、春秋多佳日，登高賦新詩。58、種豆南山下，草盛豆苗稀。晨興理荒穢，帶月荷鋤歸。道狹草木長，夕露沾我衣。衣沾不足惜，但使愿無違。59、相見無雜言，但道桑麻長。60、迢迢新秋夕，亭亭月將圓。信息論基礎(chǔ)——信源編碼信息論基礎(chǔ)——信源編碼56、死去何所道，托體同山阿。57、春秋多佳日，登高賦新詩。58、種豆南山下，草盛豆苗稀。晨興理荒穢，帶月荷鋤歸。道狹草木長，夕露沾我衣。衣沾不足惜，但使愿無違。59、相見無雜言，但道桑麻長。60、迢迢新秋夕，亭亭月將圓。數(shù)據(jù)壓縮和信源編碼3.1等長碼32變長編碼33哈夫曼碼34算術(shù)碼香農(nóng)-費諾碼3.5通用信源編碼LZw算法習題三算術(shù)碼-Shannon-Fano-Elias碼fd0.概述是第一個能夠找到的好的變長碼原則:按照符號出現(xiàn)的概率從大到小排序,然后將其分成兩個出現(xiàn)概率相同或幾乎相同的子集一一個子集的編碼均以0打頭,另一個子集的編碼均以1打頭;然后把每個子集再分成兩個更小的子集,同樣確定所有碼字的第二位,依次循環(huán).信息論基礎(chǔ)——信源編碼56、死去何所道，托體同山阿。信息論基89數(shù)據(jù)壓縮和信源編碼3.1等長碼32變長編碼33哈夫曼碼34算術(shù)碼香農(nóng)-費諾碼3.5通用信源編碼LZw算法習題三數(shù)據(jù)壓縮和信源編碼90算術(shù)碼-Shannon-Fano-Elias碼fd0.概述是第一個能夠找到的好的變長碼原則:按照符號出現(xiàn)的概率從大到小排序,然后將其分成兩個出現(xiàn)概率相同或幾乎相同的子集一一個子集的編碼均以0打頭,另一個子集的編碼均以1打頭;然后把每個子集再分成兩個更小的子集,同樣確定所有碼字的第二位,依次循環(huán).算術(shù)碼-Shannon-Fano-Elias碼fd91算術(shù)碼-Shannon-Fano-Elias碼fdProbStepsFinal例1.0.2511:112.0.20103.0.150:0114.0.150:0105.0.1001:0016.0.10001:00017.0.05000:0000算術(shù)碼-Shannon-Fano-Elias碼fd92算術(shù)碼-Shannon-Fano-Elias碼fd0.概述其平均碼長:0.25×2+0.20×2+0.15×3+0.15×3+0.10×3+0.10×4+0.05×4=2.7bits/symbol其熵:-(0.251og0.25+0.20log0.20+0.15og0,15+0.15og0.15+0.10og0.10+0.10log0.10+0.05og0.052.67算這是一個較好的結(jié)果!算術(shù)碼-Shannon-Fano-Elias碼fd93算術(shù)碼-Shannon-Fano-Elias碼fdProbStepsFinal1.0.251122.0.2510:103.0.1250:0114.0.1250100105.0.125001:0016.0.125000000算術(shù)碼-Shannon-Fano-Elias碼fd94算術(shù)碼-Shannon-Fano-Elias碼fd例3算術(shù)碼-Shannon-Fano-Elias碼fd95算術(shù)碼-Shannon-Fano-Elias碼fd1基本思路用二進制小數(shù)表示信源的概率分布,如果概率分布取值大,則它的二進制位數(shù)就低;另外,為了使算術(shù)碼具有前綴性(無尾隨后綴),對概率分布采用累計求和計算算術(shù)碼-Shannon-Fano-Elias碼fd96算術(shù)碼-Shannon-Fano-Elias碼fd2編碼方法1)將信源符號X={ana2……,a}依次排列(不要求以概率大小排序);2)計算各符號的修正累積分函數(shù)值1=20+O1代表不小于x的整數(shù)3)確定各信源符號所對應(yīng)碼字的碼長l(a)=log-14)將F(a)表示為二進制小數(shù),并用小數(shù)點后的(a)位作為a的若二進制小數(shù)后面有尾數(shù),則截斷算術(shù)碼-Shannon-Fano-Elias碼fd97算術(shù)碼-Shannon-Fano-Elias碼fd其例1:若信源的概率分布為,,取信號字母表為U={0l,求信源的算術(shù)碼信源符號x概率p(x)字長l(x)0.25(二)37()=log0.75(-)算術(shù)碼-Shannon-Fano-Elias碼fd98算術(shù)碼-Shannon-Fano-Elias碼fd其例1:若信源的概率分布為,,取信號字母表為U={0l,求信源的算術(shù)碼小1①三算術(shù)碼-Shannon-Fano-Elias碼fd99信息論基礎(chǔ)——信源編碼課件100信息論基礎(chǔ)——信源編碼課件101信息論基礎(chǔ)——信源編碼課件102信息論基礎(chǔ)——信源編碼課件103信息論基礎(chǔ)——信源編碼課件104信息論基礎(chǔ)——信源編碼課件105信息論基礎(chǔ)——信源編碼課件106信息論基礎(chǔ)——信源編碼課件107信息論基礎(chǔ)——信源編碼課件108信息論基礎(chǔ)——信源編碼課件109信息論基礎(chǔ)——信源編碼課件110信息論基礎(chǔ)——信源編碼課件111信息論基礎(chǔ)——信源編碼課件112信息論基礎(chǔ)——信源編碼課件113信息論基礎(chǔ)——信源編碼課件114信息論基礎(chǔ)——信源編碼課件115信息論基礎(chǔ)——信源編碼課件116信息論基礎(chǔ)——信源編碼課件117信息論基礎(chǔ)——信源編碼課件118信息論基礎(chǔ)——信源編碼課件119信息論基礎(chǔ)——信源編碼課件120信息論基礎(chǔ)——信源編碼課件121信息論基礎(chǔ)——信源編碼課件122信息論基礎(chǔ)——信源編碼課件123信息論基礎(chǔ)——信源編碼課件124信息論基礎(chǔ)——信源編碼課件125信息論基礎(chǔ)——信源編碼課件126信息論基礎(chǔ)——信源編碼課件127信息論基礎(chǔ)——信源編碼課件128信息論基礎(chǔ)——信源編碼課件129信息論基礎(chǔ)——信源編碼課件130信息論基礎(chǔ)——信源編碼課件131信息論基礎(chǔ)——信源編碼課件132信息論基礎(chǔ)——信源編碼課件133信息論基礎(chǔ)——信源編碼課件134信息論基礎(chǔ)——信源編碼課件135信息論基礎(chǔ)——信源編碼課件136信息論基礎(chǔ)——信源編碼課件137信息論基礎(chǔ)——信源編碼課件138信息論基礎(chǔ)——信源編碼課件139信息論基礎(chǔ)——信源編碼課件140信息論基礎(chǔ)——信源編碼課件141信息論基礎(chǔ)——信源編碼課件142信息論基礎(chǔ)——信源編碼課件143信息論基礎(chǔ)——信源編碼課件144信息論基礎(chǔ)——信源編碼課件145信息論基礎(chǔ)——信源編碼課件146信息論基