版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
第三章
理論極限與基本途徑
課前回顧1.自信息量的定義是什么?根據(jù)對數(shù)所用“底”不同,信息量單位也不同:
比特(bit):r=2
奈特(Nat):r=e(自然對數(shù)之底)
哈特(Hart):r=10含義是隨機(jī)變量X
取值為時所攜帶信息的度量。2.信息熵的定義是什么?自信息量的概率平均。當(dāng)強(qiáng)調(diào)各事件的概率分布、并構(gòu)成概率向量(m維)時,熵也習(xí)慣地寫成:課前回顧課前回顧3.如何計(jì)算對信源的平均碼長l?4.統(tǒng)計(jì)編碼的基礎(chǔ)是什么?只要信源不是等概率分布,就存在著數(shù)據(jù)壓縮的可能性課前回顧壓縮前每個信源符號(取樣)的編碼位數(shù)(logm)與壓縮后平均每符號的編碼位數(shù)(l)之比編碼效率:上界:※※5.如何理解壓縮比的上界和編碼效率?1離散無記憶信源2聯(lián)合信源
3隨機(jī)序列4率失真理論本章內(nèi)容3.2聯(lián)合信源多個信源構(gòu)成的聯(lián)合信源
音響設(shè)備有多個聲道;彩色電視信號可分解為紅、綠、藍(lán)(R,G,B)三種基色;遙感圖像包含多個波段;3.2.1聯(lián)合熵和條件熵設(shè)信源X
取值于:信源Y
取值于:對X和Y做笛卡兒乘積構(gòu)成聯(lián)合信源(X,Y)第一個對象是X的成員,而第二個對象是Y的所有可能的一個成員。例:假設(shè)集合X={a,b},集合Y={0,1,2},則兩個集合的笛卡爾積為{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)},即所有兩兩組合的情況。符號關(guān)系定義:聯(lián)合概率
邊緣概率條件概率(3.2.1a)(3.2.1b)(3.2.2a)(3.2.2b)聯(lián)合熵(JointEntropy)(3.2.3)——聯(lián)合信源(X,Y)的熵表示聯(lián)合概率分布所具有的信息量的概率平均;表示兩個事件集聯(lián)合發(fā)生時所能得到的總的平均信息量。條件自信息量——由條件概率定義(3.2.4a)(3.2.4b)
表示在發(fā)現(xiàn)信源Y取值為時,對猜測信源X是否取的不確定程度?;バ畔⒘俊孕畔⒘颗c條件自信息量之差(3.2.5)
表示所含的信息量(不確定度);表示知道后還保留的信息量;代表信源符號為所提供的信息量。平均互信息量——互信息量的概率平均(3.2.6)條件熵(平均條件自信息量)(3.2.7a)(3.2.7b)平均互信息量表示信源X的平均不確定性與其在信源Y被確定條件下仍保留的平均不確定性之差。(3.2.8a)
表示了隨機(jī)變量Y
對X
所提供的平均信息量。
表示兩個事件集聯(lián)合發(fā)生時所能得到的總的平均信息量。與區(qū)別:(3.2.10)(3.2.8b)對稱性由于:平均互信息量具有:(3.2.8a)非負(fù)性(3.2.12)由于:(3.2.11 a)(3.2.11b)沒有冗余度的信源還能否被壓縮?習(xí)題:有人說:“黑白圖像
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 機(jī)械制圖裝配圖和電路圖的識讀 課件-2024-2025學(xué)年高中技術(shù)粵科版(2019)必修 技術(shù)與設(shè)計(jì)1
- 2024年帶式壓榨過濾機(jī)項(xiàng)目合作計(jì)劃書
- 開展校際交流與合作計(jì)劃
- 制定科學(xué)合理的倉庫管理計(jì)劃
- 創(chuàng)新團(tuán)隊(duì)建設(shè)與激勵機(jī)制培訓(xùn)
- 提升執(zhí)行力的實(shí)施方案計(jì)劃
- 班主任如何引導(dǎo)學(xué)生進(jìn)行自評計(jì)劃
- 2024年硬膠囊劑機(jī)械項(xiàng)目合作計(jì)劃書
- 授信借款協(xié)議三篇
- 班級科技小發(fā)明活動的組織計(jì)劃
- JBT 14191-2023 管道帶壓開孔機(jī) (正式版)
- 知網(wǎng)行業(yè)分析
- 券商行業(yè)新員工入職培訓(xùn)要點(diǎn)
- 城鄉(xiāng)自來水公司招聘筆試題
- 2024年中國移動招聘筆試參考題庫附帶答案詳解
- 探店在小紅書的營銷策劃
- 八年級語文下冊第六單元寫作:學(xué)寫故事
- 設(shè)計(jì)倫理與社會責(zé)任
- 《新廣告法培訓(xùn)》課件
- 鋼質(zhì)防火門方案
- 湘版四年級音樂上《小小足球賽》的說課稿
評論
0/150
提交評論