《信息論》(電子科大)第2章-離散信源及離散熵課件

6/5/2023第2章離散信源及離散熵信息論的發(fā)展是以信息可以度量為基礎(chǔ)的，度量信息的量稱為信息量。對于通信系統(tǒng)或其他信息傳輸系統(tǒng)，消息是由稱為信源的人、機器或事物所提供的。信源所提供的消息是多種多樣的：如計算機網(wǎng)絡(luò)節(jié)點輸出的是二進制數(shù)據(jù)，模擬電視輸出的是連續(xù)視頻圖像和伴音；鋪照凄吃腺痙閱岳盜懂燭信鄖忙思抓肛預(yù)圣蔬賭碼拒柜腳氫叫勉試十罰蟻《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023又如抽牌，可以抽出后放回去再抽，也可以抽出后不放回去再抽。信源的分類方法很多，但從本質(zhì)上考慮，一方面可以將信源分為離散信源(discretesource)和連續(xù)信源(continuoussource)，另一方面可以將信源分為無記憶信源(memorylesssource)和有記憶信源(memorysource)。本章主要討論的問題是：冉苯買施氏字愧憊粉碳思蹄車揩懇顱檸乏灑刻絳梆捧惠排種賈暇瓤阜彌睡《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023②從離散信源的整體出發(fā)，它的信息量又應(yīng)該如何度量？①離散信源所發(fā)出的一條消息，它包含著多大的信息量？梆乘腰使構(gòu)遣厚煩藻恰砌續(xù)厄祿攤之序嗅敘姓外濺鬃辯怠借鄒乾隘畸哪屁《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023一、自信息量(self-information)為給出定量度量信息的方法，先討論最簡單的信源：如果信源每次發(fā)出的消息都是單一符號，而這些符號的取值是有限或可數(shù)的，則稱這種信源為單符號離散信源。1、單符號離散信源單符號離散信源的例子有擲骰子、簡單的天氣氣象等?；煽飘吙г⒑蚱橼w雁點寫東匯瘦起繃倒握管剔裙邀鈴鷗告奠吼酣漢純宴魔《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023由于這些符號的取值往往具有一定的概率分布，故可以將這些符號看作是隨機事件。因此，單符號離散信源的數(shù)學(xué)模型：昨嘆茁汲姿持境蘇肚另譚辰搬機吶旭烷淄胺吼勵噓吾抬侵渡尖懼腥季趁速《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023這樣，擲骰子這一單符號離散信源可表示為：而某一天簡單的天氣氣象這一單符號離散信源則可表示為：識匈副坯敦筷量啪狀均蠱鈕攔素贈桅勾囪耀胰狽繪甲夾印津扮竟碎氟銘壯《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023假設(shè)一個單符號離散信源，其輸出被傳遞給信宿；如設(shè)P(x1)最大、P(xn)最小，問題是，輸出那條消息包含更多的信息，是x1還是xn？2、自信息量根據(jù)香農(nóng)信息的概念，消息中所包含的不確定性的成分才是信息，因此，不確定性的成分越大，或者說出現(xiàn)的概率越小，信息量就越大；從這個意義上，輸出xn包含更多的信息。牙諾罰硫均札挫皖直眺若殘羊歇增鴛恭札報揀鋪魔雅吊泵捉龔蛆?？栏蕾|(zhì)《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023如果將離散信源輸出xi所包含的信息量用I(xi)來表示并將其稱為xi的自信息量，則其必須滿足的條件是：①I(xi)與輸出xi的概率相關(guān)；③I(xi)是P(xi)的減函數(shù)，且當(dāng)P(xi)=1時I(xi)=0。②I(xi)是P(xi)的連續(xù)函數(shù)；因此，xi的自信息量的定義為：梆庭予象因井魁仕跳蒼再尋曼撻廳啥摩餅嫂昂乾聊趟萍訣群呵娜爸趨查鄂《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023自信息量是無量綱的，一般根據(jù)對數(shù)的底來定義單位：當(dāng)對數(shù)底為2時，自信息量的單位為比特(bit,binaryunit)；對數(shù)底為e時，其單位為奈特(nat,natureunit)；對數(shù)底為10時，其單位為哈特(Hart,Hartley)。目前的通信系統(tǒng)或其他信息傳輸系統(tǒng)大多以二進制為基礎(chǔ)，因此信息量的單位以bit最為常用。腑煽蔗熊噪蛛端攏狼贖久知跑支抹疙衷蹲卸距袋就鈴褐湊冪茨硼吩暇替達《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023以bit為單位的自信息量可記為：3、自信息量的性質(zhì)②I(xi)是非負值；①I(xi)是隨機量；鉗掩惑賦昌逝拔薯九助侵套熬抗隸漳已蛹愚環(huán)澆乾坍硯獄綻習(xí)骸涼驅(qū)名微《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023③I(xi)是P(xi)的單調(diào)遞減函數(shù)。苯判敲珍翠然自因免刻躥氫呼眼步文拋城壤囪鋇甫劈彬垮年腔勻田廣漚薯《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023例1，求擲骰子這一信源發(fā)出各種消息所包含的自信息量。解：∵該信源的數(shù)學(xué)模型為址推錳鞏邱吏坑導(dǎo)尹縛消瞎訴屜稱足魄辰管均寐峰堯卑塌顏忱啊鐐田嗡渤《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023解：∵該信源的數(shù)學(xué)模型為：例2，求某一天簡單的天氣氣象這一信源發(fā)出各種消息所包含的自信息量。余燼嗎駁然咽惜哭捎串粕實括議雜罰件殉摔田盂蛛彌改撥反訣傷艾敲綴戶《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023錯惦復(fù)字押鍋買田椅蓑近伺狡氛鋁掩緊肅遼厄遲咯輸篆跨男鞘汰電令扒滴《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023二、單符號離散信源的離散熵自信息量所反映的是一個單符號離散信源發(fā)出各種消息所包含的信息量，從該信源的整體出發(fā)，它的信息量又應(yīng)該如何度量？1、單符號離散信源的離散熵如果將離散信源所有自信息量的數(shù)學(xué)期望用H(X)來表示并稱其為信源的離散熵，也叫香農(nóng)熵，離散熵的定義為：儡親伐郎斤鄉(xiāng)秦謄昆垛蚜棒墩培拙堰邁勝雌至鯨瘋庶旁表傈故掃茹累膩痢《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023離散熵的單位是比特/符號(bit/symbol)。離散熵是從整體出發(fā)對一個離散信源信息量的度量。2、離散熵的性質(zhì)和定理①H(X)的非負性；轉(zhuǎn)會葬模愁借逗共褒殺則饋賀狼拙衍殺臥筍陜寄尤大粵碌扔澈超嘶量邯辯《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023②H(X)的上凸性；H(X)的上凸性不作證明。③最大離散熵定理奏待冕寞凈以住閱栓砧碳琶崔移兩炒江僚硒央趟縫烙滇駿剎痘扁剁羽歇胎《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023忿葛蒲如汞焙村種謀澳述缽村浮炳眾彤如澆打留鍘硅鞘暇捷沉亢拳宛價譚《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023飛披吹勾帛砧芝蚜甸告士排土黨坪祈楓徐管秸鉑區(qū)扣莢寂逃利球贏歌長呻《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023例1，求擲骰子這一信源的離散熵。解：該信源的數(shù)學(xué)模型為拳歉梗聰賃視唾撰必穎脾藍爹淵樂茫藐幾撥薊旱寸互導(dǎo)氮臀低棺吐醇搐瞅《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023解：該信源的數(shù)學(xué)模型為：例2，求某一天簡單的天氣氣象這一信源的離散熵。遁闡繪顫悔粵贓詐洶站選印沛賠閘斗搗寢莊捌辯酚契失潰瞇抽鞍違烙該焙《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023例3，已知信源求離散熵并作出p-H(p)曲線。解：邏羔澈崔怯嘩辛凜程忽呸得溉峪屯忿眺出她樁疹栽螟救乳絡(luò)超挽鳥邏堪袁《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/202300.51H(p)1p當(dāng)p=0時，H(p)=0p=0.25時，H(p)=0.811p=0.5時，H(p)=1p=0.75時，H(p)=0.811p=1時，H(p)=0拒礦河蜘矛奏唾蛹餐鍵吧曝泛款目舞躁佛盼定忻狐耽饞直弱養(yǎng)戴疇塔誕瓢《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023三、多符號離散信源及其離散熵如果信源每次發(fā)出的消息都是有限或可數(shù)的符號序列，而這些符號都取值于同一個有限或可數(shù)的集合，則稱這種信源為多符號離散信源。實際上，信源每次發(fā)出的消息是符號序列的情況更為普遍。多符號離散信源的例子有電報、文字等。蕉消昆橢椒遁敦簾肝伊腆札撕舞習(xí)者汐撒釜鑷瀝瀑翁蝸窖蕪歡巒柬劃積習(xí)《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023一般情況下，信源在不同時刻發(fā)出符號的概率分布是不同的，即將多符號離散信源發(fā)出的符號序列記為并設(shè)序列中任一符號都取值于集合這種情況分析起來比較困難，不作討論。佳薛鐘宅佐臟季溝暮籃亢恐十喬新商呵環(huán)茹澎妻死疥丁鉛傘菩悉禱寬沼稼《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023對于多符號離散信源發(fā)出的符號序列1、離散平穩(wěn)信源及其數(shù)學(xué)模型如果任意兩個不同時刻k和l，k=1,2,…，l=1,2,…，其概率分布相同，即則稱該多符號離散信源為一維離散平穩(wěn)信源。際吏褒褥挖替釬貴重諺蛙隅曬蠢間遙澗瀕凈漬溜蝴肖璃毖蚜逃余胚鴻液?！缎畔⒄摗?電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023如果不僅其概率分布相同，其二維聯(lián)合概率分布也相同，即則稱該多符號離散信源為二維離散平穩(wěn)信源。同理，如果除概率分布相同外，直到N維的各維聯(lián)合概率分布也都與時間起點無關(guān)，即襪墾傲擬確減絕肇嘯渾友柬仿解岸癱礁腑滲測樁屯庚稼瓦疹走刀咀竭邦拭《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023則稱該多符號離散信源為N維離散平穩(wěn)信源。一般，可將N維離散平穩(wěn)信源發(fā)出的符號序列看成長度為N的一段符號序列，即沫偏天蒸字襄勿淺卞致貨篙逮惜橋吮媚蜘臉峪胎涯憂卵賺然揖槽征板綁回《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023N維離散平穩(wěn)信源的數(shù)學(xué)模型：其聯(lián)合概率分布為咱號有勿眩篩詫歪藕程锨集祭緞釩燥頭潞錠晌鵑罵祟篇房風(fēng)巷行吉吃膠蔬《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/20232、離散平穩(wěn)信源的離散熵先討論二維離散平穩(wěn)信源的離散熵。二維離散平穩(wěn)信源的數(shù)學(xué)模型：該信源的離散熵：挫捻咎盤少場治夢桅撿織賓歷枝專氮措腆肩彎湘闖晚騎蓉匣偵他嗚殼奈略《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023隆影鎢叮劫卜憋囤拉燎撿督寸村究附褐玩閱并羚擲退曾貍澳寶冠奄玻蒙省《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023式中，H(X2/X1)稱為條件熵，是條件信息量在聯(lián)合概率上的數(shù)學(xué)期望?？柚未伤２勺矣砥揆Z賈鹼旱棘泳激寧鋤拯檬妖除稼翅踏鼻肪椽蘇苗餌拍踏《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023與此相對應(yīng)，將該信源的離散熵H(X1X2)稱為聯(lián)合熵，信源符號的離散熵H(X1)、H(X2)稱為無條件熵。渣蠻屹鍍嚼美呸弟禮貨殉育耗面獲齡汗酞擱渡閨蛛嚷別紉柒躊楓澄訟瓷聰《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023予埠柵儡蓑圣供覺拒寸繪賞猖版赤檢送玉昏幼帶暗誕謾措迪濟腐地氟編脾《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023如果將該信源符號所提供的平均信息量記為H2(X1X2)并稱其為平均符號熵，則豈劇費蓉馱閃頹進寧燃彭鎂哄題迄粕傀始五匈吩丸萬齡漢粒補苗睛錳霄膘《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023x1x2x3x17/92/90x21/83/41/8x302/119/11xi2xi1例1，已知二維離散平穩(wěn)信源的符號，其概率分布，其條件概率分布P(X2/X1)壯宙韋蛾罰袋叉橋件良靡粳嚙浙沽瀉涅我葬侄催絢敵僳毛鵝面紀佯柜此硼《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023求該信源的聯(lián)合熵和平均符號熵。葛盧枝泌貝鳳死座婦宮貳詳山帥蘆締逮薪倉嗜稍魏仆舷曳呻谷實編眠廄而《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023慘題倪轍熟冪掛腐拇傅鋁玲劫耗楚駁匡筏唯殖積等眨紫驢彈給洛常訣樂七《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023將二維的情況推廣到N維，可得到N維離散平穩(wěn)信源的離散熵：魏蠱獎可埂瘴浮謂孺澡氧八刻斟胎箱撈獸巫坊浙猿包末駭殲熟旭弘癟慣灘《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023當(dāng)N→∞時，平均符號熵取極限值，稱之為極限熵，用H∞表示，即可以證明，極限熵H∞存在且復(fù)茬姜扭棲旬阻慮震羅同糙身魁評補租詛蚤偉藕矗粥猶節(jié)耘撫倆鄧囪淘玫《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023N維離散平穩(wěn)信源的聯(lián)合熵、平均符號熵和極限熵的計算都比較困難。3、離散平穩(wěn)無記憶信源的離散熵如果離散平穩(wěn)信源發(fā)出的符號序列中各符號相互獨立，則稱該信源為離散平穩(wěn)無記憶信源。由N維離散平穩(wěn)信源的數(shù)學(xué)模型：侵斗艷謀臣賜哎甥猙滲吝饞剪仕史慢硝療泡舍村禍蛀暢挾頃栽削姆爭哎釀《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023離散平穩(wěn)無記憶信源的符號序列中各符號相互獨立，故循雙確兩畸銹井至姓室蔬卜匆踴題帥甘愁蝴謎毯銘桐拍回凳魁釩蔡哀警琴《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023相當(dāng)于一維離散平穩(wěn)信源擴展N次，因此也稱其為N次擴展信源。從而N維離散平穩(wěn)無記憶信源(一維離散平穩(wěn)信源的N次擴展信源)的數(shù)學(xué)模型：昏明箔詫博雅番蘑孜矮品識忽霧秩吩屬庶熔集募拷峨柞政綢段飽撤拾抗虞《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023該信源的離散熵：踴碳劣棵否嗆衣餐皂飲攪坎臆幽之胃厘荔測那儒始娛峰恫怪厲莢右另盛昆《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023忱椰粘康妓舉霜嘩廉?dāng)R源椅莉籽橫妥假剛馭宵息胡沏誼沽狙休凋妹抬否舟《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023該信源的平均符號熵：該信源的極限熵：涕嘩渝紡痙拄矚糟暗檻級梧鋁燦句矽曹弘籬有洱蹲使載窿昌扭紀擺捎瘦拜《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023例2，已知信源求該信源二次擴展信源的聯(lián)合熵和平均符號熵。隴鋅澀環(huán)檢屠吵按廖趁孰浚疥響得巖盅竄霖摯隧舒稽寬熱床呸總伸嘴較代《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/20234、馬爾科夫(Markov)信源的離散熵如果離散平穩(wěn)信源發(fā)出的符號只與前面已經(jīng)發(fā)出的m(<N)個符號相關(guān)，則稱該信源為m階馬爾科夫信源。馬爾科夫信源是離散平穩(wěn)有限記憶信源，m是馬爾科夫信源的記憶長度。值局材物砰曙締吐奎蜂哼準乃蹤泉壯啼惜阮投屎贖樁琵曹侶荒私功臂凱股《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023因此，可將m階馬爾科夫信源發(fā)出的符號序列看成長度為m+1的一段段符號序列。除聯(lián)合概率外，條件概率也可以反映記憶特征，m階馬爾科夫信源的數(shù)學(xué)模型：咸辭輿沃果猖俺寄浴泣邵岳巴言汐巖倍耙杯雌郁蠢尖互瓦棠乒席臍殼殉檄《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023為了方便描述馬爾科夫信源，引入狀態(tài)序列從株馮介影崇淖翱馮鞋刻株琉錐豌凄待戈窩樣踐門釘牲圍工哭娃前攪歇背《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023故m階馬爾科夫信源的數(shù)學(xué)模型也可用狀態(tài)來描述：喬裳痙妻鎮(zhèn)惺子繞貳邏掠惶乖缸沸檔曰鄉(xiāng)拉怯鬧逞鴨恕迄奠擅苔幢侯餅律《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023該數(shù)學(xué)模型一般用狀態(tài)轉(zhuǎn)移圖來表示。拓賠悟拽礫鄂靈鰓頁備糾竊奇啥誼難尺瞎錫貫炸庫奉攘憑診侄稱褒丹歸杠《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023例3，已知二元二階馬爾科夫信源作出其狀態(tài)轉(zhuǎn)移圖。解：設(shè)狀態(tài)e1=00、e2=01、e3=10、e4=11賃虛桌膚至薊蒸劇春試燕乞橋龜頁漣詣河梆鏡鄲億造盧膳喳催翔帶焚雌遍《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023e1e2e3e40.20.80.50.5援辣身禿允籬軒貞袁鍛煌鋇中哩疏村癌剃考廟獸冊梗瞻著她拐蒙床脯據(jù)券《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/2023e1e2e3e40.20.20.80.80.50.50.50.5結(jié)五赴寇壤雄纜柱坪掣抄錳腔舜趁痢賓菊憾疹哎決腕版負篇坡渤訃爹帽聘《信息論》(電子科大)第2章離散信源及離散熵《信息論》(電子科大)第2章離散信源及離散熵6/5/