信息論基礎(chǔ)復(fù)習(xí)題目課件

例2-1:有2個(gè)球,只有一個(gè)是非標(biāo)重球,問是否存在用天平稱次必然找到該球的方法?(從信息的角度解決)解:天平的狀態(tài)有三種平衡、左輕、左重每稱一次消除一種狀態(tài),則帶來的信息量為og3則稱3次后,帶來的信息量為3og3=lg7而一個(gè)非標(biāo)球的攜帶的信息量為kog(·)=kg24結(jié)論:g24<lg27存在稱三次的方法必然找到該球可見:當(dāng)惠度量是為了找到解峽向題的方法,不是純料度量信息的大小例2-1:有2個(gè)球,只有一個(gè)是非標(biāo)重球,問是否存在用天平稱次1例2設(shè)離散無記憶信派2a=3其發(fā)生的消息為:(2021201902130012032101103210100210320192210求(1)此消息的自信息量。(2)在此消息中平均每個(gè)符號(hào)攜帶的信息量。例22解:(1)消息的自信息量就是等于消息中各個(gè)符號(hào)的自信息量之和。根據(jù)題意可得I(a2=0)=-lgp(a)=-bg≈145比特(a2=1)=-bgp(a2)=-kg≈2特(a1=2)=-gp(a2)=-bg2比特(a1=3)=-gpa1)=-bg3特此消息中共有14個(gè)“0”符號(hào),13個(gè)“1”符號(hào),12個(gè)“2”符號(hào),6個(gè)“3”符號(hào),則得到的自信息量是=14(a)+13/(a2)+12/(a3)+61(a1≈14×1.15+13×2+12×2+6×3≈8781bi解:(1)消息的自信息量就是等于消息中各個(gè)符號(hào)的自信息量之和3(2)此消息中平均每個(gè)符號(hào)攜帶的信息量為12=87.81/451.95bit/symbol信源的信息熵H(X)=-∑pla)ogp(a)≈1.91bit/symbol結(jié)論:(2)間的值與信源的信息熵不完全相等原因:(2)間的值是該特定消息中平均每個(gè)符號(hào)攜帶的信息量,而信息熵是離散無記憶信源平均每個(gè)符號(hào)攜帶的信息量,是統(tǒng)計(jì)平均值(2)此消息中平均每個(gè)符號(hào)攜帶的信息量為4例23:設(shè)在一正方形棋盤上共有64個(gè)方格,如果甲將一粒棋子隨意放在棋盤中的某方格且讓乙猜測(cè)棋子所在的位置所攜帶的信息量:(1)將方格按順序編號(hào),令乙猜測(cè)棋子所在方格的順序號(hào);(2)將方格分別按行和列編號(hào),甲將棋子所在方格的行或列編號(hào)告訴乙之后,再令乙猜測(cè)棋子所在列或行的位置。例23:5解:(1)令把棋子任意放在棋盤的某一格為事件x,則該事件發(fā)生的概率為:p(x)=164則該事件攜帶的信息量為(x)=-logp(x)=-log(1/64)=6b(2)設(shè)行為隨機(jī)變量x,列為隨機(jī)變量Y,則在事件y發(fā)生后事件x發(fā)生的概率為:p(xy)=18則該事件攜帶的信息量為(x1y)=-1gyxy)=-0918=3i由結(jié)果可知事件y的出現(xiàn)降低了事件x發(fā)生所攜帶的信息量原因事件y的出現(xiàn)帶來了事件x的部分的信息,導(dǎo)致對(duì)事件x的不確定性減小解:(1)令把棋子任意放在棋盤的某一格為事件x,則該事件6例2-4設(shè)一系統(tǒng)的輸入符號(hào)集xx2x2xx,輸出符號(hào)集yb,y2y輸入符號(hào)與輸出符號(hào)間的聯(lián)合分布為y3x1(0-25000x101003000100050.100000.050.10x3(000050試求:88、和時(shí)例2-47解由全概率公式可知:p(x)=025,p(x2)=0.40,p(x)=0.15,p(x)=015,(x)=2019p(y1)=035,(y2)=035,p(y3)=02,p(y4)=0.0則從已知可求:H(XY)=∑∑xwy)gmx)=-0.25l0g0.25-0.10log010-0.30090.30-0050g0.050.10log0.10-0.05090.05-0.100g0.10-0.051090052.665bit/symbolH(X)=∑mx)gpx)=-0.25l09025-0409040-0.150905-05090.15-0.05l090052.066bit/symbol解8H(Y)=-p(y)logp(y03093513590301020191901.856bit/symbolH(X/Y)=H(XY-H(Y)=2.665-1,856H(Y/X)=H(XYJ-H(X=26652.066=0.599ymboH(Y)=-p(y)logp(y9222條件互信息定義:聯(lián)合集xyz中,在給定4的條件下,x與之間的互信息量定義為條件互信息量,即p(ly,Zk)l(x;3;1z)=logP(,Iz)由公式可知(x;y}1)=1(x13)-(x1yx)表明:在隨機(jī)變量出現(xiàn)符號(hào)z的前提條件下,隨機(jī)變量Y出現(xiàn)符號(hào)y前、后,對(duì)信源發(fā)送符號(hào)x的條件不確定性的減少222條件互信息10信息論基礎(chǔ)復(fù)習(xí)題目課件11信息論基礎(chǔ)復(fù)習(xí)題目課件12信息論基礎(chǔ)復(fù)習(xí)題目課件13信息論基礎(chǔ)復(fù)習(xí)題目課件14信息論基礎(chǔ)復(fù)習(xí)題目課件15信息論基礎(chǔ)復(fù)習(xí)題目課件16信息論基礎(chǔ)復(fù)習(xí)題目課件17信息論基礎(chǔ)復(fù)習(xí)題目課件18信息論基礎(chǔ)復(fù)習(xí)題目課件19信息論基礎(chǔ)復(fù)習(xí)題目課件20信息論基礎(chǔ)復(fù)習(xí)題目課件21信息論基礎(chǔ)復(fù)習(xí)題目課件22信息論基礎(chǔ)復(fù)習(xí)題目課件23信息論基礎(chǔ)復(fù)習(xí)題目課件24信息論基礎(chǔ)復(fù)習(xí)題目課件25信息論基礎(chǔ)復(fù)習(xí)題目課件26信息論基礎(chǔ)復(fù)習(xí)題目課件27信息論基礎(chǔ)復(fù)習(xí)題目課件28信息論基礎(chǔ)復(fù)習(xí)題目課件29信息論基礎(chǔ)復(fù)習(xí)題目課件30信息論基礎(chǔ)復(fù)習(xí)題目課件31信息論基礎(chǔ)復(fù)習(xí)題目課件32信息論基礎(chǔ)復(fù)習(xí)題目課件33信息論基礎(chǔ)復(fù)習(xí)題目課件34信息論基礎(chǔ)復(fù)習(xí)題目課件35信息論基礎(chǔ)復(fù)習(xí)題目課件36信息論基礎(chǔ)復(fù)習(xí)題目課件37信息論基礎(chǔ)復(fù)習(xí)題目課件38信息論基礎(chǔ)復(fù)習(xí)題目課件39信息論基礎(chǔ)復(fù)習(xí)題目課件40信息論基礎(chǔ)復(fù)習(xí)題目課件41信息論基礎(chǔ)復(fù)習(xí)題目課件42信息論基礎(chǔ)復(fù)習(xí)題目課件43信息論基礎(chǔ)復(fù)習(xí)題目課件44信息論基礎(chǔ)復(fù)習(xí)題目課件45信息論基礎(chǔ)復(fù)習(xí)題目課件46信息論基礎(chǔ)復(fù)習(xí)題目課件47信息論基礎(chǔ)復(fù)習(xí)題目課件48信息論基礎(chǔ)復(fù)習(xí)題目課件49信息論基礎(chǔ)復(fù)習(xí)題目課件50信息論基礎(chǔ)復(fù)習(xí)題目課件51信息論基礎(chǔ)復(fù)習(xí)題目課件52信息論基礎(chǔ)復(fù)習(xí)題目課件53信息論基礎(chǔ)復(fù)習(xí)題目課件54信息論基礎(chǔ)復(fù)習(xí)題目課件55信息論基礎(chǔ)復(fù)習(xí)題目課件56信息論基礎(chǔ)復(fù)習(xí)題目課件57信息論基礎(chǔ)復(fù)習(xí)題目課件58信息論基礎(chǔ)復(fù)習(xí)題目課件59信息論基礎(chǔ)復(fù)習(xí)題目課件60信息論基礎(chǔ)復(fù)習(xí)題目課件61信息論基礎(chǔ)復(fù)習(xí)題目課件62信息論基礎(chǔ)復(fù)習(xí)題目課件63信息論基礎(chǔ)復(fù)習(xí)題目課件64信息論基礎(chǔ)復(fù)習(xí)題目課件65信息論基礎(chǔ)復(fù)習(xí)題目課件66信息論基礎(chǔ)復(fù)習(xí)題目課件67信息論基礎(chǔ)復(fù)習(xí)題目課件68信息論基礎(chǔ)復(fù)習(xí)題目課件69信息論基礎(chǔ)復(fù)習(xí)題目課件70信息論基礎(chǔ)復(fù)習(xí)題目課件71信息論基礎(chǔ)復(fù)習(xí)題目課件72信息論基礎(chǔ)復(fù)習(xí)題目課件73信息論基礎(chǔ)復(fù)習(xí)題目課件74信息論基礎(chǔ)復(fù)習(xí)題目課件75信息論基礎(chǔ)復(fù)習(xí)題目課件76信息論基礎(chǔ)復(fù)習(xí)題目課件77信息論基礎(chǔ)復(fù)習(xí)題目課件78信息論基礎(chǔ)復(fù)習(xí)題目課件79信息論基礎(chǔ)復(fù)習(xí)題目課件80信息論基礎(chǔ)復(fù)習(xí)題目課件81信息論基礎(chǔ)復(fù)習(xí)題目課件82信息論基礎(chǔ)復(fù)習(xí)題目課件83信息論基礎(chǔ)復(fù)習(xí)題目課件84信息論基礎(chǔ)復(fù)習(xí)題目課件85信息論基礎(chǔ)復(fù)習(xí)題目課件86信息論基礎(chǔ)復(fù)習(xí)題目課件87信息論基礎(chǔ)復(fù)習(xí)題目課件88信息論基礎(chǔ)復(fù)習(xí)題目課件89信息論基礎(chǔ)復(fù)習(xí)題目課件90信息論基礎(chǔ)復(fù)習(xí)題目課件91信息論基礎(chǔ)復(fù)習(xí)題目課件92信息論基礎(chǔ)復(fù)習(xí)題目課件93信息論基礎(chǔ)復(fù)習(xí)題目課件94信息論基礎(chǔ)復(fù)習(xí)題目課件95信息論基礎(chǔ)復(fù)習(xí)題目課件96信息論基礎(chǔ)復(fù)習(xí)題目課件97信息論基礎(chǔ)復(fù)習(xí)題目課件98信息論基礎(chǔ)復(fù)習(xí)題目課件99信息論基礎(chǔ)復(fù)習(xí)題目課件100信息論基礎(chǔ)復(fù)習(xí)題目課件101信息論基礎(chǔ)復(fù)習(xí)題目課件102信息論基礎(chǔ)復(fù)習(xí)題目課件103信息論基礎(chǔ)復(fù)習(xí)題目課件104信息論基礎(chǔ)復(fù)習(xí)題目課件105信息論基礎(chǔ)復(fù)習(xí)題目課件106信息論基礎(chǔ)復(fù)習(xí)題目課件107信息論基礎(chǔ)復(fù)習(xí)題目課件108信息論基礎(chǔ)復(fù)習(xí)題目課件109信息論基礎(chǔ)復(fù)習(xí)題目課件110信息論基礎(chǔ)復(fù)習(xí)題目課件111信息論基礎(chǔ)復(fù)習(xí)題目課件112信息論基礎(chǔ)復(fù)習(xí)題目課件113信息論基礎(chǔ)復(fù)習(xí)題目課件114信息論基礎(chǔ)復(fù)習(xí)題目課件115信息論基礎(chǔ)復(fù)習(xí)題目課件116信息論基礎(chǔ)復(fù)習(xí)題目課件117信息論基礎(chǔ)復(fù)習(xí)題目課件118信息論基礎(chǔ)復(fù)習(xí)題目課件119信息論基礎(chǔ)復(fù)習(xí)題目課件120信息論基礎(chǔ)復(fù)習(xí)題目課件121信息論基礎(chǔ)復(fù)習(xí)題目課件122信息論基礎(chǔ)復(fù)習(xí)題目課件123信息論基礎(chǔ)復(fù)習(xí)題目課件124信息論基礎(chǔ)復(fù)習(xí)題目課件125例2-1:有2個(gè)球,只有一個(gè)是非標(biāo)重球,問是否存在用天平稱次必然找到該球的方法?(從信息的角度解決)解:天平的狀態(tài)有三種平衡、左輕、左重每稱一次消除一種狀態(tài),則帶來的信息量為og3則稱3次后,帶來的信息量為3og3=lg7而一個(gè)非標(biāo)球的攜帶的信息量為kog(·)=kg24結(jié)論:g24<lg27存在稱三次的方法必然找到該球可見:當(dāng)惠度量是為了找到解峽向題的方法,不是純料度量信息的大小例2-1:有2個(gè)球,只有一個(gè)是非標(biāo)重球,問是否存在用天平稱次126例2設(shè)離散無記憶信派2a=3其發(fā)生的消息為:(2021201902130012032101103210100210320192210求(1)此消息的自信息量。(2)在此消息中平均每個(gè)符號(hào)攜帶的信息量。例2127解:(1)消息的自信息量就是等于消息中各個(gè)符號(hào)的自信息量之和。根據(jù)題意可得I(a2=0)=-lgp(a)=-bg≈145比特(a2=1)=-bgp(a2)=-kg≈2特(a1=2)=-gp(a2)=-bg2比特(a1=3)=-gpa1)=-bg3特此消息中共有14個(gè)“0”符號(hào),13個(gè)“1”符號(hào),12個(gè)“2”符號(hào),6個(gè)“3”符號(hào),則得到的自信息量是=14(a)+13/(a2)+12/(a3)+61(a1≈14×1.15+13×2+12×2+6×3≈8781bi解:(1)消息的自信息量就是等于消息中各個(gè)符號(hào)的自信息量之和128(2)此消息中平均每個(gè)符號(hào)攜帶的信息量為12=87.81/451.95bit/symbol信源的信息熵H(X)=-∑pla)ogp(a)≈1.91bit/symbol結(jié)論:(2)間的值與信源的信息熵不完全相等原因:(2)間的值是該特定消息中平均每個(gè)符號(hào)攜帶的信息量,而信息熵是離散無記憶信源平均每個(gè)符號(hào)攜帶的信息量,是統(tǒng)計(jì)平均值(2)此消息中平均每個(gè)符號(hào)攜帶的信息量為129例23:設(shè)在一正方形棋盤上共有64個(gè)方格,如果甲將一粒棋子隨意放在棋盤中的某方格且讓乙猜測(cè)棋子所在的位置所攜帶的信息量:(1)將方格按順序編號(hào),令乙猜測(cè)棋子所在方格的順序號(hào);(2)將方格分別按行和列編號(hào),甲將棋子所在方格的行或列編號(hào)告訴乙之后,再令乙猜測(cè)棋子所在列或行的位置。例23:130解:(1)令把棋子任意放在棋盤的某一格為事件x,則該事件發(fā)生的概率為:p(x)=164則該事件攜帶的信息量為(x)=-logp(x)=-log(1/64)=6b(2)設(shè)行為隨機(jī)變量x,列為隨機(jī)變量Y,則在事件y發(fā)生后事件x發(fā)生的概率為:p(xy)=18則該事件攜帶的信息量為(x1y)=-1gyxy)=-0918=3i由結(jié)果可知事件y的出現(xiàn)降低了事件x發(fā)生所攜帶的信息量原因事件y的出現(xiàn)帶來了事件x的部分的信息,導(dǎo)致對(duì)事件x的不確定性減小解:(1)令把棋子任意放在棋盤的某一格為事件x,則該事件131例2-4設(shè)一系統(tǒng)的輸入符號(hào)集xx2x2xx,輸出符號(hào)集yb,y2y輸入符號(hào)與輸出符號(hào)間的聯(lián)合分布為y3x1(0-25000x101003000100050.100000.050.10x3(000050試求:88、和時(shí)例2-4132解由全概率公式可知:p(x)=025,p(x2)=0.40,p(x)=0.15,p(x)=015,(x)=2019p(y1)=035,(y2)=035,p(y3)=02,p(y4)=0.0則從已知可求:H(XY)=∑∑xwy)gmx)=-0.25l0g0.25-0.10log010-0.30090.30-0050g0.050.10log0.10-0.05090.05-0.100g0.10-0.051090052.665bit/symbolH(X)=∑mx)gpx)=-0.25l09025-0409040-0.150905-05090.15-0.05l090052.066bit/symbol解133H(Y)=-p(y)logp(y03093513590301020191901.856bit/symbolH(X/Y)=H(XY-H(Y)=2.665-1,856H(Y/X)=H(XYJ-H(X=26652.066=0.599ymboH(Y)=-p(y)logp(y134222條件互信息定義:聯(lián)合集xyz中,在給定4的條件下,x與之間的互信息量定義為條件互信息量,即p(ly,Zk)l(x;3;1z)=logP(,Iz)由公式可知(x;y}1)=1(x13)-(x1yx)表明:在隨機(jī)變量出現(xiàn)符號(hào)z的前提條件下,隨機(jī)變量Y出現(xiàn)符號(hào)y前、后,對(duì)信源發(fā)送符號(hào)x的條件不確定性的減少222條件互信息135信息論基礎(chǔ)復(fù)習(xí)題目課件136信息論基礎(chǔ)復(fù)習(xí)題目課件137信息論基礎(chǔ)復(fù)習(xí)題目課件138信息論基礎(chǔ)復(fù)習(xí)題目課件139信息論基礎(chǔ)復(fù)習(xí)題目課件140信息論基礎(chǔ)復(fù)習(xí)題目課件141信息論基礎(chǔ)復(fù)習(xí)題目課件142信息論基礎(chǔ)復(fù)習(xí)題目課件143信息論基礎(chǔ)復(fù)習(xí)題目課件144信息論基礎(chǔ)復(fù)習(xí)題目課件145信息論基礎(chǔ)復(fù)習(xí)題目課件146信息論基礎(chǔ)復(fù)習(xí)題目課件147信息論基礎(chǔ)復(fù)習(xí)題目課件148信息論基礎(chǔ)復(fù)習(xí)題目課件149信息論基礎(chǔ)復(fù)習(xí)題目課件150信息論基礎(chǔ)復(fù)習(xí)題目課件151信息論基礎(chǔ)復(fù)習(xí)題目課件152信息論基礎(chǔ)復(fù)習(xí)題目課件153信息論基礎(chǔ)復(fù)習(xí)題目課件154信息論基礎(chǔ)復(fù)習(xí)題目課件155信息論基礎(chǔ)復(fù)習(xí)題目課件156信息論基礎(chǔ)復(fù)習(xí)題目課件157信息論基礎(chǔ)復(fù)習(xí)題目課件158信息論基礎(chǔ)復(fù)習(xí)題目課件159信息論基礎(chǔ)復(fù)習(xí)題目課件160信息論基礎(chǔ)復(fù)習(xí)題目課件161信息論基礎(chǔ)復(fù)習(xí)題目課件162信息論基礎(chǔ)復(fù)習(xí)題目課件163信息論基礎(chǔ)復(fù)習(xí)題目課件164信息論基礎(chǔ)復(fù)習(xí)題目課件165信息論基礎(chǔ)復(fù)習(xí)題目課件166信息論基礎(chǔ)復(fù)習(xí)題目課件167信息論基礎(chǔ)復(fù)習(xí)題目課件168信息論基礎(chǔ)復(fù)習(xí)題目課件169信息論基礎(chǔ)復(fù)習(xí)題目課件170信息論基礎(chǔ)復(fù)習(xí)題目課件171信息論基礎(chǔ)復(fù)習(xí)題目課件172信息論基礎(chǔ)復(fù)習(xí)題目課件173信息論基礎(chǔ)復(fù)習(xí)題目課件174信息論基礎(chǔ)復(fù)習(xí)題目課件175信息論基礎(chǔ)復(fù)習(xí)題目課件176信息論基礎(chǔ)復(fù)習(xí)題目課件177信息論基礎(chǔ)復(fù)習(xí)題目課件178信息論基礎(chǔ)復(fù)習(xí)題目課件179信息論基礎(chǔ)復(fù)習(xí)題目課件180信息論基礎(chǔ)復(fù)習(xí)題目課件181信息論基礎(chǔ)復(fù)習(xí)題目課件182信息論基礎(chǔ)復(fù)習(xí)題目課件183信息論基礎(chǔ)復(fù)習(xí)題目課件184信息論基礎(chǔ)復(fù)習(xí)題目課件185信息論基礎(chǔ)復(fù)習(xí)題目課件186信息論基礎(chǔ)復(fù)習(xí)題目課件187信息論基礎(chǔ)復(fù)習(xí)題目課件188信息論基礎(chǔ)復(fù)習(xí)題目課件189信息論基礎(chǔ)復(fù)習(xí)題目課件190信息論基礎(chǔ)復(fù)習(xí)題目課件191信息論基礎(chǔ)復(fù)習(xí)題目課件192信息論基礎(chǔ)復(fù)習(xí)題目課件193信息論基礎(chǔ)復(fù)習(xí)題目課件194信息論基礎(chǔ)復(fù)習(xí)題目課件195信息論基礎(chǔ)復(fù)習(xí)題目課件196信息論基礎(chǔ)復(fù)習(xí)題目課件197信息論基礎(chǔ)復(fù)習(xí)題目課件198信息論基礎(chǔ)復(fù)習(xí)題目課件199信息論基礎(chǔ)復(fù)習(xí)題目課件200信息論基礎(chǔ)復(fù)習(xí)題目課件201信息論基礎(chǔ)復(fù)習(xí)題目課件202信息論基礎(chǔ)