信息論公式總結(jié)

離散連婪自信息（單位：比特/奈特）/⑴=Togp。)聯(lián)合鼬息/(xy)=-logp(xy)期&fS息，(x|y)-logp(x\y)互熊（單位：比特/奈特）互信息心y)=Qg些Tog耍2_「力9P(x)9p(x)p(y)y給'提供的信息星,p(xy)/(x；y)=log———p(%)p(y)期互佰小@*)=如嘩停\八/。p(x|z)炳（單位：比特/信溥符號）（單位:比特/擴(kuò)展（N個）符號）（單位：比特/自由度）信息煩H(X)=_>(》)呻⑴術(shù)X)=一J8羽⑴l°9'⑴dX贏、臉潛ho(X)=-忠％(ogAr)p(x)dx=-lun^logAx)tco

h（X）=-翻￡心Wlogp.°i=一[p（x）logp（x）dxH（[幻）=一2「（％!）氏*90（劣）心]!二公心）*如心）-公心）*血心連綁邂幾通的離散化H（Y|X）=-2￡「（冷）卜”（?。﹛y-￡p（ylx），ogp（ylx）（本衡x[y=￡p（x）h（y|x）>Kx|y)=』②p(xy)Sgp(x|y)dxdy聯(lián)合煩H（xy）=-?9。州。9嘩（穢）xyh(XN)=-fp(x)logp(,x)dx冷=XN,,,Xw@6是沖的聯(lián)合概率空度分率H炳=翅撲5'）=俱撲（泌..&地：場/瞧MW）=麒叔酒=怒加㈤為.?&■位:比畝自畝度平均與信息離散連續(xù)集合肪件之間SV）=&P（yRNg努W度）x給Y提供的倍息星,與事件自信觸彌不同集合之間1（X；r）=?p（xy）e；y）疹5滯Y給X地哽S,與事件能息■序相同眼珈％（g）d*dy平均條件互信息10灑I（X；Y|Z）=￡￡￡p（xyz）|7（x；yB）］xy二

性/離散連婪等式關(guān)系自倍息.條件雕息、聯(lián)合自倍益之間踮系I(xy)=/(%)+/(}1x)=/(y)+/(x|y)互倍息.條件眄戛自倍息之問踮系/(x；y)=/(x)-/(x|y)平均互信息崩的關(guān)系I(X;Y)=H(X)?H(X]Y)=H(Y)?H(Y[X)K*Y)=H(X)+H(Y)-H(XY)班匕:/(x；y)=/(x)-/(x|y)I(x；y)=/(x)+/(y)-Z(xy)等式兩邊同時對LxSy畋)求和則為H平均條件互倍息和平均互信息的關(guān)系1(X;Y/Z)=kx；yz)?kx；z)I(X;ZjY)=I(X;YZ)?I(X;Y)1(X;YZ)=0MZ)+1(X;Y)1(X;YZ)=I(X；4Y)+KX;Z)E)汕嚶5%零PWP(x|z)p(x)=/(x；y|z)+/(xjz)等式兩邊對￡萬2)￡亦(乂邪)求和，得到

腐的瞄對稱性非員性H（p）=H（pi，P2—Ph）>0當(dāng)且陛某個pf時，取―期:L不具有^負(fù)性若整個積分區(qū)間概率苴度值大于1,則差煙值小于0相對度星不是絕對曜——對條件下部可育^^琢3.擴(kuò)展性4.(可加性)H偵［X卜,次^=H(Xi)+心|月)+…+//0".?*1)(.69^規(guī))可加性：h(XkX>..XQ=瞄)+入02附+??,+h(Xn\Xt5.（極值性炳散殿炳趣:有限離散隨機(jī)登星集合，當(dāng)集合事件等概率發(fā)生時,虐達(dá)到最大值（無限博兄卜］最足）6.碇性田可T件為「炳為07，上凸性）H（p）=H（pi，p2，???，Pn）；^Pl，P2，???，Pn）上的嚴(yán)格上凸函數(shù)。各美斌之間的不等關(guān)系:炳不增加曲:H（Y{X）wH（Y）證明：散度（單個事件移*瞄）凡是事件不成立而平均成立的櫥利用散度當(dāng)且MX,Y互相此時,取。”煙的加性:h(Y/X)<h(Y)??氏nVI?.號&T工&VIftJI資瑟碧.1泡f點(diǎn)1顆§1是條件健p(y\x)下的下凸釀極值性I(X;Y)<H(X),H(Y)與事件互信息性質(zhì)7Sy)<1(x)〃(y)；I(y；x)<Z(y)J(x)5.I(X;YZ)>I(X;Z)J(X;Y)含義:事件越多，埴共的互倍息M6.(平均互倍息的g規(guī))1偵飽...X節(jié)丫)=I(Xi；Y)+1(X2；丫|XD+???+/(XnW|XiX2..?Xgi)平均條件互佰患的性質(zhì)非奐性I(X;YJZ)>0證明：散度凡是事件不成立而平均成立的鞭野惆散度補(bǔ)^S：：凸函數(shù):多元函數(shù)，m，若對afo<a<1；z友任次里xvxt有flaxt+(1-aM2afg+(1-a)fg朔稱為上凸函數(shù),親且僅當(dāng)n=x：,或0=0必時取〃=、則為嚴(yán)格上凸函數(shù)趣:荀6是定義在區(qū)間上的實(shí)值嚴(yán)格上凸函數(shù),物任X!，…,%(x可以為T或多曜)勒玲F7,^2…知E=1，那么xk]NEU1入kf0k)(Jason不等或僅當(dāng)xi=xi=???=xq,或\k=l(Xkwq)目火=O(jH