生活中的信息論

1、Wuhan University 1 生活中的信息論生活中的信息論 武漢大學(xué) 電子信息學(xué)院 吳靜 Wuhan University 2 熵和漢語(yǔ)字典熵和漢語(yǔ)字典 每個(gè)漢字的信息熵每個(gè)漢字的信息熵 l漢語(yǔ)常用字漢語(yǔ)常用字7000 7000 （1313比特比特） l考慮前考慮前 10% 10% 的漢字占文的漢字占文 本的本的95% 95% 以上以上 （8989比特比特） l考慮上下文相關(guān)性考慮上下文相關(guān)性 （5 5比特比特） 獨(dú)立等概 時(shí)最大 Wuhan University 3 熵的冗余度和熵的冗余度和笑傲江湖笑傲江湖 l117.2117.2萬字萬字( (586586萬比特萬比特) ) l兩字節(jié)

2、的國(guó)標(biāo)編碼存儲(chǔ)兩字節(jié)的國(guó)標(biāo)編碼存儲(chǔ) 2.34MB2.34MB l壓縮編碼壓縮編碼 chm 1.05MBchm 1.05MB txt 1.88MB txt 1.88MB umd 1.21MB umd 1.21MB jar 0.332MB jar 0.332MB 冗余度 Wuhan University 4 漢語(yǔ)是最簡(jiǎn)潔的語(yǔ)言漢語(yǔ)是最簡(jiǎn)潔的語(yǔ)言 不同語(yǔ)言的冗余度差別很大，而漢語(yǔ)不同語(yǔ)言的冗余度差別很大，而漢語(yǔ) 在所有語(yǔ)言中冗余度是相對(duì)小的。在所有語(yǔ)言中冗余度是相對(duì)小的。 Wuhan University 5 Google Google 的中英文自動(dòng)翻譯的中英文自動(dòng)翻譯 l統(tǒng)計(jì)語(yǔ)言模型統(tǒng)計(jì)語(yǔ)言模型

3、P(S) = P(w1)P(w2|w1)P(w3| w1 w2)P(S) = P(w1)P(w2|w1)P(w3| w1 w2)P(wn|w1 w2P(wn|w1 w2wn-1)wn-1) P(S) = P(w1)P(w2|w1)P(w3|w2)P(S) = P(w1)P(w2|w1)P(w3|w2)P(wi|wi-1)P(wi|wi-1) P(wi|wi-1) = P(wi-1,wi)/ P (wi-1)P(wi|wi-1) = P(wi-1,wi)/ P (wi-1) Wuhan University 6 Google Google 的中英文自動(dòng)翻譯的中英文自動(dòng)翻譯 語(yǔ)言模型是為了用上下文

4、預(yù)測(cè)當(dāng)前的文字，模語(yǔ)言模型是為了用上下文預(yù)測(cè)當(dāng)前的文字，模 型越好，預(yù)測(cè)得越準(zhǔn)，那么當(dāng)前文字的不確型越好，預(yù)測(cè)得越準(zhǔn)，那么當(dāng)前文字的不確 定性就越小。定性就越小。 l信息熵可以直接用于衡量統(tǒng)計(jì)語(yǔ)言信息熵可以直接用于衡量統(tǒng)計(jì)語(yǔ)言 模型的好壞。模型的好壞。 l賈里尼克賈里尼克 語(yǔ)言模型復(fù)雜度語(yǔ)言模型復(fù)雜度(Perplexity) (Perplexity) Wuhan University 7 李開復(fù)的李開復(fù)的 Sphinx Sphinx 語(yǔ)音識(shí)別系統(tǒng)語(yǔ)音識(shí)別系統(tǒng) l不用任何語(yǔ)言模型不用任何語(yǔ)言模型 復(fù)雜度為復(fù)雜度為997997 （句子中每個(gè)位置有（句子中每個(gè)位置有 997 997 個(gè)可能的單詞可以

5、填入個(gè)可能的單詞可以填入 ） l只考慮前后詞的搭配不考慮搭配的概率只考慮前后詞的搭配不考慮搭配的概率 復(fù)雜度為復(fù)雜度為 60 60 l考慮了搭配概率的二元語(yǔ)言模型考慮了搭配概率的二元語(yǔ)言模型 復(fù)雜度為復(fù)雜度為 20 20 Wuhan University 8 總統(tǒng)總統(tǒng)oror灌木叢灌木叢 BushBush詞的二義性詞的二義性 Wuhan University 9 互信息和詞的二義性互信息和詞的二義性 l從大量文本中找出和總統(tǒng)布什一起出從大量文本中找出和總統(tǒng)布什一起出 現(xiàn)的互信息最大的一些詞現(xiàn)的互信息最大的一些詞 總統(tǒng)、美國(guó)、國(guó)會(huì)、華盛頓總統(tǒng)、美國(guó)、國(guó)會(huì)、華盛頓 l找出和灌木叢一起出現(xiàn)的互信息最

6、大找出和灌木叢一起出現(xiàn)的互信息最大 的詞的詞 土壤、植物、野生土壤、植物、野生 l看看上下文中哪類相關(guān)的詞多看看上下文中哪類相關(guān)的詞多 l不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也 有關(guān)系，例如克林頓究竟指夫妻中的有關(guān)系，例如克林頓究竟指夫妻中的 哪一位哪一位 Wuhan University 10 衡量新聞價(jià)值衡量新聞價(jià)值 為什么人咬狗是新聞為什么人咬狗是新聞, , 而狗咬人不而狗咬人不 是新聞？是新聞？ 傳播學(xué)和新聞學(xué)上一個(gè)古老的命題 l前者的信息熵大前者的信息熵大 l轉(zhuǎn)向效用信息研究轉(zhuǎn)向效用信息研究 Wuhan University 11 韋小寶的色子韋小寶的色子

7、l灌了鉛的色子，六點(diǎn)朝灌了鉛的色子，六點(diǎn)朝 上的概率是三分之一上的概率是三分之一 每個(gè)面朝上的概率是多少？每個(gè)面朝上的概率是多少？ Wuhan University 12 最大熵原理和投資最大熵原理和投資 l不要把所有的雞蛋放在一個(gè)不要把所有的雞蛋放在一個(gè) 籃子里籃子里 減小投資風(fēng)險(xiǎn)減小投資風(fēng)險(xiǎn) Wuhan University 13 最大熵原理和投資最大熵原理和投資 l達(dá)拉皮垂兄弟達(dá)拉皮垂兄弟改進(jìn)最大熵模改進(jìn)最大熵模 型算法型算法 文藝復(fù)興技術(shù)公司文藝復(fù)興技術(shù)公司 ， 從該基金從該基金 1988 1988 年創(chuàng)立年創(chuàng)立 至今，它的凈回報(bào)率高至今，它的凈回報(bào)率高 達(dá)平均每年達(dá)平均每年 34%34%，遠(yuǎn)，遠(yuǎn) 遠(yuǎn)超過股神巴菲特的旗遠(yuǎn)超過股神巴菲特的旗 艦公司伯克夏哈撒韋艦公司伯克夏哈撒韋 。 Wuhan University 14 熱力學(xué)的熵和信息熵?zé)崃W(xué)的熵和信息熵 熱力學(xué)中系統(tǒng)狀態(tài)總熱力學(xué)中系統(tǒng)狀態(tài)總 是趨向于等概，熱熵是趨向于等概，熱熵 總是趨向于增大?？偸勤呄蛴谠龃蟆?Wuhan U