基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析

唐計(jì)21151624于航基于信息論(TheoryOfInformation)的關(guān)于熱力學(xué)熵和信息熵的討論與淺析（高大上的題目基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析熵的概念是由德國(guó)物理學(xué)家克勞修斯于1865年所提出?；瘜W(xué)及熱力學(xué)中所指的熵，是一種測(cè)量在動(dòng)力學(xué)方面不能做功的能量總數(shù)。熵亦被用于計(jì)算一個(gè)系統(tǒng)中的失序現(xiàn)象。熵是一個(gè)描述系統(tǒng)狀態(tài)的函數(shù)，但是經(jīng)常用熵的參考值和變化量進(jìn)行分析比較。熱力學(xué)熵Entropy利用積分求熵值基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析熱力學(xué)熵的宏觀形式：它的定義是，用來(lái)描述能量做功的能力，熵越大能量做功的能力就越弱。由于我們只定義了熵的變化量，因此對(duì)一個(gè)系統(tǒng)的單一狀態(tài)來(lái)說(shuō)，宏觀的熵沒(méi)有絕對(duì)值。我們實(shí)際應(yīng)用的是以“標(biāo)準(zhǔn)狀態(tài)”為基準(zhǔn)的相對(duì)值（標(biāo)準(zhǔn)摩爾熵）。

熵的微觀形式，著名的玻爾茲曼原理：S=klnΩ，其中的是玻爾茲曼常數(shù)，量綱為J/K，由于后面對(duì)數(shù)項(xiàng)不具量綱，所以玻爾茲曼熵的量綱也是J/K，這是證明它和宏觀形式等價(jià)的前提。這也形成了熵最廣為人知的理解：熵是系統(tǒng)混亂度（無(wú)序程度）的量度。————參考文獻(xiàn)：知乎熵的兩種形式基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析那信息熵是啥玩意

？

基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析簡(jiǎn)單介紹ABriefIntroduction克勞德·香農(nóng)ClaudeShannon克勞德·香農(nóng)在1948年的這一篇論文中，提出了“信息熵”的概念，并且以后信息論也被作為一門(mén)單獨(dú)的學(xué)科。著名文獻(xiàn)（1948）：《AMathematicalTheory ofCommunication》基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析信息熵的來(lái)歷和熱力學(xué)熵完全不同。把它也叫做“熵”完全是因?yàn)橄戕r(nóng)老爺子當(dāng)年提出這個(gè)概念時(shí)參考了熱力學(xué)熵，并且它的表達(dá)式和熱力學(xué)熵的微觀形式非常相似（但和宏觀描述看不出任何相似性）的緣故。后來(lái)也有人提出了信息熵的其他表述形式，為了方便，下文以最早也最重要的香農(nóng)熵為準(zhǔn)。

------參考文獻(xiàn)：知乎

信息熵InformationEntropy基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析他先后闡述了：有無(wú)噪音的離散系統(tǒng)下（DISCRETENOISELESSSYSTEMS&THEDISCRETECHANNELWITHNOISE）“信息的傳輸”“信息熵的計(jì)算”“相關(guān)的討論”解釋了：信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號(hào)檢測(cè)和估計(jì)等概念。（比較專(zhuān)業(yè)）

奠定了信息論的基礎(chǔ)。在這篇文獻(xiàn)中：基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析這篇文獻(xiàn)所推導(dǎo)的一個(gè)公式K就是一個(gè)系數(shù)，log以2為底隨機(jī)變量S的取值(s1,s2...sn)，發(fā)生的概率是(p1,p2...pn)，和玻爾茲曼熵表達(dá)式形式基本一樣，只有常數(shù)上的差別。結(jié)果的量綱為比特（bit）。意義？指觀察者對(duì)某一事件（結(jié)果）的未知程度?；谛畔⒄摰年P(guān)于熱力學(xué)熵和信息熵的討論與淺析吳軍《漢語(yǔ)信息熵和語(yǔ)言模型的復(fù)雜度》里說(shuō)，只考慮字頻的話英文是4.46比特/字符的信息熵，漢字是9.6比特/字符，直觀上很容易理解，英文字母只有26個(gè)，所以描述一個(gè)字母所需要的信息表示不多，而中文字卻很多，就需要更多的信息量才能表示。————引用文獻(xiàn)：CSDN

blog漢語(yǔ)信息熵和英語(yǔ)有區(qū)別？基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析這書(shū)寫(xiě)的很好，吳軍博士當(dāng)年寫(xiě)谷歌板報(bào)的功底可見(jiàn)一斑?；谛畔⒄摰年P(guān)于熱力學(xué)熵和信息熵的討論與淺析吳軍博士李開(kāi)復(fù)：精通技術(shù)，并能夠用清晰的語(yǔ)言公之于眾兩個(gè)19世紀(jì)曾經(jīng)叱咤風(fēng)云的巨頭，一個(gè)虎落平陽(yáng)，一個(gè)老驥伏櫪關(guān)鍵時(shí)刻的抉擇：當(dāng)互聯(lián)網(wǎng)來(lái)臨基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析甲乙丙三個(gè)實(shí)力相當(dāng)?shù)倪\(yùn)動(dòng)員要進(jìn)行一次比賽，老王是比賽的裁判和記分員，他必須觀察并如實(shí)記錄三位選手的名次。所以對(duì)于他來(lái)說(shuō)，比賽結(jié)果有A33=6種，由于運(yùn)動(dòng)員實(shí)力相當(dāng)，每種結(jié)果出現(xiàn)的可能性一樣，所以結(jié)果的熵是log26。老李是比賽場(chǎng)地的管理員，他完全不關(guān)心誰(shuí)勝誰(shuí)負(fù)，而只想等到比賽結(jié)束下班回家，那么比賽對(duì)他的熵是多少呢？答案是零，因?yàn)樗魂P(guān)心比賽有沒(méi)有結(jié)束，而比賽只要一開(kāi)始就注定會(huì)結(jié)束，這個(gè)結(jié)果是唯一確定的。所以老李根本不用觀察比賽，只要坐著等就可以了。不同的觀察者，由于目的和觀測(cè)能力的差異，同一個(gè)事件的熵也可能是不同的?！獏⒖嘉墨I(xiàn)：知乎舉個(gè)栗子Example基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析我們?cè)倩仡^看老王的記分板，他用三組二進(jìn)制數(shù)記錄比賽結(jié)果。老王的兒子小王（程序員）認(rèn)為：由于比賽只有三位選手，只要其中兩位選手的名次確定第三位選手的名次也就確定了。因此第三組二進(jìn)制數(shù)完全是沒(méi)有必要的（我們也稱(chēng)它為冗余），如001表示甲乙丙的結(jié)果，010表示甲丙乙的結(jié)果……這樣老王每次就只需要三位二進(jìn)制數(shù)（3比特）就可以記錄原本要6比特才能表示的信息了。無(wú)損壓縮是可能的。這也是清晰度差不多的視頻文件有的格式卡成狗有的格式卻十分流暢的原因?！獏⒖嘉墨I(xiàn)：知乎

More更多基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析總之，熵就是系統(tǒng)內(nèi)無(wú)序程度，熱力學(xué)熵就是熱力學(xué)系統(tǒng)分子的無(wú)序程度，信息熵就是在信息傳輸系統(tǒng)內(nèi)不同信息（相對(duì)于有效信息）的無(wú)序程度。信息論也是由此概念而進(jìn)一步