信息熵與二進(jìn)制--信息論系列x

1、本文格式為word版，下載可任意編輯信息熵與二進(jìn)制-信息論系列x 信息熵與二進(jìn)制- 信息論系列 為什么信息技術(shù)中要用二進(jìn)制處理數(shù)據(jù)，莫非僅僅是由于晶體管易于實(shí)現(xiàn)二進(jìn)制嗎？其實(shí)許多人都知道，在晶體管消失前很長(zhǎng)時(shí)間，電報(bào)就是用的二進(jìn)制，其實(shí)即使那不是真正的二進(jìn)制，由于電報(bào)的二進(jìn)制沒(méi)有定義運(yùn)算，即便如此，人們還是傾向于用兩個(gè)符號(hào)來(lái)對(duì)大量的字符進(jìn)行編碼，這個(gè)意義上說(shuō)，二進(jìn)制只不過(guò)是這種雙符號(hào)的電報(bào)（.和_）定義了運(yùn)算的高級(jí)形式而已，不考慮運(yùn)算只考慮編碼，電報(bào)的雙符號(hào)和現(xiàn)在二進(jìn)制編碼非常相像，這時(shí)就要問(wèn)了，人們?yōu)楹尾挥酶嗟姆?hào)進(jìn)行編碼，而只用兩個(gè)符號(hào)，這就是信息熵的問(wèn)題了。 用兩個(gè)符號(hào)進(jìn)行編碼使得識(shí)別

2、更加簡(jiǎn)單，假如把每一個(gè)數(shù)據(jù)位的可能值作為一種狀態(tài)，那么十進(jìn)制數(shù)的每一位就有十種狀態(tài)，而二進(jìn)制數(shù)據(jù)的每一位只有兩種狀態(tài)，初看起來(lái)，十進(jìn)制的數(shù)據(jù)記載的信息量更大，可是正式由于這種很大的信息量導(dǎo)致十進(jìn)制的數(shù)據(jù)更加不易識(shí)別，不易識(shí)別就是說(shuō)需要我們付出更大的努力才能識(shí)別，用熱力學(xué)的術(shù)語(yǔ)說(shuō)就是信息的熵過(guò)大，舉個(gè)例子說(shuō)明為何信息量大的數(shù)據(jù)更加不易識(shí)別，假如是二進(jìn)制的數(shù)，假如有一位丟失了或者寫(xiě)得不清，那么我們有百分之五十的幾率可以猜中，但是假如一個(gè)十進(jìn)制的數(shù)據(jù)位丟失了，那么我們只有百分之十的幾率猜中它，這就是實(shí)質(zhì)。信息熵代表的是一種無(wú)序度，無(wú)序度越大，它承載的信息越多，我們想理解它就需要更多的努力，這該作何理

3、解呢？我們面對(duì)一個(gè)未知的事物時(shí)，我們說(shuō)它是無(wú)序的，混亂的，你對(duì)它完全未知它就是完全混亂完全無(wú)序，你對(duì)它部分未知，那么它就是部分混亂部分無(wú)序，你理解它的過(guò)程就是你得到信息的過(guò)程，就是你將該事物一個(gè)個(gè)無(wú)序的狀態(tài)變成有序的過(guò)程，最終一切都成了有序的，那么你對(duì)該事物就完全理解了，因此你就得到了信息，因此信息量是相對(duì)于你對(duì)該信息的無(wú)知而言的，你對(duì)它越無(wú)知，那么它就越無(wú)序，它對(duì)你來(lái)講信息量越大，引用一句話"熵，是物理名字，在信息論里則叫信息量。從掌握論的角度來(lái)看，應(yīng)叫不確定性。當(dāng)我們不知道某事物詳細(xì)狀態(tài)，卻知道它有幾種可能性時(shí)，明顯，可能性種類愈多，不確定性愈大。不確定性愈大的事物，我們最終確定

4、了、知道了，這就是說(shuō)我們從中得到了愈多的信息，也就是信息量大。'其實(shí)這也是和熱力學(xué)有關(guān)系的，由于在你理解信息的時(shí)候，你的大腦要耗氧，這時(shí)產(chǎn)生的熱量還是增加了熱力學(xué)的熵，你理解的信息越多也就是信息量越大信息熵越大，那么你的大腦耗氧將越多，產(chǎn)生的熱量將越多，其實(shí)信息熵只是熱力學(xué)熵的一個(gè)抽象投影而已。我們知道，理解二進(jìn)制信息時(shí)我們付出的努力沒(méi)有理解十進(jìn)制時(shí)的多（我們猜對(duì)的幾率大），因此二進(jìn)制就成了信息系統(tǒng)的首選，但是這只是選用二進(jìn)制的緣由之一，這里還要說(shuō)明的是，以上僅僅是理解的一種方式，其實(shí)不要忘了，雖然十進(jìn)制數(shù)據(jù)誤碼率高，但是它的確可以承載更多的信息，比如一個(gè)數(shù)字 9，用十進(jìn)制一個(gè)位就可以

5、，用二進(jìn)制需要 4 個(gè)位，誤碼率乘以四不肯定更低，幸運(yùn)的是，信息論的主體不是人，而是機(jī)器，機(jī)器是擅長(zhǎng)按位運(yùn)算的，而且，信息熵也是理解一位的信息熵，因此二進(jìn)制在這個(gè)意義上是首選。況且二進(jìn)制的數(shù)字更簡(jiǎn)單被辨別，辨別系統(tǒng)設(shè)計(jì)更加簡(jiǎn)單，只需要識(shí)別兩種狀態(tài)足矣，沒(méi)有第三種狀態(tài)來(lái)攪局。 信息量大即信息熵高莫非不是好事嗎？其實(shí)對(duì)于結(jié)果來(lái)說(shuō)是好事，究竟我們的世界現(xiàn)在已經(jīng)嚴(yán)峻依靠于信息，但是對(duì)于我們理解信息來(lái)說(shuō)，我們需要付出的會(huì)更多，但是假如對(duì)于信息熵少的系統(tǒng)，想擁有同樣的信息量的話，必定需要更多次的仲裁才可以，因此總體上二進(jìn)制信息的熵值低并不是它被選中的理由，但是僅憑一次仲裁中，二進(jìn)制信息更簡(jiǎn)單被識(shí)別，更不易

6、出錯(cuò)，得到正確結(jié)果更簡(jiǎn)單這些緣由，它就應(yīng)當(dāng)被選中，究竟誰(shuí)不是一步一步處理信息的呢？雖然處理信息的主體是機(jī)器，它也是一步一步處理信息的，單步的性能更加有意義，它直接關(guān)系處處理器的發(fā)熱，由于，信息的獲得將最終統(tǒng)一到熱力學(xué)的熱熵。 選用二進(jìn)制的另一個(gè)緣由就是，它的確占用了最少的狀態(tài)，從而節(jié)約了硬件，由于機(jī)器要為每一個(gè)狀態(tài)預(yù)備一個(gè)空間。假如我們將一個(gè) r 進(jìn)制數(shù)據(jù)的一個(gè)位上的全部的可能值設(shè)為一個(gè)狀態(tài)，那么一個(gè) n 位的 r 進(jìn)制數(shù)一共需要 n*r 個(gè)狀態(tài)，我們?cè)O(shè) s=n*r，現(xiàn)在我們就要求 s 的最小值，我們這個(gè)計(jì)算中僅憑這些量根本不夠，這個(gè)方程中，我們有 s 為值，而 n 和 r 為自變量，我們必需

7、限定一個(gè)值，在這個(gè)值上比較誰(shuí)的 s 更小，由于我們將二進(jìn)制的 1000 和十進(jìn)制的 10 比較是沒(méi)有意義的，因此，我們?cè)僭O(shè)一個(gè)值 m，這個(gè)值是 n 位 r 進(jìn)制數(shù)所能表示的最大值，我們就在這個(gè)值上比較，在這個(gè)最小值求解的過(guò)程中，我們可以認(rèn)為 m 是恒定的，由上述定義可以導(dǎo)出下面的等式：m=rn（其中為乘方），那么進(jìn)一步就有 n=logrm，帶入 s=n*r 就有 s=rlogrm，利用對(duì)數(shù)的換底公式有：s=rlnm/lnr，因此我們最終得到了一個(gè)基于自然對(duì)數(shù) e 的方程，前面說(shuō)過(guò)我們可以將 m 了看做常數(shù)，下面我們求 s 的極值，初看起來(lái)它并沒(méi)有單調(diào)特征，那么我們可以通過(guò)導(dǎo)數(shù)來(lái)求極值，(r/l

8、nr)"=lnr-1,從這個(gè)導(dǎo)數(shù)可以看出，當(dāng) re 時(shí)，s"0，s 單調(diào)遞增，因此當(dāng) r=e時(shí)，s 取得最小值，因此，理論上，e 進(jìn)制數(shù)對(duì)于節(jié)約狀態(tài)是最優(yōu)的，但是理論終究不是實(shí)際，自然狀態(tài)下無(wú)理數(shù)沒(méi)有什么不好，但是在涉及工程學(xué)時(shí)，就更加青睞整數(shù)了，整數(shù)是離散的，適合處理，記住，不管用幾進(jìn)制數(shù)，計(jì)算機(jī)處理都是基于編碼的，前面說(shuō)過(guò)，編碼都是離散的，某種意義上，計(jì)算機(jī)處理就是用離散的編碼來(lái)用自己的方式重現(xiàn)連續(xù)的真實(shí)世界，計(jì)算機(jī)的最強(qiáng)大之處在處理而不是存儲(chǔ)，因此它沒(méi)有必要記住整個(gè)世界，但是它需要快速的處理這個(gè)世界，離散的方式就是計(jì)算機(jī)的方式。在 e 的兩邊有 2 和 3，我們沒(méi)有必要比較 2 和 3 下哪個(gè) s 更小，這時(shí)結(jié)果已經(jīng)很明