(2)-2.1信息論基礎(chǔ)信息論基礎(chǔ)

信息論基礎(chǔ)第2章離散信源及其信息測(cè)度目錄單符號(hào)離散信源的數(shù)學(xué)模型自信息和信息函數(shù)信息熵信息熵的基本性質(zhì)聯(lián)合熵和條件熵的分解和計(jì)算信息熵的解析性質(zhì)目錄離散信源的最大熵值多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)無(wú)記憶信源及其信息熵多符號(hào)離散平穩(wěn)有記憶信源及其信息熵信源的相關(guān)性與冗余度2.1單符號(hào)離散信源的數(shù)學(xué)模型單符號(hào)離散信源的數(shù)學(xué)模型圖1-1通信的簡(jiǎn)化模型信源信道信宿信源離散單符號(hào)平穩(wěn)無(wú)記憶有限或無(wú)限可列個(gè)取值離散的符號(hào)，如文字、字母、數(shù)字等組成的離散集合。一個(gè)符號(hào)就代表一個(gè)完整的消息。信源中每個(gè)符號(hào)的概率分布不隨時(shí)間的推移而變化，即與時(shí)間起點(diǎn)無(wú)關(guān)。獨(dú)立同分布信源。單符號(hào)離散信源的數(shù)學(xué)模型在通信系統(tǒng)中，收信者在未收到消息以前，對(duì)信源發(fā)出什么消息是不確定的。單符號(hào)離散信源的數(shù)學(xué)模型在通信系統(tǒng)中，收信者在未收到消息以前，對(duì)信源發(fā)出什么消息是不確定的。？單符號(hào)離散信源的數(shù)學(xué)模型信源要含有一定的信息，必須具有隨機(jī)性，以一定的概率發(fā)出各種不同的符號(hào)。信源看作是具有一定概率分布的符號(hào)集合。用離散隨機(jī)變量的可能取值，表示信源可能發(fā)出的不同符號(hào)；用離散隨機(jī)變量的概率分布，表示信源發(fā)出不同符號(hào)的可能性的大小。用一個(gè)離散型隨機(jī)變量來(lái)代表一個(gè)單符號(hào)離散信源。單符號(hào)離散信源的數(shù)學(xué)模型4信源單符號(hào)離散信源的數(shù)學(xué)模型4信源單符號(hào)離散信源的數(shù)學(xué)模型符號(hào)空間概率空間單符號(hào)離散信源的數(shù)學(xué)模型符號(hào)空間概率空間單符號(hào)離散信源的數(shù)學(xué)模型符號(hào)空間概率空間單符號(hào)離散信源的數(shù)學(xué)模型符號(hào)空間概率空間1.不同的信源，對(duì)應(yīng)不同的數(shù)學(xué)模型，即不同的信源空間。2.如果一個(gè)信源已經(jīng)給定，則相應(yīng)的信源空間就唯一確定了，反之，如果一個(gè)信源空間已經(jīng)給定，則相應(yīng)的信源也就唯一確定了。4.用信源空間表示信源的數(shù)學(xué)模型的必要前提，就是信源可能發(fā)出的各種不同符號(hào)的概率先驗(yàn)可知3.測(cè)定信源的概率空間是構(gòu)建信源空間的關(guān)鍵。1.不同的信源，對(duì)應(yīng)不同的數(shù)學(xué)模型，即不同的信源空間。2.如果一個(gè)信源已經(jīng)給定，則相應(yīng)的信源空間就唯一確定了，反之，如果一個(gè)信源空間已經(jīng)給定，則相應(yīng)的信源也就唯一確定了。4.用信源空間表示信源的數(shù)學(xué)模型的必要前提，就是信源可能發(fā)出的各種不同符號(hào)的概率先驗(yàn)可知3.測(cè)定信源的概率空間是構(gòu)建信源空間的關(guān)鍵。單符號(hào)離散信源的數(shù)學(xué)模型16個(gè)8個(gè)4個(gè)4個(gè)32個(gè)單符號(hào)離散信源的數(shù)學(xué)模型16個(gè)8個(gè)4個(gè)4個(gè)32個(gè)單符號(hào)離散信源的數(shù)學(xué)模型信源可能發(fā)出的各種不同符號(hào)的概率必須是先驗(yàn)可知的，或是事先可測(cè)定的，這也是香農(nóng)信息論的一個(gè)基本假設(shè)前提。信源可能發(fā)出