2 信源及信源熵.ppt

1、2源和源熵、2.1源的描述方法和分類(lèi)、在通信系統(tǒng)中，接收方接收消息之前向源發(fā)送哪些消息是不確定的。離散源：輸出的消息通常顯示為一個(gè)符號(hào)，這些符號(hào)的值是有限的或可計(jì)數(shù)的。單一符號(hào)離散源：僅涉及一個(gè)隨機(jī)事件，可以用隨機(jī)變量描述。多符號(hào)離散源：每個(gè)輸出都是符號(hào)序列，序列中每個(gè)符號(hào)出現(xiàn)的符號(hào)是隨機(jī)的，常規(guī)前后符號(hào)之間存在依存關(guān)系。可以用任意矢量解釋。連續(xù)源：輸出連續(xù)消息。您可以使用隨機(jī)進(jìn)程說(shuō)明。例如，單個(gè)符號(hào)離散源，1 .扔出紋理均勻的骰子，研究其下落后向上的點(diǎn)數(shù)。每個(gè)考試結(jié)果必須在1:00、2:00、3:00、4:00、5:00、6:00中一面朝上。這種源輸出消息是6茄子的其他消息，例如“上面是L點(diǎn)

2、”、“上面是2點(diǎn)”、“上面是6點(diǎn)”等。獲得牙齒源的數(shù)學(xué)模型如下：和滿足，2。請(qǐng)?jiān)谝粋€(gè)包里放100個(gè)球。其中80個(gè)是紅色，20個(gè)是白色。隨機(jī)摸球，看看它的顏色。觸摸的球是紅色或白色的，每次只出現(xiàn)一條茄子信息。數(shù)學(xué)型號(hào)包括：?jiǎn)畏?hào)離散源的數(shù)學(xué)模型是離散概率空間。X表示隨機(jī)變量，整個(gè)源ai表示隨機(jī)事件的結(jié)果或源中的元素p(ai)=P(X=ai)，表示隨機(jī)事件X中結(jié)果ai的發(fā)生概率。n是有限正整數(shù)或可數(shù)無(wú)限、多符號(hào)(符號(hào)序列)離散源的數(shù)學(xué)模型。1.上述炮臺(tái)觸球的實(shí)驗(yàn)是，一次取三個(gè)球，由三個(gè)球的顏色組成的信息是符號(hào)序列。以隨機(jī)向量描述來(lái)源輸出的資訊。其中，使用聯(lián)合概率分布表示源特性源的概率空間為：并且：

3、通常是發(fā)送L個(gè)符號(hào)序列的離散源的隨機(jī)向量：L維隨機(jī)變量的一個(gè)值，即概率空間是L2的源，牙齒的源3次獲取球時(shí)，炮臺(tái)中的紅球，白球數(shù)保持不變，下一次球獨(dú)立于前一次，因此牙齒源是沒(méi)有記憶且沒(méi)有多重符號(hào)的離散信息來(lái)源。每個(gè)符號(hào)之間沒(méi)有統(tǒng)計(jì)關(guān)聯(lián)。每個(gè)符號(hào)出現(xiàn)的概率是自己的先驗(yàn)概率。也就是說(shuō)，如果源隨機(jī)向量的每個(gè)維度概率分布與時(shí)間起點(diǎn)無(wú)關(guān)，即隨機(jī)向量X的每個(gè)維度概率分布在兩個(gè)不同的時(shí)刻是相同的。被稱為離散、平靜的信息來(lái)源。也就是說(shuō)，3 .在上述炮臺(tái)實(shí)驗(yàn)中，先取一個(gè)球，記錄顏色，然后不放回炮臺(tái)，接著取另一個(gè)。采第二個(gè)球時(shí)，炮臺(tái)里的紅球，白球概率已經(jīng)與采第一個(gè)球時(shí)不同了。此時(shí)概率分布與第一個(gè)球的顏色相關(guān)，第三

4、個(gè)球采時(shí)口袋里的紅色，白球的概率分布與第一個(gè)，第二個(gè)球的顏色相關(guān)。通常，源在徐璐不同時(shí)間發(fā)射的符號(hào)之間相互依賴。這是稱為多符號(hào)的內(nèi)存離散信息源。應(yīng)引入反映符號(hào)序列內(nèi)每個(gè)符號(hào)的內(nèi)存特性的條件概率，表示的復(fù)雜性隨著序列長(zhǎng)度的增加而增加。但是，實(shí)際上，來(lái)自源的符號(hào)通常只有前幾個(gè)具有強(qiáng)烈的依賴性，隨著長(zhǎng)度的增加，依賴性越來(lái)越弱，從而限制了源的特性和處理所需的內(nèi)存長(zhǎng)度。(David aser，Northern Exposure(美國(guó)電視電視劇)，Markov源，源的內(nèi)存長(zhǎng)度為m1時(shí)，時(shí)刻出現(xiàn)的符號(hào)與前M個(gè)符號(hào)相關(guān)，與以前的符號(hào)無(wú)關(guān)。)。聯(lián)合概率是M階Markov源，m1，連續(xù)源，某些源輸出為單個(gè)符號(hào)(代

5、碼)，但可能出現(xiàn)的消息數(shù)是無(wú)法計(jì)數(shù)的無(wú)限值。也就是說(shuō)，輸出消息的符號(hào)集A的值是連續(xù)的或?qū)崝?shù)的集合。例如，對(duì)語(yǔ)音信號(hào)、熱噪聲信號(hào)、特定時(shí)間點(diǎn)的連續(xù)數(shù)據(jù)遠(yuǎn)程控制系統(tǒng)的電壓、溫度、壓力等進(jìn)行測(cè)量的連續(xù)數(shù)據(jù)。牙齒數(shù)據(jù)是連續(xù)的，但又是隨機(jī)的。我們可以用一維連續(xù)隨機(jī)變量X來(lái)解釋這些消息。數(shù)學(xué)模型是連續(xù)的概率空間。其中，R是實(shí)數(shù)集、隨機(jī)變量X的概率密度函數(shù)、2.2離散源熵和互信息、(1)自信息和條件自信息、自信息組合自信息條件自信息、自信息、信息和不確定性以及發(fā)生概率自信息公式自信息語(yǔ)義多個(gè)茄子原因(例如，噪聲太大)導(dǎo)致收件人收到干擾消息后，信息的不確定性仍然存在或完全消除，信息的可視定義：在接收消息之前，

6、事件的不確定性減少(接收消息后事件的不確定性) (接收消息后事件的不確定性)沒(méi)有噪聲的情況下，通過(guò)信道傳輸發(fā)送的消息可以完全無(wú)損地接收。收到牙齒消息后，如果事件的不確定性完全消除，則為0。因此，我們推測(cè)，在收到牙齒消息之前，某事件發(fā)生的不確定性源輸出的任何消息中包含的信息量、不確定性和發(fā)生概率、事件發(fā)生的概率越小，它可能發(fā)生的困難就越大，不確定性就越大。概率為1的必然事件沒(méi)有不確定性。某事件發(fā)生的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)。使用概率度量定義信息：設(shè)置具有已知事件Xi已經(jīng)發(fā)生的概率空間的離散源X。事件包含的自身信息量由自己的信息公式確定，自身信息的含義，表示事件Xi發(fā)生之前：事件Xi

7、發(fā)生的不確定性。事件Xi發(fā)生后：指示事件Xi中包含(或提供)的信息量。在無(wú)噪音信道中，事件xi發(fā)生后將無(wú)錯(cuò)誤地發(fā)送給收件人，因此I(xi)表示接收消息Xi后可獲得的信息量。這是因?yàn)橄薎(xi)大小的不確定性，獲得了牙齒大小的信息量。在自信息的度量單位及其轉(zhuǎn)換關(guān)系信息論中，比特不同于電腦術(shù)語(yǔ)中的比特，自信息的度量單位及其轉(zhuǎn)換關(guān)系以2為基礎(chǔ)，信息單位稱為比特。以e為基準(zhǔn)，信息單位稱為Nate(Hart unit)，為了紀(jì)念Hart lay，先用日志測(cè)量消息。1夜1.44位1心3.32位通常使用以“2”為底數(shù)的對(duì)數(shù)，為了寫(xiě)簡(jiǎn)潔，有時(shí)省略底數(shù)2。在信息論中，“位”不同于電腦術(shù)語(yǔ)中的“位”，如果p(

8、xi)=1/2，則I(xi)=1位。因此，1位信息量是發(fā)生兩個(gè)徐璐不兼容的可茄子事件之一時(shí)提供的信息量。在信息論中，“比特”是指抽象的信息單位。在電腦術(shù)語(yǔ)中，“位”是指二進(jìn)制數(shù)字。牙齒兩個(gè)定義之間的關(guān)系是每個(gè)二進(jìn)制數(shù)字能提供的最大平均信息的楊怡1位。例如，2月的氣象概率分布統(tǒng)計(jì)如下：牙齒四茄子氣候的磁量，磁量I(xi)的性質(zhì)，I(xi)為非負(fù)p(xi)1時(shí)，I(xi)0牙齒p(xi)0時(shí)，I J=1，2，m)為x，條件本身的信息量，設(shè)定yj條件下xi發(fā)生的條件概率為p(xi /yj)，其條件本身的信息量I(xi/yj)被定義為表示在特定條件(設(shè)定yj)下隨機(jī)事件Xi獲取的信息量。同樣，如果Xi

9、已知，則發(fā)生yj的條件本身的信息量就是它自己的信息量。分別計(jì)算他們自己的信息量。解決方案：“e”的自信息I (e) log 0.0105=3.25位“c”的自信息I (c)-log 0.023=5.44位“o”的8個(gè)自信息I (o)牙齒燈泡現(xiàn)在假設(shè)八個(gè)牙齒燈泡中只有一個(gè)受損，串行燈泡不亮。(比爾蓋茨，燈泡，燈泡，燈泡，燈泡，燈泡，燈泡，燈泡，燈泡)萬(wàn)用表，電路斷了，三次測(cè)量，得到足夠的信息量，才能知道哪個(gè)燈泡損壞了。每次獲取的信息量，自身信息是從一個(gè)源發(fā)送消息的信息量。根據(jù)發(fā)送的信息，它們包含的信息量也不同。平均信息源熵：自我信息的數(shù)學(xué)期望。也稱為源的信息熵/源熵/香農(nóng)熵/無(wú)條件熵/熵函數(shù)/熵

10、。信息熵的單位：取決于日志選擇的底部。通常，使用2作為位/符號(hào)單位的底數(shù)。信息熵的含義：在整個(gè)源的統(tǒng)計(jì)特性中考慮了源的信息熵H。那是從平均意義上表征醬的整體特性。對(duì)于特定的源，只有一個(gè)信息熵。徐璐不同的源根據(jù)統(tǒng)計(jì)特性，熵也不同。例如，一個(gè)炮臺(tái)里有100個(gè)球，其中80個(gè)是紅色，20個(gè)是白色。隨便摸球，猜測(cè)是什么顏色，概率空間表示x1:紅球x2:摸索是白球，例23目前進(jìn)一步分析了案例2.2.2。(威廉莎士比亞，Northern Exposure(美國(guó)電視電視劇)，在牙齒例子中，8個(gè)燈泡組成一個(gè)源X，每個(gè)燈泡損壞的概率是相等的。牙齒源可以計(jì)算牙齒源的信息熵。牙齒H(x)表示在知道哪個(gè)燈泡損壞之前，哪

11、個(gè)燈泡損壞的平均不確定性。因此，必須得到3位的信息量才能完全消除平均不確定性，從而確定哪個(gè)燈泡壞了。如示例2.2.2中所示，牙齒測(cè)量方法一次只能獲得1位的信息量。由此可見(jiàn)，至少要測(cè)量三次，才能完全消除不確定性。源熵的三個(gè)茄子物理意義，源熵是在平均意義上表示源的整體特性的量。因此，源熵有三個(gè)茄子物理意義：源熵H(X)是源輸出后每個(gè)消息/符號(hào)提供的平均信息量。源熵H(X)表示源輸出前的平均不確定性。使用源熵H(X)表征變量X的隨機(jī)性。在下面的例子中，變量Y取y1和y2是相同的概率，所以隨機(jī)性很大。變量X取x1的概率比取x2的概率大得多。變量X的隨機(jī)性很小。因此，H(X)反映變量的隨機(jī)性。例如，有兩

12、個(gè)概率空間分別是信息熵h(x)=-0.99 log 0.99-0.01 log 0.01=0.08位/符號(hào)h (y)=-0.5 log 0.5-0.5 log的源y比源x的平均不確定性源X的兩個(gè)茄子輸出消息不是相同的概率。預(yù)先猜測(cè)x1和x2中會(huì)出現(xiàn)哪一個(gè)。雖然存在不確定性，但可以推測(cè)出x1牙齒出現(xiàn)的概率大約是x1牙齒出現(xiàn)的，因?yàn)榇笮　Ｒ虼?，源x的不確定性很小。信息熵反映了源輸出前平均不確定性的大小。源熵和平均獲得的信息量，源熵是對(duì)源的平均不確定性的描述。一般來(lái)說(shuō)，這不等于平均獲得的信息量。只有在沒(méi)有噪聲的情況下，接收方才能準(zhǔn)確地接收源發(fā)送的消息，通過(guò)消除H(X)大小的平均不確定性獲得的平均信息

13、量等于H(X)。一般而言，得到的信息量是兩種熵的差異，而不是源熵本身。例如，二進(jìn)制源是離散源的特殊情況。設(shè)置牙齒源符號(hào)的概率分別是P和1-p源的概率空間是二進(jìn)制源的信息熵時(shí)，信息熵H(X)是P的函數(shù)。p可以繪制0，1區(qū)間內(nèi)熵函數(shù)H(p)的曲線。條件熵，在給定yj條件下，X集的條件熵H(X|yj)為：定義：條件熵是組合符號(hào)集XY的條件本身信息的數(shù)學(xué)期望。在已知的Y中，X的條件熵是，Y所知道的條件下，當(dāng)X的不確定性表示已知的X時(shí)，Y的條件熵是條件熵為常量值，聯(lián)合熵，定義：聯(lián)合熵是組合磁信息對(duì)組合符號(hào)集XY的數(shù)學(xué)期望，組合熵H(X，Y)表示X和Y同時(shí)發(fā)生的不確定性，例如失真導(dǎo)致傳輸時(shí)出現(xiàn)錯(cuò)誤代碼，牙

14、齒產(chǎn)生“U0”:”1“0”?！眜1: 1 牙齒發(fā)行。v0 :接收“0”；接收V1 : 1 。P (u0)=1/2，p (v0/u0)=3/4，p (v0/u1)=1/2，請(qǐng)求：(1)已知概率(2)(4)已知接收的符號(hào)，由發(fā)送的符號(hào)獲得的信息量，在示例2中，二進(jìn)制源X通過(guò)離散非內(nèi)存通道發(fā)送符號(hào)集0，1，并且通道輸出顯示為Y。因?yàn)轭l道有噪音，接收方除了接收0和1的符號(hào)外，還有不確定的符號(hào)。？”。如圖所示，表示。已知x的先驗(yàn)概率為p(x=0)=2/3，p(x=1)=1/3，符號(hào)轉(zhuǎn)移概率為p (y=0 | x=0)=3/4，p()|x=1)=1/2，其他為0，h (x，y)，x，y，0，0，1，1，3/4，1/4，1/2，1/2，1/2，交叉信息定義，x源發(fā)送的離散消息集合Y新宿接收的離散消息集合；源通過(guò)干擾通道向新宿發(fā)送消息。新宿事先不知道什么時(shí)候會(huì)發(fā)出什么信息，所以每條信息都是隨機(jī)事件的結(jié)果。最簡(jiǎn)單的通信系統(tǒng)模型：源X，新宿Y的數(shù)學(xué)模型是(3)互信息，先驗(yàn)概率：源發(fā)送消息Xi的概率p(xi)。后驗(yàn)概率：估計(jì)申