管理信息學(xué) 第4章(1).ppt

1、2020年8月3日，第4章信息傳輸和信息編碼，4.1信息傳輸概念，4.2信息傳輸模型，4.3信息傳輸?shù)挠行裕?.4信息傳輸?shù)目垢蓴_性，4.5失真受限信源編碼定理，2020年8月3日，4.1信息傳輸概念，4.1信息傳輸和語(yǔ)法信息，4.1.2信息傳輸和信號(hào)，2020所謂的信息傳輸就是把人們需要的信息從一個(gè)點(diǎn)傳輸?shù)搅硪粋€(gè)點(diǎn)，其核心問(wèn)題是如何完成就傳遞內(nèi)容而言，所謂的信息傳遞實(shí)際上只是語(yǔ)法信息的傳遞，主要是概率語(yǔ)法信息的傳遞。只要語(yǔ)法信息得以傳遞，語(yǔ)義信息和語(yǔ)用信息就必然隱藏其中。4.1.1信息傳遞和語(yǔ)法信息，2020年8月3日，信息可以獨(dú)立于其來(lái)源而存在，這種分離可以表現(xiàn)為兩種狀態(tài)。第一，時(shí)間分離

2、，它要求信息被存儲(chǔ)以使信息繼續(xù)存在；第二，空間上的分離，事物運(yùn)動(dòng)的狀態(tài)和方式必須附著在另一個(gè)事物(即載體)上，同時(shí)又與源事物分離。信息傳遞的本質(zhì)：某種信息從源頭上分離出來(lái)，附著在另一個(gè)東西(物理載體)上，通過(guò)后者的運(yùn)動(dòng)，信息從空間的一個(gè)點(diǎn)傳遞到另一個(gè)點(diǎn)。4.1.2信息傳輸和信號(hào)：承運(yùn)人，2020年8月3日，承運(yùn)人的屬性：承運(yùn)人不僅應(yīng)該能夠在空間中傳輸，從一個(gè)點(diǎn)移動(dòng)到另一個(gè)點(diǎn)，還應(yīng)該能夠表達(dá)所傳輸?shù)男畔?。事?shí)上，在空間信息傳遞的過(guò)程中，它可能要經(jīng)歷許多變換和改變?cè)S多不同的載體。為了描述方便，這些變換被稱(chēng)為N級(jí)變換，這些載波被稱(chēng)為N級(jí)載波。4.1.2信息傳遞與信號(hào)：信息轉(zhuǎn)換，2020年8月3日，載

3、體表達(dá)所傳遞信息的能力意味著它可以用載體本身的一些物理量來(lái)表達(dá)源物的運(yùn)動(dòng)狀態(tài)和運(yùn)動(dòng)方式，載體的一些物理量的各種值以及這些值之間的關(guān)系必須與所傳遞的源物的運(yùn)動(dòng)狀態(tài)以及這些狀態(tài)之間的關(guān)系一一對(duì)應(yīng)。信號(hào)：在一定的物理量和附加信息之間建立一一對(duì)應(yīng)關(guān)系的物理載體。換句話說(shuō)，它是一個(gè)人自身物理量變化所表達(dá)的相應(yīng)信息的物理載體。4.1.2信息傳輸和信號(hào)：信號(hào)，2020/8/3，4.1.2信息傳輸和信號(hào)：傳輸模式。因此，就傳遞形式而言，信息的傳遞是通過(guò)信號(hào)在空間中的運(yùn)動(dòng)來(lái)完成的，在信號(hào)的一個(gè)或一些物理量與所傳遞的語(yǔ)法信息之間應(yīng)該建立適當(dāng)?shù)挠成潢P(guān)系。在古代，信息是通過(guò)物體或聲音來(lái)表達(dá)的，如打結(jié)的音符、篝火和狼煙

4、、鼓聲和聲音傳遞?，F(xiàn)代通信技術(shù)：電信號(hào)、無(wú)線電信號(hào)、微波和光信號(hào)等。(傳輸距離更長(zhǎng)，傳輸速度更快，抗干擾性更好)。2020年8月3日，4.2信息傳輸模型，4.2.1信息傳輸?shù)幕灸Ｐ停?.2.2信息傳輸?shù)囊话隳Ｐ停?020年8月3日，4.2.1信息傳輸?shù)幕灸Ｐ停?020年8月3日，信息傳輸必須至少包括以下的東西、環(huán)節(jié)和過(guò)程：(4.2.1信息傳輸?shù)幕灸Ｐ停?020/8/3，4.2.2信息傳輸?shù)囊话隳Ｐ停?020/8/3。因此，在信息傳遞中討論的主要問(wèn)題是：(1)信息源的性質(zhì)及其產(chǎn)生信息的能力；(2)渠道的性質(zhì)及其傳遞信息的能力；(3)信源與信道的關(guān)系，以及它們?cè)谧匀唤缙ヅ涞脑砗头椒ā?.2

5、.2信息傳輸?shù)囊话隳Ｐ停?020/8/3，4.3.1信源和信源編碼4.3.2變長(zhǎng)無(wú)損信源編碼定理4.3.3霍夫曼編碼，4.3信息傳輸?shù)挠行裕?020/8/3，信源輸出的信息經(jīng)常以符號(hào)的形式出現(xiàn)，如英文字母，如果這些符號(hào)的值是有限的或可數(shù)的，這樣的源稱(chēng)為離散源。如果源只輸出一個(gè)符號(hào)，它就是ca4.3.1源和源編碼，2020/8/3，源的每個(gè)輸出都可以視為隨機(jī)事件。對(duì)于多符號(hào)離散信源，可以使用隨機(jī)變量序列來(lái)描述信源發(fā)送的信息。X=X1 X2 X3，其中每個(gè)隨機(jī)變量Xi (i=1，2)有n個(gè)輸出狀態(tài)，每個(gè)狀態(tài)的概率由概率P(Xi)描述。在這個(gè)信息源中，如果每個(gè)隨機(jī)變量Xi (i=1，2)的概率分布

6、P(Xi)相同，那么這個(gè)信息源就稱(chēng)為多符號(hào)離散平穩(wěn)信息源。4.3.1源代碼和源代碼編碼，2020年8月3日。為了方便起見(jiàn)，假設(shè)源輸出的符號(hào)長(zhǎng)度是有限的，如果任意兩個(gè)符號(hào)之間沒(méi)有相互依賴(lài)關(guān)系，即每個(gè)符號(hào)輸出是一個(gè)獨(dú)立的隨機(jī)事件，那么該源稱(chēng)為離散無(wú)記憶平穩(wěn)源。從上面介紹的信息傳輸?shù)幕灸Ｐ涂梢钥闯?，信源發(fā)送的信息不適合在信道中直接傳輸，因此必須經(jīng)過(guò)一系列的變換。變換環(huán)節(jié)之一是對(duì)信源進(jìn)行編碼，使其能夠滿足信道特性，即適合信道傳輸?shù)姆?hào)序列(一般稱(chēng)為編碼序列)，以表示信源輸出的信息。4.3.1源和源編碼，2020年8月3日，例如，離散無(wú)記憶固定源的輸出為X=X1 X2 X3 Xl，其中每個(gè)Xl的可能狀

7、態(tài)為。通過(guò)編碼，信源輸出的符號(hào)序列被改變成碼序列Y=Y1 Y2 Y3 YK，其中每個(gè)YK的可能狀態(tài)是。4.3.1源代碼和源代碼編碼，2020年8月3日，示例：源代碼有四種輸出狀態(tài)，表中給出了兩種源代碼編碼方法。這兩種代碼的共同之處在于，它們都用二進(jìn)制符號(hào)集0，1對(duì)信源進(jìn)行編碼，這就是所謂的二進(jìn)制代碼。它們之間的區(qū)別在于代碼1的每個(gè)碼字的長(zhǎng)度是相同的，并且是等長(zhǎng)代碼；然而，代碼2中碼字的長(zhǎng)度是不同的，它是不等長(zhǎng)代碼或可變長(zhǎng)度代碼。4.3.1源代碼和源代碼編碼，2020/8/3，源代碼編碼實(shí)際上是一個(gè)轉(zhuǎn)換源代碼的過(guò)程。在交流的過(guò)程中，我們總是希望信息傳輸?shù)男时M可能的高，但是源X的自然屬性往往不能

8、直接滿足高效信息傳輸?shù)囊?。因此，通過(guò)信源編碼的過(guò)程，我們應(yīng)該將信源X的信息內(nèi)容低效的情況改變?yōu)榫幋a后的信源Y的信息內(nèi)容高或盡可能高的情況，從而使每單位時(shí)間或符號(hào)傳輸?shù)男畔⒘勘M可能大。那么，如何改革信息源來(lái)實(shí)現(xiàn)這一目標(biāo)呢？4.3.1源和源編碼，2020年8月3日，讓源x有n個(gè)可能的狀態(tài)x1，x2，xN。這些狀態(tài)的相應(yīng)先驗(yàn)概率和后驗(yàn)概率是P=p(xn) | xnX P*=p*(xn) | xnX。觀察者R從該實(shí)驗(yàn)中獲得的信息是：如果P*是確定性的0-1分布，那么、4.3.1源和源編碼，2020/8/3，如果在每個(gè)狀態(tài)中有任何其他源，4.3.1源和源編碼，2020年8月3日，其被定義為任何給定的實(shí)

9、際源和接收器系統(tǒng)的信息內(nèi)容效率。顯然有，而且只有當(dāng)，當(dāng)。，4.3.1源代碼和源代碼編碼，2020年8月3日。上述結(jié)果使我們很容易認(rèn)為各種實(shí)際來(lái)源的信息內(nèi)容效率是不同的，有的更高，有的更低，因?yàn)槭挛锸嵌鄻雍筒煌?。轉(zhuǎn)換信息源的具體方法是盡可能地實(shí)現(xiàn)，使信息源各種狀態(tài)的概率滿足統(tǒng)一的先驗(yàn)概率分布，從而減少信息源的冗余，提高信息傳輸?shù)男?。這是不考慮噪聲影響的離散無(wú)記憶平穩(wěn)信源的有效編碼問(wèn)題。4.3.1信源和信源編碼，2020/8/3，4.3.2可變長(zhǎng)度無(wú)失真信源編碼定理，如果離散無(wú)記憶平穩(wěn)信源X的第K個(gè)擴(kuò)展信源XK是用M元符號(hào)表編碼的，則總是可以找到一種無(wú)損編碼方法，使得對(duì)應(yīng)于每個(gè)信源符號(hào)的碼字的

10、平均長(zhǎng)度滿足：例如，2020/8/3，Y是已知的，并構(gòu)造一個(gè)霍夫曼碼。，4.3.2可變長(zhǎng)度無(wú)失真信源編碼定理，2020年8月3日，解決方案：用兩個(gè)Y的符號(hào)來(lái)編碼X的8元狀態(tài)，顯然必須通過(guò)重復(fù)Y的符號(hào)來(lái)實(shí)現(xiàn)。如果由Y編碼的碼字長(zhǎng)度都相等，則編碼8個(gè)元素，至少需要3位。例如，碼字長(zhǎng)度為3，信源的信息熵為0，每個(gè)符號(hào)的平均熵為0，比特/符號(hào)，比特/符號(hào)，4.3.2可變長(zhǎng)度無(wú)失真信源編碼定理，2020/8/3，即按照等長(zhǎng)原則編碼后每個(gè)符號(hào)的平均信息量。y的概率分布為：計(jì)算結(jié)果表明等長(zhǎng)編碼y的概率分布極不均勻。4.3.2可變長(zhǎng)度無(wú)失真信源編碼定理，2020年8月3日/2020年8月3日，霍夫曼碼構(gòu)造步驟，按降序排列信源符號(hào)的概率。從兩個(gè)概率最小的消息開(kāi)始編碼，并給出一定的編碼規(guī)則，如下面的分支(小概率)為0，上面的分支(大概率)為1(反之亦然)；如果概率相等，應(yīng)遵循相同的規(guī)則。將兩個(gè)編碼符號(hào)的對(duì)應(yīng)概率相加并組合成新的信息符號(hào)，該信息符號(hào)根據(jù)概率大小與剩余的源符號(hào)重新排列。重復(fù)步驟(2)和(3)，直到合并概率達(dá)到1.0。繪制從根節(jié)點(diǎn)(概率為1.0)到每個(gè)