測量信息論基礎(chǔ)

1、測量信息論基礎(chǔ)第1頁，共56頁，2022年，5月20日，12點7分，星期四信息論源于通信工程，背景是關(guān)于通訊中的： 信息傳輸?shù)男?信息傳輸?shù)臏蚀_性 噪聲干擾 信道頻率特性第2頁，共56頁，2022年，5月20日，12點7分，星期四廣義通信系統(tǒng)，即信息流通系統(tǒng)第3頁，共56頁，2022年，5月20日，12點7分，星期四廣義通信系統(tǒng)模型信息從信息源（information source）傳送到信宿。發(fā)信器（transmitter）又稱編碼器，把信息變換成物理信號。受信器（receiver）又稱譯碼器，把物理信號轉(zhuǎn)換成信宿能感知的信息的裝置。信宿（destination）是信息傳輸?shù)膶ο?。?頁，

2、共56頁，2022年，5月20日，12點7分，星期四信息的定量描述信源模型與信息熵。自然科學通常都應作定量的描述，定性描述只能解釋一些現(xiàn)象。從理論上研究信息大小當作定量描述。Shannon信息理論的貢獻在于：運用概率論與數(shù)理統(tǒng)計學方法，對信息給予了數(shù)學描述。從而使信息論作為一門科學建立起來。 第5頁，共56頁，2022年，5月20日，12點7分，星期四信源的輸出是隨機的。信源的輸出常用隨機變量或隨機矢量來描述，從隨機變量出發(fā)研究信息，是shannon信息理論的基本假設(shè)。由概率論可知，隨機變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相應的信源稱為離散信源及連續(xù)信源。第6頁，共56頁，202

3、2年，5月20日，12點7分，星期四離散信源模型離散信源模型是離散型概率空間，即:x1,x2,xN 描述信源輸出的可能狀態(tài)。P（x1）P（x2）P（xN） 描述各種狀態(tài)出現(xiàn)的可能性。 第7頁，共56頁，2022年，5月20日，12點7分，星期四信源狀態(tài)的出現(xiàn)是不相容的。 例如：拋硬幣其中，P（x1）=P（x2）=0.5，該系統(tǒng)為等概率事件，稱為先驗概率。 第8頁，共56頁，2022年，5月20日，12點7分，星期四用超聲波檢測物體內(nèi)部有無裂紋第9頁，共56頁，2022年，5月20日，12點7分，星期四X1 代表物體內(nèi)部有裂紋X2 代表物體內(nèi)部無裂紋第10頁，共56頁，2022年，5月20日，1

4、2點7分，星期四自信息某事件發(fā)生所含有信息量稱為自信息，它是該事件發(fā)生的先驗概率的函數(shù)，即 I（xi）=fP（xi）P（xi）是事件xi發(fā)生的先驗概率； I（xi）表示事件xi發(fā)生所含有的信息量。 第11頁，共56頁，2022年，5月20日，12點7分，星期四 信源中某一狀態(tài)發(fā)生的先驗概率很小，但一旦發(fā)生，所獲得的信息量就多。 例如：一臺新機器，具有正常工作和發(fā)生事故兩種可能狀態(tài)。 正常工作概率為P（x1）=0.99， 發(fā)生故障概率為P（x2）=0.01。一旦發(fā)生故障，則是一件引人注目的事件。第12頁，共56頁，2022年，5月20日，12點7分，星期四I（xi）與P（xi）有以下關(guān)系： I（

5、xi）是P（xi）的單調(diào)遞減函數(shù)； 當P（xi）=1時，I（xi）=0，必然事件信息量為零； 當P（xi）=0時，I（xi）=，不可能發(fā)生的事件發(fā)生了，信息量為無窮大； 兩個獨立事件的聯(lián)合信息量，應等于它們各自信息量之和。第13頁，共56頁，2022年，5月20日，12點7分，星期四I（xi）與P（xi）關(guān)系用下圖表示：根據(jù)上述條件，I（xi）與P（xi）用下式表達： 第14頁，共56頁，2022年，5月20日，12點7分，星期四I（xi）代表兩種含義：A. 當事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；B. 當事件xi發(fā)生以前，表示事件xi所含有的信息量。信息量單位取決于所取對數(shù)之底：以2

6、為底，信息量單位為比特（bit），以e為底，信息量單位為奈特（nat），以10為底，信息量單位為哈特（Hart）。一般采用以2為底的對數(shù)，當P（xi）=1/2，I（xi）=1比特。第15頁，共56頁，2022年，5月20日，12點7分，星期四熵-新的世界觀地球是一個封閉系統(tǒng)，其能源、資源和容積有限，人類會的發(fā)展增長必然有一個極限。第16頁，共56頁，2022年，5月20日，12點7分，星期四熱力學定律熵的概念是從熱力學引導出來的。熱力學第0定律：溫度與熱平衡。1709年荷蘭G。D。Fahrenheit建立華氏溫標，1742年瑞典天文學家A。Celsius建立攝氏溫標，熱力學第一定律(能量守恒定

7、律)：能量是守恒的、不滅的，只能從一種形式轉(zhuǎn)變成另一種形式。從而否認了第一類“永動機”。物理學家焦耳經(jīng)30年的研究，于1848年提出。第17頁，共56頁，2022年，5月20日，12點7分，星期四熱力學定律熱力學第二定律（熵增加原理）：研究熱效率，否認了第二類“永動機”（即認為能量是取之不竭的）。1850年科學家克勞休斯/1851年科學家開爾芬提出。熱力學第三定律：絕對溫度0K不可達定理，即稱能斯脫定理。1906年科學家能斯脫提出。如果一個系統(tǒng)的溫度趨近于絕對溫度0K時，其熵趨于0，且不隨時間而變化，即有：實驗證明：是不能達到的，因此，上式也不可能實現(xiàn)。第18頁，共56頁，2022年，5月20

8、日，12點7分，星期四熵（Entropy）熵的定義：在一個熱力體系中，熱能的利用是與環(huán)境溫度有關(guān)的。蒸汽雖然有熱能，但如果周圍的環(huán)境溫度與蒸汽一樣，則蒸汽的熱能就無法利用。如果周圍溫度略為降低，則一部分蒸汽的熱能就可變?yōu)楣Γ杂幸徊糠植荒芾?。不論在任何熱力體系中，這種不能利用的熱能可以用熱能除以溫度所得的商來量度它，這個商就定義為熵。第19頁，共56頁，2022年，5月20日，12點7分，星期四熵的特性物理學家R.Clausius提出了熱熵的概念，它是熱系統(tǒng)的一個狀態(tài)函數(shù)，反映狀態(tài)的多樣性和不可期望性的程度。在熱力學中，“熵是能量轉(zhuǎn)變?yōu)橛杏霉Φ哪芰慷嗌俚牧慷取备鶕?jù)物理學原理，自然界具有三種

9、平衡：力學平衡熱平衡化學平衡一個系統(tǒng)愈接近平衡，則可用于作功的能量就愈少。因此，一個系統(tǒng)的熵愈大，不能作功的能量就愈多，能量的品質(zhì)就愈差。第20頁，共56頁，2022年，5月20日，12點7分，星期四熵的特性能量只能不可逆轉(zhuǎn)地沿著一個方向轉(zhuǎn)化，即從對人類來說是可利用的到不可利用的狀態(tài)，從有效的到無效的狀態(tài)轉(zhuǎn)化。用加爾文的話說：這種無效能量已從人們那里不可挽回地失去了，盡管它并沒有消滅。熵就是這種不能再被轉(zhuǎn)化作功的能量的總和，即熵是無效能量（無序狀態(tài)）的總和，熵的增加就意味著有效能量的減少。在一個封閉的系統(tǒng)里，所有能量是從有序狀態(tài)到無序狀態(tài)轉(zhuǎn)化，物質(zhì)的熵最終將達到最大值。當熵處于最小值時，能量集

10、中程度最高，有效能量最大，系統(tǒng)處于最有序狀態(tài)；反之，熵為最大時，有效能量完全耗盡，也就是混亂度最大的狀態(tài)。所以熱力學第二定律也稱之為熵定律。熵定律是自然界一切定律中的最高定律。第21頁，共56頁，2022年，5月20日，12點7分，星期四熱寂學說與大爆炸-地球的起源與毀滅熵定律不僅適于地球，也適于整個宇宙。這與赫爾姆霍茨的熱寂學說是一致的。他認為整個宇宙是一個密集能源的大爆炸開始的。當這個稠密能源向外膨脹時，它的膨脹速度逐漸減慢，從而形成了銀河系、恒星、行星和地球。能源也漸漸失去原來的次序，最后達到最大熵，即熱寂的最終熱平衡狀態(tài)，一切能量差別趨于零，所有能量已消耗一空，處于永恒的死寂。大爆炸學

11、說與熵定律是一致的。第22頁，共56頁，2022年，5月20日，12點7分，星期四熵與時間熵是時光之箭，熵定律與時間的概念也是一致的：熵不能減少，時間也不能倒流。時間推延的過程就是熵增加的過程，我們無法逆轉(zhuǎn)時間和熵的過程，熵定律展示了時間的方向。人們的意識與時間、生命和熵是緊密聯(lián)系的。宇宙達到熱寂的平衡狀態(tài)，任何事情也不會發(fā)生，時間也就不復存在了。第23頁，共56頁，2022年，5月20日，12點7分，星期四熵與生命有機體的生長都伴隨宇宙總熵的遞增?？茖W家們認識到收集信息和儲存知識都要花費能量，因此也是熵增加的過程。從本能、直覺、理智到抽象思維，人類思想都愈來愈復雜、集中、抽象。而且信息越多，

12、反而更加糊涂。心理學家稱之為“信息超載”。事實上能源和物資是一項資本，它不是人們生產(chǎn)出來的，而是地球所賦予的，是不可替代的有限資本。因此，世界非再生能源和物資的消耗正在使熵提高到一個危險的水平。第24頁，共56頁，2022年，5月20日，12點7分，星期四信息熵發(fā)展歷程信息論的創(chuàng)始人香農(nóng)（）1948年發(fā)表的“通信的數(shù)學理論”中提出信息論并提出信息熵(entropy)香農(nóng)熵和互信息（mutyal information）的概念，奠定了信息論基礎(chǔ)。具有劃時代意義。漢明（）提出：信息論-信道編碼構(gòu)造理論E.T.Jaynes 1957年提出最大熵原理S.K.Kullback 1959年提出并為等人19

13、80年發(fā)展的鑒別信息及最小鑒別信息(discrimination information)原理理論第25頁，共56頁，2022年，5月20日，12點7分，星期四信息熵發(fā)展歷程蘇聯(lián)學者A.N.Kolmogorov 1958年指出“熵”相等是動力系統(tǒng)同構(gòu)的必要條件，開辟了遍歷理論，即動力系統(tǒng)的熵及其在同構(gòu)中的應用。并提出熵，解決了連續(xù)變量下熵的定義問題。1965年提出信息量度定義的三種方法：概率法，組合法，計算法1968年提出算法信息理論Renyi 1961年提出熵概念J.Havrda 1967年提出熵概念S.Arimoto 1971年提出熵概念S.Guiasu 1977年提出加權(quán)熵概念C.Fer

14、reri 1980年提出次熵E.T.Jaynes 1957年提出的最大熵原理是信號處理的一個重要方法。最大熵譜估計標志著熵已開始取代其它信號處理方法。20世紀80年代又提出交叉熵的概念，用于信號處理。第26頁，共56頁，2022年，5月20日，12點7分，星期四信息熵發(fā)展歷程信息量度已系統(tǒng)地發(fā)展成為信息處理的一種準則，并在信息技術(shù)領(lǐng)域逐步取代功率的最小均方誤差準則。信息論已成為信號與信息處理的基本理論。信息論已廣泛應用于各科學領(lǐng)域，測試領(lǐng)域也不例外。第27頁，共56頁，2022年，5月20日，12點7分，星期四信息熵的計算 Shannon定義自信息的數(shù)學期望為信息熵，即信源的平均信息量第28頁

15、，共56頁，2022年，5月20日，12點7分，星期四熵的單位是bit/事件。不同信源，其統(tǒng)計特性不同，熵也不同。 第29頁，共56頁，2022年，5月20日，12點7分，星期四信息熵分別為： 第30頁，共56頁，2022年，5月20日，12點7分，星期四信息熵的特性（性質(zhì)）： 對稱性當概率空間P（x1），P（x2）順序任意互換時，熵函數(shù)值不變。 確定性如果信源的輸出只有一個狀態(tài)是必然的，即P（x1）=1，P（x2）= P（x3）=0，則信源的熵 非負性即 H（X）0因為：0 P（xi）1，所取對數(shù)的底大于1，log P（xi）0，即熵為正值。第31頁，共56頁，2022年，5月20日，12點

16、7分，星期四 可加性統(tǒng)計獨立信號源X和Y的聯(lián)合信號源的熵等于它們各自的熵之和。 極值性信號源各個狀態(tài)為等概率分部時，熵值最大，并等于信源輸出符號（狀態(tài)）數(shù)。即第32頁，共56頁，2022年，5月20日，12點7分，星期四第33頁，共56頁，2022年，5月20日，12點7分，星期四第34頁，共56頁，2022年，5月20日，12點7分，星期四連續(xù)信源及最大熵定理連續(xù)信源的數(shù)學模型為連續(xù)型的概率空間。P（x）是隨機變量x的概率密度函數(shù)。第35頁，共56頁，2022年，5月20日，12點7分，星期四連續(xù)信源的熵為：該熵又稱為相對熵或差熵。第36頁，共56頁，2022年，5月20日，12點7分，星期

17、四最大熵定理在連續(xù)信源中，當各約束條件不同時，信源的最大相對熵值不同。峰值功率受限條件下信源的最大熵 第37頁，共56頁，2022年，5月20日，12點7分，星期四概率密度 第38頁，共56頁，2022年，5月20日，12點7分，星期四平均功率受限條件下信源的最大熵 若一個信源輸出的平均功率有限，則其輸出信號的概率密度分布是高斯分布時，信源有最大熵。一維隨機變量x的概率密度分布為：第39頁，共56頁，2022年，5月20日，12點7分，星期四M是x的均值，2是x的方差。該連續(xù)信源的熵正態(tài)分布的連續(xù)信源的熵與數(shù)學期望m無關(guān)，只與方差2有關(guān)。第40頁，共56頁，2022年，5月20日，12點7分，

18、星期四N維： 式中： 第41頁，共56頁，2022年，5月20日，12點7分，星期四信息與熵的守恒定律熵描述了系統(tǒng)的不確定性程度，而信息則是消除了系統(tǒng)不確定性而得到的東西。一個體系的信息與熵的和保持恒定，并等于該體系在給定條件下所能達到的最多信息或最大熵。數(shù)學表達式為:第42頁，共56頁，2022年，5月20日，12點7分，星期四式中：I 對系統(tǒng)觀測后所獲得的信息；Hmax 系統(tǒng)的原始熵；H 觀測以后系統(tǒng)仍具有不確定性所具有的熵。第43頁，共56頁，2022年，5月20日，12點7分，星期四測量信息論原理測量的目的是為了獲得被測對象的信息，確定被測量的量值。因此，測量系統(tǒng)也就是一個信息系統(tǒng)。從

19、信息的角度來看，測量系統(tǒng)的作用是傳輸信息，以消除觀察者對被測量的不確定性；第44頁，共56頁，2022年，5月20日，12點7分，星期四關(guān)于測量誤差的分析與處理，在前面我們是以概率論為基礎(chǔ)進行的。然而，信息的概念比概率更為基本，信息方法比傳統(tǒng)數(shù)理統(tǒng)計方法的應用更為廣泛。尤其在誤差概率估計、數(shù)據(jù)處理和參數(shù)估計等分析中，測量信息論具有更強的能力。第45頁，共56頁，2022年，5月20日，12點7分，星期四用測量信息論來處理測量誤差，主要研究以下問題：測量信息系統(tǒng)的模型；測量信息的量度；最大信息熵原理及其誤差概率估計；利用誤差熵來計算測量不確定度等。第46頁，共56頁，2022年，5月20日，12

20、點7分，星期四測試系統(tǒng)的基本模型系統(tǒng)的輸入是被測量A，輸出是經(jīng)測量系統(tǒng)所得的測量值X。第47頁，共56頁，2022年，5月20日，12點7分，星期四信息測量的過程信息測量的過程就是將被測信息從無限多個物理復雜過程的集合中分離出來的過程。因此，必須去除多余信息：初始信息形成，全部物理信息；（物理連接）信息結(jié)構(gòu)綜合，濾除無關(guān)物理信息；（傳感器）信息語義綜合，提取有價值的信息，實現(xiàn)信息測量；（測量原理）信息統(tǒng)計綜合，利用信息隨機特性的計算，減少信息的隨機誤差；（信息熵）信息密度逐漸減少第48頁，共56頁，2022年，5月20日，12點7分，星期四條件熵由于被測量A是離散隨機變量，所以，測量值X也是隨

21、機變量：x1,x2,xn。由于任何一次測量都會有測量誤差，即測量的不確定性，因此，測量到一個測量值后，被測量值與測量值兩個隨機變量之間的不確定性，可用條件熵來表示：第49頁，共56頁，2022年，5月20日，12點7分，星期四條件熵表示兩個隨機變量之間的統(tǒng)計依賴關(guān)系，即H（A/X）表示已知X時，A的不確定性；H（X/A）表示已知A時，X的不確定性。第50頁，共56頁，2022年，5月20日，12點7分，星期四測量信息量測量信息量等于測量A的信息熵H（A）減去條件熵H（A/X），它等于從測量值X中提取的關(guān)于被測量A的信息量，故測量信息量可表示為：第51頁，共56頁，2022年，5月20日，12點7分，星期四如果沒有測量誤差，測量值就等于被測值，即P（a1/x1）