多傳感器信息融合Ch1(概念)(第1講)

1、1主講人：周華平23451.1 信息融合的起源與一般概念1. 起源v萌芽于第二次世界大戰(zhàn)中對飛機、輪船、潛艇和 V-1 導(dǎo)彈的導(dǎo)航制導(dǎo)，當(dāng)時叫做組合導(dǎo)彈制導(dǎo)v美國：70年代：多個連續(xù)的聲納信號潛艇位置檢測1985年：JDL（實驗室聯(lián)合理事會）下設(shè)的C3I委員會成立了信息融合專家組，統(tǒng)一信息融合概念，建立信息融合公共參考框架1988年：信息融合列為重點開發(fā)的20項關(guān)鍵技術(shù)之一，且為最優(yōu)先發(fā)展的A類61.1 信息融合的起源與一般概念開發(fā)了多個系統(tǒng)，用于目標(biāo)跟蹤識別、態(tài)勢評估與威脅估計：TCAC（軍用分析系統(tǒng)）、TOP（海軍戰(zhàn)爭狀態(tài)分析系統(tǒng)）、TRWDS（目標(biāo)獲取與武器輸送系統(tǒng)）、INCA（多平臺多

2、傳感器跟蹤信息相關(guān)處理系統(tǒng)）v國內(nèi)：1995年：由國防科工委組織召開了第一次信息融合研討會1997 年，國家自然科學(xué)基金把信息融合技術(shù)作為鼓勵研究領(lǐng)域重點推出目前：多源信息融合的研究已經(jīng)引起了國家有關(guān)部門的高度重視，并列入了 863 計劃71.1 信息融合的起源與一般概念v學(xué)術(shù)界： 1997年：在美國成立了國際信息融合學(xué)會(ISIF: International Society of Information Fusion) 各種學(xué)術(shù)會議和期刊：美國三軍數(shù)據(jù)融合年會、SPIE國際年會，IEEE Trans. on AES，IT(Information Theory)，AC，SMC(Systems

3、, Man and Cybernetics)，IP(Image Processing)，以及其它 IEEE 的相關(guān)會議和會刊中。目前國內(nèi)出版了一批信息融合方面的專著，有大量學(xué)術(shù)期刊刊登信息融合方面的研究成果，2007年自動化學(xué)報還將出版信息融合?？?。 89智能信息處理技術(shù)智能信息處理技術(shù)9數(shù)據(jù)融合的基本原理1、人模仿自身信息處理能力的過程； 特點： 1)自適應(yīng)性(信息的多樣性) 2)高智能化處理(各種解決手段) 3)先驗知識(先驗知識越豐富，綜合信息處理能力越強)10智能信息處理技術(shù)智能信息處理技術(shù)10 2、傳感器感測外部信息，數(shù)據(jù)融合系統(tǒng)模仿人信息處理能力； 特點： 利用多傳感器資源，把多傳

4、感器在空間或時間上可冗余或互補信息，依據(jù)某種準(zhǔn)則來進(jìn)行組合，獲得被測對象的一致性描述。11智能信息處理技術(shù)智能信息處理技術(shù)11數(shù)據(jù)融合系統(tǒng)研究的對象v研究對象：各類信息v表現(xiàn)形式：信號、波形、數(shù)據(jù)、文字或聲音等v信息獲?。焊黝悅鞲衅鳎ㄐ畔⒌亩鄻有裕┖蠖讼到y(tǒng)用后端系統(tǒng)用12智能信息處理技術(shù)智能信息處理技術(shù)12數(shù)據(jù)融合技術(shù)的出現(xiàn)前提 1）傳感器的性能提高；）傳感器的性能提高； 2）多傳感器信息系統(tǒng)出現(xiàn)；）多傳感器信息系統(tǒng)出現(xiàn)； 3）信息具有多樣性；）信息具有多樣性； 4）信息容量以及信息處理速度的要求超出）信息容量以及信息處理速度的要求超出了傳統(tǒng)信息處理方法的能力。了傳統(tǒng)信息處理方法的能力。 13

5、智能信息處理技術(shù)智能信息處理技術(shù)13 多傳感器數(shù)據(jù)融合系統(tǒng)特點v單傳感器信號處理或低層次的多傳感器數(shù)單傳感器信號處理或低層次的多傳感器數(shù)據(jù)處理不能有效地利用多傳感器資源；據(jù)處理不能有效地利用多傳感器資源；v多傳感器系統(tǒng)可以更大程度地獲得被探測多傳感器系統(tǒng)可以更大程度地獲得被探測目標(biāo)和環(huán)境的信息量；目標(biāo)和環(huán)境的信息量；v數(shù)據(jù)融合所處理的多傳感器信息具有更復(fù)數(shù)據(jù)融合所處理的多傳感器信息具有更復(fù)雜的形式，可在不同的信息層次上出現(xiàn)，雜的形式，可在不同的信息層次上出現(xiàn)，這些信息抽象層次包括數(shù)據(jù)層、特征層和這些信息抽象層次包括數(shù)據(jù)層、特征層和決策層。決策層。14智能信息處理技術(shù)智能信息處理技術(shù)14數(shù)據(jù)融合

6、系統(tǒng)的目的 多源信息的綜合分析、判斷、決策多源信息的綜合分析、判斷、決策 通過數(shù)據(jù)組合而不是出現(xiàn)在輸入信息中通過數(shù)據(jù)組合而不是出現(xiàn)在輸入信息中的任何個別元素，推導(dǎo)出更多的信息，得的任何個別元素，推導(dǎo)出更多的信息，得到最佳協(xié)同作用的結(jié)果；到最佳協(xié)同作用的結(jié)果； 利用多個傳感器共同或聯(lián)合操作的優(yōu)勢，利用多個傳感器共同或聯(lián)合操作的優(yōu)勢，提高傳感器系統(tǒng)的有效性，消除單個或少提高傳感器系統(tǒng)的有效性，消除單個或少量傳感器的局限性。量傳感器的局限性。15智能信息處理技術(shù)智能信息處理技術(shù)15數(shù)據(jù)融合系統(tǒng)的應(yīng)用特點 綜合利用來自多傳感器的信息，獲得對被測對象一致性的可靠了解和解釋，以利于系統(tǒng)作出正確的響應(yīng)、決策

7、和控制。 有助于改善系統(tǒng)的性能，使系統(tǒng)具有專家系統(tǒng)的特征。 降低對個別傳感器的依賴性。161718vINS全稱Inertial Navigation System，即慣性導(dǎo)航系統(tǒng) 1920212223v定義1從軍事應(yīng)用的角度：一個處理探測、互聯(lián)、相關(guān)、估計以及組合多源信息和數(shù)據(jù)多層次、多方面的過程，以便獲得準(zhǔn)確的狀態(tài)和身份估計、完整而及時的戰(zhàn)場態(tài)勢和威脅估計。v定義2 利用計算機技術(shù)對按時序獲得的若干傳感器的觀測信息在一定準(zhǔn)則下加以自動分析、綜合以完成所需的決策和估計任務(wù)而進(jìn)行的信息處理過程。v總結(jié)： a. 信息融合試圖組合來自多個傳感器的數(shù)據(jù)，以完成一個單一的傳感器獨自所不能進(jìn)行的推理； b

8、 對多源信息進(jìn)行綜合處理，從而得出更為準(zhǔn)確的結(jié)論。 2425定義三個要點：定義三個要點：（1）數(shù)據(jù)融合是多信源、多層次的處理過程，）數(shù)據(jù)融合是多信源、多層次的處理過程，每個層次代表信息的不同抽象程度；每個層次代表信息的不同抽象程度；（2）數(shù)據(jù)融合過程包括數(shù)據(jù)的檢測、關(guān)聯(lián)、估）數(shù)據(jù)融合過程包括數(shù)據(jù)的檢測、關(guān)聯(lián)、估計與合并；計與合并；（3）數(shù)據(jù)融合的輸出包括低層次上的狀態(tài)身份）數(shù)據(jù)融合的輸出包括低層次上的狀態(tài)身份估計和高層次上的總戰(zhàn)術(shù)態(tài)勢的評估。估計和高層次上的總戰(zhàn)術(shù)態(tài)勢的評估。 26多傳感器數(shù)據(jù)融合多傳感器數(shù)據(jù)融合包括：包括：多傳感器的目標(biāo)探測、數(shù)據(jù)關(guān)聯(lián)、跟蹤與識別、情況評估多傳感器的目標(biāo)探測、

9、數(shù)據(jù)關(guān)聯(lián)、跟蹤與識別、情況評估和預(yù)測。和預(yù)測?；灸康模夯灸康模和ㄟ^融合得到比單獨的各個輸入數(shù)據(jù)更多的信息。這通過融合得到比單獨的各個輸入數(shù)據(jù)更多的信息。這一點是協(xié)同作用的結(jié)果，即由于多傳感器的共同作用，使系統(tǒng)一點是協(xié)同作用的結(jié)果，即由于多傳感器的共同作用，使系統(tǒng)的有效性得以增強。的有效性得以增強。 多傳感器數(shù)據(jù)融合系統(tǒng)可更大程度獲取被探測目標(biāo)和環(huán)境的多傳感器數(shù)據(jù)融合系統(tǒng)可更大程度獲取被探測目標(biāo)和環(huán)境的信息量。單傳感器信號處理或低層次的數(shù)據(jù)處理方式只是對人信息量。單傳感器信號處理或低層次的數(shù)據(jù)處理方式只是對人腦信息處理的一種低水平模仿。腦信息處理的一種低水平模仿。實質(zhì)：實質(zhì)：一種多源信息的綜

10、合技術(shù)，通過對來自不同傳感器的數(shù)據(jù)一種多源信息的綜合技術(shù)，通過對來自不同傳感器的數(shù)據(jù)進(jìn)行分析和綜合，可以獲得被測對象及其性質(zhì)的最佳一致估計。進(jìn)行分析和綜合，可以獲得被測對象及其性質(zhì)的最佳一致估計。多傳感器數(shù)據(jù)融合：多傳感器數(shù)據(jù)融合：將經(jīng)過集成處理的多種傳感器信息進(jìn)行合成，將經(jīng)過集成處理的多種傳感器信息進(jìn)行合成，形成對外部環(huán)境某一特征的一種表達(dá)方式。形成對外部環(huán)境某一特征的一種表達(dá)方式。27數(shù)據(jù)融合的優(yōu)點v增加了系統(tǒng)的生存能力v擴展了空間覆蓋范圍v擴展了時間覆蓋范圍v提高了可信度v降低了信息的模糊度v改善了探測性能v提高了空間分辨率v增加了測量空間的維數(shù)2829303132信息融合層次的劃分主要

11、有兩種方法。信息融合層次的劃分主要有兩種方法。第一種方法是按照融合對象的層次不同，將信息第一種方法是按照融合對象的層次不同，將信息融合劃分為低層（數(shù)據(jù)級或像素級）、中層（特融合劃分為低層（數(shù)據(jù)級或像素級）、中層（特征級）和高層（決策級）。征級）和高層（決策級）。另一種方法將是將傳感器集成和數(shù)據(jù)融合劃分為另一種方法將是將傳感器集成和數(shù)據(jù)融合劃分為信號級、證據(jù)級和動態(tài)級。信號級、證據(jù)級和動態(tài)級。 p對傳感器的原始數(shù)據(jù)及預(yù)處理各階段上產(chǎn)生的信息分別進(jìn)行融合處對傳感器的原始數(shù)據(jù)及預(yù)處理各階段上產(chǎn)生的信息分別進(jìn)行融合處理。盡可能多地保持了原始信息，能夠提供其它兩個層次融合所不理。盡可能多地保持了原始信息

12、，能夠提供其它兩個層次融合所不具有的細(xì)微信息。具有的細(xì)微信息。p局限性：局限性：(1)由于所要處理的傳感器信息量大，故處理代價高；由于所要處理的傳感器信息量大，故處理代價高；(2)融合是在信息最低層進(jìn)行的，由于傳感器的原始數(shù)據(jù)的不確融合是在信息最低層進(jìn)行的，由于傳感器的原始數(shù)據(jù)的不確定性、不完全性和不穩(wěn)定性，要求在融合時有較高的糾錯能力；定性、不完全性和不穩(wěn)定性，要求在融合時有較高的糾錯能力；(3)由于要求各傳感器信息之間具有精確到一個像素的配準(zhǔn)精度，由于要求各傳感器信息之間具有精確到一個像素的配準(zhǔn)精度，故要求傳感器信息來自同質(zhì)傳感器；故要求傳感器信息來自同質(zhì)傳感器；(4)通信量大。通信量大。

13、監(jiān)監(jiān)測測對對象象傳感器傳感器1 1特征特征提取提取傳感器傳感器2 2傳感器傳感器N N數(shù)數(shù)據(jù)據(jù)融融合合識別識別決策決策 利用從各個傳感器原始數(shù)據(jù)中提取的特征信息，進(jìn)行綜合利用從各個傳感器原始數(shù)據(jù)中提取的特征信息，進(jìn)行綜合分析和處理的中間層次過程。分析和處理的中間層次過程。 通常所提取的特征信息應(yīng)是數(shù)據(jù)信息的充分表示量或統(tǒng)計通常所提取的特征信息應(yīng)是數(shù)據(jù)信息的充分表示量或統(tǒng)計量，據(jù)此對多傳感器信息進(jìn)行分類、匯集和綜合。量，據(jù)此對多傳感器信息進(jìn)行分類、匯集和綜合。 特征級融合分類：特征級融合分類：目標(biāo)狀態(tài)信息融合目標(biāo)狀態(tài)信息融合目標(biāo)特性融合。目標(biāo)特性融合。監(jiān)監(jiān)測測對對象象特特征征融融合合傳感器傳感器

14、1 1傳感器傳感器2 2傳感器傳感器N N識別識別決策決策特征提取特征提取特征提取特征提取特征提取特征提取目標(biāo)狀態(tài)信息融合目標(biāo)狀態(tài)信息融合主要應(yīng)用于多傳感器目標(biāo)跟蹤領(lǐng)域。融合系統(tǒng)首先對傳感器主要應(yīng)用于多傳感器目標(biāo)跟蹤領(lǐng)域。融合系統(tǒng)首先對傳感器數(shù)據(jù)進(jìn)行預(yù)處理以完成數(shù)據(jù)配準(zhǔn)。數(shù)據(jù)配準(zhǔn)后，融合處理主數(shù)據(jù)進(jìn)行預(yù)處理以完成數(shù)據(jù)配準(zhǔn)。數(shù)據(jù)配準(zhǔn)后，融合處理主要實現(xiàn)參數(shù)相關(guān)和狀態(tài)矢量估計。要實現(xiàn)參數(shù)相關(guān)和狀態(tài)矢量估計。目標(biāo)特性融合目標(biāo)特性融合特征層聯(lián)合識別，具體的融合方法仍是模式識別的相應(yīng)技術(shù)，特征層聯(lián)合識別，具體的融合方法仍是模式識別的相應(yīng)技術(shù)，只是在融合前必須先對特征進(jìn)行相關(guān)處理，對特征矢量進(jìn)行只是在融合

15、前必須先對特征進(jìn)行相關(guān)處理，對特征矢量進(jìn)行分類組合。在模式識別、圖像處理和計算機視覺等領(lǐng)域，已分類組合。在模式識別、圖像處理和計算機視覺等領(lǐng)域，已經(jīng)對特征提取和基于特征的分類問題進(jìn)行了深入的研究，有經(jīng)對特征提取和基于特征的分類問題進(jìn)行了深入的研究，有許多方法可以借用。許多方法可以借用。 在信息表示的最高層次上進(jìn)行的融合處理。不同類型的傳感器在信息表示的最高層次上進(jìn)行的融合處理。不同類型的傳感器觀測同一個目標(biāo)，每個傳感器在本地完成預(yù)處理、特征抽取、識別觀測同一個目標(biāo)，每個傳感器在本地完成預(yù)處理、特征抽取、識別或判斷，以建立對所觀察目標(biāo)的初步結(jié)論，然后通過相關(guān)處理、決或判斷，以建立對所觀察目標(biāo)的初

16、步結(jié)論，然后通過相關(guān)處理、決策級融合判決，最終獲得聯(lián)合推斷結(jié)果，從而直接為決策提供依據(jù)。策級融合判決，最終獲得聯(lián)合推斷結(jié)果，從而直接為決策提供依據(jù)。 因此，決策級融合是直接針對具體決策目標(biāo)，充分利用特征級因此，決策級融合是直接針對具體決策目標(biāo)，充分利用特征級融合所得出的目標(biāo)各類特征信息，并給出簡明而直觀的結(jié)果。融合所得出的目標(biāo)各類特征信息，并給出簡明而直觀的結(jié)果。決策級融合優(yōu)點：決策級融合優(yōu)點：實時性最好實時性最好在一個或幾個傳感器失效時仍能給出最終決策，因此具有良好的在一個或幾個傳感器失效時仍能給出最終決策，因此具有良好的容錯性。容錯性。監(jiān)監(jiān)測測對對象象決決策策融融合合傳感器傳感器1 1傳感

17、器傳感器2 2傳感器傳感器N N決策決策特征提取特征提取特征提取特征提取特征提取特征提取識別識別識別識別識別識別 首先將被測對象它們轉(zhuǎn)換為電信號，然后經(jīng)過首先將被測對象它們轉(zhuǎn)換為電信號，然后經(jīng)過AD變換將變換將它們轉(zhuǎn)換為數(shù)字量。數(shù)字化后電信號需經(jīng)過預(yù)處理，以濾除它們轉(zhuǎn)換為數(shù)字量。數(shù)字化后電信號需經(jīng)過預(yù)處理，以濾除數(shù)據(jù)采集過程中的干擾和噪聲。對經(jīng)處理后的有用信號作特數(shù)據(jù)采集過程中的干擾和噪聲。對經(jīng)處理后的有用信號作特征抽取，再進(jìn)行數(shù)據(jù)融合；或者直接對信號進(jìn)行數(shù)據(jù)融合。征抽取，再進(jìn)行數(shù)據(jù)融合；或者直接對信號進(jìn)行數(shù)據(jù)融合。最后，輸出融合的結(jié)果。最后，輸出融合的結(jié)果。42二、意義及應(yīng)用二、意義及應(yīng)用1

18、、在信息電子學(xué)領(lǐng)域、在信息電子學(xué)領(lǐng)域 v信息融合技術(shù)的實現(xiàn)和發(fā)展以信息電子學(xué)的原理、方法、技術(shù)為基礎(chǔ)。信息融合系統(tǒng)要采用多種傳感器收集各種信息，包括聲、光、電、運動、視覺、觸覺、力覺以及語言文字等。信息融合技術(shù)中的分布式信息處理結(jié)構(gòu)通過無線無線網(wǎng)絡(luò)網(wǎng)絡(luò)、有線網(wǎng)絡(luò)有線網(wǎng)絡(luò)，智能網(wǎng)絡(luò)智能網(wǎng)絡(luò)，寬帶智能綜合數(shù)寬帶智能綜合數(shù)字網(wǎng)絡(luò)字網(wǎng)絡(luò)等匯集信息，傳給融合中心進(jìn)行融合。43444546474849p三種結(jié)構(gòu)形式：串聯(lián)、并聯(lián)和混合融合形式。三種結(jié)構(gòu)形式：串聯(lián)、并聯(lián)和混合融合形式。1. 1. 加權(quán)平均加權(quán)平均 2. 2. 嵌入約束法：嵌入約束法：卡爾曼濾波、貝葉斯估計卡爾曼濾波、貝葉斯估計 3. 3. 多

19、貝葉斯方法多貝葉斯方法 4. 4. 統(tǒng)計決策理論統(tǒng)計決策理論 5. 5. 證據(jù)組合法：概率統(tǒng)計方法、證據(jù)組合法：概率統(tǒng)計方法、 Dempster-Shafer證據(jù)推理法證據(jù)推理法 6. 6. 模糊邏輯法模糊邏輯法 7. 7. 產(chǎn)生式規(guī)則法產(chǎn)生式規(guī)則法 8. 8. 神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法 a. a. 軍事應(yīng)用是信息融合的來源和主要應(yīng)用領(lǐng)域，主要包括多探軍事應(yīng)用是信息融合的來源和主要應(yīng)用領(lǐng)域，主要包括多探測器環(huán)境下目標(biāo)的檢測、定位、跟蹤與識別，以及在此基測器環(huán)境下目標(biāo)的檢測、定位、跟蹤與識別，以及在此基礎(chǔ)上的態(tài)勢評估與威脅估計技術(shù)，具體應(yīng)用如自動目標(biāo)識礎(chǔ)上的態(tài)勢評估與威脅估計技術(shù)，具體應(yīng)用如自動

20、目標(biāo)識別、自主車輛導(dǎo)航、遙感、戰(zhàn)場偵測、自動威脅識別等別、自主車輛導(dǎo)航、遙感、戰(zhàn)場偵測、自動威脅識別等p表表1 1 信息融合軍事應(yīng)用信息融合軍事應(yīng)用b. b. 民用領(lǐng)域民用領(lǐng)域p圖像融合：檢測、醫(yī)療診斷；遙感，環(huán)境與資源監(jiān)測圖像融合：檢測、醫(yī)療診斷；遙感，環(huán)境與資源監(jiān)測p智能機器人：對視頻圖像、聲音、電磁等進(jìn)行融合以實現(xiàn)智能機器人：對視頻圖像、聲音、電磁等進(jìn)行融合以實現(xiàn)高速、高精度控制以及推理判斷高速、高精度控制以及推理判斷ARPAARPA的自主式行走的的自主式行走的車輛，采用彩色車輛，采用彩色TVTV攝像機、激光測距儀和聲納傳感器等，攝像機、激光測距儀和聲納傳感器等，用信息融合的方法對多種傳

21、感器信息進(jìn)行并行處理與綜合；用信息融合的方法對多種傳感器信息進(jìn)行并行處理與綜合；外星探測車；外星探測車；p故障診斷：大型工業(yè)監(jiān)控應(yīng)用故障診斷：大型工業(yè)監(jiān)控應(yīng)用p智能交通系統(tǒng)：車輛導(dǎo)航、自動駕駛、自動規(guī)避防撞智能交通系統(tǒng)：車輛導(dǎo)航、自動駕駛、自動規(guī)避防撞55 1、在信息電子學(xué)領(lǐng)域、在信息電子學(xué)領(lǐng)域 除了自然(物理)信息外，信息融合技術(shù)還融合社會類信息，以語言文字為代表，涉及到大規(guī)模漢語資料庫、語言知識的獲取理論與方法、機器翻譯、自然語言解釋與處理技術(shù)等，信息融合采用分形分形、混沌混沌、模糊推理模糊推理、人工神經(jīng)網(wǎng)人工神經(jīng)網(wǎng)絡(luò)絡(luò)等數(shù)學(xué)和物理的理論及方法。它的發(fā)展方向是對非線性、復(fù)雜環(huán)境因素的不同性質(zhì)的信息進(jìn)行綜合、相關(guān)，從各個不同的角度去觀察、探測世界。562 2、在計算機科學(xué)領(lǐng)域、在計