多源信息融合理論與技術(shù)發(fā)展

多源信息融合理論與技術(shù)發(fā)展第1頁/共55頁目錄一、多源信息融合的一般概念與定義二、信息融合的社會需求三、信息融合系統(tǒng)的模型和結(jié)構(gòu)四、多源信息融合主要技術(shù)和方法五、發(fā)展起源、現(xiàn)狀與未來

第2頁/共55頁自然界異類多傳感信息融合演繹活動大腦記憶先驗知識規(guī)則推理能力眼睛耳朵舌頭鼻子手第3頁/共55頁自然界同類多傳感信息融合左目和右目的視覺傳感器分別獲取二維圖象信息，經(jīng)大腦融合后產(chǎn)生立體圖象信息左耳和右耳的聽覺傳感器分別獲取一維聲音信息，經(jīng)大腦融合后產(chǎn)生立體聲音信息大腦對圖象信息和聲音信息進一步融合后產(chǎn)生新的認知結(jié)果第4頁/共55頁自然界多傳感信息融合的本質(zhì)自然界中人和動物感知客觀對象，不是單純依靠一種感官，而是多個感官的綜合。人類的視覺、聽覺、觸覺、嗅覺和味覺，實際上是通過不同感官獲取客觀對象的不同信息，然后由大腦對這些信息進行交融，得到一種綜合的感知信息。這種把多個感官信息進行交融的過程就是多源信息融合。千古流傳的瞎子摸象的故事，就是因為缺少視覺信息，瞎子們的大腦對不完全信息進行融合的結(jié)果，難以避免地產(chǎn)生了對大象認知的偏差。第5頁/共55頁信息融合的定義一信息融合就是由多種信息源如傳感器、數(shù)據(jù)庫、知識庫和人類本身獲取有關(guān)信息，并進行濾波、相關(guān)、和集成，從而形成一個表示構(gòu)架，這種構(gòu)架適合于獲得有關(guān)決策，如對信息的解釋，達到系統(tǒng)目標（例如識別、跟蹤或態(tài)勢評估），傳感器管理和系統(tǒng)控制等。（W.A.Sander）第6頁/共55頁信息融合的定義二信息融合就是一個過程，處理由單個或多個信息源獲得的數(shù)據(jù)或信息，進行關(guān)聯(lián)、相關(guān)和組合，從而提高位置和特性估計的精度，以及完成對態(tài)勢和威脅及其重要性的適時評估。這種過程是根據(jù)對估計和評估的不斷精練，對增加信息源的評判，以及對過程本身的修正來表征的，從而達到改善結(jié)果的目的。第7頁/共55頁信息融合的定義三目前所研究的多傳感信息融合，主要是指利用計算機進行多源信息處理，從而得到可綜合利用信息的理論和方法，其中也包含對自然界人和動物大腦進行多傳感信息融合機理的探索。其關(guān)鍵問題，就是提出一種理論和方法，對具有相似或不同特征模式的多源信息進行處理，以獲得具有相關(guān)和集成特性的融合信息。研究的重點是特征識別和算法，這些算法導(dǎo)致多傳感信息的互補集成，改善不確定環(huán)境中的決策過程，解決把數(shù)據(jù)用于確定共用時間和空間框架的信息理論問題，同時用來解決模糊的和矛盾的問題。

第8頁/共55頁二、信息融合發(fā)展的社會需求

空中目標偵察與預(yù)警

智能交通與智能車輛目標識別與身份認證機器人圖像融合與圖像重構(gòu)智能傳感與智能控制第9頁/共55頁空中目標偵察與預(yù)警促進多傳感信息融合理論發(fā)展的主要動因之一是現(xiàn)代戰(zhàn)爭的迫切需要。由于現(xiàn)代武器系統(tǒng)具有機動性高、隱蔽性好、電子對抗性能強等特征，用于偵察和跟蹤敵方目標的預(yù)警系統(tǒng)必須采用雷達、紅外、視頻、音頻等多傳感檢測，同時聯(lián)絡(luò)各個檢測點的不同數(shù)據(jù)進行融合，著重研究的問題包括可靠準確的目標獲取、跟蹤、身份識別、智能處理、后勤計劃、維修計劃、指揮與控制等。尤其是針對敵方巡航導(dǎo)彈和飛機低空飛行的現(xiàn)代空中預(yù)警系統(tǒng)通常由雷達、通信、導(dǎo)航、指揮控制、敵我識別、數(shù)據(jù)處理和電子對抗等設(shè)備構(gòu)成，具有搜索、監(jiān)視、跟蹤和指揮攻擊等多種功能。采用信息融合技術(shù)，以達到精確目標獲取、識別和跟蹤的目的。第10頁/共55頁空中目標偵察與預(yù)警網(wǎng)絡(luò)聯(lián)系的現(xiàn)代戰(zhàn)場現(xiàn)代戰(zhàn)爭提供一切獲取信息的手段，包括雷達、紅外攝象機、光學(xué)攝象機、通信設(shè)施、計算機網(wǎng)絡(luò)等，并對所獲取的信息進行融合，以得到最佳可利用信息。手持式入網(wǎng)計算機是十分理想的工具。第11頁/共55頁空中目標偵察與預(yù)警全場景預(yù)警美國國防部的一份研究報告認為，按照現(xiàn)代戰(zhàn)爭的概念，必須在戰(zhàn)場上按正確時間向戰(zhàn)士提供正確信息，包括各種傳感信息和由之產(chǎn)生的融合信息。

實時圖象微觀氣象

移動目標集成信息物理模型動態(tài)數(shù)據(jù)庫微型傳感器無線通信下一代因特網(wǎng)第12頁/共55頁空中目標偵察與預(yù)警現(xiàn)代戰(zhàn)爭中的機敏傳感網(wǎng)絡(luò)適應(yīng)范圍:城市街巷,地鐵、下水道,困難的農(nóng)村地域,濃霧地區(qū),跟蹤慢目標和快目標,快速反應(yīng)第13頁/共55頁空中目標偵察與預(yù)警1-目標跟蹤雷達2-導(dǎo)彈導(dǎo)引雷達3-計算機4-導(dǎo)彈發(fā)射架

只有正確估計目標未來的運動軌跡，才有可能正確擊中目標；過去總是假定目標作勻速直線運動，這對于相對低機動的飛機等目標運動是正確的，但對于巡航導(dǎo)彈之類的高機動運動目標，這一假設(shè)將完全無效；

目標的運動方程一般太復(fù)雜（用上百個狀態(tài)變量的非線性微分方程描述），而目標的控制行為不確定，估計難度極大；雙方可能有對抗行為，相互規(guī)避；現(xiàn)代戰(zhàn)爭的群攻群防改變了戰(zhàn)場以往作戰(zhàn)的模式，使得多目標運動狀態(tài)估計成為新的問題。目標跟蹤第14頁/共55頁空中目標偵察與預(yù)警空中攔截是現(xiàn)代戰(zhàn)爭的又一特點，其關(guān)鍵技術(shù)是對敵方目標運動軌跡的精確估計，其次才是精確控制我方攻擊武器的運動過程，達到攔截的目的；

由于敵方目標運動的高速和高度機動性，空中攔截?zé)o異于“針尖對麥芒”；對于洲際導(dǎo)彈而言，對敵方目標的搜索、發(fā)現(xiàn)、識別和跟蹤具有更大的困難；電子對抗的強干擾，使得目標的發(fā)現(xiàn)和跟蹤變得更加復(fù)雜?？罩心繕藬r截第15頁/共55頁智能交通與智能車輛車輛自動導(dǎo)航促進信息融合理論發(fā)展的另一個重要因素是現(xiàn)代民用高科技發(fā)展的需求。繁忙復(fù)雜的現(xiàn)代城市交通和快速便捷的高速公路，以及未來將要出現(xiàn)的自動車輛系統(tǒng)（AVS），均要求建立智能交通系統(tǒng)（ATS）進行智能監(jiān)測和控制，同樣要求對車輛運行進行交通監(jiān)視和跟蹤，更需要多傳感信息融合。未來自動車輛系統(tǒng)異類傳感器包括視頻傳感器、激光掃描儀和雷達傳感器等，融合的目的在于把目標輸入到路徑規(guī)劃與制導(dǎo)系統(tǒng)中去。

第16頁/共55頁智能交通與智能車輛日本的車輛駕駛支持系統(tǒng)第17頁/共55頁智能交通與智能車輛智能交通系統(tǒng)中的多傳感第18頁/共55頁智能交通與智能車輛未來的智能交通系統(tǒng)第19頁/共55頁智能交通與智能車輛DEMOⅢ無人駕駛車輛的多傳感信息融合，傳感器包括：聲音傳感器立體攝像機彩色CCD攝像機背部攝像機激光雷達檢測雷達第20頁/共55頁智能交通與智能車輛自動車輛前激光掃描儀三光束激光掃描儀車輛制導(dǎo)系統(tǒng)的信息融合第21頁/共55頁智能交通與智能車輛碰撞報警與規(guī)避系統(tǒng)該系統(tǒng)的多傳感包括：計算機視覺聲納IR掃描儀多CPU網(wǎng)絡(luò)音頻與視頻監(jiān)測報警器節(jié)流變形與制動沖擊激光雷達與MMW雷達第22頁/共55頁目標識別與身份認證現(xiàn)代戰(zhàn)爭還要求空中偵察與預(yù)警系統(tǒng)能對敵方目標進行識別，以便有針對性進行攻防；而現(xiàn)代身份認證系統(tǒng)也要求能對人或物進行識別和辨認。這些都需要多傳感信息融合技術(shù)的支持。第23頁/共55頁

目標識別與身份認證譜圖音頻傳感地震傳感熱像傳感目標視頻傳感運動目標識別的多傳感信息融合第24頁/共55頁目標識別與身份認證面部認證聲音認證一般用戶界面超級用戶訪問界面身份認證的多源信息融合第25頁/共55頁目標識別與身份認證

利用面部識別(面部)、語音上下文無關(guān)(語音TI)和語音上下文相關(guān)(語音TD)的幾種信息源進行融合的結(jié)果比較融合模式錯誤接受率(%)錯誤拒絕率(%)面部7.767.25語音TI1.605.00語音TD0.01.48面部,語音TI1.180.0面部,語音TD1.180.0語音TI,語音TD0.380.5面部,語音TI,語音TD0.780.0身份認證融合結(jié)果比較第26頁/共55頁目標識別與身份認證音頻特征視頻特征

決策邏輯

決策邏輯

融合

決策邏輯

認證音頻模型視頻模型基于音頻和視頻信息融合的身份識別第27頁/共55頁機器人

機器人作為人類20世紀最偉大的發(fā)明之一，在短短的40年內(nèi)發(fā)生了日新月異的變化。機器人已經(jīng)不僅成為先進制造業(yè)不可缺少的自動化裝備，而且正以驚人的速度向海洋、航空、航天、軍事、農(nóng)業(yè)、服務(wù)、娛樂等各個領(lǐng)域滲透。信息融合是機器人的現(xiàn)代支撐技術(shù)之一，它為多傳感器的綜合利用提供了最有效的技術(shù)手段。

火星探測器上的機器人“漫游者”

第28頁/共55頁機器人軍用機器人戰(zhàn)車搬運和裝配工業(yè)機器人第29頁/共55頁機器人

智能機器人

智能移動機器人是高級機器人。智能移動機器人集人工智能、智能控制、信息處理、圖像處理、檢測與轉(zhuǎn)換、信息融合等技術(shù)為一體，跨計算機、自動控制、機械、電子等多學(xué)科，成為當(dāng)前機器人研究的熱點之一。智能移動機器人可分為室外和室內(nèi)兩種。室外智能移動機器人又稱自主陸地車輛或無人駕駛車輛。多傳感信息融合是智能移動機器人的關(guān)鍵技術(shù)之一。圖10.4.7AIBO寵物機器人焊接智能機器人寵物智能機器人第30頁/共55頁機器人智能機器人涉及控制工程、計算機、人工智能、傳感、新材料、仿生技術(shù)等多種學(xué)科，主要研究分支有擬人智能技術(shù)，未知環(huán)境信息獲取、理解和控制的新機制理論，復(fù)雜環(huán)境中的機器人自主工作新方法，人機接口，機器人的智能體系結(jié)構(gòu)、多傳感器機器人系統(tǒng)、裝配機器人、微操作機器人、微機器人，基于網(wǎng)絡(luò)的機器人遙操作系統(tǒng)等。智能機器人第31頁/共55頁機器人利用高速視覺反饋的抓取機器人第32頁/共55頁圖像融合與圖像重構(gòu)由原始圖像得到更多的圖像信息。圖像融合是遙感地理分布資源信息提煉、戰(zhàn)場可視化、預(yù)警系統(tǒng)、醫(yī)學(xué)三維圖像重構(gòu)、機器人視覺等領(lǐng)域非常需要的先進技術(shù)，是一個很有發(fā)展前景的方向。圖像融合在機器視覺監(jiān)視系統(tǒng)中的應(yīng)用（a）可見光圖像（b）熱紅外圖像（c）融合圖像第33頁/共55頁圖像融合與圖像重構(gòu)Reference:S.B.SerpicoandF.Roli,“Classificationofmultisensorremote-sensingimagesbystructuredneuralnetworks”,IEEETrans.Geosci.RemoteSensing,vol.33,pp.562-578,May1995.使用和不使用多傳感信息融合得到的分類結(jié)果比較光學(xué)數(shù)據(jù)集

(ATM傳感器)SAR數(shù)據(jù)集傳感器 總精度（%） SAR 74.0 ATM 80.0 SAR+ATM 89.8 圖像融合例1第34頁/共55頁圖像融合與圖像重構(gòu)SAR圖像(1994年4月)光學(xué)與SAR圖像

(1994年5月)使用和不使用多時段信息融合得到的分類平均精度比較[%]Reference:L.Bruzzone,D.F.PrietoandS.B.Serpico,“Aneural-statisticalapproachtomultitemporalandmultisourceremote-sensingimageclassification”,IEEETrans.Geosci.RemoteSensing,vol.37,pp.1350-1359,May1999.

有融合無融合 4月圖像 75.1692.16 5月圖像 89.5889.43 圖像融合例2第35頁/共55頁

食道壁超聲成象信息融合，即利用超聲傳感形成二維圖象，然后利用融合技術(shù)使之進行三維重構(gòu)食道圖象，為醫(yī)療診斷和治療提供了重要技術(shù)手段圖像融合與圖像重構(gòu)

三維重構(gòu)食道圖象

(a)健康切片(b)切片輪廓線

(a)非健康切片(b)切片輪廓線融合融合

系統(tǒng)結(jié)構(gòu)圖信息獲取并進行融合醫(yī)學(xué)圖像重構(gòu)第36頁/共55頁三、信息融合系統(tǒng)的模型和結(jié)構(gòu)

融合系統(tǒng)模式推斷技術(shù)的遞階結(jié)構(gòu)融合系統(tǒng)的分類集中式融合系統(tǒng)結(jié)構(gòu)自主式融合系統(tǒng)結(jié)構(gòu)混合式融合系統(tǒng)結(jié)構(gòu)第37頁/共55頁源信息預(yù)處理信息源局部信息分布信息國家信息INTEL

EW

SONAR

RADAR...

DATABASES第一級處理

目標識別

態(tài)勢評估

沖突評價

過程優(yōu)化

人機接口

信息融合模式

數(shù)據(jù)庫管理系統(tǒng)支持數(shù)據(jù)庫用戶融合系統(tǒng)模式融合數(shù)據(jù)庫第二級處理第三級處理第四級處理第38頁/共55頁推斷技術(shù)的遞階結(jié)構(gòu)推斷類型應(yīng)用技術(shù)-威脅分析-態(tài)勢評估-實體的行為與關(guān)系-一個實體的身份,特征與位置-一個實體的存在與可量測特征高低-基于知識的技術(shù)

-決策層次的技術(shù)-估計技術(shù)-信號處理技術(shù)專家系統(tǒng)

-腳本,框架,模版基于案例的推理一般算法-等.-神經(jīng)網(wǎng)絡(luò)

-集群算法-模糊邏輯-Bayes網(wǎng)絡(luò)-后驗概率最大化(如Kalman濾波,Bayes方法),-證據(jù)推理推斷層次第39頁/共55頁融合系統(tǒng)的分類

數(shù)據(jù)（像素）級融合

特征級融合

決策級融合

以身份識別系統(tǒng)為例，說明不同類別的融合系統(tǒng)。第40頁/共55頁集中式融合系統(tǒng)結(jié)構(gòu)

在集中式系統(tǒng)結(jié)構(gòu)中，各個傳感器錄取的檢測報告直接被送到融合中心，在那里進行數(shù)據(jù)對準，點跡相關(guān)，數(shù)據(jù)關(guān)聯(lián)，航跡濾波、預(yù)測與綜合跟蹤。第41頁/共55頁分布式融合系統(tǒng)結(jié)構(gòu)

分布式結(jié)構(gòu)中每個傳感器先進行數(shù)據(jù)處理產(chǎn)生局部航跡，然后把處理后的信息送至融合中心完成航跡關(guān)聯(lián)和融合，形成全局估計。第42頁/共55頁混合式融合系統(tǒng)結(jié)構(gòu)

混合式同時傳輸探測報告和經(jīng)過局部節(jié)點處理后的航跡信息，它保留了上述兩類系統(tǒng)的優(yōu)點。第43頁/共55頁四、多源信息融合主要技術(shù)和方法信息融合的研究范圍信息融合的主要方法多源信息融合的主要理論基礎(chǔ)第44頁/共55頁信息融合的研究范圍感知與感覺：把多個感官信息進行交融的過程。決策：包括特征識別和算法，導(dǎo)致多源信息的互補集成，改善不確定環(huán)境中的決策過程。邏輯與推理：歸納是一個典型的多源信息融合過程。學(xué)習(xí)：由多個數(shù)據(jù)或案例中提取模型、模式或關(guān)系等，能夠用于模式識別、數(shù)據(jù)挖掘、知識發(fā)現(xiàn)等方面。統(tǒng)計：統(tǒng)計學(xué)的精髓在于為了某種目的進行數(shù)據(jù)約簡。信號與圖像處理：利用多源數(shù)據(jù)進行信號的檢測與估計，包括圖像重構(gòu)。分布式網(wǎng)絡(luò)：網(wǎng)絡(luò)中不同層次的融合中心就是對來自網(wǎng)絡(luò)各個結(jié)點的信息進行融合。多傳感器系統(tǒng)：利用多種傳感器采集各種信息，包括同類信息和異類信息，并利用計算機對多傳感信息進行有效處理，以達到某種目的。第45頁/共55頁信息融合的主要方法信號處理與估計理論方法：包括小波變換技術(shù)、加權(quán)平均、最小二乘、Kalman濾波等線性估計技術(shù)，以及擴展Kalman濾波，Gauss和濾波等非線性估計技術(shù)等。近年來主要研究UKF濾波，粒子濾波，以及期望極大化（EM）算法等。統(tǒng)計推斷方法：包括經(jīng)典推理、Bayes推理、證據(jù)推理，以及隨機集理論、支持向量機理論等。信息論方法：運用優(yōu)化信息度量的手段融合多源數(shù)據(jù)，從而獲得問題的有效解決。典型算法有熵方法、最小描述長度方法等。決策論方法：往往應(yīng)用于高級別的決策融合。人工智能方法：包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)、遺傳算法、基于規(guī)則的推理以及專家系統(tǒng)、邏輯模板法、品質(zhì)因數(shù)法等。幾何方法：通過充分探討環(huán)境以及傳感器模型的幾何屬性來達到多傳感信息融合的目的。第46頁/共55頁多源信息融合的主要理論基礎(chǔ)

信號處理與估計理論：包括不確定、不精確、含糊的數(shù)學(xué)分支，如概率論、模糊數(shù)學(xué)、隨機集理論、粗糙集理論等；統(tǒng)計學(xué)：包括統(tǒng)計推斷和決策理論等；各種邏輯、推理和證據(jù)理論：包括證據(jù)推理、條件事件代數(shù)、不確定性推理、可能性理論，以及近似推理等；認知科學(xué)與腦科學(xué)：包括認知理論與腦科學(xué)等；學(xué)習(xí)理論：包括統(tǒng)計學(xué)習(xí)和機器學(xué)習(xí)等；計算機科學(xué)：包括人工智能和數(shù)據(jù)庫等；工程：特別是機器人、信號與圖像處理、傳感器和網(wǎng)絡(luò)等；其它：如信息論、控制論與系統(tǒng)論、神經(jīng)元網(wǎng)絡(luò)等。第47頁/共55頁五、發(fā)展起源、現(xiàn)狀與未來發(fā)展起源現(xiàn)狀與未來關(guān)鍵的問題現(xiàn)有的統(tǒng)計推斷方法及其缺陷新的解決思路與發(fā)展概況第48頁/共55頁發(fā)展起源20世紀70年代，美國的研究機構(gòu)通過對多個獨立的連續(xù)聲納信號進行融合處理，自動檢測出敵方潛艇的位置。1985年，美國三軍組織—實驗室理事聯(lián)合會（JDL）下設(shè)的技術(shù)委員會成立了信息融合專家組（DFS），專門組織和指導(dǎo)相關(guān)技術(shù)的研究，為統(tǒng)一數(shù)據(jù)融合的定義、建立信息融合的公共參考框架做了大量卓有成效的工作。美國1988年起把信息融合列為重點研究和開發(fā)的20項關(guān)鍵技術(shù)之一，且列為最優(yōu)先發(fā)展的A類。1998年成立的國際信息融合學(xué)會（InternationalSocietyofInformationFusion，ISIF），總部設(shè)在美國，每年都舉辦一次信息融合國際學(xué)術(shù)大會，系統(tǒng)總結(jié)該領(lǐng)域的階段性研究成果以及介紹該領(lǐng)域最新的進展。20世紀80年代末，國內(nèi)才開始出現(xiàn)有關(guān)多傳感信息融合技術(shù)的研究報道。在政府、軍方，以及基金機構(gòu)的資助下，許多高校和科研院所開始著手從事這一領(lǐng)域的研究工作第49頁/共55頁現(xiàn)狀與未來我國出現(xiàn)了一批專著和譯著，如敬忠良的《神經(jīng)網(wǎng)絡(luò)技術(shù)與應(yīng)用》、