多傳感器數(shù)據(jù)融合1【業(yè)界相關(guān)】

1、參考資料,科學(xué)出版社：信息融合（2007） 電子工業(yè)出版社：多傳感器信息融合及其應(yīng)用（2010） 清華大學(xué)出版社：多源信息融合（第二版）（2010） 方崇智、蕭德云編著，過程辨識，清華大學(xué)出版社，北京，1988 相關(guān)論文 （Google Scholar,1,第一章 概述,2,多傳感器數(shù)據(jù)融合？一個例子,The sixth sense,Makes decisions about her or his immediate present and near future actions,自然界其他動物對客觀事物的認(rèn)知過程,數(shù)據(jù)融合能力不斷演化,多傳感器數(shù)據(jù)融合問題的引入,3,4,人與傳感器,人的感覺

2、器官與對應(yīng)的傳感器： 眼 耳 鼻 舌 皮膚,光敏傳感器 聲敏傳感器 氣敏傳感器 味覺傳感器 壓敏、熱敏、濕敏傳感器,4,定義 傳感器就是能感知外界信息并能按一定規(guī)律將這些信息轉(zhuǎn)換成可用信號的器件或裝置。如下圖所示,5,傳感器的組成,敏感器件的作用是感受被測物理量； 轉(zhuǎn)換元件是對信號進行轉(zhuǎn)換輸出。 輔助器件則是對輸出的電信號進行放大、阻抗匹配，以便于后續(xù)儀表接入,敏感元件,被測信息,轉(zhuǎn)換元件,信號調(diào)節(jié)電路,輔助電路,輸出信息,傳感器組成框圖,6,7,應(yīng)變式壓力傳感器,由半導(dǎo)體材料制成的物性性傳感器基本是敏感元件與轉(zhuǎn)換元件二合一。 直接能將被測量轉(zhuǎn)換為電量輸出。 壓電傳感器、光電池、熱敏電阻等,彈

3、性膜片,電阻應(yīng)變片,壓力,應(yīng)變,電阻變化量,敏感元件,轉(zhuǎn)換元件,7,傳感器的普遍性,8,傳感器的主要應(yīng)用,9,電子警察,10,膠片式“電子警察” 、數(shù)碼式“電子警察” 、視頻式“電子警察”；壓力或磁電傳感器，兩個脈沖信號，觸發(fā)拍照系統(tǒng)進行拍照,10,全自動洗衣機中的傳感器：衣物重量傳感器，衣質(zhì)傳感器，水溫傳感器，水質(zhì)傳感器，透光率光傳感器(洗凈度) 液位傳感器，電阻傳感器(衣物烘干檢測,11,鼠標(biāo):光電位移傳感器,攝象頭:CCD傳感器,PC機中的測試技術(shù)應(yīng)用,12,響尾蛇捕食： visual and infrared (IR) information,紅外制導(dǎo)武器(導(dǎo)彈的彈頭感知敵武器的紅外熱

4、源)： 噴氣機的發(fā)動機尾噴口，高速飛行時飛機的機頭與空氣劇烈摩擦產(chǎn)生的熱空氣團，海軍艦艇的煙囪和陸軍車輛的發(fā)動機,紅外線感知,視覺感知,多傳感器問題的引入,13,13.1 多傳感器數(shù)據(jù)融合概述,應(yīng)用簡例 多傳感器系統(tǒng)可以用于地球環(huán)境監(jiān)測。主要應(yīng)用于對地面的監(jiān)視、以便識別和監(jiān)視地貌、氣象模式、礦產(chǎn)資源，植物生長、環(huán)境條件和威脅情況(如原油泄漏、輻射泄漏等) 如右圖所示,圖源：D.L. Hall and J. Llinas, An introduction to multisensor data fusion,14,近幾十年，科學(xué)工程技術(shù)領(lǐng)域：目標(biāo)跟蹤例子(視頻監(jiān)控,Sensor fusion m

5、eans the combination of sensory data or data derived from sensory data, such that the resulting information is better than it would be if these sensors were used individually,多傳感器問題的引入,15,多傳感器問題的引入,非關(guān)聯(lián)測量項目 測量不同目標(biāo)或?qū)ν荒繕?biāo)的不同參數(shù)進行獨立測量,多傳感器 融合系統(tǒng),關(guān)聯(lián)的測量項目 利用多個傳感器對同一目標(biāo)的相同或不同項目進行測量，綜合測量結(jié)果用于分析目標(biāo)特性,16,當(dāng)檢測對象為多目標(biāo)

6、或快速機動目標(biāo)時，單一傳感器測量困難,復(fù)雜的電磁環(huán)境使檢測的目標(biāo)信號淹沒在大量噪聲及不相關(guān)信號與雜波中,當(dāng)單一傳感器失效或傳感器的可靠性有待提高時采用多傳感器系統(tǒng),多傳感器問題的引入,環(huán)境復(fù)雜,目標(biāo)復(fù)雜,可靠性,為什么要采用多個傳感器測量同一目標(biāo)參數(shù),17,數(shù)據(jù)融合的定義,數(shù)據(jù)融合技術(shù)，包括對各種信息源給出的有用信息的采集、傳輸、綜合(integration)、過濾、相關(guān)(data association)及合成(generation)，以便輔助人們進行態(tài)勢/環(huán)境判定、規(guī)劃、探測、驗證、診斷 數(shù)據(jù)融合(信息融合)的基本原理是：充分利用傳感器資源通過對各種傳感器及人工觀測信息的合理支配與使用將各

7、種傳感器在空間和時間上的互補與冗余信息，依據(jù)某種優(yōu)化準(zhǔn)則或算法組合，產(chǎn)生對觀測對象的一致性解釋和描述。其目標(biāo)是基于各傳感器檢測信息分解人工觀測信息通過對信息的優(yōu)化組合來導(dǎo)出更多的有效信息,18,多傳感器數(shù)據(jù)融合的定義,功能定義： 將來自多個傳感器和信息源的數(shù)據(jù)和信息加以聯(lián)合、相關(guān)、組合，以獲得對目標(biāo)精確的位置估計、身份估計、以及對戰(zhàn)場情況和威脅及其重要程度進行適時的完整評價。 該定義的重點： 該定義是軍事應(yīng)用方面的功能性定義； 多個傳感器對同一目標(biāo)進行測量； 重點是融合：聯(lián)合、相關(guān)、組合； 目的：狀態(tài)估計、身份估計、態(tài)勢估計、威脅估計,19,數(shù)據(jù)融合的定義,技術(shù)定義： 充分利用不同時間與空間的

8、多傳感器數(shù)據(jù)資源，采用計算機技術(shù)按時間序列獲得多傳感器的觀測數(shù)據(jù)，在一定準(zhǔn)則下進行分析、綜合、支配和使用。獲得對被測對象的一致性解釋與描述，進而實現(xiàn)相應(yīng)的決策和估計，使系統(tǒng)獲得比它各組成部分更為充分的信息。 該定義的重點： 方法：分析、綜合、支配、使用； 目的：一致性解釋與描述、更為充分的信息,20,數(shù)據(jù)融合技術(shù)的應(yīng)用（軍事應(yīng)用,軍事上，數(shù)據(jù)融合技術(shù)為先進的作戰(zhàn)管理系統(tǒng)提供了重要的數(shù)據(jù)處理技術(shù)基礎(chǔ)。數(shù)據(jù)融合在多信息源、多平臺和多用戶系統(tǒng)內(nèi)起著重要的處理和協(xié)調(diào)作用，保證了數(shù)據(jù)處理系統(tǒng)各單元與匯集中心間的連通性與及時通信，而且使原來由軍事操作人員和情報分析人員完成的許多功能均由數(shù)據(jù)處理系統(tǒng)快速、準(zhǔn)

9、確、有效地自動完成。 大量新的作戰(zhàn)技術(shù)的發(fā)展迫切需要數(shù)據(jù)融合技術(shù)的應(yīng)用和支持。如現(xiàn)代作戰(zhàn)原則強調(diào)縱深攻擊和遮斷能力，要求能描述目標(biāo)位置、運動及其企圖的信息，這已超過了使用的常規(guī)傳感器的性能水平。 不少數(shù)據(jù)融合技術(shù)的研究成果和實用系統(tǒng)已在1991年的海灣戰(zhàn)爭中得到實戰(zhàn)驗證,21,數(shù)據(jù)融合技術(shù)的應(yīng)用（民用,在自動化領(lǐng)域，自動化制造過程中的實時過程控制、傳感器控制元件、工作站以及機器人和操作裝置控制等均離不開數(shù)據(jù)融合技術(shù)的應(yīng)用。 故障診斷系統(tǒng)中使用多傳感器技術(shù)進行多種特征量的監(jiān)測(如振動、溫度、壓力、流量等)，并對這些傳感器的信息進行融合，以提高故障定位的準(zhǔn)確性和可靠性。 對于來自無源電子支援測量、

10、紅外、聲學(xué)、運動控測器、火與水探測器等各種信息源的數(shù)據(jù)融合，可以用于商店和家庭的防盜防火。軍事應(yīng)用領(lǐng)域開發(fā)的一些復(fù)雜的數(shù)據(jù)融合應(yīng)用同樣可以應(yīng)用于民用部門的城市規(guī)劃、資源管理、污染監(jiān)測和分析以及氣候、作物和地質(zhì)分析，以保證在不同機關(guān)和部門之間實現(xiàn)有效的信息共享 我國“八五”規(guī)劃亦已把數(shù)據(jù)融合技術(shù)列為發(fā)展計算機技術(shù)的關(guān)鍵技術(shù)之一,22,一些數(shù)據(jù)融合技術(shù)的應(yīng)用例子,1、軍用系統(tǒng): 航跡預(yù)測、導(dǎo)彈制導(dǎo)、無人機/車偵察與攻擊等 2、非軍事領(lǐng)域： 智能機器人、水下物體探測、收割機械的自動化、工業(yè)裝配線、信息高速公路系統(tǒng)、多媒體技術(shù)和虛擬現(xiàn)實技術(shù)、輔助醫(yī)療檢測和診斷等領(lǐng)域,23,1）移動機器人：多傳感器測量

11、自身位姿、速度、障礙物位置、地面變化等。通過分布式融合方式，提高系統(tǒng)可靠性和模塊化。 NASA火星車：火星表面建圖與導(dǎo)航，巖石監(jiān)測。5個激光雷達， 2 個CCD(Charge-coupled device)相機檢測巖石，加速度 計等組成,24,2）工業(yè)應(yīng)用： 基于神經(jīng)網(wǎng)絡(luò)的傳感器融合方案估計、預(yù)測和控制在線表面拋光； 刀具磨損檢測：融合聲音、振動和電機電流傳感器信息，將磨損數(shù)據(jù)分成無-低-中-高磨損，模糊邏輯規(guī)則+最小近鄰算法-決策 混凝土結(jié)構(gòu)的無損探傷：結(jié)合超聲波和沖擊回波測試 3）其他方面：身份驗證、燃氣輪機動力裝置、風(fēng)洞流量測量、礦產(chǎn)探測、軍事方面等,25,數(shù)據(jù)融合技術(shù)發(fā)展,位置估計和身

12、份識別,目前,海灣戰(zhàn)爭,20世紀(jì) 70年代,1973年美國聲納信息融合研究,現(xiàn)代化戰(zhàn)爭的警鐘,我國首次數(shù)據(jù)融合技術(shù)專題會議,26,在無人駕駛汽車上的應(yīng)用,27,WHO WILL MAKE AVs,Car manufacturers: GM(通用汽車公司) Ford VW-Audi Volvo Nissan Toyota Daimler AG(戴姆勒股份公司) Tesla SAIC Motors (Shanghai Auto. Ind. Corp.)上汽集團,28,驕陽書苑,WHO WILL MAKE AVs,Technological and Idea Innovators: Google A

13、mazon Uber Apple Alibaba/Baidu,29,驕陽書苑,WHO WILL MAKE AVs,Components manufacturers: Bosch 博世 Continental 德國大陸集團 Delphi 德爾菲法,30,驕陽書苑,WHO WILL MAKE AVs,Carnegie Mellon and Cadillac SRX (Pittsburgh, PA) SAIC and Alibaba (China) NASA and Nissan (CA) Ford/State Farm/University of Michigan,Partnerships,31,

14、驕陽書苑,Google driver-free cars,GOOGLE SELF-DRIVING CARS,32,HOW DOES IT WORK,Ultra-precise GPS fixes Scanner Google translate Lane departure warning Lane keep assist Blind spot detection,33,驕陽書苑,Autonomous Vehicles Defined,Vehicle that get from one point to another point without human interaction. Impl

15、ement a number of well placed sensors that detect different things such as other vehicles, people, traffic lights, and movement of other vehicles,34,驕陽書苑,The Technology of the Car,Anti-Lock Brakes Electronic Stability control Adaptive cruise control Lane-departure warning system Self parking Automat

16、ed guided vehicle systems Lidar-Systems(with google cars) or Cruise Automated Systems(Audi) Infrared cameras,35,驕陽書苑,Types of Algorithms,The combination of: 3-D imaging with multiple 1064 nm lasers. Edge-Detection Algorithm Motion-Detection algorithm Tracking algorithm,36,驕陽書苑,Singapore ASTAR,37,WHA

17、T IS AN AUTONOMOUS VEHICLE,Car that drives itself. Perceives the environment and moves where safe and desirable. “Robots.” No human supervision required. Everyone in AV is a passenger, or it can travel with no occupants at all. Goal: ubiquitous, safe and hacker proof,38,驕陽書苑,First Google AV (Prius,3

18、9,驕陽書苑,Latest Google AV,40,驕陽書苑,Mercedes AV,41,驕陽書苑,Mercedes AV,42,驕陽書苑,Toyota AV,43,驕陽書苑,Apples Prototype,44,驕陽書苑,Nissan,Conventional Nissan taxis above; Nissan and NASA are collaborating to develop a fleet of electric autonomous cabs,45,驕陽書苑,Dutch EZ-10 Autonomous Shuttle OF Ligier Group,2/9/15, “

19、Netherlands First to Operate a Self-Driving Shuttle in Public Traffic?,” ,46,驕陽書苑,Delphi / Audi SQ5,47,驕陽書苑,Tesla Model S,48,驕陽書苑,Tesla Model X,Interior Seats 7 Adults,49,驕陽書苑,HOW WILL AVs BE USED,Nissan/NASA developing fleet of electric autonomous cabs. Nissans “Taxi of Tomorrow” is planned to repl

20、ace NYCs traditional Ford Crown Victoria cabs. Nissans all-electric AV taxi is already on sale in Europe,Fleets/Taxis,50,驕陽書苑,Pros,Safety: 90% of 5.5 million crashes in U.S. caused by driver error. Auto crash deaths are 8th leading cause of death in the world. 1.2 million people per year world-wide;

21、 33,000 in U.S. equivalent of 5 Boeing jets crashing every week. Productivity/Personal Savings: 50 minutes per person per day = economic value of $100 billion to $1 trillion. Decline in Car Ownership: Cars now cost drivers 18% of annual income for an asset they use only 5% of the time,51,驕陽書苑,Pros (

22、cont.,Reduced Traffic Congestion 25% of congestion due to accidents averted by AVs. AVs will respond better to traffic conditions. Networked AVs communicate, eliminating need to anticipate actions of other cars. Environmental Benefits Goal is for AVs to be electric or hybrid. Cars account for 20% of

23、 all greenhouse gas emissions and 60% of petroleum use. Fuel efficiency will improve by 10% to 40,52,驕陽書苑,Pros (cont.,New trillion-dollar industry will provide countless opportunities for entrepreneurs to develop new technologies and services,53,驕陽書苑,Cons,Job loss in traditional industries: Trucking

24、 (3.5 million) Taxis Couriers Loss of Revenue to Municipal Budgets: From speeding or parking tickets Less need for law enforcement to monitor roadways and accidents Reduced use of public transportation Disruption to Current Land Use People may move to suburbs from cities since they can be productive

25、 during commute,54,驕陽書苑,多傳感器數(shù)據(jù)融合？一個例子,多傳感器數(shù)據(jù)融合研究現(xiàn)狀,自20世紀(jì)70年代末以來，MSDF受到了各國學(xué)術(shù)界、工業(yè)界和軍屆的廣泛關(guān)注，成為研究熱點 美國將MSDF技術(shù)列為90年代重點研發(fā)的二十項關(guān)鍵技術(shù)之一，A類，發(fā)展C4I系統(tǒng)，經(jīng)費投資數(shù)億美元 學(xué)術(shù)方面： 87年起，美三軍每年召開一次數(shù)據(jù)融合學(xué)術(shù)會議 ，出版SPIE專集 IEEE 94年首次舉辦智能系統(tǒng)多傳感器融合與集成會議MFI94，MFI96，MFI99，MFI01（德國） IEEE系統(tǒng)和控制論會議 IEEE航空航天與電子系統(tǒng)會議 IEEE自動控制會議 IEEE C3MIS會議,55,多傳感器數(shù)據(jù)融合？一個例子,多傳感器數(shù)據(jù)融合研究現(xiàn)狀,1998 在美國成立了國際信息融合學(xué)會ISIF，每年舉行一次學(xué)術(shù)會議 專著 LLINAS&HALL: multi-sensor data fusion HALL: mathematical techniques in multi-sensor data fusion 學(xué)術(shù)期刊 IEEE sensors journal IEEE system, man and cybernetics Information fusi