多傳感器數(shù)據(jù)融合1【業(yè)界相關(guān)】

1、參考資料,科學(xué)出版社：信息融合（2007） 電子工業(yè)出版社：多傳感器信息融合及其應(yīng)用（2010） 清華大學(xué)出版社：多源信息融合（第二版）（2010） 方崇智、蕭德云編著，過(guò)程辨識(shí)，清華大學(xué)出版社，北京，1988 相關(guān)論文 （Google Scholar,1,第一章 概述,2,多傳感器數(shù)據(jù)融合？一個(gè)例子,The sixth sense,Makes decisions about her or his immediate present and near future actions,自然界其他動(dòng)物對(duì)客觀事物的認(rèn)知過(guò)程,數(shù)據(jù)融合能力不斷演化,多傳感器數(shù)據(jù)融合問(wèn)題的引入,3,4,人與傳感器,人的感覺(jué)

2、器官與對(duì)應(yīng)的傳感器： 眼 耳 鼻 舌 皮膚,光敏傳感器 聲敏傳感器 氣敏傳感器 味覺(jué)傳感器 壓敏、熱敏、濕敏傳感器,4,定義 傳感器就是能感知外界信息并能按一定規(guī)律將這些信息轉(zhuǎn)換成可用信號(hào)的器件或裝置。如下圖所示,5,傳感器的組成,敏感器件的作用是感受被測(cè)物理量； 轉(zhuǎn)換元件是對(duì)信號(hào)進(jìn)行轉(zhuǎn)換輸出。 輔助器件則是對(duì)輸出的電信號(hào)進(jìn)行放大、阻抗匹配，以便于后續(xù)儀表接入,敏感元件,被測(cè)信息,轉(zhuǎn)換元件,信號(hào)調(diào)節(jié)電路,輔助電路,輸出信息,傳感器組成框圖,6,7,應(yīng)變式壓力傳感器,由半導(dǎo)體材料制成的物性性傳感器基本是敏感元件與轉(zhuǎn)換元件二合一。 直接能將被測(cè)量轉(zhuǎn)換為電量輸出。 壓電傳感器、光電池、熱敏電阻等,彈

3、性膜片,電阻應(yīng)變片,壓力,應(yīng)變,電阻變化量,敏感元件,轉(zhuǎn)換元件,7,傳感器的普遍性,8,傳感器的主要應(yīng)用,9,電子警察,10,膠片式“電子警察” 、數(shù)碼式“電子警察” 、視頻式“電子警察”；壓力或磁電傳感器，兩個(gè)脈沖信號(hào)，觸發(fā)拍照系統(tǒng)進(jìn)行拍照,10,全自動(dòng)洗衣機(jī)中的傳感器：衣物重量傳感器，衣質(zhì)傳感器，水溫傳感器，水質(zhì)傳感器，透光率光傳感器(洗凈度) 液位傳感器，電阻傳感器(衣物烘干檢測(cè),11,鼠標(biāo):光電位移傳感器,攝象頭:CCD傳感器,PC機(jī)中的測(cè)試技術(shù)應(yīng)用,12,響尾蛇捕食： visual and infrared (IR) information,紅外制導(dǎo)武器(導(dǎo)彈的彈頭感知敵武器的紅外熱

4、源)： 噴氣機(jī)的發(fā)動(dòng)機(jī)尾噴口，高速飛行時(shí)飛機(jī)的機(jī)頭與空氣劇烈摩擦產(chǎn)生的熱空氣團(tuán)，海軍艦艇的煙囪和陸軍車輛的發(fā)動(dòng)機(jī),紅外線感知,視覺(jué)感知,多傳感器問(wèn)題的引入,13,13.1 多傳感器數(shù)據(jù)融合概述,應(yīng)用簡(jiǎn)例 多傳感器系統(tǒng)可以用于地球環(huán)境監(jiān)測(cè)。主要應(yīng)用于對(duì)地面的監(jiān)視、以便識(shí)別和監(jiān)視地貌、氣象模式、礦產(chǎn)資源，植物生長(zhǎng)、環(huán)境條件和威脅情況(如原油泄漏、輻射泄漏等) 如右圖所示,圖源：D.L. Hall and J. Llinas, An introduction to multisensor data fusion,14,近幾十年，科學(xué)工程技術(shù)領(lǐng)域：目標(biāo)跟蹤例子(視頻監(jiān)控,Sensor fusion m

5、eans the combination of sensory data or data derived from sensory data, such that the resulting information is better than it would be if these sensors were used individually,多傳感器問(wèn)題的引入,15,多傳感器問(wèn)題的引入,非關(guān)聯(lián)測(cè)量項(xiàng)目 測(cè)量不同目標(biāo)或?qū)ν荒繕?biāo)的不同參數(shù)進(jìn)行獨(dú)立測(cè)量,多傳感器 融合系統(tǒng),關(guān)聯(lián)的測(cè)量項(xiàng)目 利用多個(gè)傳感器對(duì)同一目標(biāo)的相同或不同項(xiàng)目進(jìn)行測(cè)量，綜合測(cè)量結(jié)果用于分析目標(biāo)特性,16,當(dāng)檢測(cè)對(duì)象為多目標(biāo)

6、或快速機(jī)動(dòng)目標(biāo)時(shí)，單一傳感器測(cè)量困難,復(fù)雜的電磁環(huán)境使檢測(cè)的目標(biāo)信號(hào)淹沒(méi)在大量噪聲及不相關(guān)信號(hào)與雜波中,當(dāng)單一傳感器失效或傳感器的可靠性有待提高時(shí)采用多傳感器系統(tǒng),多傳感器問(wèn)題的引入,環(huán)境復(fù)雜,目標(biāo)復(fù)雜,可靠性,為什么要采用多個(gè)傳感器測(cè)量同一目標(biāo)參數(shù),17,數(shù)據(jù)融合的定義,數(shù)據(jù)融合技術(shù)，包括對(duì)各種信息源給出的有用信息的采集、傳輸、綜合(integration)、過(guò)濾、相關(guān)(data association)及合成(generation)，以便輔助人們進(jìn)行態(tài)勢(shì)/環(huán)境判定、規(guī)劃、探測(cè)、驗(yàn)證、診斷 數(shù)據(jù)融合(信息融合)的基本原理是：充分利用傳感器資源通過(guò)對(duì)各種傳感器及人工觀測(cè)信息的合理支配與使用將各

7、種傳感器在空間和時(shí)間上的互補(bǔ)與冗余信息，依據(jù)某種優(yōu)化準(zhǔn)則或算法組合，產(chǎn)生對(duì)觀測(cè)對(duì)象的一致性解釋和描述。其目標(biāo)是基于各傳感器檢測(cè)信息分解人工觀測(cè)信息通過(guò)對(duì)信息的優(yōu)化組合來(lái)導(dǎo)出更多的有效信息,18,多傳感器數(shù)據(jù)融合的定義,功能定義： 將來(lái)自多個(gè)傳感器和信息源的數(shù)據(jù)和信息加以聯(lián)合、相關(guān)、組合，以獲得對(duì)目標(biāo)精確的位置估計(jì)、身份估計(jì)、以及對(duì)戰(zhàn)場(chǎng)情況和威脅及其重要程度進(jìn)行適時(shí)的完整評(píng)價(jià)。 該定義的重點(diǎn)： 該定義是軍事應(yīng)用方面的功能性定義； 多個(gè)傳感器對(duì)同一目標(biāo)進(jìn)行測(cè)量； 重點(diǎn)是融合：聯(lián)合、相關(guān)、組合； 目的：狀態(tài)估計(jì)、身份估計(jì)、態(tài)勢(shì)估計(jì)、威脅估計(jì),19,數(shù)據(jù)融合的定義,技術(shù)定義： 充分利用不同時(shí)間與空間的

8、多傳感器數(shù)據(jù)資源，采用計(jì)算機(jī)技術(shù)按時(shí)間序列獲得多傳感器的觀測(cè)數(shù)據(jù)，在一定準(zhǔn)則下進(jìn)行分析、綜合、支配和使用。獲得對(duì)被測(cè)對(duì)象的一致性解釋與描述，進(jìn)而實(shí)現(xiàn)相應(yīng)的決策和估計(jì)，使系統(tǒng)獲得比它各組成部分更為充分的信息。 該定義的重點(diǎn)： 方法：分析、綜合、支配、使用； 目的：一致性解釋與描述、更為充分的信息,20,數(shù)據(jù)融合技術(shù)的應(yīng)用（軍事應(yīng)用,軍事上，數(shù)據(jù)融合技術(shù)為先進(jìn)的作戰(zhàn)管理系統(tǒng)提供了重要的數(shù)據(jù)處理技術(shù)基礎(chǔ)。數(shù)據(jù)融合在多信息源、多平臺(tái)和多用戶系統(tǒng)內(nèi)起著重要的處理和協(xié)調(diào)作用，保證了數(shù)據(jù)處理系統(tǒng)各單元與匯集中心間的連通性與及時(shí)通信，而且使原來(lái)由軍事操作人員和情報(bào)分析人員完成的許多功能均由數(shù)據(jù)處理系統(tǒng)快速、準(zhǔn)

9、確、有效地自動(dòng)完成。 大量新的作戰(zhàn)技術(shù)的發(fā)展迫切需要數(shù)據(jù)融合技術(shù)的應(yīng)用和支持。如現(xiàn)代作戰(zhàn)原則強(qiáng)調(diào)縱深攻擊和遮斷能力，要求能描述目標(biāo)位置、運(yùn)動(dòng)及其企圖的信息，這已超過(guò)了使用的常規(guī)傳感器的性能水平。 不少數(shù)據(jù)融合技術(shù)的研究成果和實(shí)用系統(tǒng)已在1991年的海灣戰(zhàn)爭(zhēng)中得到實(shí)戰(zhàn)驗(yàn)證,21,數(shù)據(jù)融合技術(shù)的應(yīng)用（民用,在自動(dòng)化領(lǐng)域，自動(dòng)化制造過(guò)程中的實(shí)時(shí)過(guò)程控制、傳感器控制元件、工作站以及機(jī)器人和操作裝置控制等均離不開(kāi)數(shù)據(jù)融合技術(shù)的應(yīng)用。 故障診斷系統(tǒng)中使用多傳感器技術(shù)進(jìn)行多種特征量的監(jiān)測(cè)(如振動(dòng)、溫度、壓力、流量等)，并對(duì)這些傳感器的信息進(jìn)行融合，以提高故障定位的準(zhǔn)確性和可靠性。 對(duì)于來(lái)自無(wú)源電子支援測(cè)量、

10、紅外、聲學(xué)、運(yùn)動(dòng)控測(cè)器、火與水探測(cè)器等各種信息源的數(shù)據(jù)融合，可以用于商店和家庭的防盜防火。軍事應(yīng)用領(lǐng)域開(kāi)發(fā)的一些復(fù)雜的數(shù)據(jù)融合應(yīng)用同樣可以應(yīng)用于民用部門的城市規(guī)劃、資源管理、污染監(jiān)測(cè)和分析以及氣候、作物和地質(zhì)分析，以保證在不同機(jī)關(guān)和部門之間實(shí)現(xiàn)有效的信息共享 我國(guó)“八五”規(guī)劃亦已把數(shù)據(jù)融合技術(shù)列為發(fā)展計(jì)算機(jī)技術(shù)的關(guān)鍵技術(shù)之一,22,一些數(shù)據(jù)融合技術(shù)的應(yīng)用例子,1、軍用系統(tǒng): 航跡預(yù)測(cè)、導(dǎo)彈制導(dǎo)、無(wú)人機(jī)/車偵察與攻擊等 2、非軍事領(lǐng)域： 智能機(jī)器人、水下物體探測(cè)、收割機(jī)械的自動(dòng)化、工業(yè)裝配線、信息高速公路系統(tǒng)、多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)、輔助醫(yī)療檢測(cè)和診斷等領(lǐng)域,23,1）移動(dòng)機(jī)器人：多傳感器測(cè)量

11、自身位姿、速度、障礙物位置、地面變化等。通過(guò)分布式融合方式，提高系統(tǒng)可靠性和模塊化。 NASA火星車：火星表面建圖與導(dǎo)航，巖石監(jiān)測(cè)。5個(gè)激光雷達(dá)， 2 個(gè)CCD(Charge-coupled device)相機(jī)檢測(cè)巖石，加速度 計(jì)等組成,24,2）工業(yè)應(yīng)用： 基于神經(jīng)網(wǎng)絡(luò)的傳感器融合方案估計(jì)、預(yù)測(cè)和控制在線表面拋光； 刀具磨損檢測(cè)：融合聲音、振動(dòng)和電機(jī)電流傳感器信息，將磨損數(shù)據(jù)分成無(wú)-低-中-高磨損，模糊邏輯規(guī)則+最小近鄰算法-決策 混凝土結(jié)構(gòu)的無(wú)損探傷：結(jié)合超聲波和沖擊回波測(cè)試 3）其他方面：身份驗(yàn)證、燃?xì)廨啓C(jī)動(dòng)力裝置、風(fēng)洞流量測(cè)量、礦產(chǎn)探測(cè)、軍事方面等,25,數(shù)據(jù)融合技術(shù)發(fā)展,位置估計(jì)和身

12、份識(shí)別,目前,海灣戰(zhàn)爭(zhēng),20世紀(jì) 70年代,1973年美國(guó)聲納信息融合研究,現(xiàn)代化戰(zhàn)爭(zhēng)的警鐘,我國(guó)首次數(shù)據(jù)融合技術(shù)專題會(huì)議,26,在無(wú)人駕駛汽車上的應(yīng)用,27,WHO WILL MAKE AVs,Car manufacturers: GM(通用汽車公司) Ford VW-Audi Volvo Nissan Toyota Daimler AG(戴姆勒股份公司) Tesla SAIC Motors (Shanghai Auto. Ind. Corp.)上汽集團(tuán),28,驕陽(yáng)書(shū)苑,WHO WILL MAKE AVs,Technological and Idea Innovators: Google A

13、mazon Uber Apple Alibaba/Baidu,29,驕陽(yáng)書(shū)苑,WHO WILL MAKE AVs,Components manufacturers: Bosch 博世 Continental 德國(guó)大陸集團(tuán) Delphi 德?tīng)柗品?30,驕陽(yáng)書(shū)苑,WHO WILL MAKE AVs,Carnegie Mellon and Cadillac SRX (Pittsburgh, PA) SAIC and Alibaba (China) NASA and Nissan (CA) Ford/State Farm/University of Michigan,Partnerships,31,

14、驕陽(yáng)書(shū)苑,Google driver-free cars,GOOGLE SELF-DRIVING CARS,32,HOW DOES IT WORK,Ultra-precise GPS fixes Scanner Google translate Lane departure warning Lane keep assist Blind spot detection,33,驕陽(yáng)書(shū)苑,Autonomous Vehicles Defined,Vehicle that get from one point to another point without human interaction. Impl

15、ement a number of well placed sensors that detect different things such as other vehicles, people, traffic lights, and movement of other vehicles,34,驕陽(yáng)書(shū)苑,The Technology of the Car,Anti-Lock Brakes Electronic Stability control Adaptive cruise control Lane-departure warning system Self parking Automat

16、ed guided vehicle systems Lidar-Systems(with google cars) or Cruise Automated Systems(Audi) Infrared cameras,35,驕陽(yáng)書(shū)苑,Types of Algorithms,The combination of: 3-D imaging with multiple 1064 nm lasers. Edge-Detection Algorithm Motion-Detection algorithm Tracking algorithm,36,驕陽(yáng)書(shū)苑,Singapore ASTAR,37,WHA

17、T IS AN AUTONOMOUS VEHICLE,Car that drives itself. Perceives the environment and moves where safe and desirable. “Robots.” No human supervision required. Everyone in AV is a passenger, or it can travel with no occupants at all. Goal: ubiquitous, safe and hacker proof,38,驕陽(yáng)書(shū)苑,First Google AV (Prius,3

18、9,驕陽(yáng)書(shū)苑,Latest Google AV,40,驕陽(yáng)書(shū)苑,Mercedes AV,41,驕陽(yáng)書(shū)苑,Mercedes AV,42,驕陽(yáng)書(shū)苑,Toyota AV,43,驕陽(yáng)書(shū)苑,Apples Prototype,44,驕陽(yáng)書(shū)苑,Nissan,Conventional Nissan taxis above; Nissan and NASA are collaborating to develop a fleet of electric autonomous cabs,45,驕陽(yáng)書(shū)苑,Dutch EZ-10 Autonomous Shuttle OF Ligier Group,2/9/15, “

19、Netherlands First to Operate a Self-Driving Shuttle in Public Traffic?,” ,46,驕陽(yáng)書(shū)苑,Delphi / Audi SQ5,47,驕陽(yáng)書(shū)苑,Tesla Model S,48,驕陽(yáng)書(shū)苑,Tesla Model X,Interior Seats 7 Adults,49,驕陽(yáng)書(shū)苑,HOW WILL AVs BE USED,Nissan/NASA developing fleet of electric autonomous cabs. Nissans “Taxi of Tomorrow” is planned to repl

20、ace NYCs traditional Ford Crown Victoria cabs. Nissans all-electric AV taxi is already on sale in Europe,Fleets/Taxis,50,驕陽(yáng)書(shū)苑,Pros,Safety: 90% of 5.5 million crashes in U.S. caused by driver error. Auto crash deaths are 8th leading cause of death in the world. 1.2 million people per year world-wide;

21、 33,000 in U.S. equivalent of 5 Boeing jets crashing every week. Productivity/Personal Savings: 50 minutes per person per day = economic value of $100 billion to $1 trillion. Decline in Car Ownership: Cars now cost drivers 18% of annual income for an asset they use only 5% of the time,51,驕陽(yáng)書(shū)苑,Pros (

22、cont.,Reduced Traffic Congestion 25% of congestion due to accidents averted by AVs. AVs will respond better to traffic conditions. Networked AVs communicate, eliminating need to anticipate actions of other cars. Environmental Benefits Goal is for AVs to be electric or hybrid. Cars account for 20% of

23、 all greenhouse gas emissions and 60% of petroleum use. Fuel efficiency will improve by 10% to 40,52,驕陽(yáng)書(shū)苑,Pros (cont.,New trillion-dollar industry will provide countless opportunities for entrepreneurs to develop new technologies and services,53,驕陽(yáng)書(shū)苑,Cons,Job loss in traditional industries: Trucking

24、 (3.5 million) Taxis Couriers Loss of Revenue to Municipal Budgets: From speeding or parking tickets Less need for law enforcement to monitor roadways and accidents Reduced use of public transportation Disruption to Current Land Use People may move to suburbs from cities since they can be productive

25、 during commute,54,驕陽(yáng)書(shū)苑,多傳感器數(shù)據(jù)融合？一個(gè)例子,多傳感器數(shù)據(jù)融合研究現(xiàn)狀,自20世紀(jì)70年代末以來(lái)，MSDF受到了各國(guó)學(xué)術(shù)界、工業(yè)界和軍屆的廣泛關(guān)注，成為研究熱點(diǎn) 美國(guó)將MSDF技術(shù)列為90年代重點(diǎn)研發(fā)的二十項(xiàng)關(guān)鍵技術(shù)之一，A類，發(fā)展C4I系統(tǒng)，經(jīng)費(fèi)投資數(shù)億美元 學(xué)術(shù)方面： 87年起，美三軍每年召開(kāi)一次數(shù)據(jù)融合學(xué)術(shù)會(huì)議 ，出版SPIE專集 IEEE 94年首次舉辦智能系統(tǒng)多傳感器融合與集成會(huì)議MFI94，MFI96，MFI99，MFI01（德國(guó)） IEEE系統(tǒng)和控制論會(huì)議 IEEE航空航天與電子系統(tǒng)會(huì)議 IEEE自動(dòng)控制會(huì)議 IEEE C3MIS會(huì)議,55,多傳感器數(shù)據(jù)融合？一個(gè)例子,多傳感器數(shù)據(jù)融合研究現(xiàn)狀,1998 在美國(guó)成立了國(guó)際信息融合學(xué)會(huì)ISIF，每年舉行一次學(xué)術(shù)會(huì)議 專著 LLINAS&HALL: multi-sensor data fusion HALL: mathematical techniques in multi-sensor data fusion 學(xué)術(shù)期刊 IEEE sensors journal IEEE system, man and cybernetics Information fusi