物聯網導論-ppt第9章

第九章

物聯網數據融合及管理魏旻

第9章物聯網數據融合及管理

數據融合與管理是支撐物聯網廣泛應用的關鍵技術之一，在物聯網技術體系中具有重要地位和作用。但鑒于物聯網感知節(jié)點能源有限、數據的時間敏感特性、網絡的動態(tài)特性等特點，物聯網數據融合技術將面臨更多挑戰(zhàn)。教學要求知識要點能力要求數據融合的基本概念(1)了解數據融合的發(fā)展(2)理解數據融合的定義(3)了解數據融合的特點數據融合的基本原理(1)理解數據融合的體系結構(2)了解數據融合技術的主要方法(3)了解數據融合模型物聯網的數據融合(1)了解物聯網數據融合的作用(2)理解傳感網數據融合的基本原理(3)了解基于信息抽象層次的物聯網數據融合模型物聯網數據管理(1)了解物聯網數據管理的特點(2)理解傳感網數據管理系統結構PPT素材下載：/sucai/9.1數據融合概述9.2數據融合的基本原理9.4物聯網數據管理技術9.3物聯網中的數據融合技術目錄9.1數據融合概述9.1.1數據融合的發(fā)展數據融合一詞最早出現在20世紀70年代，并于20世紀80年代發(fā)展成一項專門技術。它是人類模仿自身信息處理能力的結果，類似人類和其它動物對復雜問題的綜合處理。數據融合技術最早用于軍事，1973年美國研究機構就在國防部的資助下，開展了聲納信號解釋系統的研究。目前，工業(yè)控制、機器人、空中交通管制、海洋監(jiān)視和管理等領域也向著多傳感器數據融合方向發(fā)展。物聯網概念的提出，數據融合技術將成為其數據處理等相關技術開發(fā)所要關心的重要問題之一。物聯網數據融合概念是針對多傳感器系統而提出的。在多傳感器系統中，由于信息表現形式的多樣性、數據量的巨大性、數據關系的復雜性以及要求數據處理的實時性、準確性和可靠性都已大大超出了人腦的信息綜合處理能力，在這種情況下，多傳感器數據融合技術應運而生。9.1數據融合概述近40年來數據融合技術得到了巨大的發(fā)展，同時伴隨著電子技術、信號檢測與處理技術、計算機技術、網絡通信技術以及控制技術的飛速發(fā)展，數據融合已被應用在多個領域，在現代科學技術中的地位也日漸突出。通過信息融合技術可以擴展戰(zhàn)場感知的時間和空間的覆蓋范圍，變單源探測為網絡探測，對多源戰(zhàn)場感知信息進行目標以檢測、關聯/相關、組合，獲得精確的目標狀態(tài)和完整的目標屬性/身份估計，以及高層次的戰(zhàn)場態(tài)勢估計與威脅估計，從而實現未來戰(zhàn)爭中陸、海、空、天、電磁頻譜全維戰(zhàn)場感知。9.1數據融合概述軍事需求：隨著新型武器（精確制導、遠程打擊等）的出現→戰(zhàn)場范圍擴大（五維空間）→必須應用多傳感器系統：微波、毫米波、電視、紅外、激光、電子支援措施（ESM），以及電子情報技術→提供觀測數據→優(yōu)化綜合→實現：

TMD：戰(zhàn)區(qū)導彈防御系統（theatermissiledefensesystem）C4ISR實時發(fā)現目標獲取目標狀態(tài)估計識別目標屬性分析行為意圖態(tài)勢評估威脅分析提供火力控制、精確制導、電子對抗、作戰(zhàn)模式和輔助決策等作戰(zhàn)信息9.1數據融合概述9.1.2數據融合的定義數據融合被多領域頻繁應用、濫用，由于所研究內容的廣泛性和多樣性造成了統一定義較為困難！

首先美國國防部三軍實驗室理事聯席會(JDL)的對信息融合技術的定義為：信息融合是一個對從單個和多個信息源獲取的數據和信息進行關聯、相關和綜合，以獲得精確的位置和身份估計，以及對態(tài)勢和威脅及其重要程度進行全面及時評估的信息處理過程。后來，JDL將該定義修正為：信息融合是指對單個和多個傳感器的信息和數據進行多層次、多方面的處理，包括：自動檢測、關聯、相關、估計和組合。

當前，數據融合定義簡潔的表述為：數據融合是利用計算機技術對時序獲得的若干感知數據，在一定準則下加以分析、綜合，以完成所需決策和評估任務而進行的數據處理過程。9.1數據融合概述數據融合這一技術有3層含義:①數據的全空間，即數據包括確定的和模糊的、全空間的和子空間的、同步的和異步的、數字的和非數字的，它是復雜的多維多源的，覆蓋全頻段；②數據的融合不同于組合，組合指的是外部特性，融合指的是內部特性，它是系統動態(tài)過程中的一種數據綜合加工處理；

③數據的互補過程，數據表達方式的互補、結構上的互補、功能上的互補、不同層次的互補，是數據融合的核心，只有互補數據的融合才可以使系統發(fā)生質的飛躍。數據融合的實質是針對多維數據進行關聯或綜合分析，進而選取適當的融合模式和處理算法，用以提高數據的質量，為知識提取奠定基礎。因此，數據融合需要解決數據對準；數據相關；數據識別，即估計目標的類別和類型；感知數據的不確定性；不完整、不一致和虛假數據；數據庫；性能評估等技術問題。9.1數據融合概述

9.1.3數據融合的應用應用...軍事實時發(fā)現目標獲取目標狀態(tài)估計識別目標屬性作戰(zhàn)信息態(tài)勢評估提供火力控制、精確制導、電子對抗、作戰(zhàn)模式和輔助決策等作戰(zhàn)信息醫(yī)療機器人利用機器人完成工業(yè)監(jiān)控、水下作業(yè)、高壓作業(yè)等危險環(huán)境作業(yè)。對復雜的病情可通過多種傳感器信息，如X射線圖像、核磁共振等對人體的病變、異常進行識別，確定病人的病情PPT素材下載：/sucai/9.1數據融合概述9.2數據融合的基本原理9.4物聯網數據管理技術9.3物聯網中的數據融合技術目錄9.2數據融合的基本原理

9.2.1數據融合的體系結構

數據融合是一種多層次、多方位的處理過程，需要對多種來源數據進行檢測、相關和綜合以進行更精確的態(tài)勢評估。數據融合一般可以分為數據級融合、特征級融合和決策級融合等3個層次。數據融合數據級融合：在原始數據層上進行融合，優(yōu)點：保持了盡可能多的信息；缺點：信息量大、實時性差數據級融合：在中間層上進行融合，進行原始信息特征提出。優(yōu)點：有可觀的信息壓縮，有利于實時處理；缺點：信息不完整，可能導致結果不準確決策級融合：在高層次上進行融合，融合結果為決策作為依據。優(yōu)點：靈活性高、帶寬要求低、容錯性高、抗干擾能力強；判決精度低，誤判率升高9.2數據融合的基本原理

融合層次性能詳細比較比較的項目數據級特征級決策級信息量最大中等最小信息損失最小中等最大容錯性最差中等最好抗干擾性最差中等最好對傳感器依賴性最大中等最小融合方法最難中等最易預處理最小中等最大分類性質最好中等最差系統開放性最差中等最好9.2數據融合的基本原理數據融合的一般模型可分為四級，如圖所示。數據融合的一般模型一級處理相當于最低層次的數據級融合。它對來自于同等量級的傳感器原始數據直接進行融合，有了融合的傳感器數據之后就可以完成像單傳感器一樣的識別處理過程。9.2數據融合的基本原理二級處理相當于中間層次的特征級融合。它利用從傳感平臺的原始信息中提取的特征信息進行綜合分析和處理。二級處理可實現戰(zhàn)場信息的大幅壓縮，有利于實時處理，融合結果能最大限度地給出作戰(zhàn)決策分析所需的特征信息。三級處理相當于最高層次的決策級融合，通過關聯處理進行決策層融合判決，最終獲得聯合推斷結果。四級處理是利用獲得的聯合推斷結果進行反饋控制，或調整信息收集方法。只有在具有反饋環(huán)節(jié)的系統中才會用到四級處理。9.2數據融合的基本原理9.2.2數據融合技術的理論方法

數據融合的關鍵問題是模型設計和融合算法，數據融合模型主要包括功能模型、結構模型和數學模型。(1)信息融合的功能模型

最有權威性的是DFS(DataFusionSubanal，數據融合專家組)提出的功能模型。該模型把數據融合分為3級（圖見下一頁）:

第一級是單源或多源處理，主要是數字處理、跟蹤相關和關聯；

第二級是評估目標估計的集合，及根據它們彼此和背景的關系來評估整個情況；

第三級用一個系統的先驗目標集合來檢驗評估的情況。

9.2數據融合的基本原理圖9-2C3I技術委員會(TPC3)數據融合專家組提出的功能模型9.2數據融合的基本原理(2)信息融合的結構模型數據融合的結構模型有多種不同的分類方法，其中一種分類標準是根據傳感器數據在送入融合處理中心之前已經處理的程度來進行分類。在這種分類標準下，融合結構被分為傳感器級數據融合，中央級數據融合及混合式融合，還可以根據數據處理過程的分辨率來對融合結構進行分類。在這種情況下，融合結構為像素級、特征級和決策級融合。(3)多傳感器信息融合實現的數學模型信息融合的方法涉及多方面的理論和技術，如信號處理、估計理論、不確定性理論、模式識別、最優(yōu)化技術、模糊數學和神經網絡等方面。目前，這些方法大致分為兩類：隨機類方法和人工智能方法。

一是隨機類方法，包括卡爾曼濾波法、貝葉斯估計法、D-S證據推理等。二是人工智能類方法，包括小波變換、模糊邏輯、神經網絡等。不同的方法適用于不同的應用背景。神經網絡和人工智能等新概念、新技術在數據融合中將發(fā)揮越來越重要的作用。9.2數據融合的基本原理融合方法信息表示融合技術適用范圍加權平均原始讀數值中等低層數據融合卡爾曼濾波概率分布中等低層數據融合貝葉斯估計概率分布中等高層數據融合統計決策理論概率分布中等高層數據融合證據推理命題中等高層數據融合模糊理論命題中等高層數據融合神經元網絡神經元輸入中等低/高層生產式規(guī)則命題中等高層數據融合常用的數據融合方法比較9.2數據融合的基本原理9.2.3數據融合模型介紹數據融合模型為數據融合算法的組合、硬件架構的搭設、目標功能的明確、工作人員的分工提供了依據。(1)情報環(huán)模型這個模型將數據融合理解為情報處理過程，其中包括兩個部分：信息處理和信息融合。情報環(huán)中一種經典的模型UK情報環(huán):

UK情報環(huán)（1)采集階段：通過傳感器感知及專家系統提供先驗知識對信息進行采集；（2)整理階段：對收集上的信息和相應的情報報告進行關聯，接著進行數據的簡單合并、去冗余、壓縮并進行壓縮，為下一步融合做好準備；（3)評估階段：分析上個階段得到的信息將其傳到下個階段，同時指導釆集階段的工作；（4)分發(fā)階段：將融合后的數據信息分發(fā)給用戶（往往是決策者)，以便進行最后的決策或者對融合過程進行修正。9.2數據融合的基本原理(2)JDL模型這個模型是有美國國防部所成立的數據融合實驗室理事聯合會提出的，是美國軍方信息融合的標準。信息源：包括傳感器及相關數據（數據庫和先驗知識）源數據預處理：進行數據的預篩選和數據分配，以減輕融合中心的計算負擔，并為融合中心提供最重要的數據。JDL模型：主要由數據源、數據預處理、一級處理（目標評估）、二級處理（態(tài)勢估計)、三級處理（威脅估計）、四級處理（過程評估）、數據庫支持及人機接口等模塊組成。9.2數據融合的基本原理態(tài)勢評估：檢測當前的環(huán)境推斷出檢測目標與事件之間的關系，以判斷出檢測目標的意圖（ex：ATMS+D-S，意圖邏輯）目標評估：融合目標的位置、速度、身份等參數，以達到對這些參數的精確表達，主要包括數據配準、跟蹤和數據關聯、辨識（以航跡辨識為例）威脅估計：結合當前的態(tài)勢判斷敵方的威脅和敵我雙方的攻擊能力等。人機接口、數據庫：提供了人與系統的交互功能和物理上存儲支持功能?？傔^程評估：監(jiān)視系統的性能，辨別改善性能所需要的數據，進行傳感器資源的合理配置。PPT素材下載：/sucai/9.1數據融合概述9.2數據融合的基本原理9.4物聯網數據管理技術9.3物聯網中的數據融合技術目錄9.3物聯網中的數據融合技術

9.3.1物聯網數據融合的作用物聯網的數據特點：1．數據的多態(tài)性與異構性。無線傳感網節(jié)點、RFID標簽、M2M等設備的大量存在，使得物聯網的數據呈現出極大的多態(tài)性和異構性特征。物聯網中的數據有文本數據，也有圖像、音頻、視頻等多媒體數據，它們的數據結構不可能遵循統一模式。數據包括靜態(tài)數據，也有動態(tài)數據。2．數據的海量性。物聯網往往是由若干個無線識別的物體彼此連接和結合形成的動態(tài)網絡。海量信息的實時涌現，給數據的實時處理和后期管理帶來了新的挑戰(zhàn)。3．數據的時效性。無論是WSN還是RFID系統，物聯網的數據采集工作是隨時進行的，數據更新快，歷史數據因其海量性不可能長期保存，所以系統的反應速度或響應時間是系統可靠性和實用性的關鍵。因為上述特點，需要使用數據融合技術，將傳感器節(jié)點采集到的大量原始數據進行各種網內處理去除其中的冗余信息，降低數據沖突，減輕網絡擁擠，從而有效地節(jié)省了能源開銷，起到延長網絡壽命的作用。9.3物聯網中的數據融合技術

物聯網數據融合技術面臨更多挑戰(zhàn)節(jié)點能源有限網絡寬帶有限通信不可靠性多數據流同步數據實效特性物聯網數據融合需要研究解決以下3個關鍵問題：①

數據融合節(jié)點的選擇。

②

數據融合時機。③數據融合算法。無損數據融合有損數據融合9.3物聯網中的數據融合技術9.3.2傳感網數據融合的基本原理

多傳感器信息融合的重要問題：如何部署感知節(jié)點030201串行拓撲并行拓撲混合拓撲部署節(jié)點類型在這種結構中，感知節(jié)點檢測數據信息具有暫時性。即樹狀拓撲。在這種部署方式中，各種類型的感知節(jié)點同時工作。多傳感器信息融合的關鍵問題：模型設計功能模型從融合過程出發(fā)，描述數據融合包括哪些主要功能和數據庫，以及進行數據融合時系統各組成部分之間的相互作用過程。結構模型從數據融合的組成出發(fā)，說明數據融合系統的軟、硬件組成，相關數據流、系統與外部環(huán)境的人機界面。9.3物聯網中的數據融合技術多傳感器信息融合的功能模型一般包括：①在多層次上對多源信息進行處理，每個層次代表信息處理不同級別；②其過程含檢測、關聯、跟蹤、估計和綜合；

③和屬性估計其結果包括低層次上的狀態(tài)及高層次上的戰(zhàn)場態(tài)勢和威脅評估。

數據融合大部分是根據具體問題及其特定對象來建立自己的融合層次，而且數據融合層次的劃分目前還沒有統一標準。9.3物聯網中的數據融合技術數據融合示意圖無論如何劃分數據融合的層次，傳感網數據融合的基本原理大致相同。數據融合過程如下所示：1采集觀測目標數據2提取數據特征矢量3對特征矢量進行模式識別處理4數據關聯5利用融合算法進行融合9.3物聯網中的數據融合技術9.3.3基于信息抽象層次的數據融合模型基于信息抽象層次的數據融合模型可分為像素級融合、特征級融合、決策級融合等3個層次模型。1.像素級融合：在像素級（也稱數據層）融合方法中，直接融合來自同類傳感器的數據，然后是特征提取和來自融合數據的屬性判決。像素級融合9.3物聯網中的數據融合技術2.特征級融合：特征層屬性融合方法中每個傳感器觀測同一個目標，并且為來自每個傳感器的特征向量進行特征提取，然后融合這些特征向量，并基于聯合特征向量做出屬性判決。特征級融合3.決策級融合：決策層屬性融合方法中每個傳感器為了獲得一個獨立的屬性判決要完成一個變換，然后順序融合來自每個傳感器的屬性判決。決策級融合9.3物聯網中的數據融合技術9.3.4多傳感器融合算法數據融合技術涉及復雜的融合算法、實時圖像數據庫技術和高速、大吞吐量數據處理等支撐技術，數據融合算法是融合處理的基本內容。針對傳感網的具體應用，也有許多具有實用價值的數據融合技術與算法。傳感網數據融合路由算法

目前，國內在以數據為中心的路由協議以及融合函數、融合模型等方面取得了許多研究成果。比較典型的數據融合路由協議有：基于數據融合樹的路由協議、基于分簇的路由協議，以及基于節(jié)點鏈的路由協議。多傳感網數據融合算法

可以大致分為2類:1)