物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實踐（第2版）課件 第4章-感知數(shù)據(jù)特性與模型

物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實踐InternetofThings

BigDataprocessingTechnologyandPractice感知數(shù)據(jù)特性與模型感知數(shù)據(jù)的特性分析1感知數(shù)據(jù)的表示與組織2感知數(shù)據(jù)庫的定位3感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫4PARTONE1感知數(shù)據(jù)的特性分析師傅領(lǐng)進(jìn)門，學(xué)藝在自身。------中國諺語常用的感知數(shù)據(jù)類型感知數(shù)據(jù)是指通過傳感器和感知設(shè)備獲取到的一種原始數(shù)據(jù)。包括圖像、聲音、壓力、溫度、濕度等多種類型的數(shù)據(jù)。它可以用于實時監(jiān)測、環(huán)境監(jiān)測、行為識別、智能決策等。從應(yīng)用角度來說，感知數(shù)據(jù)可以概括性地分為以下七種類型：標(biāo)識數(shù)據(jù)狀態(tài)數(shù)據(jù)運行數(shù)據(jù)或者測量數(shù)據(jù)波形數(shù)據(jù)或者圖像數(shù)據(jù)位置數(shù)據(jù)指令數(shù)據(jù)反饋數(shù)據(jù)感知數(shù)據(jù)的主要特征基于對感知數(shù)據(jù)類型的分析，感知數(shù)據(jù)具有以下特征：時態(tài)屬性位置屬性序列屬性海量屬性實時屬性事件觸發(fā)感知數(shù)據(jù)的主要特征：時態(tài)屬性由于設(shè)備的狀態(tài)以及運行數(shù)據(jù)、傳感器感知的環(huán)境等都是時刻變化的，因此數(shù)據(jù)具有很強的時間屬性。時態(tài)屬性帶來數(shù)據(jù)的時態(tài)一致性要求，包括以下兩個方面：絕對一致性：存在于傳感器感知的環(huán)境狀態(tài)與其在系統(tǒng)的數(shù)據(jù)映像是否足夠一致；相對一致性：存在于推導(dǎo)計算其它數(shù)據(jù)的一組數(shù)據(jù)所反映的環(huán)境狀態(tài)是否足夠接近。觸發(fā)上圖給出了數(shù)據(jù)時態(tài)一致性的示例圖。圖中數(shù)據(jù)a與b是直接來自傳感器的映像數(shù)據(jù)，而c是由數(shù)據(jù)a與b推導(dǎo)而得來。感知數(shù)據(jù)的主要特征：實時屬性由于感知數(shù)據(jù)的時態(tài)屬性以及對外部環(huán)境或者設(shè)備狀態(tài)的及時反饋需求，導(dǎo)致這些數(shù)據(jù)的處理具有實時特性。實時屬性要求這些數(shù)據(jù)的處理滿足截止期需要，導(dǎo)致事務(wù)具有實時特性，按照截止期需求的不同，分為以下三種類型：硬實時固實時軟實時觸發(fā)感知數(shù)據(jù)的主要特征：事件觸發(fā)一些感知數(shù)據(jù)意味著環(huán)境或者設(shè)備的狀態(tài)變化，狀態(tài)的變化需要觸發(fā)必要的處理過程。這些狀態(tài)的變化一般定義為事件，對于一些異常事件定義為報警。事件分為外部觸發(fā)事件與自定義事件。報警屬于基于條件的事件，一般采用ECA規(guī)則來定義。常用的報警事件有：越限報警狀態(tài)報警變化率報警PARTTWO2感知數(shù)據(jù)的表示與組織物聯(lián)網(wǎng)數(shù)據(jù)模型物聯(lián)網(wǎng)中的每個傳感器屬于某個特定的場景、設(shè)備或者傳感器網(wǎng)絡(luò)以自動化工廠為例，工廠物聯(lián)網(wǎng)的數(shù)據(jù)模型可以參考OPC對象模型OPC數(shù)據(jù)模型物聯(lián)網(wǎng)數(shù)據(jù)模型模型的最上層是場景、設(shè)備或者傳感網(wǎng)；而模型的最下層是傳感器對象，一個傳感器對應(yīng)一個或者多個感知數(shù)據(jù)對象，Group是對傳感器對象從物理上或者邏輯上進(jìn)行組織。物聯(lián)網(wǎng)數(shù)據(jù)模型時態(tài)對象模型時態(tài)對象數(shù)據(jù)模型適用于實時感知數(shù)據(jù)，能夠表示復(fù)雜的數(shù)據(jù)類型和關(guān)系，以及數(shù)據(jù)的時間屬性和時間關(guān)系。每個對象可以有一個或多個時態(tài)屬性，每個屬性是按時間組織的二維表，代表傳感器的采集或計算數(shù)據(jù)點。這種數(shù)據(jù)模型能夠提高數(shù)據(jù)管理和處理效率。時態(tài)對象數(shù)據(jù)模型PARTTHREE3感知數(shù)據(jù)庫的定位感知數(shù)據(jù)庫的定位感知數(shù)據(jù)庫的功能定位包括：全面地采集并存儲管理規(guī)定區(qū)域內(nèi)的感知數(shù)據(jù)，構(gòu)造統(tǒng)一的基礎(chǔ)數(shù)據(jù)環(huán)境，一方面滿足本地實時計算的需求，另一方面為后端的大數(shù)據(jù)處理提供最有價值的數(shù)據(jù)資源。保證感知數(shù)據(jù)的時態(tài)一致性，控制數(shù)據(jù)質(zhì)量；數(shù)據(jù)質(zhì)量包括兩個方面：一是數(shù)據(jù)的時態(tài)一致性保證，一方面是數(shù)據(jù)本身的質(zhì)量，如傳感器誤差等。滿足本地事務(wù)的實時處理要求，通過實時事務(wù)調(diào)度處理技術(shù)滿足本地事務(wù)的執(zhí)行，結(jié)合流處理以及機(jī)器學(xué)習(xí)算法滿足狀態(tài)判定、態(tài)勢分析以及預(yù)測的需求。提供質(zhì)量保證的數(shù)據(jù)同步、數(shù)據(jù)遷移能力，感知數(shù)據(jù)庫向其他數(shù)據(jù)庫或者大數(shù)據(jù)中心提供高質(zhì)量的數(shù)據(jù)集是整個物聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)。感知數(shù)據(jù)庫的特征感知數(shù)據(jù)庫具有如下特征：感知能力：系統(tǒng)提供主動數(shù)據(jù)采集機(jī)制，能夠通過單個或者一組傳感器數(shù)據(jù)提供用戶所需數(shù)據(jù)的能力。數(shù)據(jù)的多元特性：類型多樣，支持時態(tài)、關(guān)系、位置、塊數(shù)據(jù)等。數(shù)據(jù)及事務(wù)的實時性：具有保證數(shù)據(jù)時態(tài)一致性的能力；從事務(wù)處理角度來講，具有按照事務(wù)的實時處理需求進(jìn)行事務(wù)調(diào)度以及并發(fā)控制的能力。內(nèi)置數(shù)據(jù)處理規(guī)則以及事件觸發(fā)機(jī)制。多級分布式部署：由于物聯(lián)網(wǎng)本身的廣域特性，使得感知數(shù)據(jù)庫系統(tǒng)必須隨需而變地進(jìn)行部署。數(shù)據(jù)的追溯性：系統(tǒng)能夠?qū)崿F(xiàn)對所有感知數(shù)據(jù)的存儲管理，并提供高效的檢索分析能力，系統(tǒng)實現(xiàn)上必須采用數(shù)據(jù)在線壓縮、基于時間的索引機(jī)制以及提供高效的數(shù)據(jù)查詢算法與挖掘分析方法等。PARTFOUR4感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別基于感知數(shù)據(jù)的特殊需求，感知數(shù)據(jù)庫系統(tǒng)與傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)在設(shè)計原則、管理對象以及數(shù)據(jù)存儲、典型操作等多個方面具有很大的區(qū)別。

關(guān)系數(shù)據(jù)庫系統(tǒng)感知數(shù)據(jù)庫系統(tǒng)設(shè)計原則數(shù)據(jù)的完整性、一致性，保證事務(wù)的ACID屬性數(shù)據(jù)的時態(tài)一致性，保證事務(wù)的實時性管理對象靜態(tài)存儲、隨機(jī)讀取連續(xù)有序、壓縮存儲特征或者時段查詢典型操作數(shù)據(jù)增刪改，關(guān)系數(shù)據(jù)查詢數(shù)據(jù)追加，禁止刪改，順序掃描、持續(xù)查詢數(shù)據(jù)存儲外存存儲、被動查詢主存處理、外存存儲、歷史摘要數(shù)據(jù)有效性持續(xù)有效瞬時有效，有時標(biāo)感知數(shù)據(jù)庫與實時數(shù)據(jù)庫系統(tǒng)傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)旨在處理永久性數(shù)據(jù)，其設(shè)計與開發(fā)主要強調(diào)數(shù)據(jù)的完整性、一致性，提高系統(tǒng)的平均吞吐量等總體性能指標(biāo)，很少考慮與數(shù)據(jù)及其處理相關(guān)聯(lián)的定時限制。實時數(shù)據(jù)庫同感知數(shù)據(jù)庫一樣從外部環(huán)境獲取數(shù)據(jù)，同時對數(shù)據(jù)或者事務(wù)的處理具有時間特性。感知數(shù)據(jù)庫系統(tǒng)與實時數(shù)據(jù)庫系統(tǒng)的區(qū)別：感知數(shù)據(jù)庫系統(tǒng)更加面向互聯(lián)網(wǎng)應(yīng)用體系，而在技術(shù)實現(xiàn)上是在實時數(shù)據(jù)庫基礎(chǔ)上，融合工廠數(shù)據(jù)庫系統(tǒng)以及流數(shù)據(jù)處理系統(tǒng)的延續(xù)發(fā)展。感知數(shù)據(jù)庫與工廠數(shù)據(jù)庫系統(tǒng)針對工業(yè)自動化的過程數(shù)據(jù)管理需求，工業(yè)實時數(shù)據(jù)庫主要提供工廠生產(chǎn)過程中的設(shè)備運行狀態(tài)以及相關(guān)數(shù)據(jù)的采集、以及存儲管理需求。目前，在工業(yè)領(lǐng)域廣泛提到的實時數(shù)據(jù)庫系統(tǒng)主要是面向工業(yè)過程監(jiān)控與管理需求的過程數(shù)據(jù)管理系統(tǒng)，如OSIsoftPI、GEFunuciHistorian以及中科啟信的ChinDB等。這些產(chǎn)品主要面向工業(yè)企業(yè)生產(chǎn)過程數(shù)據(jù)的管理，由于生產(chǎn)過程數(shù)據(jù)具有一定的時態(tài)屬性，因此這些產(chǎn)品也稱為工業(yè)實時數(shù)據(jù)庫。但是，從這些產(chǎn)品的技術(shù)特點來看，其重點是保存工廠底層自動化設(shè)備上不斷變化的過程數(shù)據(jù)，以便進(jìn)一步開發(fā)實現(xiàn)面向工廠管理與先進(jìn)控制的應(yīng)用系統(tǒng)，滿足工業(yè)企業(yè)的實時生產(chǎn)過程管理需求。因此，更貼切地說這些產(chǎn)品名稱為工廠歷史數(shù)據(jù)庫。感知數(shù)據(jù)庫系統(tǒng)需要具有工廠歷史數(shù)據(jù)庫數(shù)據(jù)管理能力，但是不局限于工廠應(yīng)用。感知數(shù)據(jù)庫與流數(shù)據(jù)處理系統(tǒng)流數(shù)據(jù)處理系統(tǒng)的需求來自下面兩個方面：持續(xù)自動產(chǎn)生大量的細(xì)節(jié)數(shù)據(jù)：銀行和股票交易、網(wǎng)絡(luò)流量監(jiān)控、傳感器網(wǎng)絡(luò)

要以近實時的方式對更新數(shù)據(jù)流進(jìn)行復(fù)雜分析：檢測互聯(lián)網(wǎng)上的極端事件、欺詐、入侵、異常等感知數(shù)據(jù)庫系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)的共同點如下：數(shù)據(jù)持續(xù)、聯(lián)機(jī)到達(dá)數(shù)據(jù)是無限的，數(shù)據(jù)規(guī)模大數(shù)據(jù)需要快速處理以便快速響應(yīng)兩者差異之處在于：對感知數(shù)據(jù)庫系統(tǒng)來說，數(shù)據(jù)的達(dá)到是可預(yù)測的，并且必要時可主動采集獲得歷史數(shù)據(jù)的價值與讀取次數(shù)需求：流數(shù)據(jù)處理系統(tǒng)中數(shù)據(jù)流是“只能被讀取一次或少數(shù)幾次的點的有序序列”，甚至于只有在數(shù)據(jù)最初到達(dá)時有機(jī)會對其進(jìn)行一次處理，其他時候很難再存取到這些數(shù)據(jù)感知數(shù)據(jù)庫系統(tǒng)具有歷史數(shù)據(jù)的存儲需求與挖掘分析需求流數(shù)據(jù)：指一組數(shù)據(jù)項的序列，按照固定的順序，以連續(xù)、快速、隨時間變化的，可能是不可預(yù)測和無限的方式到達(dá)。THANKS

FOR

YO