物聯(lián)網(wǎng)技術(shù)與應(yīng)用：第4章 物聯(lián)網(wǎng)應(yīng)用層技術(shù)

1、1第4章 物聯(lián)網(wǎng)應(yīng)用層技術(shù)28.1 物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)的基本概念8.1.1 物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)海量物聯(lián)網(wǎng)節(jié)點(diǎn)的數(shù)量是非常多的，它們所產(chǎn)生的數(shù)據(jù)量一定是海量多態(tài)多種傳感器去觀測(cè)的不同數(shù)據(jù)在數(shù)值范圍、格式、單位與精度動(dòng)態(tài)各種數(shù)據(jù)都將隨時(shí)間不斷變化的關(guān)聯(lián)物聯(lián)網(wǎng)中的數(shù)據(jù)之間在空間、時(shí)間維度上存在著緊密的關(guān)聯(lián)性34.1物聯(lián)網(wǎng)應(yīng)用層的基本概念4.1.1物聯(lián)網(wǎng)應(yīng)用層的特點(diǎn) 物聯(lián)網(wǎng)的特點(diǎn)是多樣化、規(guī)?；c行業(yè)化，可以用于智能電網(wǎng)、智能交通、智能物流、智能數(shù)字制造、智能建筑、智能農(nóng)業(yè)、智能家居、智能環(huán)境監(jiān)控、智慧醫(yī)療保健、智慧城市等領(lǐng)域。44.1.2 物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)海量多態(tài)動(dòng)態(tài)關(guān)聯(lián)58.1.2 物聯(lián)網(wǎng)數(shù)據(jù)處理關(guān)

2、鍵技術(shù)海量數(shù)據(jù)存儲(chǔ)數(shù)據(jù)融合數(shù)據(jù)查詢、搜索與數(shù)據(jù)挖掘智能決策6海量數(shù)據(jù)存儲(chǔ)物聯(lián)網(wǎng)數(shù)據(jù)具有海量、多態(tài)、動(dòng)態(tài)與關(guān)聯(lián)的特征物聯(lián)網(wǎng)海量數(shù)據(jù)來源于傳感器、RFID讀寫器連續(xù)、實(shí)時(shí)地產(chǎn)生的數(shù)據(jù)；物聯(lián)網(wǎng)中數(shù)以億計(jì)的物品也在實(shí)時(shí)產(chǎn)生大量數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)的重要性遠(yuǎn)高于互聯(lián)網(wǎng)中web、兩天與游戲應(yīng)用中的數(shù)據(jù)如何利用數(shù)據(jù)中心與云計(jì)算平臺(tái)存儲(chǔ)物聯(lián)網(wǎng)的海量數(shù)據(jù)，如何充分地利用好物聯(lián)網(wǎng)信息，同時(shí)又要實(shí)現(xiàn)對(duì)隱私的保護(hù)，這是物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)首先要面對(duì)的一個(gè)重要問題7數(shù)據(jù)融合20世紀(jì)70年代 “數(shù)據(jù)融合（Data Fusion）” 術(shù)語正式出現(xiàn)針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的多態(tài)性，需要研究基于多種傳感器的數(shù)據(jù)聚合技術(shù)，綜合分析各種傳感器的數(shù)據(jù)

3、，從中提取有用的信息數(shù)據(jù)融合已經(jīng)發(fā)展成數(shù)據(jù)處理一個(gè)新的和重要的分支在物聯(lián)網(wǎng)中智能交通、工業(yè)控制、環(huán)境監(jiān)控、精準(zhǔn)農(nóng)業(yè)、突發(fā)事件處置、智慧城市、智能電網(wǎng)等物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中，必然會(huì)應(yīng)用多種傳感器去綜合感知多種物理世界的信息，從中提取對(duì)于我們智慧處理物理世界問題有用的信息和知識(shí)數(shù)據(jù)融合技術(shù)是物聯(lián)網(wǎng)數(shù)據(jù)處理研究的重要內(nèi)容之一8 數(shù)據(jù)查詢、搜索物聯(lián)網(wǎng)環(huán)境中感知數(shù)據(jù)具有實(shí)時(shí)性、周期性與不確定性等特點(diǎn)目前的處理方法主要有：快照查詢、連續(xù)查詢、基于事件的查詢、基于生命周期的查詢與基于準(zhǔn)確度的查詢。物聯(lián)網(wǎng)環(huán)境中，由于各種感知手段獲取的信息與傳統(tǒng)的互聯(lián)網(wǎng)信息共存，搜索引擎需要與各種智能的和非智能的物理對(duì)象密切結(jié)合，

4、主動(dòng)識(shí)別物理對(duì)象，獲取有用的信息，這對(duì)于傳統(tǒng)的搜索引擎技術(shù)是一個(gè)挑戰(zhàn)9數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)、智能決策與控制建設(shè)物聯(lián)網(wǎng)的目的是從海量數(shù)據(jù)中通過匯聚、整合與智能處理，獲取有價(jià)值的知識(shí)，為不同行業(yè)的應(yīng)用提供智能服務(wù)物聯(lián)網(wǎng)的價(jià)值體現(xiàn)在對(duì)于海量感知信息的智能數(shù)據(jù)處理、數(shù)據(jù)挖掘與智能決策水平上。數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)、智能決策與控制為物聯(lián)網(wǎng)智能服務(wù)提供了技術(shù)支撐104.2 海量數(shù)據(jù)存儲(chǔ)與云計(jì)算技術(shù)8.2.1 物聯(lián)網(wǎng)對(duì)海量數(shù)據(jù)存儲(chǔ)的需求物聯(lián)網(wǎng)的海量數(shù)據(jù)除了來自傳感器節(jié)點(diǎn)、RFID節(jié)點(diǎn)以及其他各種智能終端設(shè)備每時(shí)每刻所產(chǎn)生的數(shù)據(jù)之外，各種物理對(duì)象在參與物聯(lián)網(wǎng)事務(wù)處理的過程中也會(huì)產(chǎn)生大量的數(shù)據(jù)物聯(lián)網(wǎng)的海量數(shù)據(jù)的存儲(chǔ)需

5、要數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、網(wǎng)絡(luò)存儲(chǔ)、數(shù)據(jù)中心與云存儲(chǔ)技術(shù)的支持11 數(shù)據(jù)庫(kù)技術(shù)數(shù)據(jù)庫(kù)技術(shù)是計(jì)算機(jī)科學(xué)技術(shù)中發(fā)展最快、應(yīng)用最廣泛的領(lǐng)域之一。數(shù)據(jù)庫(kù)技術(shù)經(jīng)過幾十年的發(fā)展，其應(yīng)用已遍及各個(gè)領(lǐng)域，成為21世紀(jì)信息化社會(huì)的核心技術(shù)之一物聯(lián)網(wǎng)的數(shù)據(jù)存儲(chǔ)與管理需要使用數(shù)據(jù)庫(kù)技術(shù)，物聯(lián)網(wǎng)的海量數(shù)據(jù)存儲(chǔ)與管理也會(huì)促進(jìn)數(shù)據(jù)庫(kù)技術(shù)的發(fā)展數(shù)據(jù)庫(kù)管理系統(tǒng)可分為層次數(shù)據(jù)庫(kù)、網(wǎng)狀數(shù)據(jù)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)以及面向?qū)ο髷?shù)據(jù)庫(kù)隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，數(shù)據(jù)庫(kù)用戶界面變得更加簡(jiǎn)單，功能更加強(qiáng)大和更加智能，未來的數(shù)據(jù)庫(kù)技術(shù)必然會(huì)與人工智能技術(shù)相互交叉融合12數(shù)據(jù)倉(cāng)庫(kù)技術(shù)134.2.2 IDC的基本概念隨著互聯(lián)網(wǎng)應(yīng)用規(guī)模的不斷擴(kuò)大，大規(guī)模的在線網(wǎng)絡(luò)服

6、務(wù)促進(jìn)了“互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）”的出現(xiàn)隨著業(yè)務(wù)的擴(kuò)展，一些企業(yè)網(wǎng)、校園網(wǎng)、政務(wù)網(wǎng)、商務(wù)網(wǎng)也在考慮建設(shè)自己的數(shù)據(jù)中心（Data Center）數(shù)據(jù)中心的成本是由4部分組成：服務(wù)器成本、網(wǎng)絡(luò)設(shè)備成本、基礎(chǔ)設(shè)施成本與能源成本在推動(dòng)物聯(lián)網(wǎng)應(yīng)用發(fā)展的同時(shí)，必須研究適合即能夠快速部署物聯(lián)網(wǎng)應(yīng)用，存儲(chǔ)海量數(shù)據(jù)，又能夠節(jié)省資金與日常維護(hù)費(fèi)用，符合環(huán)保節(jié)能的原則的數(shù)據(jù)中心技術(shù)數(shù)據(jù)中心的概念正在經(jīng)歷了從中小型企業(yè)網(wǎng)、校園網(wǎng)中的計(jì)算與存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)中心，向云計(jì)算平臺(tái)的發(fā)展的趨勢(shì)14google IDC內(nèi)外部環(huán)境示意圖154.2.3 云計(jì)算在物聯(lián)網(wǎng)中的應(yīng)用云計(jì)算的特點(diǎn)彈性服務(wù)資源池化按需服務(wù)服務(wù)可計(jì)費(fèi)泛在接入16

7、云計(jì)算模式示意圖17云平臺(tái)云終端云存儲(chǔ)云安全云計(jì)算系統(tǒng)的組成18公有云與私有云的概念公有云：第三方提供商為用戶提供服務(wù)的云平臺(tái)，用戶可以把通過互聯(lián)網(wǎng)訪問作為一個(gè)支撐平臺(tái)，可以通過提供免費(fèi)或用很低費(fèi)用的服務(wù)，去吸引大量的用戶，整合上游的增值業(yè)務(wù)和廣告服務(wù)，打造新的產(chǎn)業(yè)鏈目前公有云主要分為四類： 由傳統(tǒng)電信基礎(chǔ)設(shè)施運(yùn)營(yíng)商組建的公有云 政府主導(dǎo)下組建的各省市公有云 大型互聯(lián)網(wǎng)公司組建的公有云 由IDC運(yùn)營(yíng)商組建的公有云19私有云：移動(dòng)通信公司、銀行、政府、公安、交通、電力、有線電視等部門與機(jī)構(gòu)單獨(dú)使用而組建這些部門與機(jī)構(gòu)的數(shù)據(jù)存儲(chǔ)量、處理量和安全性要求高，而私有云能夠滿足他們對(duì)數(shù)據(jù)倉(cāng)儲(chǔ)與處理，以及安

8、全性和服務(wù)質(zhì)量的要求私有云可部署在企業(yè)或部門數(shù)據(jù)中心的防火墻內(nèi)，也可以將它們部署在一個(gè)安全的主機(jī)托管場(chǎng)所20IaaS、PaaS、SaaS的概念基礎(chǔ)設(shè)施即服務(wù)IaaSIaaS平臺(tái)向用戶提供虛擬化的計(jì)算資源、存儲(chǔ)資源與網(wǎng)絡(luò)資源，根據(jù)用戶需求進(jìn)行動(dòng)態(tài)分配和調(diào)整平臺(tái)即服務(wù)PaaSPaaS平臺(tái)向軟件開發(fā)人員提供類似中間件的服務(wù)，包括數(shù)據(jù)庫(kù)、數(shù)據(jù)處理與軟件開發(fā)環(huán)境等軟件即服務(wù)SaaSSaaS平臺(tái)向最終用戶提供定制的軟件服務(wù)，用戶不用通過安裝軟件副本，就可以通過網(wǎng)絡(luò)使用軟件21IaaS、PaaS、SaaS的關(guān)系22云終端云終端使用虛擬化技術(shù)，使得只要聯(lián)入到互聯(lián)網(wǎng)或物聯(lián)網(wǎng)的終端設(shè)備都可以訪問云計(jì)算平臺(tái)隨著物聯(lián)

9、網(wǎng)的發(fā)展，將有更多智能終端設(shè)備成為云終端23云存儲(chǔ)計(jì)算與存儲(chǔ)是計(jì)算機(jī)科學(xué)發(fā)展中兩個(gè)密不可分的關(guān)鍵技術(shù)云計(jì)算概念包括計(jì)算與存儲(chǔ)兩個(gè)方面的內(nèi)容云存儲(chǔ)基于云平臺(tái)，結(jié)合傳統(tǒng)的大規(guī)模、可擴(kuò)展的海量存儲(chǔ)、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)格、虛擬化、文件系統(tǒng)的概念與技術(shù)，面向大規(guī)模、高效、可擴(kuò)展、可定制的應(yīng)用系統(tǒng)的用戶，提供安全、廉價(jià)、按需使用的專業(yè)化倉(cāng)儲(chǔ)服務(wù)用戶不必關(guān)心云存儲(chǔ)服務(wù)使用什么樣的主機(jī)、數(shù)據(jù)庫(kù)、存儲(chǔ)設(shè)備，只需要根據(jù)自身應(yīng)用系統(tǒng)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)量、安全性要求，以定購(gòu)的方式使用云存儲(chǔ)服務(wù)提供商提供的存儲(chǔ)資源24云安全云安全提供可靠、可信的云環(huán)境，以保護(hù)用戶數(shù)據(jù)的安全能不能夠保證用戶使用的安全性是制約云計(jì)算應(yīng)用能否發(fā)

10、展的主要因素目前云安全研究： 云計(jì)算的安全控制 云計(jì)算的可信執(zhí)行環(huán)境 虛擬機(jī)的安全監(jiān)控 云計(jì)算服務(wù)訪問的通信安全 云計(jì)算安全評(píng)估方法25云計(jì)算系統(tǒng)結(jié)構(gòu)模型26物聯(lián)網(wǎng)數(shù)據(jù) 中心的設(shè)計(jì)27 云計(jì)算在物聯(lián)網(wǎng)中的應(yīng)用物聯(lián)網(wǎng)數(shù)據(jù)中心的特征：部署快捷運(yùn)行可靠可擴(kuò)展安全節(jié)能284.3 數(shù)據(jù)挖掘的基本概念4.3.1 數(shù)據(jù)、信息與知識(shí)294.3.2 數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn) 應(yīng)用大量的數(shù)據(jù)，通過關(guān)聯(lián)規(guī)則、分類與預(yù)測(cè)、聚類分析、時(shí)序模式等挖掘算法，搜索和發(fā)現(xiàn)隱藏在大量數(shù)據(jù)背后有價(jià)值的信息和知識(shí)，這個(gè)過程就是“數(shù)據(jù)挖掘（Data Mining）”30 數(shù)據(jù)挖掘是物聯(lián)網(wǎng)數(shù)據(jù)處理中一個(gè)重要的方法。數(shù)據(jù)挖掘可以完成兩方面的功能

11、。一是通過描述性分析，做到“針對(duì)過去，揭示規(guī)律”；二是通過預(yù)測(cè)性分析，做到“面向未來，預(yù)測(cè)趨勢(shì)”314.3.3 物聯(lián)網(wǎng)與智能決策、智能控制感知、通信、計(jì)算、知識(shí)與智能決策關(guān)系324.4大數(shù)據(jù)的研究與發(fā)展4.4.1大數(shù)據(jù)研究的背景大數(shù)據(jù)環(huán)境下數(shù)據(jù)量單位之間的換算33麥肯錫公司研究報(bào)告中給出了數(shù)據(jù)存儲(chǔ)量排名前五位的數(shù)據(jù)行業(yè)：制造業(yè)，數(shù)據(jù)量約為966PB政府?dāng)?shù)據(jù)，數(shù)據(jù)量約為848PB新聞業(yè)，數(shù)據(jù)量約為715PB銀行業(yè)，數(shù)據(jù)量約為619PB醫(yī)療業(yè)，數(shù)據(jù)量約為434PB34例：美國(guó)政府?dāng)?shù)據(jù)類型及數(shù)據(jù)的三維增長(zhǎng)美國(guó)政府?dāng)?shù)據(jù)類型示意圖數(shù)據(jù)的三維增長(zhǎng)35大數(shù)據(jù)研究的背景數(shù)據(jù)的爆炸性增長(zhǎng)，廣泛、可用和海量的數(shù)據(jù)

12、使得我們真正進(jìn)入了數(shù)據(jù)時(shí)代。如果我們不能夠?qū)Ａ俊?dòng)態(tài)、關(guān)聯(lián)的數(shù)據(jù)進(jìn)行及時(shí)、高效、正確地分析，積累的數(shù)據(jù)將占用大量的存儲(chǔ)資源、浪費(fèi)大量的計(jì)算資源，成為“數(shù)據(jù)垃圾”我們急需功能強(qiáng)大的工具，以便從海量的數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的信息，把這些數(shù)據(jù)轉(zhuǎn)化成有組織的知識(shí)，變成寶貴的財(cái)富，產(chǎn)生重大的社會(huì)效益與經(jīng)濟(jì)效益，使人類社會(huì)大踏步地從數(shù)據(jù)時(shí)代跨進(jìn)信息時(shí)代364.2.2 大數(shù)據(jù)的基本概念多大的數(shù)據(jù)為“大數(shù)據(jù)”：一般認(rèn)為，大數(shù)據(jù)的數(shù)量級(jí)應(yīng)該是TB級(jí)。大數(shù)據(jù)具有4V特征，即數(shù)據(jù)量大（volume）、數(shù)據(jù)種類多樣（variety）、實(shí)時(shí)性強(qiáng)（velocity）、隱藏的價(jià)值大（value）認(rèn)識(shí)大數(shù)據(jù)研究的意義：人類可以“

13、分析和使用”的數(shù)據(jù)在大量增加，通過這些數(shù)據(jù)的交換、整合和分析，人類可以發(fā)現(xiàn)新的知識(shí)，創(chuàng)造新的價(jià)值，帶來“大知識(shí)”、“大科技”、“大利潤(rùn)”和“大發(fā)展”大數(shù)據(jù)挑戰(zhàn)的實(shí)質(zhì)是：人類對(duì)客觀世界（自然界與人類社會(huì)）分析、研究的基礎(chǔ)與方法從量變開始轉(zhuǎn)向質(zhì)變，預(yù)示著人類對(duì)客觀世界認(rèn)知水平的飛躍374.4.3大數(shù)據(jù)：創(chuàng)新與競(jìng)爭(zhēng)理解大數(shù)據(jù)的作用時(shí)需要注意以下幾個(gè)問題：1.數(shù)據(jù)將成為生產(chǎn)過程的基本要素2.信息時(shí)代的競(jìng)爭(zhēng)是知識(shí)的競(jìng)爭(zhēng)3.以“數(shù)據(jù)最優(yōu)”方式運(yùn)營(yíng)的公司將會(huì)戰(zhàn)勝“粗放型”經(jīng)營(yíng)的公司38大數(shù)據(jù)對(duì)人文、社會(huì)學(xué)科研究的影響互聯(lián)網(wǎng)是計(jì)算機(jī)的互聯(lián)，萬維網(wǎng)（Web）是信息的互聯(lián)，物聯(lián)網(wǎng)是物的互聯(lián)，社交網(wǎng)絡(luò)是人的互聯(lián)。數(shù)據(jù)的背后是信息網(wǎng)絡(luò)，信息網(wǎng)絡(luò)的背后是由人與人之間關(guān)系構(gòu)成的社交網(wǎng)絡(luò)，研究網(wǎng)絡(luò)數(shù)據(jù)實(shí)際上是在研究由人組成的社交網(wǎng)絡(luò)。計(jì)算機(jī)網(wǎng)絡(luò)社交網(wǎng)絡(luò)39 社會(huì)網(wǎng)絡(luò)與互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)之間的關(guān)系40大數(shù)據(jù)戰(zhàn)略2012年3月，美