《物聯(lián)網(wǎng)工程導(dǎo)論》課件第八章

目錄8.28.38.1物聯(lián)網(wǎng)數(shù)據(jù)處理云存儲技術(shù)云計算概述

物聯(lián)網(wǎng)數(shù)據(jù)融合概述8.48.1物聯(lián)網(wǎng)數(shù)據(jù)處理8.1.1物聯(lián)網(wǎng)數(shù)據(jù)特點

什么是大數(shù)據(jù)？業(yè)內(nèi)至今都未統(tǒng)一定義，在百度百科、權(quán)威研究機構(gòu)Gartner以及麥肯錫全球研究所中都給出了大數(shù)據(jù)的定義。從他們定義中可以看出，大數(shù)據(jù)并非是一種新生的互聯(lián)網(wǎng)技術(shù)，而是一種互聯(lián)網(wǎng)發(fā)展的一個產(chǎn)品。大數(shù)據(jù)是當前互聯(lián)網(wǎng)技術(shù)飛速發(fā)展和信息數(shù)據(jù)海量化發(fā)展所面臨問題的一種解決方案。

因此，結(jié)合當前云計算和虛擬化技術(shù)，可以將大數(shù)據(jù)定義為：大數(shù)據(jù)是利用云計算平臺，依托分布式計算、云存儲、虛擬化和AI智能等眾多技術(shù)的結(jié)合，從而實現(xiàn)海量數(shù)據(jù)的智能化提取和分析，實現(xiàn)對事件的準確預(yù)判。8.1.1物聯(lián)網(wǎng)數(shù)據(jù)特點

大數(shù)據(jù)具有5V的特點，即：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。（1）Volume（大量）是指數(shù)據(jù)呈現(xiàn)海量數(shù)據(jù)和超大規(guī)模下的完整性。大數(shù)據(jù)下采集了海量的數(shù)據(jù)，從GB到TB甚至發(fā)展到PB級別。（2）Velocity（高速）大數(shù)據(jù)的高速性，主要體現(xiàn)在兩個方面，第一是獲取數(shù)據(jù)的速度非?？?；第二是在獲取海量數(shù)據(jù)后能快速的做出詳細的分析，并能得出較為準確的結(jié)論。（3）Variety（多樣）由于網(wǎng)絡(luò)中數(shù)據(jù)種類繁多，各類數(shù)據(jù)呈現(xiàn)出多樣化的狀態(tài)，數(shù)據(jù)格式也出現(xiàn)眾多格式，比如：文本格式、音視頻格式、應(yīng)用程序格式、圖片格式等。8.1.1物聯(lián)網(wǎng)數(shù)據(jù)特點（4）Value（低價值密度）從數(shù)據(jù)本身來看，是可以分為價值高密度和價值低密度之分的，大數(shù)據(jù)就是通過整合分析各類數(shù)據(jù)，才能得到具有重要實際實用價值的信息。（5）Veracity（真實性）大數(shù)據(jù)中的內(nèi)容是與真實世界中的發(fā)生時間息息相關(guān)的，研究大數(shù)據(jù)技術(shù)就是從龐大的網(wǎng)絡(luò)數(shù)據(jù)中提取出能夠解釋和預(yù)測現(xiàn)實事件的過程物聯(lián)網(wǎng)獲得大數(shù)據(jù)既具獨立性，又具相關(guān)性，而各要素和體系之間同樣存在這種相互關(guān)聯(lián)或相互作用的關(guān)系。8.1.2國家大數(shù)據(jù)中心中國規(guī)劃建設(shè)大數(shù)據(jù)的八大節(jié)點和三大核心節(jié)點。位于貴州貴安新區(qū)的大數(shù)據(jù)庫災(zāi)備中心機房內(nèi)，有著一根特殊的網(wǎng)絡(luò)虛擬專線，這條專線跨越了北京與貴州，實現(xiàn)了國家與貴州災(zāi)備中心數(shù)據(jù)的同步傳輸和異地備份。目前國家建設(shè)完成三大數(shù)據(jù)中心、八大數(shù)據(jù)節(jié)點，介紹如下。國家三大數(shù)據(jù)中心（1）中心基地-北京（2）南方基地-貴州（3）北方基地-烏蘭察布8.1.2國家大數(shù)據(jù)中心國家八大數(shù)據(jù)節(jié)點中國網(wǎng)絡(luò)的核心層由北京、上海、廣州、沈陽、南京、武漢、成都、西安等8個城市的核心節(jié)點組成。核心層的功能主要是提供與國際Internet的互聯(lián)，以及提供大區(qū)之間信息交換的通路。其中北京、上海、廣州核心層節(jié)點各設(shè)有國際出口路由器，負責(zé)與國際Internet互聯(lián)，以及兩臺核心路由器與其他核心節(jié)點互聯(lián)；其他核心節(jié)點各設(shè)一臺核心路由器。核心節(jié)點之間為不完全網(wǎng)狀結(jié)構(gòu)。以北京、上海、廣州為中心的三中心結(jié)構(gòu)，其他核心節(jié)點分別以至少兩條高速ATM鏈路與這三個中心相連。8.2云存儲技術(shù)8.2.1云存儲概述云存儲是一種網(wǎng)上在線存儲的模式，即把數(shù)據(jù)存放在通常由第三方托管的多臺虛擬服務(wù)器上，而非專屬的服務(wù)器上。托管公司運營大型的數(shù)據(jù)中心，需要數(shù)據(jù)存儲托管的人，則透過向其購買或租賃存儲空間的方式，來滿足數(shù)據(jù)存儲的需求。云存儲的優(yōu)點如圖所示。8.2.1云存儲概述目前主流的云平臺大多數(shù)是對海量數(shù)據(jù)信息進行存儲、分享和分析的各類云盤，比較有名的云存儲有阿里云、騰訊云、華為云。主要介紹如下。阿里云阿里云創(chuàng)立于2009年，是全球領(lǐng)先的云計算及人工智能科技公司。阿里云在全球各地部署高效節(jié)能的綠色數(shù)據(jù)中心，利用清潔計算為萬物互聯(lián)的新世界提供源源不斷的能源動力，目前開服的區(qū)域包括中國（華北、華東、華南、香港）、新加坡、美國（美東、美西）、歐洲、中東、澳大利亞、日本。8.2.1云存儲概述騰訊云騰訊云有著深厚的基礎(chǔ)架構(gòu)，并且有著多年對海量互聯(lián)網(wǎng)服務(wù)的經(jīng)驗。騰訊為開發(fā)者及企業(yè)提供云服務(wù)、云數(shù)據(jù)、云運營等整體一站式服務(wù)方案。具體包括云服務(wù)器、云存儲、云數(shù)據(jù)庫和彈性Web引擎等基礎(chǔ)云服務(wù)；騰訊移動分析MTA等騰訊整體大數(shù)據(jù)能力；以及QQ互聯(lián)、QQ空間、微云、微社區(qū)等云端鏈接社交體系。騰訊云服務(wù)器使用公共平臺操作系統(tǒng)，團隊完全負責(zé)云主機的維護，并提供豐富配置類型虛擬機，用戶可以便捷地進行數(shù)據(jù)緩存、數(shù)據(jù)庫處理與搭建web服務(wù)器等工作。騰訊對游戲和移動應(yīng)用類客戶提供了較強的扶持政策，比較適合這類型的客戶使用。8.2.1云存儲概述華為云華為云為致力于提供專業(yè)的公有云服務(wù)，提供彈性云服務(wù)器、對象存儲服務(wù)、軟件開發(fā)云等云計算服務(wù)，以“可信、開放、全球服務(wù)”三大核心優(yōu)勢服務(wù)全球用戶。華為云立足于互聯(lián)網(wǎng)領(lǐng)域，依托于華為公司雄厚的資本和強大的云計算研發(fā)實力，面向互聯(lián)網(wǎng)增值服務(wù)運營商、大中小型企業(yè)、政府、科研院所等廣大企事業(yè)用戶提供包括云主機、云托管、云存儲等基礎(chǔ)云服務(wù)、超算、內(nèi)容分發(fā)與加速、視頻托管與發(fā)布、企業(yè)IT、云電腦、云會議、游戲托管、應(yīng)用托管等服務(wù)和解決方案。8.2.2云存儲系統(tǒng)應(yīng)用云存儲與云計算類似，它是通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等技術(shù)，將網(wǎng)絡(luò)中各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)，保證數(shù)據(jù)的安全性，并節(jié)約存儲空間。

簡單來說，云存儲就是將儲存資源放到云上供人存取的一種新興方案。使用者可以在任何時間、任何地方，透過任何可連網(wǎng)的裝置連接到云上方便地存取數(shù)據(jù)。云存儲結(jié)構(gòu)圖如右圖所示：8.2.2云存儲系統(tǒng)應(yīng)用一個云狀結(jié)構(gòu)的存儲系統(tǒng)由多個存儲設(shè)備組成，通過集群功能、分布式文件系統(tǒng)或類似網(wǎng)格計算等功能聯(lián)合起來協(xié)同工作，并通過一定的應(yīng)用軟件或應(yīng)用接口，對用戶提供一定類型的存儲服務(wù)和訪問服務(wù)。云存儲主要用途有三個：途數(shù)據(jù)備份、歸檔和災(zāi)難恢復(fù)。

云的出現(xiàn)主要用于任何種類的靜態(tài)類型數(shù)據(jù)的任何種類的大規(guī)模存儲需求。云存儲通常意味著把主數(shù)據(jù)或備份數(shù)據(jù)放到企業(yè)外部不確定的存儲池里，而不是放到本地數(shù)據(jù)中心或?qū)Ｓ眠h程站點。使用云存儲服務(wù)，企業(yè)就能節(jié)省投資費用，簡化復(fù)雜的設(shè)置和管理任務(wù)，把數(shù)據(jù)放在云中還便于從更多的地方訪問數(shù)據(jù)。8.2.3云存儲分類云存儲可分為以下三類：公共云、私有云、混合云。（1）公共云公有云通常指第三方提供商為用戶提供的能夠使用的云，公有云一般可通過Internet使用，可能是免費或成本低廉的，公有云的核心屬性是共享資源服務(wù)。

公共云提供了最可靠、最安全的數(shù)據(jù)存儲中心，用戶不用再擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩；對用戶端的設(shè)備要求最低，使用起來也最方便，可以輕松實現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)用共享。國內(nèi)比較突出代表有搜狐企業(yè)網(wǎng)盤、百度云盤、金山快盤、酷盤、華為網(wǎng)盤、360云盤、新浪微盤、騰訊微云等。8.2.3云存儲分類（2）私有云私有云是為一個客戶單獨使用而構(gòu)建的，因而提供對數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制。該客戶擁有基礎(chǔ)設(shè)施，并可以控制在此基礎(chǔ)設(shè)施上部署應(yīng)用程序的方式。私有云可部署在企業(yè)數(shù)據(jù)中心的防火墻內(nèi)，也可以將它們部署在一個安全的主機托管場所，私有云的核心屬性是專有資源。事實上，私有云并不是絕對安全的，因為它是私有的，要想保證私有云的安全，必須要制定完善的計劃，并且進行經(jīng)常性檢查，才能保證私有云安全，避免出現(xiàn)損失。8.2.3云存儲分類（3）混合云混合云把公共云和私有云結(jié)合在一起。主要用于按客戶要求的訪問，特別是需要臨時配置容量的時候。從公共云上劃出一部分容量配置一種私有或內(nèi)部云可以幫助公司面對迅速增長的負載波動或高峰時很有幫助。盡管如此，混合云存儲帶來了跨公共云和私有云分配應(yīng)用的復(fù)雜性。公共云存儲可以劃出一部分用作私有云存儲。一個公司可以擁有或控制基礎(chǔ)架構(gòu)，以及應(yīng)用的部署，私有云存儲可以部署在企業(yè)數(shù)據(jù)中心或相同地點的設(shè)施上。私有云可以由公司自己的IT部門管理，也可以由服務(wù)供應(yīng)商管理。8.3云計算概述8.3云計算概述云計算是分布式計算的一種，指的是通過網(wǎng)絡(luò)“云”將巨大的數(shù)據(jù)計算處理程序分解成無數(shù)個小程序，然后，通過多部服務(wù)器組成的系統(tǒng)進行處理和分析這些小程序得到結(jié)果并返回給用戶。

云計算早期就是簡單的分布式計算，主要任務(wù)是分發(fā)，并進行計算結(jié)果的合并。因而云計算又稱為網(wǎng)格計算。通過這項技術(shù)，可以在很短的時間內(nèi)（幾秒鐘）完成對數(shù)以萬計的數(shù)據(jù)的處理，從而達到強大的網(wǎng)絡(luò)服務(wù)?，F(xiàn)階段所說的云服務(wù)已經(jīng)不單單是一種分布式計算，而是分布式計算、效用計算、負載均衡、并行計算、網(wǎng)絡(luò)存儲、熱備份冗雜和虛擬化等計算機技術(shù)混合演進并躍升的結(jié)果。8.3云計算概述云計算特點云計算的可貴之處在于高靈活性、可擴展性和高性比等，具有以下特點：（1）虛擬化技術(shù)虛擬化技術(shù)包括應(yīng)用虛擬和資源虛擬兩種，物理平臺與應(yīng)用部署的環(huán)境在空間上是沒有任何聯(lián)系的，正是通過虛擬平臺對相應(yīng)終端操作完成數(shù)據(jù)備份、遷移和擴展等。（2）動態(tài)可擴展云計算原有服務(wù)器基礎(chǔ)上增加云計算功能能夠使計算速度迅速提高，最終實現(xiàn)動態(tài)擴展虛擬化的層次，達到對應(yīng)用進行擴展的目的。（3）按需部署云計算平臺能夠根據(jù)用戶的需求快速配備計算能力及資源。8.3云計算概述（4）靈活性高云計算的兼容性非常強，不僅可以兼容低配置機器、不同廠商的硬件產(chǎn)品，還能夠外設(shè)獲得更高性能計算。（5）可靠性高當單點服務(wù)器出現(xiàn)故障時可以通過虛擬化技術(shù)將分布在不同物理服務(wù)器上面的應(yīng)用進行恢復(fù)或利用動態(tài)擴展功能部署新的服務(wù)器進行計算。（6）性價比高將資源放在虛擬資源池中統(tǒng)一管理在一定程度上優(yōu)化了物理資源，用戶不再需要昂貴、存儲空間大的主機。（7）可擴展性。8.3云計算概述云計算應(yīng)用較為簡單的云計算技術(shù)已經(jīng)普遍服務(wù)于互聯(lián)網(wǎng)服務(wù)中，最為常見的就是網(wǎng)絡(luò)搜索引擎和網(wǎng)絡(luò)郵箱。在任何時刻，只要在搜索引擎上搜索任何自己想要的資源，通過云端共享數(shù)據(jù)資源。（1）存儲云存儲云是在云計算技術(shù)上發(fā)展起來的一個新的存儲技術(shù)。云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。用戶可以將本地的資源上傳至云端上，可以在任何地方連入互聯(lián)網(wǎng)來獲取云上的資源。8.3云計算概述（2）醫(yī)療云醫(yī)療云是指在云計算、移動技術(shù)、多媒體、4G通信、大數(shù)據(jù)、以及物聯(lián)網(wǎng)等新技術(shù)基礎(chǔ)上，結(jié)合醫(yī)療技術(shù)，使用“云計算”來創(chuàng)建醫(yī)療健康服務(wù)云平臺，實現(xiàn)醫(yī)療資源的共享和醫(yī)療范圍的擴大。（3）金融云 金融云是指利用云計算的模型，將信息、金融和服務(wù)等功能分散到龐大分支機構(gòu)構(gòu)成的互聯(lián)網(wǎng)“云”中，在為銀行、保險和基金等金融機構(gòu)提供互聯(lián)網(wǎng)處理和運行服務(wù)，同時共享互聯(lián)網(wǎng)資源，從而解決現(xiàn)有問題并且達到高效、低成本的目標。（4）教育云教育云，實質(zhì)上是指教育信息化。教育云可以將所需要的任何教育硬件資源虛擬化，然后將其傳入互聯(lián)網(wǎng)中，向教育機構(gòu)和學(xué)生老師提供一個方便快捷的平臺?，F(xiàn)在流行的慕課就是教育云的一種應(yīng)用。8.3云計算概述云計算安全隱患（1）隱私被竊?。?）資源被冒用（3）黑客的攻擊（4）云計算中容易出現(xiàn)病毒8.4物聯(lián)網(wǎng)數(shù)據(jù)融合概述8.4互聯(lián)網(wǎng)數(shù)據(jù)融合概述數(shù)據(jù)融合概念是針對多傳感器系統(tǒng)而提出的。

在多傳感器系統(tǒng)中，由于信息表現(xiàn)形式的多樣性，數(shù)據(jù)量的巨大性，數(shù)據(jù)關(guān)系的復(fù)雜性，都已大大超出了人腦的信息綜合處理能力，在這種情況下，多傳感器數(shù)據(jù)融合技術(shù)應(yīng)運而生。

多傳感器數(shù)據(jù)融合簡稱數(shù)據(jù)融合；它由美國國防部在20世紀70年代最先提出，之后英、法、日、俄等國也做了大量的研究。近40年來數(shù)據(jù)融合技術(shù)得到了巨大的發(fā)展。8.4互聯(lián)網(wǎng)數(shù)據(jù)融合概述數(shù)據(jù)融合的定義數(shù)據(jù)融合是利用計算機技術(shù)對時序獲得的若干感知數(shù)據(jù)，在一定準則下加以分析、綜合，以完成所需決策和評估任務(wù)而進行的數(shù)據(jù)處理過程。數(shù)據(jù)融合這一技術(shù)有3層含義:①數(shù)據(jù)的全空間，即數(shù)據(jù)包括確定的和模糊的、全空間的和子空間的、同步的和異步的、數(shù)字的和非數(shù)字的，它是復(fù)雜的多維多源的，覆蓋全頻段；

②數(shù)據(jù)的融合不同于組合，組合指的是外部特性，融合指的是內(nèi)部特性，它是系統(tǒng)動態(tài)過程中的一種數(shù)據(jù)綜合加工處理；

③數(shù)據(jù)的互補過程，數(shù)據(jù)表達方式的互補、結(jié)構(gòu)上的互補、功能上的互補、不同層次的互補，是數(shù)據(jù)融合的核心，只有互補數(shù)據(jù)的融合才可以使系統(tǒng)發(fā)生質(zhì)的飛躍。8.4互聯(lián)網(wǎng)數(shù)據(jù)融合概述數(shù)據(jù)融合的基本原理典型的傳感器數(shù)據(jù)融合如下圖所示。（1）多個不同類型的傳感器采集觀測目標的數(shù)據(jù)；（2）對傳感器的輸出數(shù)據(jù)