物聯(lián)網(wǎng)技術導論與實踐第6章課件

1、2022/7/19物聯(lián)網(wǎng)應用技術與實踐 2018.5 2022/7/19第6章 數(shù)據(jù)與管理技術 6.1 數(shù)據(jù)庫技術 6.1.1物聯(lián)網(wǎng)數(shù)據(jù)的特點 在物聯(lián)網(wǎng)中，相比傳統(tǒng)的互聯(lián)網(wǎng)，物聯(lián)網(wǎng)數(shù)據(jù)的特點具有海量性，實時性、多樣性、關聯(lián)性及語義性。2022/7/191、海量性 物聯(lián)網(wǎng)中的數(shù)據(jù)量巨大，物聯(lián)網(wǎng)的最主要特征之一是節(jié)點的海量性，除了人和服務器之外，物品、設備、傳感網(wǎng)等都是物聯(lián)網(wǎng)的組成節(jié)點，其數(shù)量規(guī)模遠大于互聯(lián)網(wǎng)；同時，物聯(lián)網(wǎng)節(jié)點的數(shù)據(jù)生成頻率也遠高于互聯(lián)網(wǎng)，例如，傳感節(jié)點多數(shù)處于全時工作狀態(tài)，數(shù)據(jù)流源源不斷。 2022/7/19 如果傳感網(wǎng)是部署在更為敏感的應用場合時（例如，智能電網(wǎng)、建筑檢測等），

2、則要求傳感器有著更高的數(shù)據(jù)傳輸率，每天的數(shù)據(jù)量可達到TB以上。在未來，若是地球上的每個人、每件物品都能互聯(lián)互通，那么，其產(chǎn)生的數(shù)據(jù)量會更加令人瞠目結舌。2022/7/192、實時性 物聯(lián)網(wǎng)中的數(shù)據(jù)速率較高，一方面，物聯(lián)網(wǎng)中數(shù)據(jù)海量性必然要求骨干網(wǎng)匯聚更多的數(shù)據(jù)，數(shù)據(jù)的傳輸速率要求更高；另一方面，由于物聯(lián)網(wǎng)與真實物理世界直接關聯(lián)，很多情況下需要實時訪問、控制相應的節(jié)點和設備，因此，需要高數(shù)據(jù)傳輸速率來支持相應的實時性。2022/7/193、多樣化 物聯(lián)網(wǎng)中的數(shù)據(jù)更加多樣化，物聯(lián)網(wǎng)的應用包羅萬象，從智慧城市、智慧交通、智慧物流、商品溯源，到智能家居、智慧醫(yī)療、安防監(jiān)控等，無一不是物聯(lián)網(wǎng)應用范疇；在

3、不同領域、不同行業(yè)，需要面對不同類型、不同格式的應用數(shù)據(jù)，因此，物聯(lián)網(wǎng)中數(shù)據(jù)多樣性更為突出。數(shù)據(jù)的多態(tài)性必將帶來處理數(shù)據(jù)的復雜性。2022/7/191）不同的網(wǎng)絡導致數(shù)據(jù)具有不同的格式，比如同樣是溫度，有的網(wǎng)絡將其稱為“溫度”，有的網(wǎng)絡將其稱為“Temperature”，有的網(wǎng)絡以攝氏度為單位，有的網(wǎng)絡則以華氏度為單位；2）不同的設備導致數(shù)據(jù)具有不同的精度，比如，同樣是測量環(huán)境中的二氧化碳濃度，有些設備能達到0.1ppm的分辨率，而有些設備僅有1pmm的分辨率； 2022/7/19 3）不同的測量時間、測量條件導致數(shù)據(jù)具有不同的值，物聯(lián)網(wǎng)中物體的一個顯著特征就在于動態(tài)性，在同一個十字路口使用同

4、樣的傳感器去測量行人流量，這個值會隨著上下班高峰等時間條件而變化，也會隨著溫度、降雨等自然條件而變化。2022/7/19 4）物聯(lián)網(wǎng)對數(shù)據(jù)真實性的要求更高，物聯(lián)網(wǎng)是真實物理世界與虛擬信息世界的結合，其對數(shù)據(jù)的處理以及基于此進行的決策將直接影響物理世界，物聯(lián)網(wǎng)中數(shù)據(jù)的真實性顯得尤為重要。2022/7/194、關聯(lián)性及語義性 物聯(lián)網(wǎng)中的數(shù)據(jù)絕對不是獨立的。描述同一個實體的數(shù)據(jù)在實踐上具有關聯(lián)性；描述不同實體的數(shù)據(jù)在空間上具有關聯(lián)性；描述實體的不同唯獨之間也具有關聯(lián)性。不同的關聯(lián)性組合會產(chǎn)生豐富的語義。2022/7/196.1.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術 1、數(shù)據(jù)庫概念 數(shù)據(jù)庫是長期存儲在計算機內(nèi)有

5、組織的大量的共享的數(shù)據(jù)集合，它可以供各種用戶共享且具有最小的冗余度和較高的數(shù)據(jù)與程序的獨立性。 2022/7/19 由于有多種程序并發(fā)地使用數(shù)據(jù)庫，所以，需要能有效地及時處理數(shù)據(jù)，并提供安全性和完整性。這樣就必須有一個軟件系統(tǒng)，即數(shù)據(jù)庫管理系統(tǒng)(Database Management System，DBMS)在數(shù)據(jù)庫建立、運行和維護時對數(shù)據(jù)庫進行統(tǒng)一控制，以保證數(shù)據(jù)的安全性和完整性，同時在多用戶使用數(shù)據(jù)庫時進行并發(fā)控制，在發(fā)生故障后對系統(tǒng)進行恢復。2022/7/192、數(shù)據(jù)庫設計 數(shù)據(jù)庫設計技術是指對于一個給定的應用環(huán)境，構造最優(yōu)的數(shù)據(jù)庫模式，建立數(shù)據(jù)庫及其應用系統(tǒng)，使之能夠有效地存儲數(shù)據(jù)，滿

6、足各種用戶的應用需要。 數(shù)據(jù)庫設計包含結構設計和行為設計兩方面。早期的數(shù)據(jù)庫設計致力于數(shù)據(jù)模型和建模方法的研究，注重結構特性的設計而忽略了對行為的設計，一般將結構設計與行為設計分開進行。2022/7/19 現(xiàn)代數(shù)據(jù)庫設計方法運用軟件工程的思想和方法，提出了各種設計準則和規(guī)程，這些都屬于規(guī)范設計法，下面介紹幾種規(guī)范設計法。 1）新奧爾良（New Orleans）方法，它將數(shù)據(jù)庫設計分為需求分析（分析用戶要求）、概念分析（信息分析和定義）、邏輯分析（設計實現(xiàn)）和物理實現(xiàn)（物理數(shù)據(jù)庫設計）個階段。2022/7/19 2）基于E-R模型的數(shù)據(jù)庫設計方法，用E-R圖來描述現(xiàn)實世界的概念模型。E-R圖即實

7、體-聯(lián)系圖(Entity Relationship Diagram，E-R)，是指提供了表示實體型、屬性和聯(lián)系的方法，用來描述現(xiàn)實世界的概念模型。 E-R方法是“實體-聯(lián)系方法”，它是描述現(xiàn)實世界概念結構模型的有效方法。通常用矩形框代表實體，用連接相關實體的菱形框表示關系，用橢圓形或圓角矩形表示實體(或關系)的屬性，并用直線把實體(或關系)與其屬性連接起來 2022/7/19 聯(lián)系可分為以下3種類型，一類是一對一聯(lián)系 (1:1) 例如，一個部門有一個經(jīng)理，而每個經(jīng)理只在一個部門任職，則部門與經(jīng)理的聯(lián)系是一對一的。2022/7/19二類是一對多聯(lián)系 (1：N)例如，某校教師與課程之間存在一對多的

8、聯(lián)系“教”，即每位教師可以教多門課程，但是每門課程只能由一位教師來教。三類是多對多聯(lián)系 (M N) 例如，學生與課程間的聯(lián)系(“ 學 ”)是多對多的，即一個學生可以學多門課程，而每門課程可以有多個學生來學。聯(lián)系也可能有屬性。2022/7/193）基于3NF（第3范式）的設計方法。 該方法以關系數(shù)據(jù)庫理論為指導來設計數(shù)據(jù)庫的邏輯模型，該方法需要利用關系規(guī)范化理論對所設計的關系模型進行規(guī)范，一般要求將關系模式規(guī)范到3NF以上。2022/7/194）基于對象定義語言設計方法。 這是面向對象的數(shù)據(jù)庫設計方法，該方法用面向對象的概念和術語來說明數(shù)據(jù)庫結構。 用ODL（Object Definition

9、Language，ODL即對象定義語言）描述面向對象數(shù)據(jù)庫結構設計，可以將其直接轉換為面向對象的數(shù)據(jù)庫。2022/7/19 規(guī)范設計法從本質上看仍然是手工設計方法，其基本思想是過程迭代和逐步求精。數(shù)據(jù)庫設計它包括下面 六個階段 (1)需求分析階段(2)概念結構設計階段(3)邏輯結構設計階段(4)數(shù)據(jù)庫物理設計階段(5)數(shù)據(jù)庫實現(xiàn)階段(6)數(shù)據(jù)庫運行和維護階段 2022/7/193、常用數(shù)據(jù)庫介紹1）關系數(shù)據(jù)庫，關系數(shù)據(jù)庫是建立在關系模型基礎上的數(shù)據(jù)庫，借助于集合代數(shù)等數(shù)學概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù)?，F(xiàn)實世界中的各種實體以及實體之間的各種聯(lián)系均用關系模型來表示。 標準數(shù)據(jù)查詢語言SQL就是一

10、種基于關系數(shù)據(jù)庫的語言，這種語言執(zhí)行對關系數(shù)據(jù)庫中數(shù)據(jù)的檢索和操作。 關系模型由關系數(shù)據(jù)結構、關系操作集合、關系完整性約束三部分組成。2022/7/19 傳統(tǒng)的關系型數(shù)據(jù)庫具有數(shù)據(jù)結構化、最低冗余度、較高的程序與數(shù)據(jù)獨立性、易于擴充、易于編制應用程序等優(yōu)點，目前較大的信息系統(tǒng)都是建立在結構化數(shù)據(jù)庫設計之上的。然而，隨著越來越多企業(yè)海量數(shù)據(jù)的產(chǎn)生，使得非結構化數(shù)據(jù)的應用日趨擴大，以及對海量數(shù)據(jù)快速訪問、有效的備份恢復機制、實時數(shù)據(jù)分析等等的需求不斷增加。因此，在物聯(lián)網(wǎng)中主要使用的是關系數(shù)據(jù)庫和新興數(shù)據(jù)庫系統(tǒng)。 2022/7/19 關系數(shù)據(jù)庫系統(tǒng)作為一項有著近半個世紀歷史的數(shù)據(jù)處理技術，仍可在物聯(lián)

11、網(wǎng)中使用，為物聯(lián)網(wǎng)的運行提供支撐。2022/7/192）非關系型數(shù)據(jù)庫（NoSQL） NoSQL(Not Only SQL，NoSQL )意即“不僅僅是SQL”。傳統(tǒng)的關系數(shù)據(jù)庫在將來大量出現(xiàn)的物聯(lián)網(wǎng)應用，暴露了很多難以克服的問題。 例如，傳統(tǒng)的關系數(shù)據(jù)庫難以滿足對數(shù)據(jù)庫高并發(fā)讀寫的需求、對海量數(shù)據(jù)的高效率存儲和訪問的需求、對數(shù)據(jù)庫的高可擴展性和高可用性的需求。2022/7/19NoSQL數(shù)據(jù)庫大致可以分為以下的四類。 （1）鍵值(Key-Value)存儲數(shù)據(jù)庫（2）列存儲數(shù)據(jù)庫（ 3）文檔型數(shù)據(jù)庫（4）圖形(Graph)數(shù)據(jù)庫2022/7/193）實時數(shù)據(jù)庫 實時數(shù)據(jù)庫（Real Time

12、Data Base，RTDB）是數(shù)據(jù)庫系統(tǒng)發(fā)展的一個分支，是數(shù)據(jù)庫技術結合實時處理技術產(chǎn)生的。 實時數(shù)據(jù)庫系統(tǒng)是開發(fā)實時控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)、CIMS系統(tǒng)等的支撐軟件。實時數(shù)據(jù)庫已經(jīng)成為企業(yè)信息化的基礎數(shù)據(jù)平臺。2022/7/19 在流程行業(yè)中，大量使用實時數(shù)據(jù)庫系統(tǒng)進行控制系統(tǒng)監(jiān)控，系統(tǒng)先進控制和優(yōu)化控制，并為企業(yè)的生產(chǎn)管理和調度、數(shù)據(jù)分析、決策支持及遠程在線瀏覽提供實時數(shù)據(jù)服務和多種數(shù)據(jù)管理功能。2022/7/19 針對不同行業(yè)不同類型的企業(yè)，實時數(shù)據(jù)庫的數(shù)據(jù)來源方式也各不相同。總的來說數(shù)據(jù)的主要來源有DCS控制系統(tǒng)、由組態(tài)軟件 + PLC建立的控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)、關系數(shù)據(jù)庫系統(tǒng)、直

13、接連接硬件設備和通過人機界面人工錄入的數(shù)據(jù)。 2022/7/19 實時數(shù)據(jù)庫結構由采集站DA、數(shù)據(jù)服務器、WEB服務器、客戶端組成，同時和關系數(shù)據(jù)庫進行有效的數(shù)據(jù)交換，DCS的數(shù)據(jù)經(jīng)過DA進行采集，由DA Server送到數(shù)據(jù)服務器，數(shù)據(jù)服務器再有效的送給其它客戶端。2022/7/195）多媒體數(shù)據(jù)庫 多媒體數(shù)據(jù)庫（Multimedia Data Base，MDB）是傳統(tǒng)數(shù)據(jù)庫技術與多媒體技術相結合的產(chǎn)物，是以數(shù)據(jù)庫的方式存儲計算機中的文字、圖形、圖像、音頻和視頻等多媒體信息。 多媒體數(shù)據(jù)庫管理系統(tǒng)（MDBMS）是一個支持多媒體數(shù)據(jù)庫的建立、使用與維護的軟件系統(tǒng)，負責實現(xiàn)對多媒體對象的存儲、處

14、理、檢索和輸出等功能。2022/7/196）并行數(shù)據(jù)庫 并行數(shù)據(jù)庫（Parallel Data Base，PDB）是傳統(tǒng)數(shù)據(jù)庫技術與并行技術相結合的產(chǎn)物，它在并行體系結構的支持下，實現(xiàn)數(shù)據(jù)庫操作處理的并行化，以提高數(shù)據(jù)庫的效率。 超級并行機的發(fā)展推動了并行數(shù)據(jù)庫技術的發(fā)展。并行數(shù)據(jù)庫的設計目標是提高大型數(shù)據(jù)庫系統(tǒng)的查詢與處理效率，而提高效率的途徑不僅是依靠軟件手段，更重要的是依靠硬件的多CPU的并行操作來實現(xiàn)。2022/7/196.2 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲與搜索 6.2.1 常見數(shù)據(jù)存儲方式 海量信息存儲早期采用大型服務器存儲，基本都是以服務器為中心的處理模式，使用直接附加存儲（Direct A

15、ttached Storage，DAS），存儲設備（包括磁盤陣列，磁帶庫，光盤庫等）作為服務器的外設使用。為了能夠共享大容量，采用高速度存儲設備，并且不占用局域網(wǎng)資源的海量信息傳輸和備份，就需要專用存儲區(qū)域網(wǎng)絡（SAN，Storage Area Network）來實現(xiàn)。 2022/7/19 隨著計算機系統(tǒng)的迅速發(fā)展，存儲系統(tǒng)體系結構先后經(jīng)歷了“直接附加存儲（Direct Attached Storage ，DAS）體系結構、網(wǎng)絡附加存儲（Network Attached Storage，NAS）體系結構和存儲局域網(wǎng)絡（Storage Area Network ，SAN）體系結構”三種主要類型的

16、發(fā)展。2022/7/191、直接附加存儲（DAS） 在DAS這種方式中，存儲設備是通過電纜，通常是利用SCSI接口電纜直接接到服務器。I/O（輸入/輸出）請求直接發(fā)送到存儲設備。它依賴于服務器，其本身是硬件的堆疊，不帶有任何存儲操作系統(tǒng)。這是一種直接與主機系統(tǒng)相連接的存儲設備，DAS是計算機系統(tǒng)中最常用的數(shù)據(jù)存儲方法。 2022/7/19 這種存儲方式有如下缺點。1）可擴展性差。服務器內(nèi)部廣泛使用的SCSI通道的個數(shù)和可連接的硬盤數(shù)、連接的距離以及連接的可靠性都是有限的；2）網(wǎng)絡負載大，系統(tǒng)的性能低。采用DAS，重要業(yè)務數(shù)據(jù)的備份需要在局域網(wǎng)上傳輸，會造成較大的網(wǎng)絡負載，并且傳送的性能也很差，

17、還需要占用服務器的CPU資源，對業(yè)務會有很大的影響； 2022/7/19 3）存儲分散，可管理性差，管理成本高。 目前存儲一般分散在服務器上，而不同的應用可能會采用不同廠家的產(chǎn)品和購置不同的軟件，為此系統(tǒng)管理員需要掌握不同存儲產(chǎn)品的管理技能，增加不少負擔。2022/7/192、網(wǎng)絡附加存儲（NAS） 網(wǎng)絡附加存儲（NAS）是指將存儲設備通過標準的網(wǎng)絡拓撲結構（例如以太網(wǎng)），連接到一群計算機上，具備資料存儲功能的裝置，因此，也稱為“網(wǎng)絡存儲器”或者“網(wǎng)絡磁盤陣列”。 2022/7/19 NAS包括存儲設備和集成在一起的簡易服務器，可以實現(xiàn)涉及文件存取和管理的所有功能。在NAS存儲結構中，存儲系統(tǒng)

18、不再通過I/O總線附屬于某個特定的服務器或客戶機，而是直接通過網(wǎng)絡接口與網(wǎng)絡直接相連，由用戶通過網(wǎng)絡訪問。 NAS是一種專業(yè)的網(wǎng)絡文件存儲及文件備份設備，它是基于LAN（局域網(wǎng)）的，按照TCP/IP協(xié)議進行通信，以文件的I/O（輸入/輸出）方式進行數(shù)據(jù)傳輸。 2022/7/19 在LAN環(huán)境下，NAS已經(jīng)完全可以實現(xiàn)異構平臺之間的數(shù)據(jù)級共享，比如NT、UNIX等平臺的共享。NAS可以應用在任何的網(wǎng)絡環(huán)境當中。主服務器和客戶端可以非常方便地在NAS上存取任意格式的文件。2022/7/19 NAS應用和維護簡單，只需要將NAS設備通過網(wǎng)卡接入現(xiàn)有的LAN，而磁帶庫則通過備份服務器也接入LAN。通過

19、LAN備份NAS設備和其他服務器的數(shù)據(jù)部署非常簡單和快捷，不僅提高了現(xiàn)有網(wǎng)絡的使用率，保護了用戶的投資，也降低了系統(tǒng)管理員的維護難度。低成本、易安裝，適用于工作組級和部門級的存儲，或者是用于如Web服務那樣需要高效存取文件的環(huán)境。2022/7/19 NAS缺點是安全性問題，由于存儲設備直接與以太網(wǎng)相連，其安全性存在著一定的問題。通常為了保障安全性，需要設置防火墻。大量數(shù)據(jù)存儲都通過網(wǎng)絡完成，增加了網(wǎng)絡的負載，特別不適合于音頻、視頻數(shù)據(jù)的存儲。災難恢復比較困難，通常需要一個專門定制方案。2022/7/193、存儲區(qū)域網(wǎng)絡（SAN） 存儲區(qū)域網(wǎng)絡SAN（Storage Area Network，S

20、AN）是一種通過光纖集線器、光纖路由器、光纖交換機等連接設備將磁盤陣列、磁帶等存儲設備與相關服務器連接起來的高速專用子網(wǎng)。 存儲區(qū)域網(wǎng)絡主要由接口（如SCSI、光纖通道、ESCON等）、連接設備（交換設備、網(wǎng)關、路由器、集線器等）和通信控制協(xié)議（例如，IP和SCSI等）等三部分組成。由這三個組件再加上附加的存儲設備和獨立的SAN服務器，就構成一個SAN系統(tǒng)。2022/7/19 SAN是建立在存儲協(xié)議基礎之上的可使服務器與存儲設備之間進行“any to any”連接通信的存儲網(wǎng)絡系統(tǒng)，可以實現(xiàn)多服務器共享一個陣列子系統(tǒng)、共享一個自動庫實現(xiàn)數(shù)據(jù)的共享和集中的管理，進而完成快速、大容量和安全可靠的數(shù)

21、據(jù)存儲。 提供企業(yè)商務數(shù)據(jù)或運營商數(shù)據(jù)的存儲和備份管理的網(wǎng)絡?；诰W(wǎng)絡化的存儲，SAN比傳統(tǒng)的存儲和備份技術擁有更大的容量和更強的性能。2022/7/19 通過專門的存儲管理軟件，可以直接在SAN里的大型主機、服務器或其它服務端電腦上添加硬盤和磁帶設備。通常SAN被配置成網(wǎng)絡的后端部分，存在于數(shù)據(jù)中心或者服務器之后，采用光纖通道等存儲專用協(xié)議連接成高速專用網(wǎng)絡。采用雙存儲處理器以提高性能，而模塊化的磁盤陣列則具有高度可擴充性。 2022/7/19 通過專門的存儲管理軟件，可以直接在SAN里的大型主機、服務器或其它服務端電腦上添加硬盤和磁帶設備。通常SAN被配置成網(wǎng)絡的后端部分，存在于數(shù)據(jù)中心或

22、者服務器之后，采用光纖通道等存儲專用協(xié)議連接成高速專用網(wǎng)絡。采用雙存儲處理器以提高性能，而模塊化的磁盤陣列則具有高度可擴充性。 2022/7/19 磁盤陣列、光纖交換機、磁帶庫和服務器之間采用冗余的光纖進行連接，可以保證整個系統(tǒng)的可靠性和數(shù)據(jù)流量的負載均衡。通過磁帶庫對磁盤陣列的數(shù)據(jù)進行定期的備份，可以保證數(shù)據(jù)的完整性和可靠性，并且備份通過SAN網(wǎng)絡進行數(shù)據(jù)傳輸，不占用局域網(wǎng)的帶寬和服務器的資源，極大地提高了整個系統(tǒng)的性能。2022/7/19 對于大數(shù)據(jù)量存儲，需要實時訪問數(shù)據(jù)的單位，推薦使用SAN進行數(shù)據(jù)的存儲和備份。它完全采用光纖連接，數(shù)據(jù)傳輸速度非?？?，對于所有的應用都可以很好地滿足。實

23、現(xiàn)了數(shù)據(jù)的集中管理，可以方便的進行數(shù)據(jù)的備份，同時形成的一個包含所有數(shù)據(jù)的數(shù)據(jù)中心，易于實現(xiàn)信息共享。使用專用的SAN交換機，SAN技術不受基于SCSI存儲結構的布局限制，可以在線增加存儲容量，具有良好的可伸縮性。 2022/7/19 存儲區(qū)域網(wǎng)絡SAN缺點是屬于高端應用，采用專用協(xié)議，部署復雜，維護人員需要經(jīng)過一定培訓，投資較大。2022/7/194、三種網(wǎng)絡存儲結構的比較 從具體功能上講，三種網(wǎng)絡存儲結構分別適用于不同的應用環(huán)境。1）直接附加存儲(DAS)是將存儲系統(tǒng)通過纜線直接與服務器或工作站相連，一般包括多個硬盤驅動器，與主機總線適配器通過電纜或光纖，在存儲設備和主機總線適配器之間不存

24、在其他網(wǎng)絡設備，實現(xiàn)了計算機內(nèi)存儲到存儲子系統(tǒng)的跨越。 2022/7/19 2）網(wǎng)絡附加存儲(NAS)是文件級的計算機數(shù)據(jù)存儲架構，計算機連接到一個僅為其它設備提供基于文件級數(shù)據(jù)存儲服務的網(wǎng)絡。3）存儲區(qū)域網(wǎng)絡(SAN)是通過網(wǎng)絡方式連接存儲設備和應用服務器的存儲架構，由服務器、存儲設備和SAN連接設備組成。SAN的特點是存儲共享并支持服務器從SAN直接啟動。2022/7/195、物聯(lián)網(wǎng)數(shù)據(jù)存儲 物聯(lián)網(wǎng)時代是海量數(shù)據(jù)的時代，物聯(lián)網(wǎng)數(shù)據(jù)存儲將使用數(shù)據(jù)中心的模式。數(shù)據(jù)中心是一整套復雜的設施。它不僅包括計算機系統(tǒng)和其它與之配套的設備（例如通信和存儲系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設備、監(jiān)控

25、設備以及各種安全裝置。 2022/7/19 計算機網(wǎng)絡的飛速發(fā)展導致全球信息總量迅猛增長，據(jù)統(tǒng)計2010年全球產(chǎn)生的達到1.2ZB（12億TB），世界進入ZB時代。 IDC預測全球數(shù)據(jù)量從2006年到2011年5年將增10倍。而物聯(lián)網(wǎng)中對象的數(shù)量將龐大到以百億為單位。由于物聯(lián)網(wǎng)中的對象積極參與業(yè)務流程的需求、高強度計算需求和數(shù)據(jù)的持續(xù)在線可獲取的特性，導致了網(wǎng)絡化存儲和大型數(shù)據(jù)中心的誕生。2022/7/196.2.2數(shù)據(jù)搜索1、搜索引擎技術概述 搜索引擎（search engine）是指根據(jù)一定的策略、運用特定的計算機程序搜集互聯(lián)網(wǎng)上的信息，對信息進行組織和處理后，并將處理后的信息顯示給用戶，

26、是為用戶提供檢索服務的系統(tǒng)。2022/7/19 萬維網(wǎng)（World Wide Web，WWW）還沒有出現(xiàn)時，1990年，加拿大麥吉爾大學(University of McGill)計算機學院的師生開發(fā)出Archie，人們通過FTP來共享交流資源。但和搜索引擎的基本工作方式是一樣的，即自動搜集信息資源、建立索引、提供檢索服務，所以，Archie被公認為現(xiàn)代搜索引擎的鼻祖。 2022/7/19 有了萬維網(wǎng)后，人們開發(fā)了全文索引引擎，國外代表有Google，國內(nèi)則有著名的百度搜索。它們從互聯(lián)網(wǎng)提取各個網(wǎng)站的信息，建立起數(shù)據(jù)庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結果。 2022/

27、7/19 根據(jù)搜索結果來源的不同，全文搜索引擎可分為兩類，一類擁有自己的檢索程序（Indexer），俗稱“爬蟲”（Spider）程序或“機器人”（Robot）程序，能自建網(wǎng)頁數(shù)據(jù)庫，搜索結果直接從自身的數(shù)據(jù)庫中調用，上面提到的Google和百度就屬于此類；另一類則是租用其他搜索引擎的數(shù)據(jù)庫，并按自定的格式排列搜索結果，如Lycos搜索引擎。2022/7/192、WEB搜索引擎工作原理 1）搜索引擎的組成，搜索引擎一般由搜索器、索引器、檢索器和用戶接口四個部分組成。 搜索器的功能是在互聯(lián)網(wǎng)中漫游、發(fā)現(xiàn)和搜集信息； 索引器的功能是理解搜索器所搜索到的信息，從中抽取出索引項，用于表示文檔以及生成文檔

28、庫的索引表； 2022/7/19 檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢索文檔，進行相關度評價，對將要輸出的結果排序，并能按用戶的查詢需求合理反饋信息；用戶接口的作用是接納用戶查詢、顯示查詢結果、提供個性化查詢項。2022/7/192）Web搜索引擎的原理，其原理通常是： 首先用爬蟲（Spider）進行全網(wǎng)搜索，自動抓取網(wǎng)頁；然后，將抓取的網(wǎng)頁進行索引，同時也會記錄與檢索有關的屬性，中文搜索引擎中還需要首先對中文進行分詞；最后，接受用戶查詢請求，檢索索引文件并按照各種參數(shù)進行復雜的計算，產(chǎn)生結果并返回給用戶。2022/7/19 搜索引擎的評價指標有響應時間、查全率、查準率和用戶滿意度等。

29、其中響應時間是從用戶提交查詢請求到搜索引擎給出查詢結果的時間間隔，響應時間必須在用戶可以接受的范圍之內(nèi)。查全率是指查詢結果集信息的完備性。查準率是指查詢結果集中符合用戶要求的數(shù)目與結果總數(shù)之比。用戶滿意度是一個難以量化的概念，除了搜索引擎本身的服務質量外，它還和用戶群體，網(wǎng)絡環(huán)境有關系。 2022/7/19 總的來說，Web搜索引擎的3個重要問題分別是響應時間、關鍵詞搜索和搜索結果排序。 一般來說合理的響應時間在秒這個數(shù)量級，關鍵詞搜索是指得到合理的匹配結果，搜索結果排序是指如何對海量的結果數(shù)據(jù)排序，所以，搜索引擎的體系結構的設計時需要考慮信息采集、索引技術和搜索服務三個模塊的設計。2022/

30、7/193、物聯(lián)網(wǎng)搜索引擎 在物聯(lián)網(wǎng)時代，首先需要從智能物體角度思考搜索引擎與物體之間的關系，主動識別物體并提取有用信息；其次需要從用戶角度，利用多模態(tài)信息，使查詢結果更精確，更智能，更定制化。 2022/7/19 物聯(lián)網(wǎng)中存在海量的分布式資源（包括傳感器、探測設備和驅動裝置等），未來物聯(lián)網(wǎng)中的物品可以根據(jù)自身的特定能力、所處的環(huán)境情況（傳感器的類型、驅動裝置的狀態(tài)以及服務的提供情況等）、它們的位置等，對這些普遍存在的信息和數(shù)據(jù)進行獨立的或者類別化的搜索與發(fā)現(xiàn)。2022/7/19 物聯(lián)網(wǎng)的搜索與發(fā)現(xiàn)服務將不僅服務于我們?nèi)祟?，方便我們進行各種操作。同時，這些搜索與發(fā)現(xiàn)服務也將為各種軟件、系統(tǒng)、應

31、用以及自動化的物品所使用，幫助它們收集各種分布于成千上萬組織、機構、地點位置的完整信息和狀態(tài)數(shù)據(jù)，幫助它們明確所處環(huán)境中的基礎設施配備情況，滿足智慧物品的運動、操作、加熱或者制冷，以及網(wǎng)絡通信與數(shù)據(jù)處理等的需求。 2022/7/19 通用身份驗證機制與細粒度的訪問控制機制整合到一起將可以允許物聯(lián)網(wǎng)中的資源持有者限制具體物品的發(fā)現(xiàn)權限，控制哪些物品或者人員可以使用他們的資源或者和他們所持有的特定物品之間建立起關聯(lián)。2022/7/196.3 數(shù)據(jù)挖掘 隨著信息技術的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，動輒以TB計，如何從海量的數(shù)據(jù)中提取有用的知識成為當務之急。 數(shù)據(jù)挖掘就是為順應這種需要應運而生發(fā)

32、展起來的數(shù)據(jù)處理技術。它是知識發(fā)現(xiàn) (Knowledge discovery in database，KDD) 的關鍵步驟。2022/7/196.3.1 數(shù)據(jù)挖掘技術的發(fā)展需求 現(xiàn)代的科學技術可以方便地把大量信息存儲起來，以至于存儲的信息以令人難以置信的速度瘋狂增長。大量信息在給人們帶來方便的同時也帶來了問題，龐大的信息被轉換成數(shù)據(jù)存儲在數(shù)據(jù)庫當中。 2022/7/19 一方面規(guī)模龐大、紛繁復雜的數(shù)據(jù)體系讓使用者漫無頭緒、無從下手； 另一方面在這些大量數(shù)據(jù)的背后卻隱藏著很多具有決策意義的有價值的信息。 那么，如何發(fā)現(xiàn)這些有用的知識，使之為管理決策和經(jīng)營戰(zhàn)略發(fā)展服務。面對這一挑戰(zhàn)，數(shù)據(jù)開采和知識

33、發(fā)現(xiàn)（DMKD）技術應運而生。2022/7/19 數(shù)據(jù)挖掘的核心模塊技術歷經(jīng)了數(shù)十年的發(fā)展，其中包括數(shù)理統(tǒng)計、人工智能、機器學習。今天，這些成熟的技術，加上高性能的關系數(shù)據(jù)庫引擎以及廣泛的數(shù)據(jù)集成，讓數(shù)據(jù)挖掘技術在當前的數(shù)據(jù)倉庫環(huán)境中進入了實用的階段。 2022/7/19 在電子數(shù)據(jù)處理的初期，人們就試圖通過某些方法來實現(xiàn)自動決策支持，當時機器學習成為人們關心的焦點。機器學習的過程就是將一些已知的并已被成功解決的問題作為范例輸入計算機，機器通過學習這些范例，總結并生成相應的規(guī)則，這些規(guī)則具有通用性，使用它們可以解決某一類的問題。 隨后，隨著神經(jīng)網(wǎng)絡技術的形成和發(fā)展，人們的注意力轉向知識工程，知

34、識工程不同于機器學習那樣需要給計算機輸入范例，讓它生成出規(guī)則，而是直接給計算機輸入已被代碼化的規(guī)則，而計算機是通過使用這些規(guī)則來解決某些問題。專家系統(tǒng)就是這種方法所得到的成果，但它有投資大、效果不甚理想等缺點。 2022/7/196.3.2 數(shù)據(jù)挖掘的定義1、技術上的定義 數(shù)據(jù)挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘是一門交叉學科，它集成了許多學科中成熟的工具和技術，包括數(shù)據(jù)庫技術、統(tǒng)計學、機器學習、模型識別、人工智能、神經(jīng)網(wǎng)絡等相關技術。2022/7/192、商

35、業(yè)角度的定義 數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術，它是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關鍵性數(shù)據(jù)過程。 企業(yè)數(shù)據(jù)量非常大，而其中真正有價值的信息卻很少，因此，從大量的數(shù)據(jù)中經(jīng)過深層分析，獲得有利于商業(yè)運作、提高競爭力的信息，就像從礦石中淘金一樣，數(shù)據(jù)挖掘也因此而得名。2022/7/19 數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析（如查詢、報表、聯(lián)機應用分析）的本質區(qū)別是數(shù)據(jù)挖掘是在沒有明確假設的前提下去挖掘信息、發(fā)現(xiàn)知識.數(shù)據(jù)挖掘所得到的信息應具有先未知,有效和可實用三個特征。2022/7/192022/7/196.3.3 數(shù)據(jù)挖掘系統(tǒng)的體系結構與任務 數(shù)

36、據(jù)挖掘是一個復雜的過程，通常的數(shù)據(jù)挖掘結構也比較復雜。典型的數(shù)據(jù)挖掘體系結構圖如圖6.1所示。這是一個三層結構，從下向上分別是數(shù)據(jù)、挖掘引擎、用戶界面。根據(jù)信息存儲格式，用于挖掘的對象有關系數(shù)據(jù)庫、面向對象數(shù)據(jù)庫、數(shù)據(jù)倉庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、異質數(shù)據(jù)庫以及internet等。2022/7/19數(shù)據(jù)挖掘系統(tǒng)的體系結構2022/7/19數(shù)據(jù)挖掘主要流程如下。1）定義問題，清晰地定義出業(yè)務問題，確定數(shù)據(jù)挖掘的目的；2）數(shù)據(jù)準備，選擇數(shù)據(jù)-在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標中提取數(shù)據(jù)挖掘的目標數(shù)據(jù)集數(shù)據(jù)預處理-進行數(shù)據(jù)再加工，包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、去噪聲，填補丟失

37、的域，刪除無效數(shù)據(jù)等；3） 數(shù)據(jù)挖掘，根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點選擇相應的算法，在凈化和轉換過的數(shù)據(jù)集上進行數(shù)據(jù)挖掘。2022/7/194）結果分析，對數(shù)據(jù)挖掘的結果進行解釋和評價，轉換成為能夠最終被用戶理解的知識。5）知識的運用，將分析所得到的知識集成到業(yè)務信息系統(tǒng)的組織結構中去。 數(shù)據(jù)挖掘的方法主要有神經(jīng)網(wǎng)絡方法、遺傳算法、決策樹方法、粗集方法、覆蓋正例排斥反例方法、統(tǒng)計分析方法和模糊集方法。 2022/7/19數(shù)據(jù)挖掘的任務主要是關聯(lián)分析、聚類分析、分類、預測、時序模式和偏差分析等。 1）關聯(lián)分析 (association analysis)，通過分析數(shù)據(jù)或記錄間的關系，決定哪些事

38、情將一起發(fā)生，即哪些事情存在關聯(lián)。兩個或兩個以上變量的取值之間存在某種規(guī)律性，就稱為關聯(lián)。關聯(lián)分為簡單關聯(lián)、時序關聯(lián)和因果關聯(lián)。關聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關聯(lián)網(wǎng)。 2022/7/19 2）聚類分析(clustering) 聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。 聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關系。聚類和分類的區(qū)別是聚類不依賴于預先定義好的類，不需要訓練集。 2022/7/19 3）分類(classification)，分類就是找出一個類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并

39、用這種描述來構造模型，一般用規(guī)則或決策樹模式表示。分類可被用于規(guī)則描述和預測。 2022/7/194）預測(predication) 預測是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用于對未知變量的預測。這種預測是需要時間來驗證的，即必須經(jīng)過一定時間后，才知道預測準確性是多少。預測關心的是精度和不確定性，通常用預測方差來度量。2022/7/195）時序模式(time-series pattern) 時序模式是指通過時間序列搜索出的重復發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預測未來的值，但這些數(shù)據(jù)的區(qū)別是變量所處時間的不同。 2022/7/19 6）偏差分析(d

40、eviation) 在偏差中包括很多有用的知識，數(shù)據(jù)庫中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結果與參照之間的差別。2022/7/19 數(shù)據(jù)挖掘技術在商業(yè)上實際應用十分豐富，業(yè)務應用中常見的具體例子有客戶細分、客戶保留、目標營銷、客戶拓展、欺詐檢測、購物籃分析、信用打分、信用風險評估、投資組合管理、行情分析、安全管理、客戶盈利能力分析、資源管理、利潤分析、交叉銷售、增量銷售、客戶服務等。2022/7/196.3.4 物聯(lián)網(wǎng)數(shù)據(jù)挖掘1、數(shù)據(jù)挖掘在物聯(lián)網(wǎng)中的作用 互聯(lián)網(wǎng)將信息互聯(lián)互通，物聯(lián)網(wǎng)將現(xiàn)實世界的物體通過傳感器和互聯(lián)網(wǎng)連結起來，并通

41、過云存儲、云計算實現(xiàn)云服務。物聯(lián)網(wǎng)具有行業(yè)應用的特征，依賴云計算對采集到的各行各業(yè)、數(shù)據(jù)格式各不相同的海量數(shù)據(jù)進行整合、管理、存儲，并在整個物聯(lián)網(wǎng)中提供數(shù)據(jù)挖掘服務，實現(xiàn)預測、決策，進而反向控制這些傳感網(wǎng)絡，達到控制物聯(lián)網(wǎng)中客觀事物運動和發(fā)展進程的目的。2022/7/19 數(shù)據(jù)挖掘是決策支持和過程控制的重要技術，它是物聯(lián)網(wǎng)中的重要一環(huán)。物聯(lián)網(wǎng)中的數(shù)據(jù)挖掘已經(jīng)從傳統(tǒng)的意義上的數(shù)據(jù)統(tǒng)計分析、潛在模式的發(fā)現(xiàn)與挖掘，轉向物聯(lián)網(wǎng)中不可缺少的工具和環(huán)節(jié)。 2022/7/19 物聯(lián)網(wǎng)需要對海量的數(shù)據(jù)進行更透徹的感知，要求對海量數(shù)據(jù)進行多維度整合與分析，更深入的智能化需要普適性的數(shù)據(jù)搜索和服務，需要從大量數(shù)據(jù)

42、中獲取潛在有用的且可被人理解的模式。對海量數(shù)據(jù)進行分析的基本類型有關聯(lián)分析、聚類分析和演化分析等。這些需求分析都使用了數(shù)據(jù)挖掘技術。 2022/7/19 由于對于物聯(lián)網(wǎng)的研究還處于初級階段。因此，目前，有一些物聯(lián)網(wǎng)數(shù)據(jù)挖掘還處于研究階段，這些研究主要包括以下三個方面，一些研究集中于管理和挖掘RFID數(shù)據(jù)流；一些研究偏好于提問、分析和挖掘由各種IOT服務產(chǎn)生的對象數(shù)據(jù)運動，例如，GPS裝置，RFID傳感器網(wǎng)絡等；其他研究是傳感器數(shù)據(jù)的知識發(fā)現(xiàn)。 2022/7/192、物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型1）IOT多層數(shù)據(jù)挖掘模型 根據(jù)IOT式樣和RFID數(shù)據(jù)挖掘框架，提出了下面的IOT多層數(shù)據(jù)挖掘模型，將其分為四

43、層，數(shù)據(jù)收集層、數(shù)據(jù)管理層、事件處理層和數(shù)據(jù)挖掘服務層。如圖6.2所示。 2022/7/19 數(shù)據(jù)收集層，采用一些設備，例如，RFID閱讀器和接收器等，來收集各種智能對象的數(shù)據(jù)，它們分別是RFID流數(shù)據(jù)、GPS數(shù)據(jù)、衛(wèi)星數(shù)據(jù)、位置數(shù)據(jù)和傳感器數(shù)據(jù)等。不同類型的數(shù)據(jù)需要不同的收集策略。 在數(shù)據(jù)采集過程中，一系列問題，例如，節(jié)能、誤讀、重復讀取、容錯、數(shù)據(jù)過濾和通訊等，都需要被妥善解決。2022/7/19 數(shù)據(jù)管理層適用于集中或分布式的數(shù)據(jù)庫或數(shù)據(jù)倉庫區(qū)管理收集的數(shù)據(jù)。在目標識別、數(shù)據(jù)抽象和壓縮后，一系列數(shù)據(jù)被保存在相應數(shù)據(jù)庫或數(shù)據(jù)倉庫中。 例如，RFID數(shù)據(jù)，原始的數(shù)據(jù)流格式是EPC、位置、時間

44、，EPC被標記為智能對象的ID。然后再利用數(shù)據(jù)倉庫去儲存和管理相關數(shù)據(jù)，包括信息表、停留表和地圖表。另外，也可以采用XML語言去表述IOT數(shù)據(jù)。智能對象可以通過物聯(lián)網(wǎng)數(shù)據(jù)管理層相互連接。2022/7/19 事件處理層有效地用于分析IOT事件。因此，我們可以在事件處理層實現(xiàn)基于事件的提問分析。將觀察到的原始時間過濾后，就可獲得復雜事件或用戶關注的事件。然后我們可以根據(jù)事件集合、組織和分析數(shù)據(jù)。 數(shù)據(jù)挖掘服務層建立在數(shù)據(jù)管理和事件處理的基礎上。各種基于對象或基于事件的數(shù)據(jù)挖掘服務。例如：供應鏈管理、庫存管理和優(yōu)化等。這一層的建立模式是服務至上。2022/7/192）IOT分布式數(shù)據(jù)挖掘模型 跟一般

45、的數(shù)據(jù)相比，IOT數(shù)據(jù)有自己的特色。例如，IOT數(shù)據(jù)總是大規(guī)模的、分布式的、時間相關的和位置相關的。同時，數(shù)據(jù)的來源是各異的，節(jié)點的資源是有限的。這些特征帶來了很多集中數(shù)據(jù)挖掘式樣的問題。2022/7/19 首先，大量的IOT數(shù)據(jù)儲存在不同的地點。因此，通過中央模式很難讓我們挖掘分布式數(shù)據(jù)。 第二，IOT數(shù)據(jù)很龐大需要實時處理。所以如果我們采用中央結構，硬件中央節(jié)點的要求非常高。 第三，考慮到數(shù)據(jù)安全性、數(shù)據(jù)隱私、容錯、商業(yè)競爭、法律約束和其他方面，將所有相關數(shù)據(jù)放在一起的戰(zhàn)略通常是不可行的。 2022/7/19 第四，節(jié)點的資源是有限的。將數(shù)據(jù)放在中心節(jié)點的策略沒有優(yōu)化昂貴資源傳輸。在大多數(shù)

46、情況下，中心節(jié)點不需要所有的數(shù)據(jù)，但是需要估計一些參數(shù)。所以可以在分布式節(jié)點中預處理原始數(shù)據(jù)，再將必要信息傳送給接收者。 IOT分布式數(shù)據(jù)挖掘模型不僅可以解決分布式存儲節(jié)點帶來的問題，也將復雜的問題分解成簡單的問題。因此，高性能需求、高存儲能力和計算能力都降低。我們提出了在IOT分布式數(shù)據(jù)挖掘模型中，全局控制節(jié)點是整個數(shù)據(jù)挖掘系統(tǒng)的核心。它選擇數(shù)據(jù)挖掘算法和挖掘數(shù)據(jù)集合，之后引導包含這些數(shù)據(jù)集合的輔助節(jié)點。這些輔助節(jié)點從各種智能對象收到原始數(shù)據(jù)。這些原始數(shù)據(jù)通過數(shù)據(jù)過濾、數(shù)據(jù)抽象和壓縮進行預處理，然后，保存在局部數(shù)據(jù)倉庫中。2022/7/19 事件過濾，復雜事件檢測和局部節(jié)點數(shù)據(jù)挖掘獲得局部模

47、型。根據(jù)全局控制節(jié)點的需要，這些局部模型受控于全局控制節(jié)點并且聚集起來形成全局模型。輔助節(jié)點互相交換對象數(shù)據(jù)、處理數(shù)據(jù)和信息?；诼?lián)合管理機制的多層代理控制著整個過程。2022/7/193）IOT基于網(wǎng)格的數(shù)據(jù)挖掘模型 網(wǎng)格計算是新型的計算設備，能夠實現(xiàn)異構、大規(guī)模和高性能應用。同IOT，網(wǎng)格計算受到來自工業(yè)和研究機構的關注。網(wǎng)格的基本理念就是同電力資源一樣利用網(wǎng)格計算資源。各種計算資源、數(shù)據(jù)資源和服務資源都可以被存取或便捷使用。 2022/7/193）IOT基于網(wǎng)格的數(shù)據(jù)挖掘模型 網(wǎng)格計算是新型的計算設備，能夠實現(xiàn)異構、大規(guī)模和高性能應用。同IOT，網(wǎng)格計算受到來自工業(yè)和研究機構的關注。網(wǎng)格

48、的基本理念就是同電力資源一樣利用網(wǎng)格計算資源。各種計算資源、數(shù)據(jù)資源和服務資源都可以被存取或便捷使用。 2022/7/19 IOT的基本理念是通過互聯(lián)網(wǎng)連接到各種智能對象。如此智能對象變得聰明、環(huán)境敏感且遠程合用。所以我們可以認為智能對象是一種網(wǎng)格計算資源，使用網(wǎng)格數(shù)據(jù)挖掘服務去實現(xiàn)IOT數(shù)據(jù)挖掘操作。 2022/7/19 基于網(wǎng)格的IOT數(shù)據(jù)挖掘模型與網(wǎng)格數(shù)據(jù)挖掘的不同是硬件和軟件資源的一部分。IOT提供多種類型的硬件，如RFID標簽、RFID閱讀器、WSM、WSAN和傳感器網(wǎng)絡等。它也提供了多種軟件資源，如事件處理算法、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘應用等。我們可以充分利用網(wǎng)格數(shù)據(jù)挖掘的高水平服務，和

49、IOT數(shù)據(jù)挖掘客戶。2022/7/194）IOT多層技術集成角度的數(shù)據(jù)挖掘模型 物聯(lián)網(wǎng)是下一代互聯(lián)網(wǎng)發(fā)展的重要方向。同時，還有很多新的方向，例如可信網(wǎng)絡、無所不在的網(wǎng)絡、網(wǎng)格計算和云計算等。因此，從多層次技術集成的角度出發(fā)，提出了相應的IOT數(shù)據(jù)挖掘模型。在該模型中，數(shù)據(jù)來自環(huán)境敏感的個人、智能對象或環(huán)境。采用128位的IPV6地址，并且提供各種無所不在的方式去訪問未來網(wǎng)絡。例如：內(nèi)部網(wǎng)/互聯(lián)網(wǎng)、FTTx/xDSL、傳感器設備、RFID、移動訪問（2.5G、3G、4G）等。2022/7/192022/7/196.4云計算技術6.4.1云計算定義 云計算（Cloud computing），是一種

50、基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計算機和其他設備。 2022/7/19 狹義的云計算指的是廠商通過分布式計算和虛擬化技術搭建數(shù)據(jù)中心或超級計算機，以免費或按需租用方式向技術開發(fā)者或者企業(yè)客戶提供數(shù)據(jù)存儲、分析以及科學計算等服務，即是指IT基礎設施（硬件、平臺、軟件）的交付和使用模式，例如，亞馬遜數(shù)據(jù)倉庫出租生意。2022/7/19 廣義的云計算是指廠商通過建立網(wǎng)絡服務器集群，向各種不同類型客戶提供在線軟件服務、硬件租借、數(shù)據(jù)存儲、計算分析等不同類型的服務。廣義的云計算包括了更多的廠商和服務類型，即是指服務的交付和使用模式，例如，國內(nèi)用友、金蝶等管理軟件廠

51、商推出的在線財務軟件，谷歌發(fā)布的Google應用程序套裝等。 2022/7/19 通俗的理解是，云計算的“云”就是存在于互聯(lián)網(wǎng)上的服務器集群上的資源，它包括硬件資源（例如，服務器、存儲器、CPU等）和軟件資源（例如，應用軟件、集成開發(fā)環(huán)境等），本地計算機只需要通過互聯(lián)網(wǎng)發(fā)送一個需求信息，遠端就會有成千上萬的計算機為您提供需要的資源并將結果返回到本地計算機，這樣，本地計算機幾乎不需要做什么，所有的處理都在云計算提供商所提供的計算機群來完成。2022/7/196.4.2云計算的技術發(fā)展 云計算（Cloud Computing）是結合網(wǎng)格計算（Grid Computing ）、分布式計算（Distr

52、ibuted Computing）、并行計算（Parallel Computing）、效用計算（Utility Computing）、網(wǎng)絡存儲（Network Storage Technologies）、虛擬化（Virtualization）、負載均衡（Load Balance）等傳統(tǒng)計算機和網(wǎng)絡技術發(fā)展融合的產(chǎn)物。2022/7/19 云計算和移動化是互聯(lián)網(wǎng)的兩大發(fā)展趨勢。云計算為移動互聯(lián)網(wǎng)的發(fā)展注入了動力。IT和電信企業(yè)將基于已有基礎進行價值延伸，力求在“端”“管”“云”的產(chǎn)業(yè)鏈中占據(jù)有利位置甚至獲得主導地位。電信運營商在數(shù)據(jù)中心、用戶資源、網(wǎng)絡管理經(jīng)驗和服務可靠性等方面具有優(yōu)勢，目前他們主

53、要通過與IT企業(yè)的合作逐步推出云計算服務。2022/7/19 云計算是物聯(lián)網(wǎng)智能信息分析的核心要素。云計算技術的運用，使數(shù)以億計的各類物品的實時動態(tài)管理變得可能。隨著物聯(lián)網(wǎng)應用的發(fā)展、終端數(shù)量的增長，可借助云計算處理海量信息，進行輔助決策，提升物聯(lián)網(wǎng)信息處理能力。 2022/7/19 因此，云計算作為一種虛擬化、硬件/軟件運營化的解決方案，可以為物聯(lián)網(wǎng)提供高效的計算、存儲能力，為泛在鏈接的物聯(lián)網(wǎng)提供網(wǎng)絡引擎。 未來云計算主要朝以下3個方向發(fā)展，一是手機上的云計算，二是云計算時代資源的融合，三是云計算的商業(yè)發(fā)展。2022/7/196.4.3 云計算系統(tǒng)的體系結構1、云計算邏輯結構 云計算平臺是一

54、個強大的“云”網(wǎng)絡，連接了大量并發(fā)的網(wǎng)絡計算和服務，可利用虛擬化技術擴展每一個服務器的能力，將各自的資源通過云計算平臺結合起來，提供超級計算和存儲能力。云計算邏輯結構如圖6.3所示。 2022/7/19 1）云用戶端，提供云用戶請求服務的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊、登錄及定制服務、配置和管理用戶。 2）服務目錄，云用戶在取得相應權限（付費或其他限制）后可以選擇或定制的服務列表，也可以對已有服務進行退訂的操作，在云用戶端界面生成相應的圖標或列表的形式展示相關的服務。3）管理系統(tǒng)和部署工具，提供管理和服務，對用戶授權、認證、登錄進行管理，并可以管理可用計算資源和服

55、務，根據(jù)用戶請求并轉發(fā)到相應的相應程序，調度資源智能地部署資源和應用。2022/7/194）資源監(jiān)控，監(jiān)控和計量云系統(tǒng)資源的使用情況，完成節(jié)點同步配置、負載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。 2022/7/19 5）服務器集群，虛擬的或物理的服務器，由管理系統(tǒng)管理，負責高并發(fā)量的用戶請求處理、大運算量計算處理、用戶Web應用服務，云數(shù)據(jù)存儲時采用相應數(shù)據(jù)切割算法采用并行方式上傳和下載大容量數(shù)據(jù)。 用戶可通過云用戶端從列表中選擇所需的服務，其請求通過管理系統(tǒng)調度相應的資源，并通過部署工具分發(fā)請求、配置Web應用。2022/7/192、云計算技術體系結構 由于云計算分為IaaS、

56、PaaS和SaaS三種類型，不同的廠家又提供了不同的解決方案，所以，目前還沒有一個統(tǒng)一的技術體系結構；但綜合不同廠家的方案，可以得出一個供商榷的云計算技術體系結構，它的體系結構如圖6.4所示。 2022/7/192022/7/19云計算技術體系結構分為4層：物理資源層、資源池層、管理中間件層和SOA構建層；1）物理資源層包括計算機、存儲器、網(wǎng)絡設施、數(shù)據(jù)庫和軟件等；2）資源池層是將大量相同類型的資源構成同構或接近同構的資源池，如計算資源池、數(shù)據(jù)資源池等。構建資源池更多是物理資源的集成和管理工作； 2022/7/19 3）管理中間件負責對云計算的資源進行管理，并對眾多應用任務進行調度，使資源能夠

57、高效、安全地為應用提供服務；4）SOA構建層將云計算能力封裝成標準的Web Services服務，并納入到SOA體系進行管理和使用，包括服務注冊、查找、訪問和構建服務工作流等。管理中間件和資源池層是云計算技術的最關鍵部分，SOA構建層的功能更多依靠外部設施提供。2022/7/196.4.4 云計算服務層次 目前，云計算的主要服務形式有SaaS（Software-as-a- Service，SaaS即是軟件即服務的簡稱）、PaaS（Platform-as-a-Service，PaaS即是平臺即服務的簡稱）和IaaS（Infrastructure as a Service，IaaS即是基礎設施即服

58、務的簡稱）。 2022/7/19 PaaS基于IaaS實現(xiàn)，SaaS的服務層次又在PaaS之上，三者面向不同的需求。 IaaS提供的是用戶直接訪問底層計算資源、存儲資源和網(wǎng)絡資源的能力； PaaS提供的是軟件業(yè)務運行的環(huán)境；SaaS是將軟件以服務的形式通過網(wǎng)絡傳遞到客戶端。三種云計算模式的關系如圖6.5所示。2022/7/192022/7/191、軟件即服務(SaaS) SaaS是最成熟、知名度最高的云計算服務類型，在云計算之前軟件即服務就已經(jīng)是一個非常流行的概念了。SaaS的目標是將一切業(yè)務運行的后臺環(huán)境放入云端，通過一個瘦客戶端（通常是Web服務器）向最終用戶直接提供服務。最終用戶按需向云

59、端請求服務，而本地無需維護任何基礎構架或軟件運行環(huán)境。所有人都可以在上面使用各式各樣的軟件服務。參與者是世界各地的軟件開發(fā)者。 2022/7/19 SaaS服務提供商將應用軟件統(tǒng)一部署在自己的服務器上，用戶根據(jù)需求通過互聯(lián)網(wǎng)向廠商訂購應用軟件服務，服務提供商根據(jù)客戶所定軟件的數(shù)量、時間的長短等因素收費，并且通過瀏覽器向客戶提供軟件的模式。 2022/7/19 客戶不再像傳統(tǒng)模式那樣花費大量資金在硬件、軟件、維護人員，只需要支出一定的租賃服務費用，通過互聯(lián)網(wǎng)就可以享受到相應的硬件、軟件和維護服務，這是網(wǎng)絡應用最具效益的營運模式。對于小型企業(yè)來說，SaaS是采用先進技術的最好途徑。 2022/7/

60、192、平臺即服務(PaaS) PaaS構建在IaaS之上，在基礎構架之外還提供了業(yè)務軟件的運行環(huán)境，個人網(wǎng)站常常用到的“虛擬主機”實際上就屬于PaaS范疇，個人站長只需要將網(wǎng)站源代碼上傳到“虛擬主機”的地址，“虛擬主機”會自動運行這些代碼生成相應的Web頁面。 2022/7/19 把開發(fā)環(huán)境作為一種服務來提供。除了形成軟件本身運行的環(huán)境，PaaS通常還具備相應的存儲接口，這些資源可以直接通過FTP等方式調用，用戶無需從頭進行裸盤的初始化工作。 2022/7/19 這是一種分布式平臺服務，廠商提供開發(fā)環(huán)境、服務器平臺、硬件資源等服務給客戶，用戶在其平臺基礎上定制開發(fā)自己的應用程序并通過其服務器