第9章-物聯(lián)網(wǎng)數(shù)據(jù)和信號處理技術(shù)

1、第第 9 章章 物聯(lián)網(wǎng)數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)和信號處理技術(shù)信號處理技術(shù) 學(xué)習任務(wù)學(xué)習任務(wù)可擴展標記語言可擴展標記語言 高性能計算高性能計算 海量數(shù)據(jù)數(shù)據(jù)庫技術(shù) Click to add title in here 123本章主要涉及：本章主要涉及：4語義網(wǎng)語義網(wǎng) 學(xué)習任務(wù)學(xué)習任務(wù)智能決策算法智能決策算法 人工智能技術(shù)人工智能技術(shù) 人機交互技術(shù)人機交互技術(shù) Click to add title in here 567本章主要涉及：本章主要涉及：4語義網(wǎng)語義網(wǎng) 9.1 可擴展標記語言可擴展標記語言vXML（Extensible Markup Language）即可）即可擴展標記語言，它與擴展標記語言，它

2、與HTML一樣，都是一樣，都是SGML(Standard Generalized Markup Language, 標準通用標記語言標準通用標記語言)。vXml是是Internet環(huán)境中跨平臺的，依賴于內(nèi)容的環(huán)境中跨平臺的，依賴于內(nèi)容的技術(shù)，是當前處理結(jié)構(gòu)化文檔信息的有力工具。技術(shù)，是當前處理結(jié)構(gòu)化文檔信息的有力工具。9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介v擴展標記語言擴展標記語言XML是一種簡單的數(shù)據(jù)存儲語是一種簡單的數(shù)據(jù)存儲語言，使用一系列簡單的標記描述數(shù)據(jù)，而這些言，使用一系列簡單的標記描述數(shù)據(jù)，而這些標記可以用方便的方式建立，標記可以用方便的方式建立，v雖然雖然

3、XML占用的空間比二進制數(shù)據(jù)要占用更占用的空間比二進制數(shù)據(jù)要占用更多的空間，但多的空間，但XML極其簡單易于掌握和使用。極其簡單易于掌握和使用。9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介1. XML語法語法v在在XML中，采用了如下的語法：中，采用了如下的語法： （1） 任何的起始標簽都必須有一個結(jié)束標簽。任何的起始標簽都必須有一個結(jié)束標簽。 （2） 可以采用另一種簡化語法，可以在一個標簽中可以采用另一種簡化語法，可以在一個標簽中同時表示起始和結(jié)束標簽。同時表示起始和結(jié)束標簽。 這種語法是在大于符號之前緊跟一個斜線（這種語法是在大于符號之前緊跟一個斜線（/），），例如例如。

4、XML解析器會將其翻譯成解析器會將其翻譯成。9.1.1 可擴展標記語言（可擴展標記語言（XML）簡介）簡介（3） 標簽必須按合適的順序進行嵌套，標簽必須按合適的順序進行嵌套，v所以結(jié)束標簽必須按鏡像順序匹配起始標簽，所以結(jié)束標簽必須按鏡像順序匹配起始標簽，這好比是將起始和結(jié)束標簽看作是數(shù)學(xué)中的左這好比是將起始和結(jié)束標簽看作是數(shù)學(xué)中的左右括號：在沒有關(guān)閉所有的內(nèi)部括號之前，是右括號：在沒有關(guān)閉所有的內(nèi)部括號之前，是不能關(guān)閉外面的括號的。不能關(guān)閉外面的括號的。 （4） 所有的特性都必須有值。所有的特性都必須有值。 （5） 所有的特性都必須在值的周圍加上雙引號。所有的特性都必須在值的周圍加上雙引號。

5、9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介2. XML實例實例v v v v An Introduction to XML v Chunbin v 2010 v 98.0 v v v The Performance of DataBase v John v 1996 v 56.0 v v 9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介v上面的上面的XML文檔對應(yīng)的樹形結(jié)構(gòu)如下：文檔對應(yīng)的樹形結(jié)構(gòu)如下： XML文檔對應(yīng)的樹形結(jié)構(gòu)文檔對應(yīng)的樹形結(jié)構(gòu) 9.1.2 可擴展標記語言特性可擴展標記語言特性vXML與與Access,Oracle和和SQL Server等等

6、數(shù)據(jù)庫不同，數(shù)據(jù)庫提供了更強有力的數(shù)據(jù)存數(shù)據(jù)庫不同，數(shù)據(jù)庫提供了更強有力的數(shù)據(jù)存儲和分析能力，例如：數(shù)據(jù)索引、排序、查找、儲和分析能力，例如：數(shù)據(jù)索引、排序、查找、相關(guān)一致性等，相關(guān)一致性等，XML僅僅是展示數(shù)據(jù)。僅僅是展示數(shù)據(jù)。v事實上事實上XML與其他數(shù)據(jù)表現(xiàn)形式最大的不同與其他數(shù)據(jù)表現(xiàn)形式最大的不同是：它極其簡單。是：它極其簡單。vXML與與HTML的設(shè)計區(qū)別是：的設(shè)計區(qū)別是：XML是用來存是用來存儲數(shù)據(jù)的，重在數(shù)據(jù)本身。而儲數(shù)據(jù)的，重在數(shù)據(jù)本身。而HTML是用來是用來定義數(shù)據(jù)的，重在數(shù)據(jù)的顯示模式。定義數(shù)據(jù)的，重在數(shù)據(jù)的顯示模式。 9.1.2 可擴展標記語言特性可擴展標記語言特性vXM

7、L的簡單使其易于在任何應(yīng)用程序中讀寫數(shù)據(jù)，的簡單使其易于在任何應(yīng)用程序中讀寫數(shù)據(jù)，這使這使XML很快成為數(shù)據(jù)交換的唯一公共語言，意很快成為數(shù)據(jù)交換的唯一公共語言，意味著程序可以更容易的與味著程序可以更容易的與Windows、Mac OS, Linux以及其他平臺下產(chǎn)生的信息結(jié)合，以及其他平臺下產(chǎn)生的信息結(jié)合，v然后可以很容易加載然后可以很容易加載XML數(shù)據(jù)到程序中并分析他，數(shù)據(jù)到程序中并分析他，并以并以XML格式輸出結(jié)果。格式輸出結(jié)果。 9.1.3 可擴展標記語言文檔結(jié)構(gòu)可擴展標記語言文檔結(jié)構(gòu) v每個每個XML文檔都由文檔都由XML序言開始，在前面的代碼中的序言開始，在前面的代碼中的第一行便是

8、第一行便是XML序言，序言，。v這一行代碼會告訴解析器和瀏覽器，這個文件應(yīng)該按照這一行代碼會告訴解析器和瀏覽器，這個文件應(yīng)該按照前面討論過的前面討論過的XML規(guī)則進行解析。規(guī)則進行解析。v第二行代碼，第二行代碼，則是文檔元素，則是文檔元素（document element），它是文件中最外面的標），它是文件中最外面的標簽（我們認為元素（簽（我們認為元素（element）是起始標簽和結(jié)束標）是起始標簽和結(jié)束標簽之間的內(nèi)容）。簽之間的內(nèi)容）。9.1.3 可擴展標記語言文檔結(jié)構(gòu)可擴展標記語言文檔結(jié)構(gòu) v 所有其他的標簽必須包含在這個標簽之內(nèi)所有其他的標簽必須包含在這個標簽之內(nèi)來組成一個有效的來組成一

9、個有效的XML文件。文件。XML文件的第文件的第二行并不一定要包含文檔元素；如果有注釋或二行并不一定要包含文檔元素；如果有注釋或者其他內(nèi)容，文檔元素可以遲些出現(xiàn)。者其他內(nèi)容，文檔元素可以遲些出現(xiàn)。 v范例文件中的第三行代碼是注釋，你會發(fā)范例文件中的第三行代碼是注釋，你會發(fā)現(xiàn)它與現(xiàn)它與HTML中使用的注釋風格是一樣的。這中使用的注釋風格是一樣的。這是是XML從從SGML中繼承的語法元素之一。中繼承的語法元素之一。 9.1.3 可擴展標記語言文檔結(jié)構(gòu)可擴展標記語言文檔結(jié)構(gòu) XML 文檔結(jié)構(gòu)文檔結(jié)構(gòu) 9.1.4 XML的優(yōu)勢的優(yōu)勢vXML 的優(yōu)勢有以下六個方面：的優(yōu)勢有以下六個方面： v XML可以

10、從可以從HTML中分離數(shù)據(jù)中分離數(shù)據(jù) v XML用于交換數(shù)據(jù)用于交換數(shù)據(jù) v XML可以用于共享數(shù)據(jù)可以用于共享數(shù)據(jù) v XML可以用于存儲數(shù)據(jù)可以用于存儲數(shù)據(jù) v XML可以充分利用數(shù)據(jù)可以充分利用數(shù)據(jù) v XML可以用于創(chuàng)建新的語言可以用于創(chuàng)建新的語言 9.2 高性能計算高性能計算v高性能計算高性能計算(High Performance Computing)是計算機科學(xué)的一個分支，主是計算機科學(xué)的一個分支，主要是指從體系結(jié)構(gòu)、并行算法和軟件開發(fā)等方要是指從體系結(jié)構(gòu)、并行算法和軟件開發(fā)等方面研究開發(fā)高性能計算機的技術(shù)。面研究開發(fā)高性能計算機的技術(shù)。v高性能計算高性能計算(HPC) 指通常使用

11、很多處理器指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組（作為單個機器的一部分）或者某一集群中組織的幾臺計算機（作為單個計算資源操作）的織的幾臺計算機（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。計算系統(tǒng)和環(huán)境。 9.2.1 高性能計算概述高性能計算概述 v有許多類型的有許多類型的HPC 系統(tǒng)，其范圍從標準計算機系統(tǒng)，其范圍從標準計算機的大型集群，到高度專用的硬件。的大型集群，到高度專用的硬件。v大多數(shù)基于集群的大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互系統(tǒng)使用高性能網(wǎng)絡(luò)互連，比如那些來自連，比如那些來自 InfiniBand 或或 Myrinet 的網(wǎng)絡(luò)互連。的網(wǎng)絡(luò)互連。v基本的網(wǎng)

12、絡(luò)拓撲和組織可以使用一個簡單的總基本的網(wǎng)絡(luò)拓撲和組織可以使用一個簡單的總線拓撲，在性能很高的環(huán)境中，網(wǎng)狀網(wǎng)絡(luò)系統(tǒng)線拓撲，在性能很高的環(huán)境中，網(wǎng)狀網(wǎng)絡(luò)系統(tǒng)在主機之間提供較短的潛伏期，所以可改善總在主機之間提供較短的潛伏期，所以可改善總體網(wǎng)絡(luò)性能和傳輸速率。體網(wǎng)絡(luò)性能和傳輸速率。9.2.1 高性能計算概述高性能計算概述 v下圖顯示了一網(wǎng)狀下圖顯示了一網(wǎng)狀 HPC 系統(tǒng)。在網(wǎng)狀網(wǎng)絡(luò)拓系統(tǒng)。在網(wǎng)狀網(wǎng)絡(luò)拓撲中，該結(jié)構(gòu)支持通過縮短網(wǎng)絡(luò)節(jié)點之間的物撲中，該結(jié)構(gòu)支持通過縮短網(wǎng)絡(luò)節(jié)點之間的物理和邏輯距離來加快跨主機的通信。理和邏輯距離來加快跨主機的通信。 .HPC 網(wǎng)狀網(wǎng)絡(luò)拓撲網(wǎng)狀網(wǎng)絡(luò)拓撲 9.2.1 高性能計

13、算概述高性能計算概述 vHPC 環(huán)境中的任務(wù)執(zhí)行，有兩個模型：單指令環(huán)境中的任務(wù)執(zhí)行，有兩個模型：單指令/多多數(shù)據(jù)數(shù)據(jù) (SIMD) 和多指令和多指令/多數(shù)據(jù)多數(shù)據(jù) (MIMD)。vSIMD在跨多個處理器的同時執(zhí)行相同的計算指令在跨多個處理器的同時執(zhí)行相同的計算指令和操作，但對于不同數(shù)據(jù)范圍，它允許系統(tǒng)同時使和操作，但對于不同數(shù)據(jù)范圍，它允許系統(tǒng)同時使用許多變量計算相同的表達式。用許多變量計算相同的表達式。vMIMD允許允許HPC 系統(tǒng)在同一時間使用不同的變量系統(tǒng)在同一時間使用不同的變量執(zhí)行不同的計算，使整個系統(tǒng)看起來并不只是一個執(zhí)行不同的計算，使整個系統(tǒng)看起來并不只是一個沒有任何特點的計算資

14、源，可以同時執(zhí)行許多計算。沒有任何特點的計算資源，可以同時執(zhí)行許多計算。 9.2.1 高性能計算概述高性能計算概述 v不管是使用不管是使用 SIMD 還是還是 MIMD，典型，典型 HPC 的的基本原理仍然是相同的：整個基本原理仍然是相同的：整個HPC 單元的操作和單元的操作和行為像是單個計算資源，它將實際請求的加載展行為像是單個計算資源，它將實際請求的加載展開到各個節(jié)點。開到各個節(jié)點。vHPC 解決方案也是專用的單元，被專門設(shè)計和部解決方案也是專用的單元，被專門設(shè)計和部署為能夠充當（并且只充當）大型計算資源。署為能夠充當（并且只充當）大型計算資源。 9.2.2 高性能計算機的應(yīng)用高性能計算機

15、的應(yīng)用v高性能計算機是價格在高性能計算機是價格在10萬元以上的服務(wù)器。萬元以上的服務(wù)器。v高性能計算機也有高、中、低檔之分，中高檔高性能計算機也有高、中、低檔之分，中高檔系統(tǒng)可分為兩種系統(tǒng)可分為兩種:v一種叫超級計算機，主要是用于科學(xué)工程計算一種叫超級計算機，主要是用于科學(xué)工程計算及專門的設(shè)計，如及專門的設(shè)計，如Cray T3E；v另一種叫超級服務(wù)器，可以用來支持計算、事另一種叫超級服務(wù)器，可以用來支持計算、事務(wù)處理、數(shù)據(jù)庫應(yīng)用、網(wǎng)絡(luò)應(yīng)用與服務(wù)，如務(wù)處理、數(shù)據(jù)庫應(yīng)用、網(wǎng)絡(luò)應(yīng)用與服務(wù)，如IBM的的SP和國產(chǎn)的曙光和國產(chǎn)的曙光2000。 9.2.2 高性能計算機的應(yīng)用高性能計算機的應(yīng)用v高性能計算

16、機在國內(nèi)的研究與應(yīng)用已取得了一些高性能計算機在國內(nèi)的研究與應(yīng)用已取得了一些成功，包括成功，包括:v航空航天工業(yè)中的數(shù)字風洞，可以減少實驗次數(shù)，航空航天工業(yè)中的數(shù)字風洞，可以減少實驗次數(shù)，縮短研制周期，節(jié)約研制費用；縮短研制周期，節(jié)約研制費用；v利用高性能計算機做氣象預(yù)報和氣候模擬利用高性能計算機做氣象預(yù)報和氣候模擬;v在生物工程、生物信息學(xué)、船舶設(shè)計、汽車設(shè)計在生物工程、生物信息學(xué)、船舶設(shè)計、汽車設(shè)計和碰撞模擬和碰撞模擬;v三峽工程施工管理和質(zhì)量控制等領(lǐng)域都有高性能三峽工程施工管理和質(zhì)量控制等領(lǐng)域都有高性能計算機成功應(yīng)用的實例。計算機成功應(yīng)用的實例。9.2.3 高性能計算分類高性能計算分類1.

17、 高吞吐計算高吞吐計算(High-throughput Computing)v有一類高性能計算，可以把它分成若干可以并行有一類高性能計算，可以把它分成若干可以并行的子任務(wù)，而且各個子任務(wù)彼此間沒有什么關(guān)聯(lián)。的子任務(wù)，而且各個子任務(wù)彼此間沒有什么關(guān)聯(lián)。因為這種類型應(yīng)用的一個共同特征是在海量數(shù)據(jù)因為這種類型應(yīng)用的一個共同特征是在海量數(shù)據(jù)上搜索某些特定模式，所以把這類計算稱為高吞上搜索某些特定模式，所以把這類計算稱為高吞吐計算。吐計算。v所謂的所謂的Internet計算都屬于這一類。按照計算都屬于這一類。按照Flynn的分類，高吞吐計算屬于的分類，高吞吐計算屬于SIMD（Single Instruc

18、tion/Multiple Data,單單指令流指令流-多數(shù)據(jù)流）的范疇。多數(shù)據(jù)流）的范疇。9.2.3 高性能計算分類高性能計算分類2. 分布計算分布計算(Distributed Computing)v另一類計算剛好和高吞吐計算相反，它們雖然可另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干并行的子任務(wù)，但是子任務(wù)間聯(lián)系以給分成若干并行的子任務(wù)，但是子任務(wù)間聯(lián)系很緊密，需要大量的數(shù)據(jù)交換。很緊密，需要大量的數(shù)據(jù)交換。v按照按照Flynn的分類，分布式的高性能計算屬于的分類，分布式的高性能計算屬于MIMD（Multiple Instruction/Multiple Data，多指令流，多指

19、令流-多數(shù)據(jù)流）的范疇。多數(shù)據(jù)流）的范疇。9.2.4 分布式計算分布式計算v所謂分布式計算就是在兩個或多個軟件互相共享所謂分布式計算就是在兩個或多個軟件互相共享信息，這些軟件既可以在同一臺計算機上運行，信息，這些軟件既可以在同一臺計算機上運行，也可以在通過網(wǎng)絡(luò)連接起來的多臺計算機上運行。也可以在通過網(wǎng)絡(luò)連接起來的多臺計算機上運行。v分布式計算是利用互聯(lián)網(wǎng)上的計算機的分布式計算是利用互聯(lián)網(wǎng)上的計算機的 CPU 的的閑置處理能力來解決大型計算問題的一種計算科閑置處理能力來解決大型計算問題的一種計算科學(xué)。學(xué)。v分布式計算是近年提出的一種新的計算方式。分布式計算是近年提出的一種新的計算方式。9.2.4

20、 分布式計算分布式計算v分布式計算是一門計算機科學(xué)。分布式計算是一門計算機科學(xué)。v它研究如何把一個需要非常巨大的計算能力才能它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結(jié)分配給許多計算機進行處理，最后把這些計算結(jié)果綜合起來得到最終結(jié)果。果綜合起來得到最終結(jié)果。9.2.4 分布式計算分布式計算v最近的分布式計算項目已經(jīng)被用于使用世界各地成最近的分布式計算項目已經(jīng)被用于使用世界各地成千上萬志愿者的計算機的閑置計算能力，千上萬志愿者的計算機的閑置計算能力，v通過因特網(wǎng)，您可以分析

21、來自外太空的電訊號，尋通過因特網(wǎng)，您可以分析來自外太空的電訊號，尋找隱蔽的黑洞，并探索可能存在的外星智慧生命；找隱蔽的黑洞，并探索可能存在的外星智慧生命；v您可以尋找超過您可以尋找超過1000萬位數(shù)字的梅森質(zhì)數(shù)；萬位數(shù)字的梅森質(zhì)數(shù)；v您也可以尋找并發(fā)現(xiàn)對抗艾滋病毒更為有效的藥物。您也可以尋找并發(fā)現(xiàn)對抗艾滋病毒更為有效的藥物。v用以完成需要驚人的計算量的龐大項目。用以完成需要驚人的計算量的龐大項目。9.2.5 網(wǎng)格計算網(wǎng)格計算 v網(wǎng)格計算系統(tǒng)的關(guān)鍵元素是網(wǎng)格中的各個節(jié)點，網(wǎng)格計算系統(tǒng)的關(guān)鍵元素是網(wǎng)格中的各個節(jié)點，它們不是專門的專用組件。它們不是專門的專用組件。v在網(wǎng)格中，各種系統(tǒng)常?；跇藴蕶C器

22、或操作系在網(wǎng)格中，各種系統(tǒng)常常基于標準機器或操作系統(tǒng)。位于這種標準環(huán)境頂部的是應(yīng)用軟件，它們統(tǒng)。位于這種標準環(huán)境頂部的是應(yīng)用軟件，它們支持網(wǎng)格功能。支持網(wǎng)格功能。v網(wǎng)格可能由一系列同樣的專用硬件、多種具有相網(wǎng)格可能由一系列同樣的專用硬件、多種具有相同基礎(chǔ)架構(gòu)的機器或者由多個平臺和環(huán)境組成的同基礎(chǔ)架構(gòu)的機器或者由多個平臺和環(huán)境組成的完全異構(gòu)的環(huán)境組成。完全異構(gòu)的環(huán)境組成。v專用計算資源在網(wǎng)格中并不是必需的。許多網(wǎng)格專用計算資源在網(wǎng)格中并不是必需的。許多網(wǎng)格是通過重用現(xiàn)有基礎(chǔ)設(shè)施組件產(chǎn)生新的統(tǒng)一計算是通過重用現(xiàn)有基礎(chǔ)設(shè)施組件產(chǎn)生新的統(tǒng)一計算資源來創(chuàng)建的。資源來創(chuàng)建的。 9.2.5 網(wǎng)格計算網(wǎng)格計算

23、 網(wǎng)格與傳統(tǒng)網(wǎng)格與傳統(tǒng)HPC解決方案之間的主要不同是：解決方案之間的主要不同是：vHPC解決方案設(shè)計用于提供特定資源解決方案，解決方案設(shè)計用于提供特定資源解決方案，比如強大的計算能力以及在內(nèi)存中保存大量數(shù)據(jù)比如強大的計算能力以及在內(nèi)存中保存大量數(shù)據(jù)以便處理它們的能力。以便處理它們的能力。v另一方面，網(wǎng)格是一種分布式計算資源，這意味另一方面，網(wǎng)格是一種分布式計算資源，這意味著網(wǎng)格可以根據(jù)需要共享任何組件，包括內(nèi)存、著網(wǎng)格可以根據(jù)需要共享任何組件，包括內(nèi)存、CPU電源，甚至是磁盤空間。電源，甚至是磁盤空間。 9.2.5 網(wǎng)格計算網(wǎng)格計算 具體的網(wǎng)格計算的應(yīng)用框架結(jié)構(gòu)具體的網(wǎng)格計算的應(yīng)用框架結(jié)構(gòu) 9

24、.2.6 網(wǎng)格類型網(wǎng)格類型（1） 高吞吐量網(wǎng)格高吞吐量網(wǎng)格v在這種網(wǎng)格中，發(fā)給每個網(wǎng)格節(jié)點的各個任務(wù)單在這種網(wǎng)格中，發(fā)給每個網(wǎng)格節(jié)點的各個任務(wù)單元通常都非常小，每個單元的請求和預(yù)期執(zhí)行時元通常都非常小，每個單元的請求和預(yù)期執(zhí)行時間都很小。間都很小。v這些網(wǎng)格通常會在計算系統(tǒng)中使用，其中請求的這些網(wǎng)格通常會在計算系統(tǒng)中使用，其中請求的數(shù)量反應(yīng)數(shù)量反應(yīng) 了給定函數(shù)或計算的不同輸入值的范了給定函數(shù)或計算的不同輸入值的范圍。圍。v例如，在單個作業(yè)中可能有例如，在單個作業(yè)中可能有 10,000 甚至甚至 100,000 個請求。個請求。9.2.6 網(wǎng)格類型網(wǎng)格類型（2）高計算量（高計算量（High-co

25、mputational）網(wǎng)）網(wǎng)格格 v 在計算網(wǎng)格中，每個節(jié)點都負責為函數(shù)或表在計算網(wǎng)格中，每個節(jié)點都負責為函數(shù)或表達式提供達式提供 CPU 處理能力。處理能力。v每個工作單元的持續(xù)時間可能會很長（與高吞每個工作單元的持續(xù)時間可能會很長（與高吞吐量網(wǎng)格中較短的執(zhí)行時間相比）。吐量網(wǎng)格中較短的執(zhí)行時間相比）。 9.2.6 網(wǎng)格類型網(wǎng)格類型（3）高內(nèi)存量（）高內(nèi)存量（High-memory grid）的網(wǎng)）的網(wǎng)格格v 在處理大量數(shù)據(jù)時使用這種類型的網(wǎng)格，例如在處理大量數(shù)據(jù)時使用這種類型的網(wǎng)格，例如計算機動畫繪圖、計算流體動力學(xué)（計算機動畫繪圖、計算流體動力學(xué)（CFD）分）分析或制造和監(jiān)視系統(tǒng)中處理

26、大量數(shù)據(jù)所使用的析或制造和監(jiān)視系統(tǒng)中處理大量數(shù)據(jù)所使用的網(wǎng)格。網(wǎng)格。 （4）存儲網(wǎng)格）存儲網(wǎng)格 v存儲網(wǎng)格在需要將大量信息存儲在大量計算機存儲網(wǎng)格在需要將大量信息存儲在大量計算機上時使用，所以數(shù)據(jù)的大小以及從網(wǎng)格存儲上時使用，所以數(shù)據(jù)的大小以及從網(wǎng)格存儲/檢索信息這樣的負載被分布到網(wǎng)格中。檢索信息這樣的負載被分布到網(wǎng)格中。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)v高性能集群主要用于處理復(fù)雜的計算問題，應(yīng)用在高性能集群主要用于處理復(fù)雜的計算問題，應(yīng)用在需要大規(guī)?？茖W(xué)計算的環(huán)境中，如天氣預(yù)報、石油需要大規(guī)模科學(xué)計算的環(huán)境中，如天氣預(yù)報、石油勘探與油藏模擬、分子模擬、基因

27、測序等?？碧脚c油藏模擬、分子模擬、基因測序等。v高性能集群上運行的應(yīng)用程序一般使用并行算法，高性能集群上運行的應(yīng)用程序一般使用并行算法，把一個大的普通問題根據(jù)一定的規(guī)則分為許多小的把一個大的普通問題根據(jù)一定的規(guī)則分為許多小的子問題，在集群內(nèi)的不同節(jié)點上進行計算，而這些子問題，在集群內(nèi)的不同節(jié)點上進行計算，而這些小問題的處理結(jié)果，經(jīng)過處理可合并為原問題的最小問題的處理結(jié)果，經(jīng)過處理可合并為原問題的最終結(jié)果。終結(jié)果。v由于這些小問題的計算一般是可以并行完成的，從由于這些小問題的計算一般是可以并行完成的，從而可以縮短問題的處理時間。而可以縮短問題的處理時間。9.2.7 高性能計算集群高性能計算集群(

28、HPC CLUSTER)1. 高性能計算集群系統(tǒng)模型高性能計算集群系統(tǒng)模型v（1）Beowulf集群集群v簡單的說，簡單的說，Beowulf是一種能夠?qū)⒍嗯_計算機用是一種能夠?qū)⒍嗯_計算機用于并行計算的體系結(jié)構(gòu)。通常于并行計算的體系結(jié)構(gòu)。通常Beowulf系統(tǒng)由通系統(tǒng)由通過以太網(wǎng)或其他網(wǎng)絡(luò)連接的多個計算節(jié)點和管理過以太網(wǎng)或其他網(wǎng)絡(luò)連接的多個計算節(jié)點和管理節(jié)點構(gòu)成。節(jié)點構(gòu)成。v管理節(jié)點控制整個集群系統(tǒng)，同時為計算節(jié)點提管理節(jié)點控制整個集群系統(tǒng)，同時為計算節(jié)點提供文件服務(wù)和對外的網(wǎng)絡(luò)連接。它使用的是常見供文件服務(wù)和對外的網(wǎng)絡(luò)連接。它使用的是常見的硬件設(shè)備，象普通的硬件設(shè)備，象普通PC、以太網(wǎng)卡和集線

29、器。、以太網(wǎng)卡和集線器。vBeowulf集群的軟件也是隨處可見的，象集群的軟件也是隨處可見的，象Linux、PVM和和MPI。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（2）COW集群集群v象象Beowulf一樣，一樣，COW（Cluster Of Workstation）也是由最常見的硬件設(shè)備和軟件）也是由最常見的硬件設(shè)備和軟件系統(tǒng)搭建而成。通常也是由一個控制節(jié)點和多個計系統(tǒng)搭建而成。通常也是由一個控制節(jié)點和多個計算節(jié)點構(gòu)成。算節(jié)點構(gòu)成。v因為因為COW中的計算節(jié)點主要的目的是桌面應(yīng)用，所中的計算節(jié)點主要的目的是桌面應(yīng)用，所以它們都具有顯示器、鍵盤和鼠標等外設(shè)。而以

30、它們都具有顯示器、鍵盤和鼠標等外設(shè)。而Beowulf的計算節(jié)點通常沒有這些外設(shè)，對這些計的計算節(jié)點通常沒有這些外設(shè)，對這些計算節(jié)點的訪問通常是在管理節(jié)點上通過網(wǎng)絡(luò)或串口算節(jié)點的訪問通常是在管理節(jié)點上通過網(wǎng)絡(luò)或串口線實現(xiàn)的。線實現(xiàn)的。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（3）COW和和Beowulf的區(qū)別：的區(qū)別：vCOW中的計算節(jié)點主要都是閑置的計算資源，如中的計算節(jié)點主要都是閑置的計算資源，如辦公室中普通的辦公室中普通的PC，采用普通的局域網(wǎng)進行連接。，采用普通的局域網(wǎng)進行連接。因為這些計算節(jié)點白天會作為工作站使用，所以因為這些計算節(jié)點白天會作為工作站使用，所

31、以主要的集群計算發(fā)生在晚上和周末等空閑時間。主要的集群計算發(fā)生在晚上和周末等空閑時間。v而而Beowulf中的計算節(jié)點都是專職于并行計算，中的計算節(jié)點都是專職于并行計算，并且進行了性能優(yōu)化。并且進行了性能優(yōu)化。Beowulf采用高速網(wǎng)采用高速網(wǎng)（InfiniBand, SCI, Myrinet）上的消息傳遞）上的消息傳遞（PVM或或MPI）進行進程間通信（）進行進程間通信（IPC）。）。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)2高性能計算集群配置高性能計算集群配置 在搭建高性能計算集群（在搭建高性能計算集群（HPC CLUSTER）之前，我們首先要根據(jù)具體的應(yīng)）之前

32、，我們首先要根據(jù)具體的應(yīng)用需求，在用需求，在:v(1) 節(jié)點的部署節(jié)點的部署v(2) 高速互連網(wǎng)絡(luò)的選擇、高速互連網(wǎng)絡(luò)的選擇、v(3)集群管理和通訊軟件集群管理和通訊軟件 這三個方面作出配置。這三個方面作出配置。9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（1）節(jié)點的部署）節(jié)點的部署v根據(jù)功能，把集群中的節(jié)點劃分為根據(jù)功能，把集群中的節(jié)點劃分為6種類型：種類型： v 用戶節(jié)點用戶節(jié)點(User Node)； v 控制節(jié)點控制節(jié)點(Control Node)；v 管理節(jié)點管理節(jié)點(Management Node)； v 存儲節(jié)點存儲節(jié)點(Storage Node)； v 安

33、裝節(jié)點安裝節(jié)點(Installation Node)； v計算節(jié)點計算節(jié)點(Compute Node).9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（2）高速互連網(wǎng)絡(luò)的選擇）高速互連網(wǎng)絡(luò)的選擇v網(wǎng)絡(luò)是集群最關(guān)鍵的部分網(wǎng)絡(luò)是集群最關(guān)鍵的部分.它的容量和性能直接影它的容量和性能直接影響了整個系統(tǒng)對高性能計算響了整個系統(tǒng)對高性能計算(HPC)的適用性。的適用性。v根據(jù)調(diào)查根據(jù)調(diào)查,大多數(shù)高性能科學(xué)計算任務(wù)都是通信密大多數(shù)高性能科學(xué)計算任務(wù)都是通信密集型的集型的,因此如何盡可能的縮短節(jié)點間的通信延遲因此如何盡可能的縮短節(jié)點間的通信延遲和提高吞吐量是一個核心問題。和提高吞吐量是一個

34、核心問題。9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER) Myrinet互連技術(shù)互連技術(shù)vMyrinet 提供網(wǎng)卡和交換機，其單向互連速度提供網(wǎng)卡和交換機，其單向互連速度最高可達到最高可達到 1.28 Gbps。v網(wǎng)卡有兩種形式，銅線型和光纖型。網(wǎng)卡有兩種形式，銅線型和光纖型。 v銅線型銅線型 LAN 可以在可以在10英尺距離內(nèi)以全速進行英尺距離內(nèi)以全速進行通信。通信。v光纖型光纖型 Myrinet 可以在可以在6.25英里長的單模光英里長的單模光纖或者纖或者340英尺長的多模光纖上全速運行。英尺長的多模光纖上全速運行。9.2.7 高性能計算集群高性能計算集群(HPC CL

35、USTER) InfiniBand互連技術(shù)互連技術(shù)vInfiniBand 是一種用于實現(xiàn)基于通道的交換式是一種用于實現(xiàn)基于通道的交換式技術(shù)的通用技術(shù)的通用I/O規(guī)范。由于規(guī)范。由于IB的理論帶寬極高的理論帶寬極高30Gbit/S, 因此備受業(yè)內(nèi)關(guān)注。因此備受業(yè)內(nèi)關(guān)注。InfiniBand 的解決方案包括一個連接多個獨立的解決方案包括一個連接多個獨立處理器和處理器和I/O平臺的系統(tǒng)區(qū)域網(wǎng)絡(luò)，它所定義的平臺的系統(tǒng)區(qū)域網(wǎng)絡(luò)，它所定義的通信和管理結(jié)構(gòu)同時支持通信和管理結(jié)構(gòu)同時支持I/O和處理器與處理器和處理器與處理器之間的通信。之間的通信。vInfiniBand 系統(tǒng)可以是只有少量系統(tǒng)可以是只有少量I

36、/O設(shè)備的單設(shè)備的單處理器服務(wù)器，也可以是大型的并行超級計算機。處理器服務(wù)器，也可以是大型的并行超級計算機。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)InfiniBand 規(guī)范定義了規(guī)范定義了3個基本組件：個基本組件：v一個主機信道適配器（一個主機信道適配器（HCA）；一個目標信）；一個目標信道適配器（道適配器（TCA）；一個網(wǎng)絡(luò)交換機。）；一個網(wǎng)絡(luò)交換機。InfiniBand體系架構(gòu)模型體系架構(gòu)模型 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（3）集群管理和通訊軟件）集群管理和通訊軟件v 國內(nèi)和國際上有多種集群管理和通訊軟件，國內(nèi)和國際上有多

37、種集群管理和通訊軟件，一些是由一些是由 HPC 集成商自己編寫的專用軟件，捆集成商自己編寫的專用軟件，捆綁硬件銷售的，也有專業(yè)的軟件公司提供的通用綁硬件銷售的，也有專業(yè)的軟件公司提供的通用軟件包。軟件包。v全球知名的全球知名的HPC軟件公司軟件公司挪威挪威 Scali公司。公司。Scali 軟件的最大特點是支持多種高速互連網(wǎng)絡(luò)：軟件的最大特點是支持多種高速互連網(wǎng)絡(luò)：從千兆以太網(wǎng)，從千兆以太網(wǎng)，SCI,Myrinet,到到 InfiniBand 都可以支持。都可以支持。9.3 海量數(shù)據(jù)數(shù)據(jù)庫技術(shù)海量數(shù)據(jù)數(shù)據(jù)庫技術(shù)v在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用中，選擇一個適合自己項目在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用中，選擇一個適合自己項

38、目的數(shù)據(jù)平臺對整個項目成敗而言尤為重要，其原的數(shù)據(jù)平臺對整個項目成敗而言尤為重要，其原則有二：則有二：v第一，根據(jù)數(shù)據(jù)類別和實際應(yīng)用選擇正確的數(shù)據(jù)第一，根據(jù)數(shù)據(jù)類別和實際應(yīng)用選擇正確的數(shù)據(jù)庫類型。業(yè)務(wù)數(shù)據(jù)、管理數(shù)據(jù)要使用關(guān)系型數(shù)據(jù)庫類型。業(yè)務(wù)數(shù)據(jù)、管理數(shù)據(jù)要使用關(guān)系型數(shù)據(jù)庫，海量數(shù)據(jù)、實時數(shù)據(jù)要使用實時數(shù)據(jù)庫；庫，海量數(shù)據(jù)、實時數(shù)據(jù)要使用實時數(shù)據(jù)庫；v第二，必須具有前瞻性。目前物聯(lián)網(wǎng)項目大多是第二，必須具有前瞻性。目前物聯(lián)網(wǎng)項目大多是試點項目，如果在初步設(shè)計的時候沒有考慮這一試點項目，如果在初步設(shè)計的時候沒有考慮這一點的話，試點也就失去了試點本身的意義了。點的話，試點也就失去了試點本身的意義了

39、。9.3.1傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面臨更大的挑傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面臨更大的挑戰(zhàn)戰(zhàn) v 傳統(tǒng)的關(guān)系型數(shù)據(jù)庫具有數(shù)據(jù)結(jié)構(gòu)化、最低傳統(tǒng)的關(guān)系型數(shù)據(jù)庫具有數(shù)據(jù)結(jié)構(gòu)化、最低冗余度、較高的程序與數(shù)據(jù)獨立性、易于擴充、冗余度、較高的程序與數(shù)據(jù)獨立性、易于擴充、易于編制應(yīng)用程序等優(yōu)點，目前較大的信息系統(tǒng)易于編制應(yīng)用程序等優(yōu)點，目前較大的信息系統(tǒng)都是建立在結(jié)構(gòu)化數(shù)據(jù)庫設(shè)計之上的。都是建立在結(jié)構(gòu)化數(shù)據(jù)庫設(shè)計之上的。 v然而，隨著越來越多企業(yè)海量數(shù)據(jù)的產(chǎn)生，然而，隨著越來越多企業(yè)海量數(shù)據(jù)的產(chǎn)生，使得非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用日趨擴大，以及對海量使得非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用日趨擴大，以及對海量數(shù)據(jù)快速訪問、有效的備份恢復(fù)機制、實時數(shù)據(jù)

40、數(shù)據(jù)快速訪問、有效的備份恢復(fù)機制、實時數(shù)據(jù)分析等等的需求分析等等的需求 9.3.1傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面臨更大的挑傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面臨更大的挑戰(zhàn)戰(zhàn) 傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)對海量數(shù)據(jù)處理上傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)對海量數(shù)據(jù)處理上仍有許多不足。主要表現(xiàn)在：仍有許多不足。主要表現(xiàn)在：v 缺乏對海量數(shù)據(jù)的快速訪問能力缺乏對海量數(shù)據(jù)的快速訪問能力 v 缺乏海量數(shù)據(jù)訪問靈活性缺乏海量數(shù)據(jù)訪問靈活性 v 對非結(jié)構(gòu)化數(shù)據(jù)處理能力薄弱對非結(jié)構(gòu)化數(shù)據(jù)處理能力薄弱 v 海量數(shù)據(jù)導(dǎo)致存儲成本、維護管理成本不海量數(shù)據(jù)導(dǎo)致存儲成本、維護管理成本不斷增加斷增加 v 海量數(shù)據(jù)缺乏快速備份與災(zāi)難恢復(fù)機制海量數(shù)據(jù)缺乏快速備份與災(zāi)難恢復(fù)

41、機制 9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) v數(shù)據(jù)庫是存儲在計算機系統(tǒng)內(nèi)的有結(jié)構(gòu)的數(shù)據(jù)的數(shù)據(jù)庫是存儲在計算機系統(tǒng)內(nèi)的有結(jié)構(gòu)的數(shù)據(jù)的集合。數(shù)據(jù)庫是由很多數(shù)據(jù)庫文件以及若干輔助集合。數(shù)據(jù)庫是由很多數(shù)據(jù)庫文件以及若干輔助操作文件組成的。操作文件組成的。v基本的數(shù)據(jù)庫模型有三種：網(wǎng)狀數(shù)據(jù)庫模型、層基本的數(shù)據(jù)庫模型有三種：網(wǎng)狀數(shù)據(jù)庫模型、層次數(shù)據(jù)庫模型和關(guān)系型數(shù)據(jù)庫模型。次數(shù)據(jù)庫模型和關(guān)系型數(shù)據(jù)庫模型。 v新一代的數(shù)據(jù)技術(shù)應(yīng)該是在成熟、穩(wěn)定的基礎(chǔ)數(shù)新一代的數(shù)據(jù)技術(shù)應(yīng)該是在成熟、穩(wěn)定的基礎(chǔ)數(shù)據(jù)庫架構(gòu)上，開發(fā)和重新定義新的數(shù)據(jù)庫概念，據(jù)庫架構(gòu)上，開發(fā)和重新定義新的數(shù)據(jù)庫概念，比如語義數(shù)據(jù)

42、模式、事件驅(qū)動數(shù)據(jù)庫，等等。比如語義數(shù)據(jù)模式、事件驅(qū)動數(shù)據(jù)庫，等等。 9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) 目前在數(shù)據(jù)庫技術(shù)領(lǐng)域的技術(shù)發(fā)展中，已目前在數(shù)據(jù)庫技術(shù)領(lǐng)域的技術(shù)發(fā)展中，已經(jīng)出現(xiàn)以下類型的數(shù)據(jù)庫管理系統(tǒng)：經(jīng)出現(xiàn)以下類型的數(shù)據(jù)庫管理系統(tǒng)：1）面向?qū)ο髷?shù)據(jù)庫）面向?qū)ο髷?shù)據(jù)庫。v面向?qū)ο髷?shù)據(jù)庫采用面向?qū)ο髷?shù)據(jù)模型，是面面向?qū)ο髷?shù)據(jù)庫采用面向?qū)ο髷?shù)據(jù)模型，是面向?qū)ο蠹夹g(shù)與傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合的產(chǎn)物。向?qū)ο蠹夹g(shù)與傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合的產(chǎn)物。v面向?qū)ο髷?shù)據(jù)模型能夠完整地描述現(xiàn)實世界的面向?qū)ο髷?shù)據(jù)模型能夠完整地描述現(xiàn)實世界的數(shù)據(jù)結(jié)構(gòu)，具有豐富的表達能力。數(shù)據(jù)結(jié)構(gòu)，具有豐富的表達能

43、力。v目前，在許多關(guān)系數(shù)據(jù)庫系統(tǒng)中已經(jīng)引入并具目前，在許多關(guān)系數(shù)據(jù)庫系統(tǒng)中已經(jīng)引入并具備了面向?qū)ο髷?shù)據(jù)庫系統(tǒng)的某些特性。備了面向?qū)ο髷?shù)據(jù)庫系統(tǒng)的某些特性。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) 2）分布式數(shù)據(jù)庫。）分布式數(shù)據(jù)庫。v分布式數(shù)據(jù)庫（分布式數(shù)據(jù)庫（Distributed Data Base，DDB）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物。一個分布式數(shù)據(jù)庫是物理上分散在計算機網(wǎng)物。一個分布式數(shù)據(jù)庫是物理上分散在計算機網(wǎng)絡(luò)各結(jié)點上，但在邏輯上屬于同一系統(tǒng)的數(shù)據(jù)集絡(luò)各結(jié)點上，但在邏輯上屬于同一系統(tǒng)的數(shù)據(jù)集合。合。v分布式數(shù)據(jù)庫管理系統(tǒng)

44、（分布式數(shù)據(jù)庫管理系統(tǒng)（DDBMS）支持分布式）支持分布式數(shù)據(jù)庫的建立、使用與維護，負責實現(xiàn)局部數(shù)據(jù)數(shù)據(jù)庫的建立、使用與維護，負責實現(xiàn)局部數(shù)據(jù)管理、數(shù)據(jù)通信、分布式數(shù)據(jù)管理以及數(shù)據(jù)字典管理、數(shù)據(jù)通信、分布式數(shù)據(jù)管理以及數(shù)據(jù)字典管理等功能。管理等功能。v分布式數(shù)據(jù)庫在物聯(lián)網(wǎng)系統(tǒng)中將有廣泛的應(yīng)用前分布式數(shù)據(jù)庫在物聯(lián)網(wǎng)系統(tǒng)中將有廣泛的應(yīng)用前景。景。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) 3）多媒體數(shù)據(jù)庫）多媒體數(shù)據(jù)庫。v多媒體數(shù)據(jù)庫（多媒體數(shù)據(jù)庫（Multimedia Data Base，MDB）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與多媒體技術(shù)相結(jié)合的）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與多媒體技術(shù)相結(jié)合的產(chǎn)物，是以數(shù)

45、據(jù)庫的方式存儲計算機中的文字、圖產(chǎn)物，是以數(shù)據(jù)庫的方式存儲計算機中的文字、圖形、圖像、音頻和視頻等多媒體信息。形、圖像、音頻和視頻等多媒體信息。v 多媒體數(shù)據(jù)庫管理系統(tǒng)（多媒體數(shù)據(jù)庫管理系統(tǒng)（MDBMS）是一個支持）是一個支持多媒體數(shù)據(jù)庫的建立、使用與維護的軟件系統(tǒng)，負多媒體數(shù)據(jù)庫的建立、使用與維護的軟件系統(tǒng)，負責實現(xiàn)對多媒體對象的存儲、處理、檢索和輸出等責實現(xiàn)對多媒體對象的存儲、處理、檢索和輸出等功能。功能。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) 4）并行數(shù)據(jù)庫）并行數(shù)據(jù)庫。v并行數(shù)據(jù)庫（并行數(shù)據(jù)庫（Parallel Data Base，PDB）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與并行技術(shù)相

46、結(jié)合的產(chǎn)物，它是傳統(tǒng)數(shù)據(jù)庫技術(shù)與并行技術(shù)相結(jié)合的產(chǎn)物，它在并行體系結(jié)構(gòu)的支持下，實現(xiàn)數(shù)據(jù)庫操作處理在并行體系結(jié)構(gòu)的支持下，實現(xiàn)數(shù)據(jù)庫操作處理的并行化，以提高數(shù)據(jù)庫的效率。的并行化，以提高數(shù)據(jù)庫的效率。v超級并行機的發(fā)展推動了并行數(shù)據(jù)庫技術(shù)的發(fā)展。超級并行機的發(fā)展推動了并行數(shù)據(jù)庫技術(shù)的發(fā)展。并行數(shù)據(jù)庫的設(shè)計目標是提高大型數(shù)據(jù)庫系統(tǒng)的并行數(shù)據(jù)庫的設(shè)計目標是提高大型數(shù)據(jù)庫系統(tǒng)的查詢與處理效率，而提高效率的途徑不僅是依靠查詢與處理效率，而提高效率的途徑不僅是依靠軟件手段，更重要的是依靠硬件的多軟件手段，更重要的是依靠硬件的多CPU的并行的并行操作來實現(xiàn)。操作來實現(xiàn)。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù)支

47、撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) 5）演繹數(shù)據(jù)庫）演繹數(shù)據(jù)庫。v演繹數(shù)據(jù)庫（演繹數(shù)據(jù)庫（Deductive Data Base，DeDB）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與邏輯理論相結(jié)合的）是傳統(tǒng)數(shù)據(jù)庫技術(shù)與邏輯理論相結(jié)合的產(chǎn)物，是指具有演繹推理能力的數(shù)據(jù)庫。產(chǎn)物，是指具有演繹推理能力的數(shù)據(jù)庫。v通常，它用一個數(shù)據(jù)庫管理系統(tǒng)和一個規(guī)則管理通常，它用一個數(shù)據(jù)庫管理系統(tǒng)和一個規(guī)則管理系統(tǒng)來實現(xiàn)。系統(tǒng)來實現(xiàn)。v將推理用的事實數(shù)據(jù)存放在數(shù)據(jù)庫中，稱為外延將推理用的事實數(shù)據(jù)存放在數(shù)據(jù)庫中，稱為外延數(shù)據(jù)庫；用邏輯規(guī)則定義要導(dǎo)出的事實，稱為內(nèi)數(shù)據(jù)庫；用邏輯規(guī)則定義要導(dǎo)出的事實，稱為內(nèi)涵數(shù)據(jù)庫。涵數(shù)據(jù)庫。9.3.2 支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技

48、術(shù)支撐物聯(lián)網(wǎng)的數(shù)據(jù)庫技術(shù) 6）主動數(shù)據(jù)庫）主動數(shù)據(jù)庫。v主動數(shù)據(jù)庫（主動數(shù)據(jù)庫（Active Data Base，Active DB）是相對于傳統(tǒng)數(shù)據(jù)庫的被動性而言的，它是數(shù)據(jù)庫是相對于傳統(tǒng)數(shù)據(jù)庫的被動性而言的，它是數(shù)據(jù)庫技術(shù)與人工智能技術(shù)相結(jié)合的產(chǎn)物。技術(shù)與人工智能技術(shù)相結(jié)合的產(chǎn)物。v傳統(tǒng)數(shù)據(jù)庫及其管理系統(tǒng)是一個被動的系統(tǒng)，它只傳統(tǒng)數(shù)據(jù)庫及其管理系統(tǒng)是一個被動的系統(tǒng)，它只能被動地按照用戶所給出的明確請求，執(zhí)行相應(yīng)的能被動地按照用戶所給出的明確請求，執(zhí)行相應(yīng)的數(shù)據(jù)庫操作，完成某個應(yīng)用事務(wù)。數(shù)據(jù)庫操作，完成某個應(yīng)用事務(wù)。v 主動數(shù)據(jù)庫提供主動服務(wù)功能，在計算機集成主動數(shù)據(jù)庫提供主動服務(wù)功能，在計

49、算機集成制造系統(tǒng)、管理信息系統(tǒng)、辦公自動化系統(tǒng)中，能制造系統(tǒng)、管理信息系統(tǒng)、辦公自動化系統(tǒng)中，能夠根據(jù)當前狀態(tài)主動地作出反應(yīng)，執(zhí)行某些操作，夠根據(jù)當前狀態(tài)主動地作出反應(yīng)，執(zhí)行某些操作，向用戶提供所需的信息。向用戶提供所需的信息。 9.3.3 關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫v關(guān)系數(shù)據(jù)庫，是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫，關(guān)系數(shù)據(jù)庫，是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫，借助于集合代數(shù)等數(shù)學(xué)概念和方法來處理數(shù)據(jù)庫借助于集合代數(shù)等數(shù)學(xué)概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù)?，F(xiàn)實世界中的各種實體以及實體之間中的數(shù)據(jù)。現(xiàn)實世界中的各種實體以及實體之間的各種聯(lián)系均用關(guān)系模型來表示。的各種聯(lián)系均用關(guān)系模型來表示。v標準數(shù)據(jù)查詢語

50、言標準數(shù)據(jù)查詢語言SQL就是一種基于關(guān)系數(shù)據(jù)庫就是一種基于關(guān)系數(shù)據(jù)庫的語言，這種語言執(zhí)行對關(guān)系數(shù)據(jù)庫中數(shù)據(jù)的檢的語言，這種語言執(zhí)行對關(guān)系數(shù)據(jù)庫中數(shù)據(jù)的檢索和操作。索和操作。 v關(guān)系模型由關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合、關(guān)系關(guān)系模型由關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合、關(guān)系完整性約束三部分組成。完整性約束三部分組成。9.3.3 關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫v近年來，計算機的應(yīng)用已從傳統(tǒng)的科學(xué)計算、事近年來，計算機的應(yīng)用已從傳統(tǒng)的科學(xué)計算、事務(wù)處理等領(lǐng)域，逐步擴展到工程設(shè)計統(tǒng)計、人工務(wù)處理等領(lǐng)域，逐步擴展到工程設(shè)計統(tǒng)計、人工智能、多媒體、分布式等領(lǐng)域，智能、多媒體、分布式等領(lǐng)域，v這些新的應(yīng)用領(lǐng)域需要有新的數(shù)據(jù)庫

51、支撐，而傳這些新的應(yīng)用領(lǐng)域需要有新的數(shù)據(jù)庫支撐，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)是以商業(yè)應(yīng)用、事務(wù)處理為統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)是以商業(yè)應(yīng)用、事務(wù)處理為背景而發(fā)展起來的，它并不完全適用于新領(lǐng)域。背景而發(fā)展起來的，它并不完全適用于新領(lǐng)域。v因此，新的領(lǐng)域期待有新的數(shù)據(jù)庫系統(tǒng)來支撐。因此，新的領(lǐng)域期待有新的數(shù)據(jù)庫系統(tǒng)來支撐。9.3.4 非關(guān)系型數(shù)據(jù)庫（非關(guān)系型數(shù)據(jù)庫（NoSQL） 傳統(tǒng)的關(guān)系數(shù)據(jù)庫在將來大量出現(xiàn)的物聯(lián)傳統(tǒng)的關(guān)系數(shù)據(jù)庫在將來大量出現(xiàn)的物聯(lián)網(wǎng)應(yīng)用，暴露了很多難以克服的問題：網(wǎng)應(yīng)用，暴露了很多難以克服的問題：v 對數(shù)據(jù)庫高并發(fā)讀寫的需求對數(shù)據(jù)庫高并發(fā)讀寫的需求 v 對海量數(shù)據(jù)的高效率存儲和訪問的需求對海

52、量數(shù)據(jù)的高效率存儲和訪問的需求 v 對數(shù)據(jù)庫的高可擴展性和高可用性的需求對數(shù)據(jù)庫的高可擴展性和高可用性的需求 9.3.4 非關(guān)系型數(shù)據(jù)庫（非關(guān)系型數(shù)據(jù)庫（NoSQL） NoSQL數(shù)據(jù)庫大致可以分為以下的三類：數(shù)據(jù)庫大致可以分為以下的三類： v1）Key-Value數(shù)據(jù)庫數(shù)據(jù)庫v高性能高性能Key-Value數(shù)據(jù)庫的主要特點就是具有數(shù)據(jù)庫的主要特點就是具有極高的并發(fā)讀寫性能，極高的并發(fā)讀寫性能，Redis，Tokyo Cabinet， Flare，這，這3個個Key-Value DB都都是用是用C編寫的，他們的性能都相當出色，但出了編寫的，他們的性能都相當出色，但出了出色的性能，他們還有自己獨特

53、的功能。出色的性能，他們還有自己獨特的功能。9.3.4 非關(guān)系型數(shù)據(jù)庫（非關(guān)系型數(shù)據(jù)庫（NoSQL）2）滿足海量存儲需求和訪問的面向文檔的數(shù)據(jù)）滿足海量存儲需求和訪問的面向文檔的數(shù)據(jù)庫庫：Mongo DB，Couch DB v面向文檔的非關(guān)系數(shù)據(jù)庫主要解決的問題不是面向文檔的非關(guān)系數(shù)據(jù)庫主要解決的問題不是高性能的并發(fā)讀寫，而是保證海量數(shù)據(jù)存儲的高性能的并發(fā)讀寫，而是保證海量數(shù)據(jù)存儲的同時，具有良好的查詢性能。同時，具有良好的查詢性能。vMongo DB是用是用C+開發(fā)的，而開發(fā)的，而Couch DB則是則是Erlang開發(fā)的。開發(fā)的。 9.3.4 非關(guān)系型數(shù)據(jù)庫（非關(guān)系型數(shù)據(jù)庫（NoSQL）3

54、）滿足高可擴展性和可用性的面向分布式計算的）滿足高可擴展性和可用性的面向分布式計算的數(shù)據(jù)庫數(shù)據(jù)庫：Cassandra，Voldemort v面向面向scale能力的數(shù)據(jù)庫必須是一個分布式的數(shù)能力的數(shù)據(jù)庫必須是一個分布式的數(shù)據(jù)庫系統(tǒng)，由分布在不同節(jié)點上面的數(shù)據(jù)庫共同據(jù)庫系統(tǒng)，由分布在不同節(jié)點上面的數(shù)據(jù)庫共同構(gòu)成一個數(shù)據(jù)庫服務(wù)系統(tǒng)，并且根據(jù)這種分布式構(gòu)成一個數(shù)據(jù)庫服務(wù)系統(tǒng)，并且根據(jù)這種分布式架構(gòu)來提供架構(gòu)來提供online的，具有彈性的可擴展能力。的，具有彈性的可擴展能力。vCassandra常常被看成是一個開源版本的常常被看成是一個開源版本的Google BigTable的替代品。的替代品。vC

55、assandra和和Voldemort都是用都是用Java開發(fā)的。開發(fā)的。 9.3.5 實時數(shù)據(jù)庫實時數(shù)據(jù)庫v實時數(shù)據(jù)庫（實時數(shù)據(jù)庫（Real Time Data Base，RTDB）是數(shù)據(jù)庫系統(tǒng)發(fā)展的一個分支，是數(shù)據(jù)庫技術(shù)結(jié)是數(shù)據(jù)庫系統(tǒng)發(fā)展的一個分支，是數(shù)據(jù)庫技術(shù)結(jié)合實時處理技術(shù)產(chǎn)生的。合實時處理技術(shù)產(chǎn)生的。1. 實時數(shù)據(jù)庫應(yīng)用框架實時數(shù)據(jù)庫應(yīng)用框架 v實時數(shù)據(jù)庫系統(tǒng)是開發(fā)實時控制系統(tǒng)、數(shù)據(jù)采集實時數(shù)據(jù)庫系統(tǒng)是開發(fā)實時控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)、系統(tǒng)、CIMS系統(tǒng)等的支撐軟件。系統(tǒng)等的支撐軟件。v實時數(shù)據(jù)庫已經(jīng)成為企業(yè)信息化的基礎(chǔ)數(shù)據(jù)平臺。實時數(shù)據(jù)庫已經(jīng)成為企業(yè)信息化的基礎(chǔ)數(shù)據(jù)平臺。9.3.5

56、實時數(shù)據(jù)庫實時數(shù)據(jù)庫實時數(shù)據(jù)庫應(yīng)用框架實時數(shù)據(jù)庫應(yīng)用框架 9.3.5 實時數(shù)據(jù)庫實時數(shù)據(jù)庫v在流程行業(yè)中，大量使用實時數(shù)據(jù)庫系統(tǒng)進行在流程行業(yè)中，大量使用實時數(shù)據(jù)庫系統(tǒng)進行控制系統(tǒng)監(jiān)控，系統(tǒng)先進控制和優(yōu)化控制，并控制系統(tǒng)監(jiān)控，系統(tǒng)先進控制和優(yōu)化控制，并為企業(yè)的生產(chǎn)管理和調(diào)度、數(shù)據(jù)分析、決策支為企業(yè)的生產(chǎn)管理和調(diào)度、數(shù)據(jù)分析、決策支持及遠程在線瀏覽提供實時數(shù)據(jù)服務(wù)和多種數(shù)持及遠程在線瀏覽提供實時數(shù)據(jù)服務(wù)和多種數(shù)據(jù)管理功能。據(jù)管理功能。 9.3.5 實時數(shù)據(jù)庫實時數(shù)據(jù)庫v針對不同行業(yè)不同類型的企業(yè)，實時數(shù)據(jù)庫針對不同行業(yè)不同類型的企業(yè)，實時數(shù)據(jù)庫的數(shù)據(jù)來源方式也各不相同。的數(shù)據(jù)來源方式也各不相同。

57、v總的來說數(shù)據(jù)的主要來源有總的來說數(shù)據(jù)的主要來源有DCS控制系統(tǒng)、由控制系統(tǒng)、由組態(tài)軟件組態(tài)軟件 + PLC建立的控制系統(tǒng)、數(shù)據(jù)采集建立的控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)（系統(tǒng)（SCADA）、關(guān)系數(shù)據(jù)庫系統(tǒng)、直接連）、關(guān)系數(shù)據(jù)庫系統(tǒng)、直接連接硬件設(shè)備和通過人機界面人工錄入的數(shù)據(jù)。接硬件設(shè)備和通過人機界面人工錄入的數(shù)據(jù)。 9.3.5 實時數(shù)據(jù)庫實時數(shù)據(jù)庫2. 實時數(shù)據(jù)庫結(jié)構(gòu)實時數(shù)據(jù)庫結(jié)構(gòu)v由采集站由采集站DA、數(shù)據(jù)服務(wù)器、數(shù)據(jù)服務(wù)器、 WEB服務(wù)器、客服務(wù)器、客戶端組成，同時和關(guān)系數(shù)據(jù)庫進行有效的數(shù)據(jù)戶端組成，同時和關(guān)系數(shù)據(jù)庫進行有效的數(shù)據(jù)交換，交換，DCS的數(shù)據(jù)經(jīng)過的數(shù)據(jù)經(jīng)過DA進行采集，由進行采集，由

58、DA SERVER送到數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器再有效送到數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器再有效的送給其它客戶端。的送給其它客戶端。9.3.5 實時數(shù)據(jù)庫實時數(shù)據(jù)庫3. 實時數(shù)據(jù)庫的常規(guī)功能實時數(shù)據(jù)庫的常規(guī)功能 v 高高I/O事物吞吐量事物吞吐量v 高效壓縮技術(shù)歸檔算法高效壓縮技術(shù)歸檔算法 v 特征化斷面查詢特征化斷面查詢 v 智能化恢復(fù)及負載均衡智能化恢復(fù)及負載均衡 v 數(shù)據(jù)序列化及災(zāi)難恢復(fù)數(shù)據(jù)序列化及災(zāi)難恢復(fù) 9.3.6 分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng) 分布式數(shù)據(jù)庫系統(tǒng)有兩種：分布式數(shù)據(jù)庫系統(tǒng)有兩種：v一種是物理上分布的，但邏輯上卻是集中的。這種一種是物理上分布的，但邏輯上卻是集中的。這種分布式數(shù)據(jù)庫

59、只適宜用途比較單一的、不大的單位分布式數(shù)據(jù)庫只適宜用途比較單一的、不大的單位或部門?；虿块T。v另一種分布式數(shù)據(jù)庫系統(tǒng)在物理上和邏輯上都是分另一種分布式數(shù)據(jù)庫系統(tǒng)在物理上和邏輯上都是分布的，也就是所謂聯(lián)邦式分布數(shù)據(jù)庫系統(tǒng)。由于組布的，也就是所謂聯(lián)邦式分布數(shù)據(jù)庫系統(tǒng)。由于組成聯(lián)邦的各個子數(shù)據(jù)庫系統(tǒng)是相對成聯(lián)邦的各個子數(shù)據(jù)庫系統(tǒng)是相對“自治自治”的，這的，這種系統(tǒng)可以容納多種不同用途的、差異較大的數(shù)據(jù)種系統(tǒng)可以容納多種不同用途的、差異較大的數(shù)據(jù)庫，比較適宜于大范圍內(nèi)數(shù)據(jù)庫的集成。庫，比較適宜于大范圍內(nèi)數(shù)據(jù)庫的集成。9.3.6 分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)1. 簡介簡介v分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)

60、庫系統(tǒng)(DDBS)包含分布式數(shù)據(jù)庫管包含分布式數(shù)據(jù)庫管理系統(tǒng)理系統(tǒng)(DDBMS)和分布式數(shù)據(jù)庫和分布式數(shù)據(jù)庫(DDB)。v在分布式數(shù)據(jù)庫系統(tǒng)中，一個應(yīng)用程序可以對數(shù)據(jù)在分布式數(shù)據(jù)庫系統(tǒng)中，一個應(yīng)用程序可以對數(shù)據(jù)庫進行透明操作，數(shù)據(jù)庫中的數(shù)據(jù)分別在不同的局庫進行透明操作，數(shù)據(jù)庫中的數(shù)據(jù)分別在不同的局部數(shù)據(jù)庫中存儲、由不同的部數(shù)據(jù)庫中存儲、由不同的 DBMS進行管理、在進行管理、在不同的機器上運行、由不同的操作系統(tǒng)支持、被不不同的機器上運行、由不同的操作系統(tǒng)支持、被不同的通信網(wǎng)絡(luò)連接在一起。同的通信網(wǎng)絡(luò)連接在一起。 9.3.6 分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)v一個分布式數(shù)據(jù)庫在邏輯上是一個統(tǒng)一的