分布式數(shù)據(jù)庫系統(tǒng)(1)

1、分布式數(shù)據(jù)庫系統(tǒng)（1）胡經(jīng)國本文作者的話本文是根據(jù)有關(guān)文獻(xiàn)和資料編寫的漫話云計算系列文稿之一。以此作為云計算學(xué)習(xí)筆錄，供云計算業(yè)外讀者進(jìn)一步學(xué)習(xí)和研究參考。希望能夠得到大家的指教和喜歡！面是正文分布式數(shù)據(jù)庫系統(tǒng)概述1、概述一分布式數(shù)據(jù)庫（DistributedDatabase,DDB）是指數(shù)據(jù)分散存儲在計算機(jī)網(wǎng)絡(luò)中的各臺計算機(jī)上的數(shù)據(jù)庫。分布式數(shù)據(jù)庫系統(tǒng)（DistributedDatabaseSystem,DDBS）通常使用較小的計算機(jī)系統(tǒng)，每臺計算機(jī)可單獨放在一個地方；每臺計算機(jī)中都可能有DBMS（數(shù)據(jù)庫管理系統(tǒng)）的一份完整拷貝副本，或者部分拷貝副本，并具有自己局部的數(shù)據(jù)庫；位于不同地點的許

2、多計算機(jī)通過網(wǎng)絡(luò)互相連接，共同組成一個完整的、全局的、邏輯上集中、物理上分布的大型數(shù)據(jù)庫系統(tǒng)。2、概述二分布式數(shù)據(jù)庫，是指利用高速計算機(jī)網(wǎng)絡(luò)，將物理上分散的多個數(shù)據(jù)存儲單元連接起來組成一個邏輯上統(tǒng)一的數(shù)據(jù)庫。分布式數(shù)據(jù)庫的基本思想，是將原來集中式數(shù)據(jù)庫中的數(shù)據(jù)分散存儲到多個通過網(wǎng)絡(luò)連接的數(shù)據(jù)存儲節(jié)點上，以獲取更大的存儲容量和更高的并發(fā)訪問量。近年來，隨著數(shù)據(jù)量的高速增長，分布式數(shù)據(jù)庫技術(shù)也得到了快速的發(fā)展。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫開始從集中式模型向分布式架構(gòu)發(fā)展?；陉P(guān)系型的分布式數(shù)據(jù)庫，在保留傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)模型和基本特征前提下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。另一方面，隨

3、著數(shù)據(jù)量越來越大，關(guān)系型數(shù)據(jù)庫開始暴露出一些難以克服的缺點。以NoSQL為代表的、具有高可擴(kuò)展性、高并發(fā)性等優(yōu)勢的非關(guān)系型數(shù)據(jù)庫快速發(fā)展；一時間市場上出現(xiàn)了大量的key-value（鍵一值）存儲系統(tǒng)、文檔型數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫產(chǎn)品。NoSQL類型數(shù)據(jù)庫正日漸成為大數(shù)據(jù)時代下分布式數(shù)據(jù)庫領(lǐng)域的主力。這種按分布式組織數(shù)據(jù)庫的方法克服了物理中心數(shù)據(jù)庫組織的弱點。首先，降低了數(shù)據(jù)傳送代價。因為，大多數(shù)對數(shù)據(jù)庫的訪問操作都是針對局部數(shù)據(jù)庫的，而不是針對其他位置的數(shù)據(jù)庫訪問。其次，系統(tǒng)的可靠性提高了很多。因為，當(dāng)網(wǎng)絡(luò)出現(xiàn)故障時，仍然允許對局部數(shù)據(jù)庫的操作，而且一個位置的故障不影響其他位置的處理工作。只

4、有當(dāng)訪問出現(xiàn)故障位置的數(shù)據(jù)時，在某種程度上才受影響。第三，便于系統(tǒng)的擴(kuò)充。增加一個新的局部數(shù)據(jù)庫，或在某個位置擴(kuò)充一臺適當(dāng)?shù)男⌒陀嬎銠C(jī)，都很容易實現(xiàn)。然而，有些功能要付出更高的代價。例如，為了調(diào)配在幾個位置上的活動，事務(wù)管理的性能比在中心數(shù)據(jù)庫時花費更高，而且甚至抵消許多其他的優(yōu)點。二、分布式軟件系統(tǒng)分布式軟件系統(tǒng)(DistributedSoftwareSystems,DSS)，是支持分布式處理的軟件系統(tǒng)，是在由通信網(wǎng)絡(luò)互聯(lián)的多處理機(jī)體系結(jié)構(gòu)上執(zhí)行任務(wù)的系統(tǒng)。它包括：分布式操作系統(tǒng)、分布式程序設(shè)計語言及其編譯(解釋)系統(tǒng)、分布式文件系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)等。、分布式操作系統(tǒng)分布式操作系統(tǒng)(Di

5、stributedOperatingSystem,DOS)，負(fù)責(zé)管理分布式處理系統(tǒng)資源和控制分布式程序運行。它和集中式操作系統(tǒng)的區(qū)別,在于資源管理、進(jìn)程通信和系統(tǒng)結(jié)構(gòu)等方面。、分布式程序設(shè)計語言分布式程序設(shè)計語言(DistributedProgrammingLanguage，DPL)，用于編寫運行于分布式計算機(jī)系統(tǒng)上的分布式程序。一個分布式程序,由若干個可以獨立執(zhí)行的程序模塊組成；它們分布于一個分布式處理系統(tǒng)的多臺計算機(jī)上被同時執(zhí)行。它與集中式的程序設(shè)計語言相比,有以下三個特點：分布性、通信性和穩(wěn)健性。、分布式文件系統(tǒng)分布式文件系統(tǒng)(DistributedFileSystem，DFS)，具有執(zhí)

6、行遠(yuǎn)程文件存取的能力，并以透明方式對分布在網(wǎng)絡(luò)上的文件進(jìn)行管理和存取。、分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)(DistributedDatabaseSystem，DDBS)，由分布于多個計算機(jī)結(jié)點上的若干個數(shù)據(jù)庫組成。它提供有效的存取手段來操縱這些結(jié)點上的子數(shù)據(jù)庫。分布式數(shù)據(jù)庫在使用上可視為一個完整的數(shù)據(jù)庫，而實際上它是分布在地理上分散的各個結(jié)點上的。當(dāng)然，分布在各個結(jié)點上的子數(shù)據(jù)庫在邏輯上是相關(guān)的。Hadoop的分布式文件系統(tǒng)HDFS，作為開源的分布式平臺，為目前流行的很多分布式數(shù)據(jù)庫提供了支持，譬如HBase等。Yonghong的分布式文件系統(tǒng)ZFS，為分布式數(shù)據(jù)集市Z-DataMart提供了

7、底層平臺。鏈接：Hadoop與HDFS和MapReduceHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解該分布式系統(tǒng)基礎(chǔ)架構(gòu)的底層細(xì)節(jié)的情況下，開發(fā)分布式程序；充分利用集群的威力，進(jìn)行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS）。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，

8、可以以流的形式訪問（streamingaccess，流媒體訪問）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的架構(gòu)最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供了存儲，而MapReduce則為海量數(shù)據(jù)提供了計算。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（歸約）”，和它們的主要思想，都是從函數(shù)式編程語言里借來的；還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當(dāng)前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并

9、發(fā)的Reduce（歸約）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。三、分布式數(shù)據(jù)庫系統(tǒng)主要特點在大數(shù)據(jù)時代，面對海量數(shù)據(jù)量的井噴式增長和不斷增長的用戶需求，分布式數(shù)據(jù)庫系統(tǒng)必須具有如下特征，才能應(yīng)對不斷增長的海量數(shù)據(jù)。1、高可擴(kuò)展性分布式數(shù)據(jù)庫系統(tǒng)必須具有高可擴(kuò)展性，能夠動態(tài)地增添存儲節(jié)點以實現(xiàn)存儲容量的線性擴(kuò)展。2、高并發(fā)性分布式數(shù)據(jù)庫系統(tǒng)必須及時響應(yīng)大規(guī)模用戶的讀寫請求，能對海量數(shù)據(jù)進(jìn)行隨機(jī)讀寫。3、高可用性分布式數(shù)據(jù)庫系統(tǒng)必須提供容錯機(jī)制，能夠?qū)崿F(xiàn)對數(shù)據(jù)的冗余備份，保證數(shù)據(jù)和服務(wù)的高度可靠性。四、分布式數(shù)據(jù)庫系統(tǒng)優(yōu)點在大數(shù)據(jù)時代，面對日益增長的海量數(shù)據(jù)，傳統(tǒng)的集中式數(shù)據(jù)庫系

10、統(tǒng)的弊端日益顯現(xiàn)，分布式數(shù)據(jù)庫系統(tǒng)相對傳統(tǒng)的集中式數(shù)據(jù)庫系統(tǒng)具有如下優(yōu)點：1、更高的數(shù)據(jù)訪問速度分布式數(shù)據(jù)庫系統(tǒng)為了保證數(shù)據(jù)的高可靠性，往往采用備份的策略實現(xiàn)容錯機(jī)制。所以，在讀取數(shù)據(jù)的時候，客戶端可以并發(fā)地從多個備份服務(wù)器同時讀取，從而提高了數(shù)據(jù)訪問速度。2、更強(qiáng)的可擴(kuò)展性分布式數(shù)據(jù)庫系統(tǒng)可以通過增添存儲節(jié)點來實現(xiàn)存儲容量的線性擴(kuò)展，而集中式數(shù)據(jù)庫系統(tǒng)的可擴(kuò)展性十分有限。3、更高的并發(fā)訪問量分布式數(shù)據(jù)庫系統(tǒng)由于采用多臺主機(jī)組成存儲集群，所以相對集中式數(shù)據(jù)庫系統(tǒng)，它可以提供更高的用戶并發(fā)訪問量。五、分布式數(shù)據(jù)庫系統(tǒng)功能結(jié)構(gòu)分布式數(shù)據(jù)庫管理系統(tǒng)（DBMS）軟件結(jié)構(gòu)包括AP模塊、CM模塊和DP模塊。以下對各模塊功能進(jìn)行簡要描述：1、AP模塊功能包括用戶接口、查詢處理、全局事務(wù)管理及全局字典管理和全局恢復(fù)管理。、用戶接口檢查用戶身份，接受用戶命令，如SQL命令。、全局査詢處理將用戶命令翻譯成數(shù)據(jù)庫命令；生成全局查詢的分布執(zhí)行計劃；收集局部執(zhí)行結(jié)果并返回給用戶。、全局事務(wù)管理調(diào)度、協(xié)調(diào)和監(jiān)視