村上崗-第1講分布式數(shù)據(jù)庫系統(tǒng)概論

1、第一講 分布式數(shù)據(jù)庫系統(tǒng)概論11 什么是分布式數(shù)據(jù)庫系統(tǒng)？2 課程教學思路3 課程考核方法第2頁，共73頁內(nèi)容提要21.1 分布式數(shù)據(jù)庫系統(tǒng)的產(chǎn)生1.2 分布式數(shù)據(jù)庫系統(tǒng)的定義1.3 分布式數(shù)據(jù)庫系統(tǒng)的發(fā)展及研究熱點1.4 分布式數(shù)據(jù)庫系統(tǒng)發(fā)展趨勢 第3頁，共73頁1 什么是分布式數(shù)據(jù)庫系統(tǒng)？31.1 分布式數(shù)據(jù)庫系統(tǒng)的產(chǎn)生分布式數(shù)據(jù)庫系統(tǒng)的產(chǎn)生是隨著各大網(wǎng)站的信息訪問量激增而產(chǎn)生及不斷發(fā)展的。傳統(tǒng)的集中式數(shù)據(jù)庫存儲與管理模式已經(jīng)不能應對新的數(shù)據(jù)存儲與訪問需求。1PB=1024TB 1TB=1024GB分布式數(shù)據(jù)庫系統(tǒng)基本構(gòu)型：C/S與B/S分布式數(shù)據(jù)庫不是單獨存在的，它對需求非滿足是成體系存

2、在的。4第5頁，共73頁集中式數(shù)據(jù)庫系統(tǒng)的優(yōu)點易于管理低冗余度應用程序和數(shù)據(jù)庫相對獨立數(shù)據(jù)恢復能力強等主機數(shù)據(jù)庫終端用戶處理結(jié)果存取請求集中式系統(tǒng)模型5第6頁，共73頁集中式數(shù)據(jù)庫系統(tǒng)的不足系統(tǒng)規(guī)模有限；可擴充性和安全性相對較差；主機瓶頸，可靠性不高；通信開銷加大，影響性能；很難適應地理分散的大型公司管理數(shù)據(jù)需要；6更新硬件，如升級到性能更高的服務器更新軟件，如移植到Oracle上利用復制訂閱、鏡像等功能做擴展使用分布式數(shù)據(jù)庫架構(gòu)，用若干臺中小型的服務器去替代大型的服務器第7頁，共73頁問題解決方案7分布式系統(tǒng)的定義：分布式系統(tǒng)（distributed system）是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)

3、。分布式系統(tǒng)由多個高度內(nèi)聚性和透明性的站點組成。這些站點分別承擔數(shù)據(jù)訪問管理、數(shù)據(jù)存儲以及數(shù)據(jù)服務器監(jiān)控管理等功能。內(nèi)聚性是指每一個數(shù)據(jù)庫分布節(jié)點高度自治，有本地的數(shù)據(jù)庫管理系統(tǒng)。透明性是指每一個數(shù)據(jù)庫分布節(jié)點對用戶的應用來說都是透明的，看不出是由哪臺數(shù)據(jù)存儲服務器來完成。第8頁，共73頁8分布式系統(tǒng)的特點：在一個分布式系統(tǒng)中，一組互相獨立的計算機展現(xiàn)給用戶的是一個整體。系統(tǒng)擁有多種通用的物理和邏輯資源，可動態(tài)分配任務。分散的物理和邏輯資源通過計算機網(wǎng)絡(luò)實現(xiàn)信息交換。系統(tǒng)中存在一個以全局的方式管理計算機資源的分布式操作系統(tǒng)。分布式操作系統(tǒng)往往又以現(xiàn)有的計算機操作系統(tǒng)為基礎(chǔ)。對用戶來說，分散的數(shù)

4、據(jù)分布與數(shù)據(jù)處理對應了同一個模型或范型。分布式操作系統(tǒng)之上有一層中間件負責實現(xiàn)這個模型。一個著名的分布式系統(tǒng)的例子是萬維網(wǎng)。在萬維網(wǎng)中，所有的一切看起來就好像是一個文檔（Web頁面）一樣。第9頁，共73頁9分布式系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)的區(qū)別：在計算機網(wǎng)絡(luò)中，這種統(tǒng)一性、模型以及其中的軟件都不存在。用戶看到的是實際的機器，如果這些機器有不同的硬件或不同的操作系統(tǒng)，計算機網(wǎng)絡(luò)并沒有使這些機器看起來是統(tǒng)一的。由于多數(shù)分布式系統(tǒng)是建立在計算機網(wǎng)絡(luò)之上的，所以分布式系統(tǒng)與計算機網(wǎng)絡(luò)在物理結(jié)構(gòu)上是基本相同的。第10頁，共73頁目前存在很多動態(tài)網(wǎng)站，如學校教務系統(tǒng)、選課系統(tǒng)，它們屬于分布式系統(tǒng)嗎？10分布式系統(tǒng)一般

5、由以下幾個部分等組成：分布式操作系統(tǒng)負責管理分布式處理系統(tǒng)資源和控制分布式程序運行。不需要直接管理系統(tǒng)硬件資源，因此它往往建立在現(xiàn)有操作系統(tǒng)基礎(chǔ)之上。分布式程序設(shè)計語言用于編寫運行于分布式計算機系統(tǒng)上的分布式程序。現(xiàn)實是大部分現(xiàn)行分布式系統(tǒng)都采用普通的程序設(shè)計語言進行開發(fā)。第11頁，共73頁11分布式數(shù)據(jù)庫系統(tǒng)由分布于多個計算機結(jié)點上的若干個數(shù)據(jù)庫系統(tǒng)組成,它提供有效的存取手段來操縱這些結(jié)點上的子數(shù)據(jù)庫。分布式文件系統(tǒng)具有執(zhí)行遠程文件存取的能力,并以透明方式對分布在網(wǎng)絡(luò)上的文件進行管理和存取。第12頁，共73頁12分布式數(shù)據(jù)庫系統(tǒng)（Distributed DataBase System，簡稱D

6、DBS）由一組被管理的數(shù)據(jù)及管理軟件（也就是熟稱的管理系統(tǒng)）組成，這些數(shù)據(jù)以及管理軟件分布在計算機網(wǎng)絡(luò)的不同計算機上。分布式數(shù)據(jù)庫系統(tǒng)強調(diào)場地自治性（局部應用）以及自治場地之間的協(xié)作性（全局應用）。分布式數(shù)據(jù)庫系統(tǒng)是數(shù)據(jù)庫技術(shù)和網(wǎng)絡(luò)技術(shù)兩者相互滲透和有機結(jié)合的結(jié)果。主要的目的是用廉價的機器提供高性能的服務。第13頁，共73頁1.2 分布式數(shù)據(jù)庫系統(tǒng)的定義13第14頁，共73頁網(wǎng)絡(luò)場地3圖1 DDBMS結(jié)構(gòu)圖場地1LDBLDBMSGDBMSCM用戶GDD場地214DDBMS由以下部分組成：LDBMS（Local Database Management System，局部數(shù)據(jù)庫管理系統(tǒng)），主要用于

7、管理局部數(shù)據(jù)庫，提供場地自治能力，執(zhí)行局部應用以及全局查詢的子查詢。LDB（Local Database，局部數(shù)據(jù)庫），主要用于存儲部分數(shù)據(jù)。GDBMS（Global Database Management System，全局數(shù)據(jù)庫管理系統(tǒng)），主要用于向終端用戶提供分布透明性、協(xié)調(diào)全局事務的執(zhí)行、協(xié)調(diào)各局部DBMS以完成全局應用、保證各數(shù)據(jù)庫的全局一致性、執(zhí)行并發(fā)控制、實現(xiàn)更新同步、提供全局恢復等。第15頁，共73頁15GDD（Global Data Dictionlary，全局數(shù)據(jù)字典），存放全局概念模式、分片模式、分布模式等的定義，以及各模式之間的映像定義，存放有關(guān)用戶存取權(quán)限的定義、完整

8、性約束的定義等。CM（Communication Management，通信管理），主要用于在GDBMS與LDBMS或各LDBMS之間的通信調(diào)度與路由。16按全局控制類型分類全局控制集中型DDBMS全局數(shù)據(jù)庫和全局數(shù)據(jù)字典集中于某一結(jié)點，其優(yōu)點是控制簡單，容易實現(xiàn)更新一致性，但該結(jié)點容易成為系統(tǒng)的瓶頸，系統(tǒng)也較脆弱。第17頁，共73頁分布式數(shù)據(jù)庫系統(tǒng)的分類17全局控制分散的DDBMS全局數(shù)據(jù)庫控制器和全局數(shù)據(jù)字典分散在網(wǎng)絡(luò)上的每一個結(jié)點上，每個結(jié)點都能完成全局事務的協(xié)調(diào)和局部數(shù)據(jù)庫事務的控制功能。每個結(jié)點既是全局事務的參與者，也是全局事務的協(xié)調(diào)者。其優(yōu)點是結(jié)點獨立，自治性強，但全局控制的協(xié)調(diào)機

9、制和一致性維護都比較困難。全局控制部分分散的DDBMS介于上述兩者之間，根據(jù)應用的需要將全局數(shù)據(jù)庫管理器和全局數(shù)據(jù)字典分散在某些結(jié)點上。第18頁，共73頁18按局部DBMS的數(shù)據(jù)模型類型分類同構(gòu)型DDBMS每個結(jié)點的局部數(shù)據(jù)庫具有相同的DBMS；異構(gòu)型DDBMS各結(jié)點的局部數(shù)據(jù)庫具有不同的DBMS；第19頁，共73頁19數(shù)據(jù)獨立性數(shù)據(jù)的邏輯獨立性數(shù)據(jù)的物理獨立性數(shù)據(jù)的分布透明性集中與自治相結(jié)合的控制機構(gòu)數(shù)據(jù)的共享有兩個層次：一是局部共享；二是全局共享。第20頁，共73頁分布式數(shù)據(jù)庫系統(tǒng)的特點20全局一致性分布式數(shù)據(jù)庫系統(tǒng)中各局部數(shù)據(jù)庫應滿足集中式數(shù)據(jù)庫的一致性、并發(fā)事務的可串行性和可恢復性。應

10、保證數(shù)據(jù)庫的全局一致性、全局并發(fā)事務的可串行性和系統(tǒng)全局的可恢復性。分布式數(shù)據(jù)庫系統(tǒng)中全局應用要涉及兩個以上結(jié)點的數(shù)據(jù)，全局事務可能由不同結(jié)點上的多個操作組成。第21頁，共73頁21數(shù)據(jù)存在一定冗余在不同的結(jié)點存儲同一數(shù)據(jù)的多個副本目的一：提高系統(tǒng)的可靠性、可用性，當某一結(jié)點出現(xiàn)故障時，系統(tǒng)可以對另一結(jié)點的相同副本進行操作，不會因為一處故障而造成整個系統(tǒng)的癱瘓；目的二提高系統(tǒng)性能，系統(tǒng)可以選擇用戶最近的數(shù)據(jù)副本來進行操作，減少通信代價，改善整個系統(tǒng)的性能。第22頁，共73頁22第23頁，共73頁分布式數(shù)據(jù)庫系統(tǒng)的優(yōu)點：成本低廉數(shù)據(jù)訪問速度快數(shù)據(jù)存儲量大易于拓展分布式數(shù)據(jù)庫系統(tǒng)的缺點：存取結(jié)構(gòu)復

11、雜系統(tǒng)開銷大數(shù)據(jù)安全性和保密性較難處理23現(xiàn)在的分布式數(shù)據(jù)庫模式大致有兩種：在原有關(guān)系型數(shù)據(jù)庫的基礎(chǔ)上進行拓展，如Oracle、IBM DB2、MySQL、Amobea等。重新構(gòu)造適合應用需求的分布式數(shù)據(jù)結(jié)構(gòu)，如以XML或其它文件形式進行數(shù)據(jù)存儲，包括BigTable、HyperTable、HBase、Cassandra等。很多開源分布式數(shù)據(jù)庫系統(tǒng)都是基于Google公開發(fā)表的BigTable-a distributed storage system for structured data進行設(shè)計與實現(xiàn)的。第24頁，共73頁1.3 分布式數(shù)據(jù)庫系統(tǒng)的發(fā)展現(xiàn)狀24分布式數(shù)據(jù)庫系統(tǒng)的發(fā)展階段20世

12、紀70年代末期產(chǎn)生20世紀80年代成長階段20世紀90年代商品化應用階段21世紀大規(guī)模應用階段第25頁，共73頁25目前開源分布式數(shù)據(jù)庫系統(tǒng)類型主要包括：以Google的BigTable為原型和基礎(chǔ)建立起來的面向數(shù)據(jù)半結(jié)構(gòu)化的開源分布式數(shù)據(jù)庫系統(tǒng)，其中包括Hypertable、Hbase、Cassandra。它們支持的是稀疏矩陣化的結(jié)構(gòu)化數(shù)據(jù)。面向文檔的分布式數(shù)據(jù)庫系統(tǒng)，包括MongoDB、CouchDB等。實現(xiàn)分布式緩存，如Memcached等。實現(xiàn)Key/Value數(shù)據(jù)庫引擎，包括Riak、Redis、Keyspace、Tokyo Cabinet等?；谇度胧降姆植际綌?shù)據(jù)庫，包括Neo4j

13、、Oracle Berkeley DB等。26目前分布式數(shù)據(jù)庫系統(tǒng)的研究熱點分布式數(shù)據(jù)存儲模式：Nosql和SQL模式分布式數(shù)據(jù)查詢與優(yōu)化分布式數(shù)據(jù)庫管理模式分配與監(jiān)管問題分布式事務處理分布式數(shù)據(jù)并發(fā)控制分布式數(shù)據(jù)一致性問題安全與可靠性問題異構(gòu)互聯(lián)：？ 第27頁，共73頁27分布式數(shù)據(jù)庫的發(fā)展趨勢與計算機網(wǎng)絡(luò)、移動、網(wǎng)格數(shù)據(jù)庫整合成為物流網(wǎng)、云計算基礎(chǔ)云計算將網(wǎng)絡(luò)上分布的計算、存儲、服務構(gòu)件、網(wǎng)絡(luò)軟件等資源集中起來，基于資源虛擬化的方式，為用戶提供方便快捷的服務，它可以實現(xiàn)計算與存儲的分布式與并行處理。第28頁，共73頁1.4 分布式數(shù)據(jù)庫系統(tǒng)發(fā)展趨勢28物聯(lián)網(wǎng)（Internet of Thi

14、ngs,IoT）最早于1999年由麻省理工學院提出。最開始的物聯(lián)網(wǎng)是指依托射頻識別（Radio Frequency Identification，RFID）技術(shù)和設(shè)備，按約定的通信協(xié)議與互聯(lián)網(wǎng)相結(jié)合，使物品實現(xiàn)智能化識別和管理，實現(xiàn)物品信息互聯(lián)?，F(xiàn)代意義的物聯(lián)網(wǎng)可以實現(xiàn)對物的感知識別控制、網(wǎng)絡(luò)化互聯(lián)和智能處理有機統(tǒng)一，從而形成高智能決策。第29頁，共73頁29第30頁，共73頁30第31頁，共73頁31第32頁，共73頁架構(gòu)演變第一步：物理分離webserver和數(shù)據(jù)庫架構(gòu)演變第二步：增加頁面緩存補充材料1：大型網(wǎng)站構(gòu)架變遷32第33頁，共73頁架構(gòu)演變第三步：增加頁面片段緩存架構(gòu)演變第四步：數(shù)據(jù)緩存33第34頁，共73頁架構(gòu)演變第五步：增加webserver架構(gòu)演變第六步：分庫34第35頁，共73頁架構(gòu)演變第七步：分表、DAL和分布式緩存35第36頁，共73頁架構(gòu)演變第八步：增加更多的webserver36第37頁，共73頁架構(gòu)演變第九步：數(shù)據(jù)讀寫分離和廉價存儲方案37第38頁，共73頁架構(gòu)演變第十步：進入大型分布