分布式數(shù)據(jù)庫的復(fù)制和分片

1、分布式數(shù)據(jù)庫的復(fù)制和分片Analysis of data replication and fragmentation in Distributed DatabaseYAN Qiu-ling1, ZHU Jun-tao2(1.College of Information Science and Technology, Henan University of Technology ,Zhengzhou 450001,China;2.Zhengzhou Railway vocational and Technical College, Zhengzhou 450052,China): This pa

2、per compares distributed database with centralized database, and anaysises the problems in the storage and access speed of centralized database. In this paper, we give the concept of data replication and fragmentation in distributed database ,as well as principles and methods. Finally, we analysis t

3、he key problems data replication and fragmentation solved.1 引言 在集中式數(shù)據(jù)庫中，將所有數(shù)據(jù)集中存儲到一臺計算機(jī)上， 由主機(jī)上的數(shù)據(jù)庫管理系統(tǒng)統(tǒng)一管理整個數(shù)據(jù)庫， 用戶可從終端 上發(fā)出數(shù)據(jù)操作命令，經(jīng)主機(jī)上的數(shù)據(jù)庫管理系統(tǒng)接收處理后， 將結(jié)果數(shù)據(jù)返回給用戶。 隨著企業(yè)規(guī)模越來越大， 企業(yè)分布于物 理位置不同的多個地方， 尤其是一些跨國公司， 在全球有很多的 分公司。 采用集中式數(shù)據(jù)庫的體系結(jié)構(gòu)， 位于多個位置的站點要 訪問一個存放數(shù)據(jù)的主機(jī)，這樣，對主機(jī)的要求 1 就很高：首 先，當(dāng)企業(yè)規(guī)模很大，數(shù)據(jù)量很大時，數(shù)據(jù)僅僅存放在一臺計算

4、 機(jī)上，該計算機(jī)的存儲空間就要求很高， 通常是一個中型機(jī)或者 小型機(jī)，而這樣的配置通常費用會很高。其次，當(dāng)多個計算機(jī)同 時訪問該主機(jī)時，會造成訪問速度很慢，性能下降，這種速度有 時甚至是難以忍受的。最后，過多的依賴于中間的主機(jī)節(jié)點，一 旦該節(jié)點出現(xiàn)故障，會使整個系統(tǒng)處于崩潰狀態(tài)。2 分布式數(shù)據(jù)庫的特點基于上面的這些原因， 集中式的結(jié)構(gòu)不能適應(yīng)當(dāng)前的物理位 置上分散的要求。 分布式數(shù)據(jù)庫是物理上分散而邏輯上集中的數(shù) 據(jù)庫系統(tǒng)。它有這樣的一些優(yōu)點： 1）物理分布性 數(shù)據(jù)按照就近 原則，存放在距離它最近的一個或者多個站點； 2）邏輯整體性 雖 然數(shù)據(jù)存放在各個不同的站點，但將各個站點的數(shù)據(jù)集合起來，

5、 仍然是集中式中的整個數(shù)據(jù)庫中的數(shù)據(jù)； 3）站點的自治性 相互 的站點之間不存在主從關(guān)系， 地位是平等的， 任何一個站點出現(xiàn) 問題，不影響其它站點， 每個站點上的數(shù)據(jù)由本地的數(shù)據(jù)庫管理 系統(tǒng)來進(jìn)行管理。分布式數(shù)據(jù)庫系統(tǒng)通過把分布在計算機(jī)網(wǎng)絡(luò)的不同結(jié)點或 場地 ,物理上屬于多個數(shù)據(jù)子集，邏輯上屬于同一系統(tǒng)之?dāng)?shù)據(jù)集 合的海量數(shù)據(jù)實現(xiàn)數(shù)據(jù)應(yīng)用， 以實現(xiàn)比集中式數(shù)據(jù)庫系統(tǒng)更好的 性能、可擴(kuò)充性、可用性和自治性。從數(shù)據(jù)意義上講，數(shù)據(jù)分布 即數(shù)據(jù)分片與分配的合理與否或者說合理性的高低， 不僅影響著 訪問的局部性， 即盡可能地把用戶要求訪問的數(shù)據(jù)就在本結(jié)點或 本場地，而且也制約著數(shù)據(jù)查詢及事務(wù)處理的效率。要

6、實現(xiàn)分布式系統(tǒng)，必須要對數(shù)據(jù)進(jìn)行復(fù)制和分片 2 。所 謂復(fù)制，就是將數(shù)據(jù)存放在多個站點上，這樣，在一個站點出現(xiàn) 故障時， 可以通過訪問存放在另外站點上的副本，仍然可以正常工作。 分片就是系統(tǒng)把數(shù)據(jù)劃分為幾個片， 各片存儲在不同的分 片上。在實際應(yīng)用中，通常是將兩者結(jié)合在一起，先對數(shù)據(jù)進(jìn)行 分片，然后將分片進(jìn)行復(fù)制。3 數(shù)據(jù)復(fù)制和分片3.1 數(shù)據(jù)復(fù)制和分片的目的將數(shù)據(jù)進(jìn)行分片和復(fù)制后存放在多個站點上 3 ，當(dāng)一個站 點發(fā)生故障時， 整個系統(tǒng)仍然可以正常工作， 提高整個系統(tǒng)的可 用性和可靠性。3.2 數(shù)據(jù)分片的原則 4設(shè)全局關(guān)系R被劃分為邏輯片段S=S1,S2,，Sn,貝U S滿 足：1）完整性：

7、所有的分片 S1, S2,，Sn應(yīng)該可以組合成一 個整體 S；2）不相交性：各個分片都應(yīng)該是不相交的；3） 重構(gòu)性：所有的分片應(yīng)該可以重構(gòu)成原來的關(guān)系R。3.3 分片的方法通常有兩種基本的方法：水平分片和垂直分片。1） 水平分片：一個表 T被分成若干片：T1, T2,，Tn, 其中每個片包含T的一部分行并且T的每一行都會出現(xiàn)在一個片 中。2） 垂直分片：一個表 T被分成若干片：T1 , T2,，Tn, 每片包含T的一部分列。每一列必須至少被一個片包含，并且每 個片必須包含候選碼的列。 （值得注意的是,在垂直分片中,為 了以后可以重構(gòu)的需要, 必須在每個分片中包括候選鍵的屬性列 5 。）4 數(shù)據(jù)

8、分配4.1 數(shù)據(jù)分配所謂數(shù)據(jù)分配, 就是將分片的數(shù)據(jù)放在多個站點, 利用冗余 6 來達(dá)到系統(tǒng)的最大可用性和可靠性。將分片的副本放在多個 站點,當(dāng)本地系統(tǒng)要訪問數(shù)據(jù)時, 首先判斷該數(shù)據(jù)是本地的數(shù)據(jù) 還是其他站點的數(shù)據(jù), 如果是本地的數(shù)據(jù), 就直接可以在本地進(jìn) 行讀取。 這樣就縮短了系統(tǒng)的響應(yīng)時間。 當(dāng)要訪問的數(shù)據(jù)的站點 發(fā)生故障不可用時, 系統(tǒng)可以直接訪問其副本所在的站點, 以此 來達(dá)到系統(tǒng)的最大可用性。4.2 數(shù)據(jù)分配的原則1）處理局部性 將數(shù)據(jù)盡量放在本地站點及其相鄰的站點, 這樣可以在一定程度上減少站點之間的通信代價。2）各個站點負(fù)荷的平衡性 使各個站點的負(fù)荷 （各個站點所 負(fù)擔(dān)的全局任務(wù)

9、和局部任務(wù)) 均勻化， 提高各站點的本地和全局 應(yīng)用，盡量提高各站點的并行性。5 數(shù)據(jù)透明性數(shù)據(jù)透明性是指對于用戶而言， 并不需要知道數(shù)據(jù)的存儲情 況，分片情況以及位置情況。數(shù)據(jù)透明性包括三個方面：1)分片透明性 (fragmentation transparency) 指的是用戶 或應(yīng)用程序不用去考慮關(guān)系是如何分片以及具體的分片情況， 就 可以對全局關(guān)系進(jìn)行操作；2)復(fù)制透明性 (replication transparency) 指的是用戶并 不需要知道數(shù)據(jù)的副本存放在哪個或哪幾個站點；3) 位置透明性 (location transparency) 指的是用戶或者應(yīng) 用程序不用去考慮邏輯

10、片斷存儲在哪個具體的結(jié)點。6 數(shù)據(jù)復(fù)制和分片產(chǎn)生的問題分布式數(shù)據(jù)庫中， 進(jìn)行數(shù)據(jù)復(fù)制和分片可以有效的提高物理 分散站點之間訪問的速度， 提高系統(tǒng)的可用性。 但是也產(chǎn)生了如 何保持多個分布的一致性和副本更新的一致性 7 ，以及事務(wù)管 理的問題。1)保持多副本的一致性：保持多副本的一致性，也就是使 得當(dāng)對一個數(shù)據(jù)進(jìn)行更新時， 要保證其所有的副本的數(shù)據(jù)也得到 更新，并且所有的副本的數(shù)據(jù)是一致的。進(jìn)行數(shù)據(jù)的復(fù)制，提高 了讀操作的性能， 在很大程度上保證了站點的可用性， 但是卻增 加了更新時的開銷，從而造成系統(tǒng)效率下降。2）保持分布的一致性：數(shù)據(jù)被更新之后，使得數(shù)據(jù)的原有 分片不再從邏輯上是一個整體。 比如將全校學(xué)生按照系別進(jìn)行分 片，數(shù)學(xué)系的張三因為轉(zhuǎn)系到計算機(jī)系， 導(dǎo)致其系別屬性值變?yōu)?“計算機(jī)”，而他的信息因為分片的原因，仍然存放在“數(shù)學(xué) 系”的分片中。導(dǎo)致“數(shù)學(xué)系”的分片從邏輯上不在是一個整 體。3）分布事務(wù)管理：由于數(shù)據(jù)是分布在不同站點的，對數(shù)據(jù) 的更新操作也應(yīng)該是分布的，這涉及到并發(fā)控制和恢復(fù)的問題。 也就是保證對數(shù)據(jù)進(jìn)行更新時， 要把所有的數(shù)據(jù)都更新。 一旦有 一個副本沒有更新，那么整個事務(wù)處理失敗。7 結(jié)束語 分布式數(shù)據(jù)庫系統(tǒng)符合當(dāng)今社會發(fā)展的趨勢，為物理上分 散，邏輯上集中的企業(yè)提供了很好的體