分布式數(shù)據(jù)庫(kù)的復(fù)制和分片

1、分布式數(shù)據(jù)庫(kù)的復(fù)制和分片Analysis of data replication and fragmentation in Distributed DatabaseYAN Qiu-ling1, ZHU Jun-tao2(1.College of Information Science and Technology, Henan University of Technology ,Zhengzhou 450001,China;2.Zhengzhou Railway vocational and Technical College, Zhengzhou 450052,China): This pa

2、per compares distributed database with centralized database, and anaysises the problems in the storage and access speed of centralized database. In this paper, we give the concept of data replication and fragmentation in distributed database ,as well as principles and methods. Finally, we analysis t

3、he key problems data replication and fragmentation solved.1 引言 在集中式數(shù)據(jù)庫(kù)中，將所有數(shù)據(jù)集中存儲(chǔ)到一臺(tái)計(jì)算機(jī)上， 由主機(jī)上的數(shù)據(jù)庫(kù)管理系統(tǒng)統(tǒng)一管理整個(gè)數(shù)據(jù)庫(kù)， 用戶(hù)可從終端 上發(fā)出數(shù)據(jù)操作命令，經(jīng)主機(jī)上的數(shù)據(jù)庫(kù)管理系統(tǒng)接收處理后， 將結(jié)果數(shù)據(jù)返回給用戶(hù)。 隨著企業(yè)規(guī)模越來(lái)越大， 企業(yè)分布于物 理位置不同的多個(gè)地方， 尤其是一些跨國(guó)公司， 在全球有很多的 分公司。 采用集中式數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)， 位于多個(gè)位置的站點(diǎn)要 訪(fǎng)問(wèn)一個(gè)存放數(shù)據(jù)的主機(jī)，這樣，對(duì)主機(jī)的要求 1 就很高：首 先，當(dāng)企業(yè)規(guī)模很大，數(shù)據(jù)量很大時(shí)，數(shù)據(jù)僅僅存放在一臺(tái)計(jì)算

4、 機(jī)上，該計(jì)算機(jī)的存儲(chǔ)空間就要求很高， 通常是一個(gè)中型機(jī)或者 小型機(jī)，而這樣的配置通常費(fèi)用會(huì)很高。其次，當(dāng)多個(gè)計(jì)算機(jī)同 時(shí)訪(fǎng)問(wèn)該主機(jī)時(shí)，會(huì)造成訪(fǎng)問(wèn)速度很慢，性能下降，這種速度有 時(shí)甚至是難以忍受的。最后，過(guò)多的依賴(lài)于中間的主機(jī)節(jié)點(diǎn)，一 旦該節(jié)點(diǎn)出現(xiàn)故障，會(huì)使整個(gè)系統(tǒng)處于崩潰狀態(tài)。2 分布式數(shù)據(jù)庫(kù)的特點(diǎn)基于上面的這些原因， 集中式的結(jié)構(gòu)不能適應(yīng)當(dāng)前的物理位 置上分散的要求。 分布式數(shù)據(jù)庫(kù)是物理上分散而邏輯上集中的數(shù) 據(jù)庫(kù)系統(tǒng)。它有這樣的一些優(yōu)點(diǎn)： 1）物理分布性 數(shù)據(jù)按照就近 原則，存放在距離它最近的一個(gè)或者多個(gè)站點(diǎn)； 2）邏輯整體性 雖 然數(shù)據(jù)存放在各個(gè)不同的站點(diǎn)，但將各個(gè)站點(diǎn)的數(shù)據(jù)集合起來(lái)，

5、 仍然是集中式中的整個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)； 3）站點(diǎn)的自治性 相互 的站點(diǎn)之間不存在主從關(guān)系， 地位是平等的， 任何一個(gè)站點(diǎn)出現(xiàn) 問(wèn)題，不影響其它站點(diǎn)， 每個(gè)站點(diǎn)上的數(shù)據(jù)由本地的數(shù)據(jù)庫(kù)管理 系統(tǒng)來(lái)進(jìn)行管理。分布式數(shù)據(jù)庫(kù)系統(tǒng)通過(guò)把分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同結(jié)點(diǎn)或 場(chǎng)地 ,物理上屬于多個(gè)數(shù)據(jù)子集，邏輯上屬于同一系統(tǒng)之?dāng)?shù)據(jù)集 合的海量數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)應(yīng)用， 以實(shí)現(xiàn)比集中式數(shù)據(jù)庫(kù)系統(tǒng)更好的 性能、可擴(kuò)充性、可用性和自治性。從數(shù)據(jù)意義上講，數(shù)據(jù)分布 即數(shù)據(jù)分片與分配的合理與否或者說(shuō)合理性的高低， 不僅影響著 訪(fǎng)問(wèn)的局部性， 即盡可能地把用戶(hù)要求訪(fǎng)問(wèn)的數(shù)據(jù)就在本結(jié)點(diǎn)或 本場(chǎng)地，而且也制約著數(shù)據(jù)查詢(xún)及事務(wù)處理的效率。要

6、實(shí)現(xiàn)分布式系統(tǒng)，必須要對(duì)數(shù)據(jù)進(jìn)行復(fù)制和分片 2 。所 謂復(fù)制，就是將數(shù)據(jù)存放在多個(gè)站點(diǎn)上，這樣，在一個(gè)站點(diǎn)出現(xiàn) 故障時(shí)， 可以通過(guò)訪(fǎng)問(wèn)存放在另外站點(diǎn)上的副本，仍然可以正常工作。 分片就是系統(tǒng)把數(shù)據(jù)劃分為幾個(gè)片， 各片存儲(chǔ)在不同的分 片上。在實(shí)際應(yīng)用中，通常是將兩者結(jié)合在一起，先對(duì)數(shù)據(jù)進(jìn)行 分片，然后將分片進(jìn)行復(fù)制。3 數(shù)據(jù)復(fù)制和分片3.1 數(shù)據(jù)復(fù)制和分片的目的將數(shù)據(jù)進(jìn)行分片和復(fù)制后存放在多個(gè)站點(diǎn)上 3 ，當(dāng)一個(gè)站 點(diǎn)發(fā)生故障時(shí)， 整個(gè)系統(tǒng)仍然可以正常工作， 提高整個(gè)系統(tǒng)的可 用性和可靠性。3.2 數(shù)據(jù)分片的原則 4設(shè)全局關(guān)系R被劃分為邏輯片段S=S1,S2,，Sn,貝U S滿(mǎn) 足：1）完整性：

7、所有的分片 S1, S2,，Sn應(yīng)該可以組合成一 個(gè)整體 S；2）不相交性：各個(gè)分片都應(yīng)該是不相交的；3） 重構(gòu)性：所有的分片應(yīng)該可以重構(gòu)成原來(lái)的關(guān)系R。3.3 分片的方法通常有兩種基本的方法：水平分片和垂直分片。1） 水平分片：一個(gè)表 T被分成若干片：T1, T2,，Tn, 其中每個(gè)片包含T的一部分行并且T的每一行都會(huì)出現(xiàn)在一個(gè)片 中。2） 垂直分片：一個(gè)表 T被分成若干片：T1 , T2,，Tn, 每片包含T的一部分列。每一列必須至少被一個(gè)片包含，并且每 個(gè)片必須包含候選碼的列。 （值得注意的是,在垂直分片中,為 了以后可以重構(gòu)的需要, 必須在每個(gè)分片中包括候選鍵的屬性列 5 。）4 數(shù)據(jù)

8、分配4.1 數(shù)據(jù)分配所謂數(shù)據(jù)分配, 就是將分片的數(shù)據(jù)放在多個(gè)站點(diǎn), 利用冗余 6 來(lái)達(dá)到系統(tǒng)的最大可用性和可靠性。將分片的副本放在多個(gè) 站點(diǎn),當(dāng)本地系統(tǒng)要訪(fǎng)問(wèn)數(shù)據(jù)時(shí), 首先判斷該數(shù)據(jù)是本地的數(shù)據(jù) 還是其他站點(diǎn)的數(shù)據(jù), 如果是本地的數(shù)據(jù), 就直接可以在本地進(jìn) 行讀取。 這樣就縮短了系統(tǒng)的響應(yīng)時(shí)間。 當(dāng)要訪(fǎng)問(wèn)的數(shù)據(jù)的站點(diǎn) 發(fā)生故障不可用時(shí), 系統(tǒng)可以直接訪(fǎng)問(wèn)其副本所在的站點(diǎn), 以此 來(lái)達(dá)到系統(tǒng)的最大可用性。4.2 數(shù)據(jù)分配的原則1）處理局部性 將數(shù)據(jù)盡量放在本地站點(diǎn)及其相鄰的站點(diǎn), 這樣可以在一定程度上減少站點(diǎn)之間的通信代價(jià)。2）各個(gè)站點(diǎn)負(fù)荷的平衡性 使各個(gè)站點(diǎn)的負(fù)荷 （各個(gè)站點(diǎn)所 負(fù)擔(dān)的全局任務(wù)

9、和局部任務(wù)) 均勻化， 提高各站點(diǎn)的本地和全局 應(yīng)用，盡量提高各站點(diǎn)的并行性。5 數(shù)據(jù)透明性數(shù)據(jù)透明性是指對(duì)于用戶(hù)而言， 并不需要知道數(shù)據(jù)的存儲(chǔ)情 況，分片情況以及位置情況。數(shù)據(jù)透明性包括三個(gè)方面：1)分片透明性 (fragmentation transparency) 指的是用戶(hù) 或應(yīng)用程序不用去考慮關(guān)系是如何分片以及具體的分片情況， 就 可以對(duì)全局關(guān)系進(jìn)行操作；2)復(fù)制透明性 (replication transparency) 指的是用戶(hù)并 不需要知道數(shù)據(jù)的副本存放在哪個(gè)或哪幾個(gè)站點(diǎn)；3) 位置透明性 (location transparency) 指的是用戶(hù)或者應(yīng) 用程序不用去考慮邏輯

10、片斷存儲(chǔ)在哪個(gè)具體的結(jié)點(diǎn)。6 數(shù)據(jù)復(fù)制和分片產(chǎn)生的問(wèn)題分布式數(shù)據(jù)庫(kù)中， 進(jìn)行數(shù)據(jù)復(fù)制和分片可以有效的提高物理 分散站點(diǎn)之間訪(fǎng)問(wèn)的速度， 提高系統(tǒng)的可用性。 但是也產(chǎn)生了如 何保持多個(gè)分布的一致性和副本更新的一致性 7 ，以及事務(wù)管 理的問(wèn)題。1)保持多副本的一致性：保持多副本的一致性，也就是使 得當(dāng)對(duì)一個(gè)數(shù)據(jù)進(jìn)行更新時(shí)， 要保證其所有的副本的數(shù)據(jù)也得到 更新，并且所有的副本的數(shù)據(jù)是一致的。進(jìn)行數(shù)據(jù)的復(fù)制，提高 了讀操作的性能， 在很大程度上保證了站點(diǎn)的可用性， 但是卻增 加了更新時(shí)的開(kāi)銷(xiāo)，從而造成系統(tǒng)效率下降。2）保持分布的一致性：數(shù)據(jù)被更新之后，使得數(shù)據(jù)的原有 分片不再?gòu)倪壿嬌鲜且粋€(gè)整體。 比如將全校學(xué)生按照系別進(jìn)行分 片，數(shù)學(xué)系的張三因?yàn)檗D(zhuǎn)系到計(jì)算機(jī)系， 導(dǎo)致其系別屬性值變?yōu)?“計(jì)算機(jī)”，而他的信息因?yàn)榉制脑?，仍然存放在“?shù)學(xué) 系”的分片中。導(dǎo)致“數(shù)學(xué)系”的分片從邏輯上不在是一個(gè)整 體。3）分布事務(wù)管理：由于數(shù)據(jù)是分布在不同站點(diǎn)的，對(duì)數(shù)據(jù) 的更新操作也應(yīng)該是分布的，這涉及到并發(fā)控制和恢復(fù)的問(wèn)題。 也就是保證對(duì)數(shù)據(jù)進(jìn)行更新時(shí)， 要把所有的數(shù)據(jù)都更新。 一旦有 一個(gè)副本沒(méi)有更新，那么整個(gè)事務(wù)處理失敗。7 結(jié)束語(yǔ) 分布式數(shù)據(jù)庫(kù)系統(tǒng)符合當(dāng)今社會(huì)發(fā)展的趨勢(shì)，為物理上分 散，邏輯上集中的企業(yè)提供了很好的體