分布式數(shù)據(jù)庫施工設(shè)計方案

1、表至間* U1>表空間(ts3)表空間<ts4 )1 .大型分布式數(shù)據(jù)庫解決方案企業(yè)數(shù)據(jù)庫的數(shù)據(jù)量很大時候，即使服務(wù)器在沒有任何壓力的情況下，某些復(fù)雜的查詢操作都會非常緩慢.影響最終用戶的體驗；當數(shù)據(jù)量很大的時候，對數(shù)據(jù)庫的裝載與導(dǎo)出，備份與恢復(fù)，結(jié)構(gòu)的調(diào)整，索引的調(diào)整等都會讓數(shù)據(jù)庫 停止服務(wù)或者高負荷運轉(zhuǎn)很長時間，影響數(shù)據(jù)庫的可用性和易管理性。分區(qū)表技術(shù)讓用戶能夠把數(shù)據(jù)分散存放到不同的物理磁盤中，提高這些磁盤的并行處理能力，達到優(yōu)化查詢性能的目的。但是分區(qū)表只能 把數(shù)據(jù)分散到同一機器的不同磁盤中，也就是還是依賴于一個機器的硬件資源，不能從根本上解決問題。word教育資料3=199

2、1cu&tlht分布式分區(qū)視圖分布式分區(qū)視圖允許用戶將大型表中的數(shù)據(jù)分散到不同機器的數(shù)據(jù)庫上，用戶不需要知道直接訪問哪個基礎(chǔ)表而是通過視圖訪問數(shù)據(jù)，在開發(fā)上有一定的透明性。但是并沒有簡化分區(qū)數(shù)據(jù)集的管理、設(shè)計。用戶使用分區(qū)視圖時，必須單獨創(chuàng)建、管理每個基礎(chǔ)表(在其中定義視圖的表)，而且必須單獨為每個表管理數(shù)據(jù)完整性約束，管理工作變得非常復(fù)雜。而且還有一些限制，比如不能使用自增列，不能有大數(shù)據(jù)對象。對于全局查詢并不是并行 計算，有時還不如不分區(qū)的響應(yīng)快。1月份Database!2月份3月份DpDa tabate3Database12月份庫表散列在開發(fā)基于庫表散列的數(shù)據(jù)庫架構(gòu)，經(jīng)過數(shù)次數(shù)據(jù)

3、庫升級，最終采用按照用戶進行的庫表散列，但是這些都是基于自己業(yè)務(wù)邏 輯進行的，沒有一個通用的實現(xiàn)?？蛻粼趯嶋H應(yīng)用中要投入很大的研發(fā)成本，面臨很大的風險。面對海量數(shù)據(jù)庫在高并發(fā)的應(yīng)用環(huán)境下，僅僅靠提升服務(wù)器的硬件配置是不能從根本上解決問題的，分布式網(wǎng)格集群通過數(shù)據(jù)分區(qū)把數(shù)據(jù)拆分成更小的部分，分配到不同的服務(wù)器中。查詢可以由多個服務(wù)器上的CPU I/O來共同負載，通過各節(jié)點并行處理數(shù)據(jù)來提高性能；寫入時，可以在多個分區(qū)數(shù)據(jù)庫中并行寫入，顯著提升數(shù)據(jù)庫的寫入速度。價值所在CPU, I/O來共同負載，通過各通過分區(qū)把數(shù)據(jù)放到不同的機器中，每次查詢可以由多個機器上的 節(jié)點并行處理數(shù)據(jù)來提高性能。 冗余的

4、數(shù)據(jù)結(jié)構(gòu)（矩陣列）消除了單點故障，任何一個機器出現(xiàn)故障后都不會影響系統(tǒng)的正常運行，數(shù)據(jù)庫集群能 提供不中斷的服務(wù)。無共享磁盤架構(gòu)節(jié)省了硬件，利用中小型的服務(wù)器取代大型服務(wù)器大幅降低了硬件的成本，系統(tǒng)中不再有閑置的資 源，降低了系統(tǒng)TCO （總體擁有成本）。分區(qū)把數(shù)據(jù)分成更小的部分，提高了數(shù)據(jù)庫的可用性和可管理性。根據(jù)業(yè)務(wù)的需要，訪問層和數(shù)據(jù)層都可以增加，集群具有良好的擴展性。中間件宿主在數(shù)據(jù)庫中的創(chuàng)新使集群變得更透明，數(shù)據(jù)庫的管理成本，以及面向數(shù)據(jù)庫的開發(fā)成本都最小化。2 .數(shù)據(jù)實時復(fù)制解決方案經(jīng)過分析，大多數(shù)應(yīng)用系統(tǒng)以查詢操作為主，造成數(shù)據(jù)庫壓力迅速增加的主要因素也是復(fù)雜的查詢操作，為了能夠

5、得到同一份數(shù)據(jù)的多個副本來響應(yīng)用戶的查詢，SQLServer提供了復(fù)制技術(shù)（Repl i cat ion ）,主要有合并復(fù)制、事務(wù)復(fù)制、快照復(fù)制等，這些技術(shù)可以有效緩解查詢的壓力。伴隨著企業(yè)發(fā)展的需要，企業(yè)對信息實時性要 求越來越高，如股票、航空票務(wù)、連鎖店甚至是一些服務(wù)系統(tǒng)等等，這些系統(tǒng)的用戶希望更新的數(shù)據(jù)馬上就可以查詢到。SQL Server數(shù)據(jù)庫的復(fù)制/訂閱技術(shù)復(fù)制/訂閱數(shù)技術(shù)可以實現(xiàn)讀、寫分離，數(shù)據(jù)先寫到中心數(shù)據(jù)庫上，寫成功即返回給應(yīng)用程序；通過復(fù)制將數(shù)據(jù)復(fù)制到只讀服 務(wù)器，查詢時從只讀服務(wù)器查。意味著訂閱端的數(shù)據(jù)和中心數(shù)據(jù)庫的數(shù)據(jù)不同步，是個異步的過程，所以數(shù)據(jù)滯后嚴重，數(shù)據(jù)同步的實

6、時性得不到保障，中心 數(shù)據(jù)庫在正常的壓力下10秒左右。當訪問負荷很高或者中心數(shù)據(jù)庫在整理數(shù)據(jù)時，將出現(xiàn)大量DML操作延遲時間比較長或者 出現(xiàn)堵塞的情況；某些修改操作需要重新建立復(fù)制關(guān)系并初始化，這期間需要停止數(shù)據(jù)庫的讀取服務(wù)，規(guī)模越大的應(yīng)用停止的時間越長，嚴重影 響了數(shù)據(jù)庫的可用性。結(jié)論：復(fù)制訂閱技術(shù)的實時性差，初始化時對系統(tǒng)的影響非常大；在數(shù)據(jù)復(fù)制過程中沒有采用智能的策略，數(shù)據(jù)的復(fù)制速度 慢；中心數(shù)據(jù)庫仍然為失敗轉(zhuǎn)移集群模式。構(gòu)建數(shù)據(jù)庫集群，節(jié)點間數(shù)據(jù)同步都是實時的，數(shù)據(jù)是一致性的，可以部署為讀、寫分離，也可以部署為 所有節(jié)點可讀可寫；中間件監(jiān)測到數(shù)據(jù)庫變化并同步數(shù)據(jù)，數(shù)據(jù)同步完成后客戶端才

7、會得到響應(yīng)，同步過程是并發(fā)完成的，所 以同步到多個數(shù)據(jù)庫和同步到一個數(shù)據(jù)庫的時間基本相等；另外同步的過程是在事務(wù)的環(huán)境下完成的，保證了多份數(shù)據(jù)在任何 時刻數(shù)據(jù)的一致性。中間件在同步數(shù)據(jù)時采用了多項智能同步策略，滿足了不同類型的應(yīng)用模式，可以同步數(shù)據(jù)，同步 SQL 語句，并行執(zhí)行SQL語句，升級數(shù)據(jù)庫的鎖， 啟用數(shù)據(jù)壓縮等。同步過程是在SQLServer的執(zhí)行環(huán)境中進行的，整個操作是在事務(wù)的環(huán)境下完成的，解決了數(shù)據(jù)實時性問題，滿足了用戶對數(shù) 據(jù)實時性的要求。中間件在同步數(shù)據(jù)時采取了智能同步策略，同步速度更快；提供了多種人工干預(yù)的機制，對數(shù)據(jù)庫表結(jié)構(gòu)的調(diào)整、批量更改數(shù) 據(jù)等操的時間大幅縮減。無需搭

8、建失敗轉(zhuǎn)移集群，中心數(shù)據(jù)庫Cluster中閑置的一臺機器被利用起來，提高了整個系統(tǒng)的使用率；系統(tǒng)支持無共享磁盤架構(gòu)，可以節(jié)省共享的存儲設(shè)備。連接數(shù)據(jù)庫，提供專門針對數(shù)據(jù)庫系統(tǒng)的負載均衡軟件，無需使用昂貴的均衡硬件，無需程序員自己實現(xiàn)。提供故障檢測及失敗轉(zhuǎn)移功能。3 .數(shù)據(jù)庫選擇在SQL中使用Oracle服務(wù)器，因為是異地數(shù)據(jù)，在SQL中的更新，刪除等是隱式事務(wù)，而在Oracle中是顯示的，所以 直接調(diào)用速度是很慢的.并且很容易崩掉。4 .數(shù)據(jù)查詢1秒鐘時間，在幾千億條話單數(shù)據(jù)中找到用戶想要的數(shù)據(jù)，在分區(qū)、并行查詢、列存、集群等技術(shù)統(tǒng)統(tǒng)粉墨登場仍無法滿足響應(yīng)要求時，數(shù)據(jù)壓縮和索引技術(shù)成為了致勝的

9、關(guān)鍵。無論是使用傳統(tǒng)的B樹索引，或通用的壓縮算法，都不是問題的正解，在如此大的數(shù)據(jù)量下，需要使用更加專業(yè)高效的技術(shù)方法?；谔囟l件（產(chǎn)品型號、產(chǎn)品名稱、起止時間等）組合的詳單查詢，絕大多數(shù)查詢只會返回少量的結(jié)果壓縮總體結(jié)構(gòu)壓縮的主要目的不是減少空間占用，而是提高查詢性能CPU平均處理帶寬3.6GB/秒（7000萬行/秒/核），I/O平均處理帶寬300MB/秒，通過壓縮提升I/O帶寬,實現(xiàn)CPU與I/O處理均衡，提高查詢性能暫最基礎(chǔ)篦集碼方法 56用干中低密度的 屬T生列.大大臧少空珂P：斯;丁 1A617-助前rTW1艇FSO16I7I 做 1S4G 常I辟I豹怎強REF列規(guī)則使用通用壓縮算

10、法LZMA CPU處理帶寬太低 壓縮比18. 9 : 1,解碼速度171MB秒/核（折算后）CPU處理帶寬991MB秒，I/O處理帶寬5.7GB/秒LZ0P壓縮率太低壓縮比7. 2 : 1解碼速度891 Mb/秒/核（折算后）CPU處理帶寬2.4GB/秒，I/O處理帶寬2.2GB/秒OPERATIONTYPEJO，適用于（近似）常量的屬性列電實際應(yīng)用中大量存在2 TTC0001 34 TTCTiWn 5 TTCSW01 6 TTCTDDO1 7 TTCQ001 8 TTC.W>01 9 TTCV麗 110 TTCT0001 n nsom 12 TTC.MO 13 TTC0001 14 r

11、icuaooi is ncfgoi16 TTB 岫” 17 pre.蜿 i is ugggaa 19 rTG a QIDefault ValueException Table20|EiZSS列規(guī)則對壓縮的要求壓縮率不低于15： 1CPU處理帶寬不低于5GB/秒索引查詢高選擇率的特點適合選擇索引傳統(tǒng)索引空間占用大維護成本高，對裝載速度影響大對索引的要求占用空間對壓縮率貢獻可忽略不計維護開銷對裝載速度無明顯影響選擇率接近于數(shù)據(jù)的實際選擇率，遠快于表掃描,適用于兩列（近似）相等的場合。對于高密度列之間存在的相等關(guān)系非常有效列規(guī)則傳統(tǒng)索引的不足維護成本高對數(shù)據(jù)裝載速度影響極大先建模式下：索引需要同步維護，隨機插入影響性能，插入過程中無法引入壓縮后建模式下：需要大規(guī)模的排序，創(chuàng)建成本高空間占用大以B樹為例，（鍵值，ROWID二元組，按照鍵值順序排列，按列壓縮RONID隨機性強，難以被壓縮，整體空間成本> 6字節(jié)/分片索引技術(shù)要點：將表按照一定行數(shù)據(jù)分成多個數(shù)據(jù)包為每個壓縮包建立其中各列的摘要信息（如最大值、最小值），所有數(shù)據(jù)包上的屬于特定列的全部摘要信息，構(gòu)成該列的分片索引禾U用摘要信息，來判定對應(yīng)的數(shù)據(jù)包中是否包含滿足特定的查詢條件的行，如確定不存在這樣的行，則整個