分布式數(shù)據(jù)庫設計方案

大型分布式數(shù)據(jù)庫解決方案企業(yè)數(shù)據(jù)庫的數(shù)據(jù)量很大時候，即使服務器在沒有任何壓力的情況下，某些復雜的查詢操作都會非常緩慢,影響最終用戶的體驗；當數(shù)據(jù)量很大的時候，對數(shù)據(jù)庫的裝載與導出，備份與恢復，結構的調整，索引的調整等都會讓數(shù)據(jù)庫停止服務或者高負荷運轉很長時間，影響數(shù)據(jù)庫的可用性和易管理性。分區(qū)表技術讓用戶能夠把數(shù)據(jù)分散存放到不同的物理磁盤中，提高這些磁盤的并行處理能力，達到優(yōu)化查詢性能的目的。但是分區(qū)表只能把數(shù)據(jù)分散到同一機器的不同磁盤中，也就是還是依賴于一個機器的硬件資源，不能從根本上解決問題。扌璀殺主間舉主聞仏廠卷主間巒仝間衷txili賦I11驅111^94-3=1934^5^^=1397113=2000:心二嚴3=2001:11L1|L!分布式分區(qū)視圖分布式分區(qū)視圖允許用戶將大型表中的數(shù)據(jù)分散到不同機器的數(shù)據(jù)庫上，用戶不需要知道直接訪問哪個基礎表而是通過視圖訪問數(shù)據(jù)，在開發(fā)上有一定的透明性。但是并沒有簡化分區(qū)數(shù)據(jù)集的管理、設計。用戶使用分區(qū)視圖時，必須單獨創(chuàng)建、管理每個基礎表（在其中定義視圖的表），而且必須單獨為每個表管理數(shù)據(jù)完整性約束，管理工作變得非常復雜。而且還有一些限制，比如不能使用自增列，不能有大數(shù)據(jù)對象。對于全局查詢并不是并行計算，有時還不如不分區(qū)的響應快。

Databasel2月份Databasel2月份庫表散列在開發(fā)基于庫表散列的數(shù)據(jù)庫架構，經過數(shù)次數(shù)據(jù)庫升級，最終采用按照用戶進行的庫表散列，但是這些都是基于自己業(yè)務邏輯進行的，沒有一個通用的實現(xiàn)。客戶在實際應用中要投入很大的研發(fā)成本，面臨很大的風險。面對海量數(shù)據(jù)庫在高并發(fā)的應用環(huán)境下，僅僅靠提升服務器的硬件配置是不能從根本上解決問題的，分布式網格集群通過數(shù)據(jù)分區(qū)把數(shù)據(jù)拆分成更小的部分，分配到不同的服務器中。查詢可以由多個服務器上的CPU、I/O來共同負載，通過各節(jié)點并行處理數(shù)據(jù)來提高性能；寫入時，可以在多個分區(qū)數(shù)據(jù)庫中并行寫入，顯著提升數(shù)據(jù)庫的寫入速度。容戶堆應哥眾務彗fWim用諾與垃據(jù)互麋吾逢議*內亶券種處載均當H容戶堆應哥眾務彗fWim用諾與垃據(jù)互麋吾逢議*內亶券種處載均當H注…訪問層（調度1數(shù)據(jù)層（執(zhí)行）管理、建護第群中的各節(jié)點中用件程序宿主T程訪問晨戰(zhàn)需匡1里匪.杵析5QL常句<..■價值所在通過分區(qū)把數(shù)據(jù)放到不同的機器中，每次查詢可以由多個機器上的CPU,I/O來共同負載，通過各節(jié)點并行處理數(shù)據(jù)來提高性能。冗余的數(shù)據(jù)結構（矩陣列）消除了單點故障，任何一個機器出現(xiàn)故障后都不會影響系統(tǒng)的正常運行，數(shù)據(jù)庫集群能提供不中斷的服務。無共享磁盤架構節(jié)省了硬件，利用中小型的服務器取代大型服務器大幅降低了硬件的成本，系統(tǒng)中不再有閑置的資源，降低了系統(tǒng)TCO（總體擁有成本）。分區(qū)把數(shù)據(jù)分成更小的部分，提高了數(shù)據(jù)庫的可用性和可管理性。根據(jù)業(yè)務的需要，訪問層和數(shù)據(jù)層都可以增加，集群具有良好的擴展性。中間件宿主在數(shù)據(jù)庫中的創(chuàng)新使集群變得更透明，數(shù)據(jù)庫的管理成本，以及面向數(shù)據(jù)庫的開發(fā)成本都最小化。數(shù)據(jù)實時復制解決方案經過分析，大多數(shù)應用系統(tǒng)以查詢操作為主，造成數(shù)據(jù)庫壓力迅速增加的主要因素也是復雜的查詢操作，為了能夠得到同一份數(shù)據(jù)的多個副本來響應用戶的查詢，SQLServer提供了復制技術（Replication），主要有合并復制、事務復制、快照復制等，這些技術可以有效緩解查詢的壓力。伴隨著企業(yè)發(fā)展的需要，企業(yè)對信息實時性要求越來越高，如股票、航空票務、連鎖店甚至是一些服務系統(tǒng)等等，這些系統(tǒng)的用戶希望更新的數(shù)據(jù)馬上就可以查詢到。SQLServer數(shù)據(jù)庫的復制/訂閱技術復制/訂閱數(shù)技術可以實現(xiàn)讀、寫分離，數(shù)據(jù)先寫到中心數(shù)據(jù)庫上，寫成功即返回給應用程序；通過復制將數(shù)據(jù)復制到只讀服務器，查詢時從只讀服務器查。

意味著訂閱端的數(shù)據(jù)和中心數(shù)據(jù)庫的數(shù)據(jù)不同步，是個異步的過程，所以數(shù)據(jù)滯后嚴重，數(shù)據(jù)同步的實時性得不到保障，中心數(shù)據(jù)庫在正常的壓力下10秒左右。當訪問負荷很高或者中心數(shù)據(jù)庫在整理數(shù)據(jù)時，將出現(xiàn)大量DML操作延遲時間比較長或者出現(xiàn)堵塞的情況；某些修改操作需要重新建立復制關系并初始化，這期間需要停止數(shù)據(jù)庫的讀取服務，規(guī)模越大的應用停止的時間越長，嚴重影響了數(shù)據(jù)庫的可用性。結論：復制訂閱技術的實時性差，初始化時對系統(tǒng)的影響非常大；在數(shù)據(jù)復制過程中沒有采用智能的策略,數(shù)據(jù)的復制速度慢；中心數(shù)據(jù)庫仍然為失敗轉移集群模式。構建數(shù)據(jù)庫集群，節(jié)點間數(shù)據(jù)同步都是實時的，數(shù)據(jù)是一致性的，可以部署為讀、寫分離，也可以部署為所有節(jié)點可讀可寫；中間件監(jiān)測到數(shù)據(jù)庫變化并同步數(shù)據(jù)，數(shù)據(jù)同步完成后客戶端才會得到響應，同步過程是并發(fā)完成的，所以同步到多個數(shù)據(jù)庫和同步到一個數(shù)據(jù)庫的時間基本相等；另外同步的過程是在事務的環(huán)境下完成的，保證了多份數(shù)據(jù)在任何時刻數(shù)據(jù)的一致性。中間件在同步數(shù)據(jù)時采用了多項智能同步策略，滿足了不同類型的應用模式，可以同步數(shù)據(jù)，同步SQL語句，并行執(zhí)行SQL語句，升級數(shù)據(jù)庫的鎖,啟用數(shù)據(jù)壓縮等。

1—燔?蛙堞I枉朗?料讀?。㊣中庇伴裡序啟主體垃推庠帳面.搶醐蓋據(jù)的更比，間洋血品；1—燔?蛙堞I枉朗?料讀取）I中庇伴裡序啟主體垃推庠帳面.搶醐蓋據(jù)的更比，間洋血品；ui占育Harbfiu*nehiusStfif烏散礎眾建攝由強負鞭均團戛法?通過虛擬ip指定異前果節(jié)歳口鞏$常他號牧均雷寫損作皿機ipamst）M^iiJSQLSsrvpr200SHormEnreKtWtHpiu中工署、蒼理、眾護集甘中間件在同步數(shù)據(jù)時采取了智能同步策略，同步速度更快；提供了多種人工干預的機制，對數(shù)據(jù)庫表結構的調整、批量更改數(shù)據(jù)等操的時間大幅縮減。無需搭建失敗轉移集群，中心數(shù)據(jù)庫Cluster中閑置的一臺機器被利用起來，提高了整個系統(tǒng)的使用率；系統(tǒng)支持無共享磁盤架構，可以節(jié)省共享的存儲設備。連接數(shù)據(jù)庫，提供專門針對數(shù)據(jù)庫系統(tǒng)的負載均衡軟件，無需使用昂貴的均衡硬件，無需程序員自己實現(xiàn)。提供故障檢測及失敗轉移功能。數(shù)據(jù)庫選擇在SQL中使用Oracle鏈接服務器，因為是異地數(shù)據(jù)，在SQL中的更新，刪除等是隱式事務，而在Oracle中是顯示的,所以直接調用速度是很慢的?并且很容易崩掉。數(shù)據(jù)查詢1秒鐘時間，在幾千億條話單數(shù)據(jù)中找到用戶想要的數(shù)據(jù)，在分區(qū)、并行查詢、列存、集群等技術統(tǒng)統(tǒng)粉墨登場仍無法滿足響應要求時，數(shù)據(jù)壓縮和索引技術成為了致勝的關鍵。無論是使用傳統(tǒng)的B樹索引，或通用的壓縮算法，都不是問題的正解，在如此大的數(shù)據(jù)量下，需要使用更加專業(yè)高效的技術方法?；谔囟l件（產品型號、產品名稱、起止時間等）組合的詳單查詢，絕大多數(shù)查詢只會返回少量的結

②分段塞縮助按務規(guī)則c列內+列間＞和后端兩層汪縮%后端支持使用第三方的通馬壓縮模塊理行列混合存儲?支持多伍縮級別壓縮總體結構壓縮的主要目的不是減少空間占用，而是提高查詢性能現(xiàn)CPU與I/O處理均衡，提高查詢性能最基砒的編碼方法適用于中低密度的詭'1451.大大減少空間暫字與有厚組織，提高查詢性能1401^]7i-wawe】蟲1】玄】1如154右mieij1^01￡]7inlineiwnsi6現(xiàn)CPU與I/O處理均衡，提高查詢性能最基砒的編碼方法適用于中低密度的詭'1451.大大減少空間暫字與有厚組織，提高查詢性能1401^]7i-wawe】蟲1】玄】1如154右mieij1^01￡]7inlineiwnsi6】軸】護百1強1呀石1REF列內規(guī)則使用通用壓縮算法LZMA：CPU處理帶寬太低壓縮比18.9：1,解碼速度171MB/秒/核（折算后）CPU處理帶寬991MB/秒,I/O處理帶寬5.7GB/秒LZOP：壓縮率太低

壓縮比7.2：1,解碼速度891Mb/秒/核（折算后）CPU處理帶寬2.4GB/秒，I/O處理帶寬2.2GB/秒列劇.黠耀ki壩道隔列劇.黠耀ki壩道隔T幀?適用于（近似）常量的疤性列勁實際應用中大量存在OPERftTiarfl-TYPE^IO1TTXWtn2ncioooi3TTCI0QQ14tTCWMOl5-丄nc.fQftpiDefaultValue7T7CI0001TTGtOOOl8T7C*6&61TTCWOW)!1'io"TTGIODOIExccptiotiTablen?f^CH)3F!11TTGIQ00312TTCIWOl20hDCfDftlO13ncwoooi14TTCWOW)!15TTGfWOl1$S7TTCW0&01n1STTCiOWl113TTCIOOOl\J**.^ijiR20TWM^Ull朕列內規(guī)則對壓縮的要求壓縮率不低于15：1CPU處理帶寬不低于5GB/秒索引查詢高選擇率的特點適合選擇索引傳統(tǒng)索引空間占用大維護成本高，對裝載速度影響大對索引的要求占用空間對壓縮率貢獻可忽略不計維護開銷對裝載速度無明顯影響選擇率接近于數(shù)據(jù)的實際選擇率，遠快于表掃描適用于兩列C適用于兩列C近似）拒等的場合對于高密度列之間存在的相等關系非常有效CALLED^NUMQLHMMH006^727soeeis?*31Gfil65.宓601CALLED^NUMQLHMMH006^727soeeis?*31Gfil65.宓601■&55s&eesg冒6633^66V7頤甜38?他瞌1屎理^340S49SOS7913^344csza?f^Cl'PtlO3iLQ215^」苕卷12ii^1?&731S2|j呂甜散船軌畐j157W7&55EqS7()17653咖1甜112M21-BS173361Z615161ML!813934仙82!3&344?1821313891?674：70洌T隔細70-332BL8■焦DhUIVI&ERTHmB_NUMBEHH-.：1：-'：U冷尹舸w沖*心15TOl伽序!(:■.一zcrta卸IT_FftlZE」1*坯云苗麗ExcrptianTHI2NVMBER列內規(guī)則傳統(tǒng)索引的不足維護成本高對數(shù)據(jù)裝載速度影響極大先建模式下：索引需要同步維護，隨機插入影響性能，插入過程中無法引入壓縮后建模式下：需要大規(guī)模的排序，創(chuàng)建成本高空間占用大以B樹為例，＜鍵值，ROWID＞二元組，按照鍵值順序排列，按列壓縮ROWID隨機性強，難以被壓縮，整體空間成本＞6字節(jié)/分片索引技術要點：將表按照一定行數(shù)據(jù)分成多個數(shù)據(jù)包為每個壓縮包建立其中各列的摘要信息（如最大值、最小值），所有數(shù)據(jù)包上的屬于特定列的全部摘要信息，構成該列的分片索引利用摘要信息，來