大話Oracle集群,分布式數(shù)據(jù)庫與區(qū)塊鏈_第1頁
大話Oracle集群,分布式數(shù)據(jù)庫與區(qū)塊鏈_第2頁
大話Oracle集群,分布式數(shù)據(jù)庫與區(qū)塊鏈_第3頁
大話Oracle集群,分布式數(shù)據(jù)庫與區(qū)塊鏈_第4頁
大話Oracle集群,分布式數(shù)據(jù)庫與區(qū)塊鏈_第5頁
已閱讀5頁,還剩2頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

【何曉陽專欄】大話Oracle集群,分布式數(shù)據(jù)庫與區(qū)塊鏈原創(chuàng)4天前區(qū)塊鏈已經(jīng)從社會的邊緣產(chǎn)品,變得被越來越多的人所熟悉和接受,并逐漸成為一種新趨勢和未來。在這個過程中,區(qū)塊鏈技術(shù)也取得了日新月異的發(fā)展,智能合約、共識機制、分片以及跨鏈等新概念,正在不斷刷新著我們的認知。作為一個在數(shù)據(jù)庫領(lǐng)域奮斗10余年的老兵來看,區(qū)塊鏈的本質(zhì)其實是一個多活的分布式數(shù)據(jù)庫,區(qū)塊鏈中的很多技術(shù),在數(shù)據(jù)庫的漫長演進過程中也曾得到很多的應(yīng)用和實踐,為了能更好的理解區(qū)塊鏈,我概述了從2000年開始這十幾年主流系統(tǒng)架構(gòu)的演變。我們將分成3個階段來闡述:第一階段,Oracle集群時代在這個時代中,如果想去選擇一個可以支撐每秒幾萬筆業(yè)務(wù)的成熟數(shù)據(jù)庫方案。工程師一定會推薦Oracle。而這個時期系統(tǒng)的主要架構(gòu)如下:1OracieNetServices-C^eniAccessInstance-2Applicj^oniWfobsorvoreSalesdalesCallCenterCallCent-arCallCenter1OracieNetServices-C^eniAccessInstance-2Applicj^oniWfobsorvoreSalesdalesCallCenterCallCent-arCallCenterSale^S?rwice二□Ins-tanc^3WlCenterServlIneLancD12001年,對Oracle公司來說是一個特殊的年份,在這一年Oracle發(fā)布了甲骨文數(shù)據(jù)庫產(chǎn)品的經(jīng)典版本Oracle9i。在這個版本的產(chǎn)品中,Oracle極大的增強了集群服務(wù)能力(RealApplicationCluster,RAC),促使Oracle完成了在生產(chǎn)環(huán)境中,從一個單一主機節(jié)點向多節(jié)點的轉(zhuǎn)換的過程。RAC技術(shù)有效的解決了以往數(shù)據(jù)庫單節(jié)點運行的瓶頸,提升了數(shù)據(jù)庫系統(tǒng)的并發(fā)負載能力和高可用性,滿足了企業(yè)發(fā)展過程中,管理指數(shù)級數(shù)據(jù)增長的迫切需求。因此這個方案,被廣泛應(yīng)用到了政府、運營商、銀行、證券等各個領(lǐng)域,當(dāng)然也包括阿里巴巴和京東等互聯(lián)網(wǎng)巨頭企業(yè)。隨著版本的升級,Oracle10G的集群節(jié)點能力理論峰值擴充到了100多個。但是因為部署設(shè)備(小型機和存儲)昂貴等原因,不可能有企業(yè)可以完成這個量級的部署。從我所了解的數(shù)據(jù)來看,國內(nèi)一些企業(yè)在實際的業(yè)務(wù)中,應(yīng)用了6-8個節(jié)點的集群。盡管應(yīng)用廣泛,但是隨著國內(nèi)互聯(lián)網(wǎng)業(yè)務(wù)的進一步發(fā)展,Oracle集群的一些問題也逐漸暴露出來,這也促使了后來國內(nèi)轟轟烈烈「去IOE」運動的產(chǎn)生。第一個問題:架構(gòu)所需要的軟硬件(IOE)價格昂貴在圖1的架構(gòu)圖中可以看到,為了保證事務(wù)的一致性,Oracle采用的是在多節(jié)點間共享存儲的方式,也就是說最終的數(shù)據(jù)在磁盤上只存儲一份,數(shù)據(jù)可以被多個節(jié)點讀寫,Oracle利用行鎖等技術(shù)解決讀寫爭用問題,并保障每個交易請求提交或回滾的一致性。應(yīng)用層主機通過OracleNetServices路由到不同的數(shù)據(jù)庫節(jié)點中,提交數(shù)據(jù)庫交易請求后,數(shù)據(jù)庫節(jié)點會定時將交易數(shù)據(jù)寫入共享的磁盤陣列中。我們知道IO請求在計算機請求中是非常緩慢的,這樣的架構(gòu)設(shè)計,更加突出了IO讀寫的性能瓶頸。企業(yè)的應(yīng)對辦法則是購買性能更好,更昂貴的磁盤陣列,提升IO性能,這也導(dǎo)致了IOE架構(gòu)在很長一段時間內(nèi)占據(jù)著國內(nèi)IT采購的主流地位。第二個問題:擴展能力有限,增加節(jié)點的性能收益并非線性增強IJ^vnriTiXtiL^rv-cllH7■強KI>ri^-^rOm9鬥2iprClusterEvi?>ii『ii=IJ^vnriTiXtiL^rv-cllH7■強KI>ri^-^rOm9鬥2iprClusterEvi?>ii『ii=百scn*aFELPB1In酬kiiiVETC'cirnn~kGi^eiieFiiotondu-DtsrInlcrronncct(H*&rl!占fr±il-M!e-mH呂r&丹亦》IPCI.冋CII匸■宦hlki:v£I]3is^.kiz>riv^?r]iim;me亡KAC'l■ClLiKie匚C'ouiiik.1-i^ycr正如上面提到的,因為受限于IO請求的性能瓶頸。各個節(jié)點的交易數(shù)據(jù)發(fā)起IO請求將數(shù)據(jù)寫入磁盤會有一定的間隔。而這個過程中,實時交易信息則是由IPC協(xié)議在各個節(jié)點間傳輸內(nèi)存數(shù)據(jù)來同步的。這時我們需要一個高速的數(shù)據(jù)傳輸網(wǎng)絡(luò),一般是由千兆網(wǎng)卡來完成。但是,隨著節(jié)點的不斷越多,需要同步的交易數(shù)據(jù)就會越多,網(wǎng)絡(luò)爭用和行鎖爭用也會變得越來越嚴重從而導(dǎo)致擴展節(jié)點的性能收益并非線性增強。第二個階段:分布式數(shù)據(jù)庫時代隨著淘寶業(yè)務(wù)的飛速發(fā)展,2010年時,淘寶已經(jīng)成為Oracle中國的頂級的客戶了。為了降低IT成本同時滿足業(yè)務(wù)的進一步發(fā)展需求,也鑒于在開源社區(qū)長期的技術(shù)積累驅(qū)動。2010年時,由淘寶技術(shù)團隊開啟了轟轟烈烈的「去IOE」運動,目標是用分布式的開源數(shù)據(jù)庫架構(gòu)替代傳統(tǒng)的OracleDB架構(gòu)。淘寶「去IOE」的成功,有效的驗證了分布式數(shù)據(jù)庫在大規(guī)模生產(chǎn)應(yīng)用中的負載能力,這也促使后續(xù)國內(nèi)IT架構(gòu)選型思路的轉(zhuǎn)變,以及分布式數(shù)據(jù)庫架構(gòu)的演進。分布式的數(shù)據(jù)庫方案有非常多種,目前在各個互聯(lián)網(wǎng)公司應(yīng)用的也比較普遍,其本質(zhì)就是將數(shù)據(jù)拆分存儲

到不同的節(jié)點上,從而緩解單節(jié)點讀寫的壓力,比如按奇偶拆分數(shù)據(jù)就是一個簡單的分布式系統(tǒng),示意圖如下:

當(dāng)我們將數(shù)據(jù)拆分成分布式數(shù)據(jù)庫之后,就不得不考慮,分布式帶來的三個特性之間的權(quán)衡,正如CAP所描述的:cConystent”各個節(jié)點數(shù)據(jù)始終丟謹性AAvailable,在可容忍的時間內(nèi),較易請求有畫結(jié)果PPartitiontolerant,單個分區(qū)宕機或斷網(wǎng)’系統(tǒng)瑟可使用系統(tǒng)架構(gòu)師需要根據(jù)業(yè)務(wù),用各種變通的手法優(yōu)化CAP的三個特性,讓系統(tǒng)最終體現(xiàn)的效果可以與業(yè)務(wù)需求的預(yù)期一致。

目前看到的一些主流分布式方案,對這3個特性都有不同程度的選擇。我們在運營上一個創(chuàng)業(yè)項目OneAPM時,為了解決處理用戶訪問軌跡而產(chǎn)生的海量數(shù)據(jù)的問題,曾綜合使用過Kafka、Zookeeper、Clickhouse等架構(gòu)來滿足業(yè)務(wù)需求,架構(gòu)圖如下:第三個階段:區(qū)塊鏈時代從數(shù)據(jù)庫技術(shù)的角度來看,區(qū)塊鏈的本質(zhì)是一個特定架構(gòu)的多活分布式數(shù)據(jù)庫。分布式數(shù)據(jù)庫利用Paxos、RAFT等算法來保障數(shù)據(jù)庫多副本的強一致性,而區(qū)塊鏈是用共識算法來解決各個節(jié)點間數(shù)據(jù)一致性的問題。

C6//AzC2C4///C6//AzC2C4///POW、POS、DPOS等各類共識算法其本質(zhì)都是在競爭將由哪個節(jié)點擁有寫入?yún)^(qū)塊(賬本數(shù)據(jù))的權(quán)力。在區(qū)塊鏈的經(jīng)濟模型的設(shè)計中,對寫入?yún)^(qū)塊的行為進行了經(jīng)濟激勵,極大的鼓舞了區(qū)塊鏈生態(tài)的發(fā)展。但也正是因為每個節(jié)點都有可能擁有寫入?yún)^(qū)塊的權(quán)力,為了保障系統(tǒng)數(shù)據(jù)一致性,必須與系統(tǒng)的響應(yīng)時間之間做出權(quán)衡。所以我們看到比特幣的TPS是每秒7比業(yè)務(wù),以太坊的TPS也只有每秒幾十筆業(yè)務(wù)。分布式數(shù)據(jù)庫中的CAP問題,依然是區(qū)塊鏈需要挑戰(zhàn)的技術(shù)難題。當(dāng)然,目前隨著分片,閃電網(wǎng)絡(luò)等新技術(shù)的出現(xiàn),交易性能的瓶頸再被不斷的優(yōu)化。此外,從產(chǎn)品的功能上來看,目前的區(qū)塊鏈技術(shù)主要提供的交易記賬的能力,并不能支撐數(shù)據(jù)庫的標準能力「增刪改查」,所以以功能而言,目前的區(qū)塊鏈本質(zhì)是數(shù)據(jù)庫技術(shù)棧的特殊子集。在區(qū)塊鏈上,擴充對文件和數(shù)據(jù)增刪改查的能力是DAPP生態(tài)發(fā)展的關(guān)鍵能力??v觀數(shù)據(jù)庫系統(tǒng)演進的這3個時代,技術(shù)發(fā)展的浪潮無

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論