證券業(yè)從業(yè)人員資格考試大綱2010年之證券基礎(chǔ)知識(shí)

1、阿里服務(wù)互聯(lián)網(wǎng)金融的關(guān)系數(shù)據(jù)庫OceanBase目錄OceanBase進(jìn)入金融級(jí)應(yīng)用2OceanBase服務(wù)互聯(lián)網(wǎng)金融業(yè)務(wù)背后的技術(shù)2數(shù)據(jù)庫系統(tǒng)的穩(wěn)定可靠，也取決于這三個(gè)部分3首先是數(shù)據(jù)庫軟件3其次是數(shù)據(jù)庫服務(wù)器3第三是數(shù)據(jù)庫存儲(chǔ)(共享存儲(chǔ))3標(biāo)簽：互聯(lián)網(wǎng),數(shù)據(jù)庫,OceanBase ,金融,阿里巴巴11編者按：時(shí)至今日，“Big data”（大數(shù)據(jù)）時(shí)代的來臨已經(jīng)毋庸置疑，尤其是在電信、金融等行業(yè)，幾乎已經(jīng)到了“數(shù)據(jù)就是業(yè)務(wù)本身”的地步。這種趨勢(shì)已經(jīng)讓很多相信數(shù)據(jù)之力量的企業(yè)做出改變。為了應(yīng)對(duì)大數(shù)據(jù)的沖擊，淘寶將以前的Oracle、小型機(jī)、高端存儲(chǔ)模式轉(zhuǎn)變到現(xiàn)今的MySQL、OceanBas

2、e、Hbase、MongoDB等數(shù)據(jù)庫，并使用普通PC服務(wù)器。本篇文章來自螞蟻金服高級(jí)研究員陽振坤，將會(huì)介紹OceanBase如何服務(wù)互聯(lián)網(wǎng)金融業(yè)務(wù)，以及實(shí)現(xiàn)過程中的一些技術(shù)細(xì)節(jié)。OceanBase進(jìn)入金融級(jí)應(yīng)用4月2日，螞蟻金服方面宣布，螞蟻金服及阿里巴巴自主研發(fā)的通用關(guān)系數(shù)據(jù)庫OceanBase已經(jīng)開始支撐淘寶、天貓和聚劃算的所有日常交易。這個(gè)改變意味著OceanBase已經(jīng)有能力滿足互聯(lián)網(wǎng)海量數(shù)據(jù)處理的需求，可以支撐復(fù)雜、高可靠的金融級(jí)業(yè)務(wù)。隨著互聯(lián)網(wǎng)的發(fā)展，海量數(shù)據(jù)的處理越來越成為擺在大型互聯(lián)網(wǎng)公司面前的問題。而傳統(tǒng)的IT企業(yè)提供的服務(wù)，在系統(tǒng)可擴(kuò)展性、性價(jià)比方面已經(jīng)不再適用。以數(shù)據(jù)庫

3、系統(tǒng)舉例，一般來說，數(shù)據(jù)庫系統(tǒng)的穩(wěn)定可靠，取決于數(shù)據(jù)庫軟件、數(shù)據(jù)庫服務(wù)器和數(shù)據(jù)庫存儲(chǔ)三方面。其中，數(shù)據(jù)庫軟件的維護(hù)升級(jí)總是讓互聯(lián)網(wǎng)企業(yè)比較頭疼：數(shù)據(jù)庫軟件的維護(hù)升級(jí)有很大的風(fēng)險(xiǎn)，為了保障數(shù)據(jù)庫系統(tǒng)的穩(wěn)定可靠，企業(yè)需要匹配使用穩(wěn)定性好的高端服務(wù)器和共享存儲(chǔ)，但是這些設(shè)備不僅價(jià)格昂貴，性能和擴(kuò)展能力也有限。在這種情況下，2010年起，阿里巴巴、螞蟻金服開始自主研發(fā)數(shù)據(jù)庫系統(tǒng)OceanBase，這一系統(tǒng)從立項(xiàng)到開花結(jié)果經(jīng)歷了足足五年時(shí)間。與傳統(tǒng)數(shù)據(jù)庫公司的產(chǎn)品相比，OceanBase的升級(jí)維護(hù)，不需要昂貴的共享存儲(chǔ)、高可靠的服務(wù)器、數(shù)據(jù)庫軟件的許可費(fèi)，可以將商業(yè)數(shù)據(jù)庫成本降到一半以下。同時(shí)，分布式的

4、系統(tǒng)，可以保證業(yè)務(wù)在服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等出現(xiàn)異常情況的情況下不受影響。實(shí)際上，OceanBase此前已經(jīng)通過了“雙十一”考驗(yàn)。數(shù)據(jù)顯示，2014年雙十一，支付寶支付峰值就達(dá)到了285萬筆/分鐘，是2013年雙十一支付峰值的3倍。借助OceanBase全分布、全冗余、高彈性、低成本的海量交易與數(shù)據(jù)處理架構(gòu)，支付寶順利通過交易洪峰的考驗(yàn)。目前，OceanBase已經(jīng)可以支撐淘寶、天貓、聚劃算在支付寶的所有日常交易。OceanBase服務(wù)互聯(lián)網(wǎng)金融業(yè)務(wù)背后的技術(shù)數(shù)據(jù)庫系統(tǒng)不僅保存了現(xiàn)代企業(yè)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，而且對(duì)這些數(shù)據(jù)提供訪問從而支撐著企業(yè)業(yè)務(wù)。因此，數(shù)據(jù)庫系統(tǒng)的穩(wěn)定可靠對(duì)現(xiàn)代企業(yè)至關(guān)重要。數(shù)據(jù)庫系

5、統(tǒng)通常由數(shù)據(jù)庫軟件、運(yùn)行數(shù)據(jù)庫軟件的數(shù)據(jù)庫服務(wù)器硬件以及保存數(shù)據(jù)庫數(shù)據(jù)的數(shù)據(jù)庫存儲(chǔ)硬件(即共享存儲(chǔ))組成，如下圖所示：數(shù)據(jù)庫系統(tǒng)的穩(wěn)定可靠，也取決于這三個(gè)部分首先是數(shù)據(jù)庫軟件數(shù)據(jù)庫軟件廠商平均23年發(fā)布一個(gè)大版本，新版本發(fā)布前會(huì)進(jìn)行反復(fù)測(cè)試。即使如此，數(shù)據(jù)庫軟件的維護(hù)升級(jí)依然有很大的風(fēng)險(xiǎn)，2013年6月中國工商銀行系統(tǒng)不可用即是其數(shù)據(jù)庫DB2的維護(hù)升級(jí)導(dǎo)致，2014年8月美國國務(wù)院簽證數(shù)據(jù)庫系統(tǒng)超過1周的不可用也是其數(shù)據(jù)庫Oracle的維護(hù)升級(jí)導(dǎo)致。其次是數(shù)據(jù)庫服務(wù)器為了保障數(shù)據(jù)庫系統(tǒng)的穩(wěn)定可靠，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)廠商推薦用戶使用穩(wěn)定性較高的高端服務(wù)器，這些服務(wù)器價(jià)格非常昂貴，難以擴(kuò)展，并且擴(kuò)展能

6、力也十分有限。第三是數(shù)據(jù)庫存儲(chǔ)(共享存儲(chǔ))數(shù)據(jù)庫中的數(shù)據(jù)是企業(yè)最寶貴的財(cái)富，為了避免數(shù)據(jù)丟失，傳統(tǒng)數(shù)據(jù)庫廠商推薦用戶使用穩(wěn)定性較高的共享存儲(chǔ)，同樣地，這類存儲(chǔ)設(shè)備價(jià)格非常昂貴，難以擴(kuò)展，并且擴(kuò)展能力也有限。為了避免水災(zāi)、火災(zāi)或者其他自然災(zāi)害導(dǎo)致的數(shù)據(jù)庫系統(tǒng)不可用甚至數(shù)據(jù)丟失，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)通常還要搭建備庫，出于安全考慮，主庫與備庫需要保持一定的距離，例如50km或以上，俗稱主備鏡像，如下圖所示：然而，盡管稱為主備鏡像，數(shù)據(jù)庫的備庫并不能保證與主庫一致：假如強(qiáng)制要求兩者一致，那么主庫的每一筆事務(wù)都必須到達(dá)備庫后才能提交和應(yīng)答客戶，這樣一旦主庫備庫之間的網(wǎng)絡(luò)異常或者備庫異常，整個(gè)數(shù)據(jù)庫系統(tǒng)將不可用

7、，從而導(dǎo)致業(yè)務(wù)的中斷，與主庫備庫部分?jǐn)?shù)據(jù)不一致相比，業(yè)務(wù)的中斷對(duì)于企業(yè)來講更加不能接受，因而主庫故障后業(yè)務(wù)切換到備庫時(shí)，通常會(huì)有少量數(shù)據(jù)不一致。因此，即使部署了主備鏡像，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)也不得不使用可靠性盡可能高的服務(wù)器和存儲(chǔ)，以降低主庫故障的幾率，減少對(duì)業(yè)務(wù)的影響。之所以要使用可靠的服務(wù)器和可靠的存儲(chǔ)，本質(zhì)上是因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫假設(shè)硬件(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)是“可靠的”。對(duì)于數(shù)據(jù)庫，與傳統(tǒng)企業(yè)相比，互聯(lián)網(wǎng)企業(yè)最大的不同之一是并發(fā)訪問量非常大。傳統(tǒng)商業(yè)企業(yè)、銀行，用戶需要通過收銀臺(tái)、銀行終端、ATM柜員機(jī)、POS機(jī)等專用設(shè)備開展業(yè)務(wù)并訪問數(shù)據(jù)庫，幾百和幾千的數(shù)據(jù)庫并發(fā)訪問比較常見，幾萬以上的并發(fā)訪

8、問相當(dāng)少見。在互聯(lián)網(wǎng)上，每一個(gè)草根網(wǎng)民都可以發(fā)起購物交易并訪問數(shù)據(jù)庫，幾十萬的數(shù)據(jù)庫并發(fā)訪問時(shí)?？梢?，幾百萬甚至千萬的并發(fā)訪問都可以見到（例如雙11下的淘寶、天貓和支付寶）。如此之大的并發(fā)訪問下，商業(yè)數(shù)據(jù)庫軟件及其高可靠的數(shù)據(jù)庫服務(wù)器和共享存儲(chǔ)的成本成為了不可承擔(dān)之重。由于上述原因，OceanBase的一個(gè)基本假設(shè)就是硬件(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)是不可靠的，另一個(gè)基本假設(shè)是單機(jī)(數(shù)據(jù)庫服務(wù)器及共享存儲(chǔ))無法滿足互聯(lián)網(wǎng)業(yè)務(wù)的需求。因此，OceanBase必須是一個(gè)多機(jī)(分布式)系統(tǒng)，并且必須保證任何時(shí)刻出現(xiàn)的少量硬件(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)異常不影響業(yè)務(wù)。為此，OceanBase引入了Paxos

9、協(xié)議，每一筆事務(wù)，主庫執(zhí)行完成后，要同步到半數(shù)以上庫(包括主庫自身)，例如3個(gè)庫中的2個(gè)庫，或者5個(gè)庫中的3個(gè)庫，事務(wù)才成功。這樣，少數(shù)庫(例如3個(gè)庫中的1個(gè)庫，或者5個(gè)庫中的2個(gè)庫)異常后業(yè)務(wù)并不受影響：與傳統(tǒng)數(shù)據(jù)庫相比，OceanBase的另外一個(gè)關(guān)鍵特征是軟件版本的灰度升級(jí)。主備方式的傳統(tǒng)數(shù)據(jù)庫是“單活”的，只有主庫可執(zhí)行寫事務(wù)，盡管維護(hù)升級(jí)時(shí)可以先操作備庫，操作完成后備庫變成主庫并且接受用戶訪問是一步到位的，如果新版本有問題，則業(yè)務(wù)受到影響：傳統(tǒng)數(shù)據(jù)庫：升級(jí)前傳統(tǒng)數(shù)據(jù)庫：升級(jí)中傳統(tǒng)數(shù)據(jù)庫：升級(jí)后只能一次性地引入全部讀寫流量OceanBase則是“多活”設(shè)計(jì)，即多個(gè)庫（3個(gè)，5個(gè)等）每個(gè)都可以有部分讀寫流量，升級(jí)時(shí)先把要升級(jí)的庫的讀寫流量切走，升級(jí)后先進(jìn)行數(shù)據(jù)對(duì)比，正常后逐步引入讀寫流量(白名單，1%，5%，10%.)，一切正常并運(yùn)行一段時(shí)間后再升級(jí)其他的庫：OceanBase之3機(jī)群(3庫)部署：升級(jí)前OceanBase之3機(jī)群(3庫)部署：切走讀寫流量，準(zhǔn)備升級(jí)OceanBase之3機(jī)群(3庫)部署：升級(jí)一個(gè)機(jī)群(庫)OceanBase之3機(jī)群(3庫)部署：升級(jí)一個(gè)機(jī)群(庫)后切回部分讀寫流量OceanBase之3機(jī)群(3庫)部署：升級(jí)一個(gè)機(jī)群(庫)后切回全部讀寫流量基于硬件不可靠的假設(shè)并且能夠容忍少量服務(wù)器的故障，OceanBase使用了相對(duì)廉價(jià)的P