Oracle RAC數(shù)據(jù)庫(kù)雙活架構(gòu)分析

1、 Oracle RAC數(shù)據(jù)庫(kù)雙活架構(gòu)分析前言對(duì)于 Oracle 數(shù)據(jù)庫(kù)技術(shù)，相信大家都不陌生。為了保障數(shù)據(jù)庫(kù)的高可用性，Oracle RAC 技術(shù)已經(jīng)在各行各業(yè)進(jìn)行了廣泛的應(yīng)用，Oracle ADG/OGG 技術(shù)在異地容災(zāi)方面也有很成熟的應(yīng)用，相關(guān)的知識(shí)經(jīng)驗(yàn)以及分享也比較豐富。近些年來(lái)，隨著各行各業(yè)對(duì)IT建設(shè)的容災(zāi)標(biāo)準(zhǔn)的高標(biāo)準(zhǔn)要求，越來(lái)越多的行業(yè)在探討將 Oracle RAC 技術(shù)應(yīng)用到近距離的同城容災(zāi)場(chǎng)合當(dāng)中，也有部分行業(yè)進(jìn)行了大膽的嘗試和落地。但是由于工程的規(guī)模比較大，實(shí)施復(fù)雜度比較高，大部分的企業(yè)還缺乏相關(guān)的建設(shè)經(jīng)驗(yàn)和知識(shí)積累。在這類(lèi)項(xiàng)目規(guī)劃設(shè)計(jì)過(guò)程中，我們應(yīng)該如何選擇我們的架構(gòu)組成？如

2、何進(jìn)行相關(guān)設(shè)備的選型？如何將技術(shù)的細(xì)節(jié)落實(shí)到架構(gòu)規(guī)劃設(shè)計(jì)過(guò)程當(dāng)中等等問(wèn)題都是企業(yè)IT架構(gòu)規(guī)劃設(shè)計(jì)者非常關(guān)注的問(wèn)題。基于ORACLE RAC技術(shù)實(shí)現(xiàn)的雙活架構(gòu)，根據(jù)存儲(chǔ)設(shè)計(jì)的不同方式大體上會(huì)有兩種基本架構(gòu)，一種是基于ASM實(shí)現(xiàn)存儲(chǔ)層的跨中心冗余設(shè)計(jì)，另外一種是借助成熟的存儲(chǔ)虛擬化產(chǎn)品實(shí)現(xiàn)存儲(chǔ)層自身的跨中心冗余設(shè)計(jì)。但是在每一種架構(gòu)框架之上，其中有很多細(xì)節(jié)問(wèn)題值得我們?nèi)ヌ接懞头窒?。本次活?dòng)以此為技術(shù)背景，從以下幾個(gè)方面展開(kāi)討論。希望大家能夠慷慨解囊、分享經(jīng)驗(yàn)，我們一起來(lái)成長(zhǎng)。1. 基于Oracle RAC 的雙活方案，如何選擇節(jié)點(diǎn)組成模式？（1+1,2+1）2. 基于ASM冗余設(shè)計(jì)和存儲(chǔ)層集群的兩

3、種數(shù)據(jù)庫(kù)雙活架構(gòu)，各有什么樣的優(yōu)缺點(diǎn)？我們應(yīng)該如何根據(jù)我們的自身情況去選擇？3. 基于ASM冗余設(shè)計(jì)的架構(gòu)，仲裁磁盤(pán)組應(yīng)該如何去規(guī)劃？4. 基于ASM冗余設(shè)計(jì)的架構(gòu)，數(shù)據(jù)及快速恢復(fù)磁盤(pán)組應(yīng)該如何去規(guī)劃？5. 基于存儲(chǔ)集群架構(gòu)設(shè)計(jì)的數(shù)據(jù)庫(kù)雙活架構(gòu)，我們應(yīng)該如何去選擇存儲(chǔ)層的架構(gòu)和產(chǎn)品？6. Oracle ADG以及OGG技術(shù)在數(shù)據(jù)庫(kù)雙活方案基礎(chǔ)之上能起到什么樣的輔助作用？應(yīng)該作為什么樣的角色應(yīng)用到什么樣的場(chǎng)合？7. 在 Oracle RAC 雙活方案落地之前，我們應(yīng)該做那些測(cè)試？應(yīng)該模擬那些災(zāi)難故障？2.架構(gòu)分析2.1基于ASM冗余設(shè)計(jì)架構(gòu)圖1.1基于ASM冗余設(shè)計(jì)實(shí)現(xiàn)的Oracle RAC存儲(chǔ)

4、層實(shí)現(xiàn)SAN網(wǎng)絡(luò)跨數(shù)據(jù)中心級(jí)聯(lián)，使雙數(shù)據(jù)中心能夠?qū)崿F(xiàn)整體SAN網(wǎng)絡(luò)。網(wǎng)絡(luò)層實(shí)現(xiàn)二層打通，SCAN IP可以跨數(shù)據(jù)中心浮動(dòng)。應(yīng)用層實(shí)現(xiàn)跨數(shù)據(jù)中心RAC，每一個(gè)數(shù)據(jù)中心分別有一個(gè)實(shí)例節(jié)點(diǎn)。Oracle ASM存儲(chǔ)層，數(shù)據(jù)磁盤(pán)組需要實(shí)現(xiàn)基于雙數(shù)據(jù)中心存儲(chǔ)卷的雙鏡像冗余策略，OCR仲裁磁盤(pán)組需要實(shí)現(xiàn)基于雙數(shù)據(jù)中心存儲(chǔ)卷以及第三方站點(diǎn)網(wǎng)絡(luò)存儲(chǔ)卷的三塊兒磁盤(pán)高可用策略。2.2基于存儲(chǔ)集群實(shí)現(xiàn)的架構(gòu)圖1.2基于存儲(chǔ)集群實(shí)現(xiàn)的架構(gòu)存儲(chǔ)層借助存儲(chǔ)虛擬化產(chǎn)品實(shí)現(xiàn)雙數(shù)據(jù)中心以及第三方仲裁站點(diǎn)組成的存儲(chǔ)集群，使得存儲(chǔ)可以提供給應(yīng)用層分布式虛擬磁盤(pán)，最終讓?xiě)?yīng)用對(duì)存儲(chǔ)層的邏輯映射沒(méi)有任何感知。網(wǎng)絡(luò)層實(shí)現(xiàn)二層打通，SCAN

5、 IP可以跨數(shù)據(jù)中心浮動(dòng)。應(yīng)用層實(shí)現(xiàn)跨數(shù)據(jù)中心RAC，每一個(gè)數(shù)據(jù)中心分別有一個(gè)實(shí)例節(jié)點(diǎn)。Oracle ASM存儲(chǔ)層，磁盤(pán)組不需要做任何特殊冗余配置，只需要將存儲(chǔ)層提供的分布式虛擬磁盤(pán)看做是本地共享磁盤(pán)進(jìn)行安裝配置即可。3.實(shí)現(xiàn)難度分析3.1 架構(gòu)復(fù)雜度架構(gòu)一的復(fù)雜度在于ASM層的設(shè)計(jì)。ORACLE RAC實(shí)例節(jié)點(diǎn)看到的共享盤(pán)是基于雙中心存儲(chǔ)實(shí)現(xiàn)的鏡像策略，所有IO的讀寫(xiě)分發(fā)是由ASM本身的冗余算法規(guī)則來(lái)決定的，DBA不僅僅要根據(jù)磁盤(pán)情況來(lái)設(shè)計(jì)合理的Failure Group，而且需要結(jié)合第三方站點(diǎn)的網(wǎng)絡(luò)存儲(chǔ)卷來(lái)合理設(shè)計(jì)仲裁磁盤(pán)組的分配。更重要的是需要結(jié)合實(shí)際的網(wǎng)絡(luò)環(huán)境指標(biāo)（延時(shí)、穩(wěn)定性等）進(jìn)行

6、復(fù)雜的性能、穩(wěn)定性、災(zāi)難測(cè)試等來(lái)調(diào)整ASM的一些IO參數(shù)。架構(gòu)一的復(fù)雜度在于整體架構(gòu)的復(fù)雜度。例如仲裁一致性問(wèn)題，是指雙中心之間的存儲(chǔ)集群和數(shù)據(jù)庫(kù)RAC集群的仲裁結(jié)果是否能保證一致性。存儲(chǔ)集群是靠仲裁站點(diǎn)分別于兩個(gè)站點(diǎn)之間的網(wǎng)絡(luò)連通性來(lái)判定站點(diǎn)故障。而數(shù)據(jù)庫(kù)集群是通過(guò)以太網(wǎng)心跳和OCR仲裁盤(pán)來(lái)做數(shù)據(jù)庫(kù)仲裁。而數(shù)據(jù)庫(kù)的OCR仲裁盤(pán)是存儲(chǔ)集群提供的分布式共享卷。二者仲裁時(shí)的一致性如何保障是非常重要的一個(gè)問(wèn)題。假設(shè)在發(fā)生站點(diǎn)級(jí)別故障時(shí)，數(shù)據(jù)庫(kù)集群首先根據(jù)網(wǎng)絡(luò)故障觸發(fā)仲裁，判定站點(diǎn)A的節(jié)點(diǎn)存活。而存儲(chǔ)隨后再發(fā)生存儲(chǔ)集群的仲裁，這個(gè)時(shí)候如果根據(jù)仲裁站點(diǎn)判定的結(jié)果恰恰仲裁委站點(diǎn)B的節(jié)點(diǎn)存活。那么數(shù)據(jù)庫(kù)集群

7、整體就會(huì)宕掉，這對(duì)于業(yè)務(wù)來(lái)講就是一個(gè)災(zāi)難。3.2 落地成本從實(shí)現(xiàn)的基本條件來(lái)看，兩種架構(gòu)的實(shí)現(xiàn)都會(huì)依賴(lài)雙中心的二層打通。雙中心的波分設(shè)備、以太轉(zhuǎn)換設(shè)備、光纖鏈路租用就是必不可少的條件了。包括其購(gòu)置成本和日后的運(yùn)維成本等。這是非?？捎^的一項(xiàng)成本預(yù)算。從存儲(chǔ)層的架構(gòu)組成來(lái)看，架構(gòu)一不需要存儲(chǔ)層增加任何其他設(shè)備成本及運(yùn)維成本。但是架構(gòu)二需要依賴(lài)存儲(chǔ)層的虛擬化網(wǎng)關(guān)產(chǎn)品來(lái)實(shí)現(xiàn)存儲(chǔ)虛擬化集群，無(wú)疑這需要增加相應(yīng)的購(gòu)置成本和相應(yīng)的運(yùn)維成本。尤其注意存儲(chǔ)集群產(chǎn)品是否有容量許可成本問(wèn)題。從第三點(diǎn)的仲裁站點(diǎn)成本來(lái)看，兩種方案都需要第三點(diǎn)的仲裁，區(qū)別在于架構(gòu)一需要的是NAS存儲(chǔ)，而架構(gòu)二需要的基于以太網(wǎng)的計(jì)算資源來(lái)

8、配置仲裁虛擬機(jī)。投入成本沒(méi)有什么差異。從Oracle運(yùn)維成本來(lái)看，架構(gòu)一對(duì)DBA的要求非?？量?，需要DBA不僅僅能夠深知其中的原理，而且需要對(duì)性能的分析有較深的造詣，從而保障在復(fù)雜的雙中心聯(lián)動(dòng)環(huán)境下各種復(fù)雜情況下的性能及穩(wěn)定性變動(dòng)有快速和準(zhǔn)確的判斷和處理能力。架構(gòu)二對(duì)DBA的要求沒(méi)有特殊的苛刻要求但是需要增加對(duì)存儲(chǔ)集群的專(zhuān)業(yè)維護(hù)成本。3.3 關(guān)鍵問(wèn)題及解決方案3.3.1針對(duì)架構(gòu)二的仲裁一致性問(wèn)題在這個(gè)問(wèn)題上，風(fēng)險(xiǎn)發(fā)生的引發(fā)點(diǎn)有兩個(gè)：數(shù)據(jù)庫(kù)和集群的仲裁觸發(fā)以及仲裁過(guò)程的時(shí)間順序發(fā)生紊亂；資源被1:1割裂之后的默認(rèn)仲裁策略不一致。也就是說(shuō)，只要控制這兩個(gè)引發(fā)點(diǎn)，那么這個(gè)問(wèn)題從理論上也就避免了。對(duì)于

9、第一個(gè)引發(fā)點(diǎn)來(lái)講，實(shí)際上存儲(chǔ)集群的默認(rèn)仲裁觸發(fā)時(shí)間會(huì)是15秒左右，而數(shù)據(jù)庫(kù)仲裁觸發(fā)的控制參數(shù)由misscount這個(gè)參數(shù)來(lái)決定，所以只要我們將misscount這個(gè)參數(shù)調(diào)整到45秒之后，也就是說(shuō)理論上絕對(duì)保障存儲(chǔ)集群仲裁在前，而數(shù)據(jù)庫(kù)仲裁在后，那么第一個(gè)引發(fā)點(diǎn)就沒(méi)有了。對(duì)于第二個(gè)引發(fā)點(diǎn)來(lái)講，假設(shè)兩站點(diǎn)節(jié)點(diǎn)資源對(duì)等，仲裁選票同樣對(duì)等的情況下，存儲(chǔ)集群會(huì)有一個(gè)默認(rèn)的Winner策略，同樣在這種情況下數(shù)據(jù)庫(kù)集群也有一個(gè)默認(rèn)仲裁策略：選擇實(shí)例號(hào)小的集群存活。只要我們保證這兩個(gè)策略結(jié)果的一致性，那么第二個(gè)引發(fā)點(diǎn)也就不存在了。3.3.2鏈路穩(wěn)定狀況不可控這個(gè)問(wèn)題是兩種架構(gòu)都面臨的問(wèn)題。主要表現(xiàn)為兩個(gè)方面：

10、鏈路穩(wěn)定狀況不可控；延時(shí)指標(biāo)不可控。因?yàn)殡p中心之間的鏈路是通過(guò)租用運(yùn)營(yíng)商的裸光纖鏈路實(shí)現(xiàn)的，那么這其中會(huì)經(jīng)歷很多的中繼設(shè)備及節(jié)點(diǎn)。無(wú)論從管理上還是從技術(shù)把控上都是金融企業(yè)自身不可控制的因素。假設(shè)雙中心間鏈路延時(shí)指標(biāo)不穩(wěn)定，也就是說(shuō)數(shù)據(jù)庫(kù)節(jié)點(diǎn)之間私網(wǎng)傳輸?shù)难訒r(shí)會(huì)經(jīng)常出現(xiàn)長(zhǎng)延時(shí)情況，這勢(shì)必導(dǎo)致這種延時(shí)會(huì)加倍放大到數(shù)據(jù)庫(kù)節(jié)點(diǎn)之間的讀寫(xiě)熱點(diǎn)競(jìng)爭(zhēng)上。由于數(shù)據(jù)庫(kù)集群之間的數(shù)據(jù)傳輸量非常大（緩存、鎖、心跳等），在讀寫(xiě)熱點(diǎn)相對(duì)突出的業(yè)務(wù)上，輕則導(dǎo)致數(shù)據(jù)庫(kù)讀寫(xiě)性能災(zāi)難，重則導(dǎo)致數(shù)據(jù)庫(kù)節(jié)點(diǎn)直接處于僵死狀態(tài)。另外，鏈路的不穩(wěn)定會(huì)導(dǎo)致存儲(chǔ)鏈路頻繁切換，甚至?xí)?dǎo)致集群仲裁頻繁發(fā)生，這對(duì)于業(yè)務(wù)連續(xù)性更是一個(gè)災(zāi)難。對(duì)于這個(gè)

11、問(wèn)題來(lái)講，就目前金融行業(yè)的傳統(tǒng)數(shù)據(jù)架構(gòu)來(lái)講，并沒(méi)有一個(gè)十足的解決方案。我們只能通過(guò)以下措施來(lái)減少這種問(wèn)題帶給我們的風(fēng)險(xiǎn)。一、業(yè)務(wù)層面需要進(jìn)行拆分重組：按照IO特點(diǎn)進(jìn)行合理拆分，將讀寫(xiě)業(yè)務(wù)盡量分布于不同節(jié)點(diǎn)上，減少節(jié)點(diǎn)間的鎖競(jìng)爭(zhēng)。按照業(yè)務(wù)將數(shù)據(jù)庫(kù)表進(jìn)行分區(qū)，避免在數(shù)據(jù)庫(kù)寫(xiě)上的數(shù)據(jù)熱點(diǎn)塊兒。例如，對(duì)于銀行核心系統(tǒng)來(lái)講，尤其是要將批量業(yè)務(wù)和聯(lián)機(jī)業(yè)務(wù)區(qū)分對(duì)待，批量業(yè)務(wù)的熱點(diǎn)以及數(shù)據(jù)量非常之巨大，所以一定要將批量業(yè)務(wù)的數(shù)據(jù)庫(kù)讀寫(xiě)放在單邊實(shí)現(xiàn)。對(duì)于聯(lián)機(jī)業(yè)務(wù)來(lái)講可以根據(jù)熱點(diǎn)狀況以及鏈路質(zhì)量評(píng)測(cè)結(jié)果可以嘗試實(shí)現(xiàn)雙中心同時(shí)讀寫(xiě)，但是本文建議對(duì)于這種重量級(jí)的業(yè)務(wù)還是要從業(yè)務(wù)層盡量實(shí)現(xiàn)應(yīng)用上的讀寫(xiě)分離，或者在應(yīng)用層

12、雙中心部署而在數(shù)據(jù)庫(kù)層將數(shù)據(jù)引到單邊來(lái)做。二、雙中心間通訊的整體控制，具體包括對(duì)通訊帶寬的優(yōu)先級(jí)管理、對(duì)通訊的實(shí)時(shí)監(jiān)控和控制、對(duì)跨中心數(shù)據(jù)傳輸?shù)膰?yán)格策略把控。例如：優(yōu)先保障存儲(chǔ)和數(shù)據(jù)庫(kù)通訊的優(yōu)先級(jí)和帶寬，嚴(yán)格的規(guī)則算法和優(yōu)先級(jí)限定VMOTION、DRS等行為的跨中心隨意性，從LTM負(fù)載分發(fā)上盡可能保障正常情況下縱向IO的單中心效率策略，故障情況下保障跨中心訪問(wèn)的科學(xué)性。DWDM上設(shè)置雙中心間通訊帶寬的邏輯隔離以及實(shí)時(shí)可控。3.3.3存儲(chǔ)網(wǎng)絡(luò)故障泛濫這是兩種架構(gòu)都會(huì)面臨的問(wèn)題，只是架構(gòu)一可能性相對(duì)高一些。如果我們把兩個(gè)中心的SAN環(huán)境整合為一張大網(wǎng)，物理上沒(méi)有任何隔離的大網(wǎng)，那么可能會(huì)因?yàn)榫植康拇鎯?chǔ)網(wǎng)絡(luò)故障而波及到整個(gè)存儲(chǔ)網(wǎng)絡(luò)。盡管我們通過(guò)SAN交換機(jī)上的邏輯隔離能夠解決大部分的安全問(wèn)題，但是這樣的風(fēng)險(xiǎn)畢竟還是存在的。所以我們可以通過(guò)對(duì)數(shù)據(jù)中心內(nèi)部SAN環(huán)境前后物理隔離，雙中心之間靠專(zhuān)一SAN交換機(jī)實(shí)現(xiàn)存儲(chǔ)后端網(wǎng)絡(luò)的聯(lián)通來(lái)解決該問(wèn)題。這樣的話，單中心內(nèi)前段SAN環(huán)境故障不會(huì)波及存儲(chǔ)后端，更不會(huì)波及整個(gè)基礎(chǔ)架構(gòu)的存儲(chǔ)網(wǎng)絡(luò)。3.3.4串聯(lián)深度帶來(lái)的性能問(wèn)題這個(gè)問(wèn)題是針對(duì)架構(gòu)二的問(wèn)題。架構(gòu)深度越深，那么IO的性能就會(huì)越差，因?yàn)镮O每經(jīng)過(guò)一層設(shè)備就會(huì)有一定的延時(shí)消耗，縱向深度越深經(jīng)歷的設(shè)備越多，那么IO的延時(shí)也就越高。如果我們的架構(gòu)在縱向上越復(fù)雜，那么這個(gè)問(wèn)題應(yīng)該說(shuō)從本質(zhì)上