城商行核心業(yè)務系統(tǒng)存儲跨中心雙活建設方案

1、 城商行核心業(yè)務系統(tǒng)存儲跨中心雙活建設方案 隨著互聯(lián)網(wǎng)金融的快速發(fā)展，金融企業(yè)數(shù)據(jù)中心建設面臨著新的挑戰(zhàn)，那就是對RTO和RPO的極限追求，從而也就誕生了近年來的熱點話題雙活數(shù)據(jù)中心建設，其作為災備方案中高級別的解決方案，逐漸成為了應對傳統(tǒng)災備難題的一把利劍。它能夠解決傳統(tǒng)的災備方案中資源利用率低、可用性差、出現(xiàn)故障時停機時間長、數(shù)據(jù)恢復慢、風險高等問題，但同時也帶來了性能、鏈路穩(wěn)定性、數(shù)據(jù)一致性、腦裂和數(shù)據(jù)同步邏輯錯誤等眾多在規(guī)劃設計、實施和運維階段的難點問題。1、如何做到讀寫分離，提升IO讀寫效率？如何設計雙活存儲高可用，防止仲裁防腦裂？1.存儲雙活后，有一個難點就是熱點數(shù)據(jù)的跨站訪問，實

2、施了數(shù)據(jù)庫和存儲層同時雙活，會出現(xiàn)數(shù)據(jù)競爭的問題，這樣也降低了IO效率。這時候就要通過鎖預取和緩存策略，通過較小的控制報文，向鎖權(quán)限緩存節(jié)點申請寫權(quán)限，并利用鎖預取將部分區(qū)間的寫權(quán)限緩存到本地。這樣，后續(xù)的連續(xù)寫I/O操作可快速的命中在本地，減少跨站點的數(shù)據(jù)傳輸和交互，做到讀寫分離，從而提升IO讀寫性能。2.AA模式的雙活存儲，在某些特定的多重故障下，仲裁機制會優(yōu)先保證數(shù)據(jù)的一致性，可能會將雙活存儲上的所有LUN都停止主機訪問。所以，在設計仲裁模式的時候，強烈建議建立選擇獨立的第三方站點作為仲裁機，但也不能完全避免上述情況，所以，還要考慮強制啟動，而強制啟動端的存儲作為同步源端，會在鏈路恢復后

3、同步增量差異數(shù)據(jù)。鄧毓江西農(nóng)信 系統(tǒng)工程師：雙活的兩個存儲都可以同時對主機提供讀寫服務，也可以選擇一個存儲作為寫存儲服務，另一個存儲作為讀存儲服務，實現(xiàn)讀寫分離，這樣的好處可以減少雙活存儲的寫I/O競爭，降低寫I/O時延。雙活存儲高可用的話，需要設置第三仲裁站點，可以用磁盤或者虛擬機來做仲裁，仲裁機制根據(jù)存儲雙活方案可以選擇靜態(tài)優(yōu)先+動態(tài)仲裁雙重機制來保障腦裂或者故障后的雙活存儲。讀寫分離，可以采用存儲復制技術完成，也可以采用數(shù)據(jù)庫軟件復制技術完成，為保證數(shù)據(jù)的較高實時性，需要用兩個不同的服務器掛載雙活lun或者采用數(shù)據(jù)庫集群，或者adg方案實現(xiàn)，為了保證好的IO讀寫效率，需要保障雙活存儲間的

4、網(wǎng)絡帶寬和低延時。為避免腦裂，存儲建議采用fc和ip網(wǎng)絡多種仲裁探活機制，利用第三方站點進行檢測判決。alphaaries 華為數(shù)據(jù)存儲解決方案中心技術總監(jiān)：要做讀寫分離首先要明確為什么要做讀寫分離。讀寫分離是一種技術手段，而單純的依賴技術手段是無法解決所有問題的，如果應用的讀寫比例嚴重失調(diào)，那么需要和應用開發(fā)部門相互協(xié)調(diào)。讀寫分離的重點和本質(zhì)，其實就是數(shù)據(jù)的同步。為了實現(xiàn)數(shù)據(jù)的實時同步，現(xiàn)有的技術可以在多個層面實現(xiàn)讀寫分離。例如，基于操作系統(tǒng)層、基于存儲層進行復制或者基于應用分發(fā)或者基于數(shù)據(jù)庫自身的能力的技術，都可以實現(xiàn)數(shù)據(jù)的讀寫分離。由于在數(shù)據(jù)同步的過程中，通常會涉及業(yè)務數(shù)據(jù)選擇以及源端多

5、種類型整合的問題，因此通常不建議使用操作系統(tǒng)層和存儲層的復制來實現(xiàn)，在金融行業(yè)，比較多的是用數(shù)據(jù)庫來實現(xiàn)讀分離。例如Oracle基于日志的復制技術等等。2、兩個數(shù)據(jù)中心間數(shù)據(jù)同步邏輯錯誤問題如何有效避免呢？【問題描述】存儲層面的復制技術基本以存儲塊為單位進行的數(shù)據(jù)復制，假設數(shù)據(jù)塊發(fā)生了邏輯錯誤，那么存儲是無法檢測到的，它會繼續(xù)將壞的數(shù)據(jù)塊兒同步到災備端，如果因此數(shù)據(jù)庫發(fā)生宕機，那么災備端的數(shù)據(jù)庫也同樣無法正常啟動。雖然發(fā)生幾率比較小，但這個問題確實存在。個人建議是采用磁帶庫或者CDP進行再次備份，若真的遇到邏輯問題還是重新恢復數(shù)據(jù)。或者干脆采用分布式存儲。無論復制方式是同步、異步、雙活還是連續(xù)

6、性數(shù)據(jù)保護，都是基于存儲數(shù)據(jù)塊級別的復制技術，復制源端在可讀時，會將塊中的數(shù)據(jù)原樣的拷貝一份至目標端，當源端數(shù)據(jù)出現(xiàn)誤刪、誤改、磁區(qū)退化數(shù)據(jù)異變、數(shù)據(jù)庫事物層邏輯錯誤等數(shù)據(jù)邏輯性錯誤時，復制目標端無法檢測到這些錯誤，依舊復制“錯誤”的數(shù)據(jù)，導致兩份副本都無法正常使用。所以要設置多層次的防范機制，保障數(shù)據(jù)的可靠性和安全性，存儲雙活技術只是其中的一個層次，要輔以備份技術、數(shù)據(jù)庫復制技術，連續(xù)性數(shù)據(jù)保護，建立了完善的數(shù)據(jù)保障體系。（ 1 ）備份系統(tǒng)按照一定的時間頻率對數(shù)據(jù)庫做全量和增量備份，在遇到數(shù)據(jù)邏輯錯誤時，通過恢復將數(shù)據(jù)回退到最后一個備份版本。如 TSM 、 NBU 、 COMMVAULT 。

7、（ 2 ）數(shù)據(jù)庫復制技術有實時同步、準同步、異步等方式，保障主數(shù)據(jù)庫邏輯錯誤無法正常運行時，切至備數(shù)據(jù)庫，回退到備庫前一個日志 COMMIT 后的版本。如 DB2 HADR 、 ORACLE ADG 、 MYSQL 主從復制等。（ 3 ）連續(xù)性數(shù)據(jù)保護技術也是準 / 實時對存儲數(shù)據(jù)塊做快照，源端數(shù)據(jù)無法繼續(xù)使用時，通過快照回退至前一個數(shù)據(jù)可用版本。如 CDP 。為了不影響源端數(shù)據(jù)的訪問性能或者單個系統(tǒng)無法滿足需求時，可以考慮多種方式結(jié)合，比如備份系統(tǒng)在備份超大數(shù)據(jù)庫時，沒有充足的帶寬或者備份時間窗口，可以用數(shù)據(jù)庫的異步復制方式來做為備份方式的補充；連續(xù)性數(shù)據(jù)保護技術需要通過 LVM 鏡像源端數(shù)

8、據(jù)，增加了寫延遲，可以通過數(shù)據(jù)庫準實時同步或者異步的方式復制數(shù)據(jù)到備庫節(jié)點，備庫節(jié)點的后端存儲為連續(xù)性數(shù)據(jù)保護的存儲節(jié)點，如 DB2 HADR+CDP 的組合。無論是adg數(shù)據(jù)庫復制技術還是存儲復制技術都無法預防邏輯錯誤，預防邏輯錯誤最好的辦法就只能是通過備份，當出現(xiàn)邏輯錯誤的時候，通過備份數(shù)據(jù)及備份的日志文件進行數(shù)據(jù)回滾，回滾到邏輯錯誤前的時間段數(shù)據(jù)。zzy3620北部灣銀行 系統(tǒng)環(huán)境管理：因此需要進行多個層面的備份，在存儲備份之外，通過數(shù)據(jù)庫軟件例如goldengate，adg等方式，進行實時或者準實時的邏輯備份，避免存儲塊錯誤的同步導致數(shù)據(jù)丟失。3、雙活數(shù)據(jù)中心如何保證各個業(yè)務系統(tǒng)之間訪

9、問路徑最短？【問題描述】雙活數(shù)據(jù)中心如何保證各個業(yè)務系統(tǒng)之間訪問路徑最短？銀行系統(tǒng)中有可以建立雙活的業(yè)務系統(tǒng)，也有不適合雙活的業(yè)務系統(tǒng)，當某一個業(yè)務系統(tǒng)同城切換演練，需要考慮那些因素而決定需要配合切換的業(yè)務系統(tǒng)？一般來說，雙活數(shù)據(jù)中心架構(gòu)下，一旦業(yè)務訪問流量進入以后就只在當前數(shù)據(jù)中心內(nèi)部系統(tǒng)間進行交互，盡量不要跨數(shù)據(jù)中心進行系統(tǒng)間交互訪問，這樣能確保訪問路徑最短且把跨數(shù)據(jù)中心間業(yè)務影響降到最低。當單系統(tǒng)進行切換演練的時候，根據(jù)業(yè)務優(yōu)先級，把保開門的業(yè)務所涉及的重要系統(tǒng)實現(xiàn)跨數(shù)據(jù)中心訪問即可，其他非關鍵業(yè)務所涉及的業(yè)務系統(tǒng)保持關閉不提供服務。一般來說，核心業(yè)務系統(tǒng)相關的數(shù)據(jù)內(nèi)容是優(yōu)先作為雙活的，

10、其他業(yè)務系統(tǒng)如渠道、客戶、交易結(jié)算、供應鏈金融、票據(jù)等根據(jù)業(yè)務優(yōu)先級由科技統(tǒng)一規(guī)劃。具體要綜合考慮本行數(shù)據(jù)中心機房基礎環(huán)境、網(wǎng)絡、系統(tǒng)的特點以及分批次業(yè)務系統(tǒng)的相關特性，綜合新一代核心業(yè)務系統(tǒng)建設目標和項目要求，設計相對應多層業(yè)務調(diào)度框架，使用純IP訪問、動態(tài)分配負載方式的應用級雙活建設部署方案。多層業(yè)務調(diào)度框架，就是在同城兩個數(shù)據(jù)中心的核心網(wǎng)絡層部署專用的全局調(diào)度負載均衡設備來專門處理跨數(shù)據(jù)中心的交易數(shù)據(jù)調(diào)度；在每個數(shù)據(jù)中心內(nèi)的各業(yè)務生產(chǎn)區(qū)域，同樣部署了區(qū)域負載均衡設備，用于對應用服務的負載均衡交付服務。4、在存儲雙活設計初期，如何合理的規(guī)劃雙活架構(gòu)，使之成為一個健康高效的架構(gòu)？潘延晟 系統(tǒng)

11、工程師：所謂合理，其實是根據(jù)企業(yè)的自身情況而定的，業(yè)務量，技術儲備，資金能力，還有雙活的實際環(huán)境都決定了整體架構(gòu)的不同，目前的雙活技術都比較成熟，不過卻并不一定適應所有的環(huán)境。設計初期，一定要考慮企業(yè)自身實際的情況?，F(xiàn)有的存儲環(huán)境如何， 上層業(yè)務采用的技術是虛擬化，容器還是其他， 是考慮搭建全新環(huán)境還是要考慮舊的業(yè)務系統(tǒng)，對比不同的技術方案的資金和技術需求，是否是企業(yè)所能承受的，是同城雙活還是異地雙活，雙活之間的數(shù)據(jù)傳輸采用的運營商線路帶寬的穩(wěn)定性和性價比。所以并不能簡單的用一套方案來作為企業(yè)存儲雙活的建設依據(jù)。alphaaries 華為數(shù)據(jù)存儲解決方案中心技術總監(jiān)：存儲雙活的規(guī)劃一定要依從數(shù)

12、據(jù)中心的整體規(guī)劃而實現(xiàn)，通常的規(guī)劃分為業(yè)務規(guī)劃、應用規(guī)劃、數(shù)據(jù)規(guī)劃和基礎設施規(guī)劃，存儲的規(guī)劃隸屬于基礎設施的整體規(guī)劃。在實現(xiàn)基礎設施規(guī)劃的時候，要依據(jù)自下而上、自外而內(nèi)的規(guī)則來實現(xiàn)，即首先需要規(guī)劃機房、網(wǎng)絡，然后才會是存儲產(chǎn)品和計算資源的規(guī)劃。所以在規(guī)劃之初，需要首先了解整個業(yè)務的關聯(lián)性，并需要考慮網(wǎng)絡的整體規(guī)劃，是采用邊緣核心的網(wǎng)絡設計還是邊緣核心邊緣的網(wǎng)絡設計？如果是邊緣核心的網(wǎng)絡設計，將相互之間有關聯(lián)的應用盡可能的部署在相鄰或者相同的資源池里；如果是邊緣核心邊緣的網(wǎng)絡設計，組網(wǎng)可以靈活調(diào)配網(wǎng)絡資源。除此之外還需要考慮數(shù)據(jù)中心之間的網(wǎng)絡，距離、延時等等都是需要考慮的問題。因此存儲雙活需要有

13、非常詳細的規(guī)劃設計，華為在存儲雙活規(guī)劃設計方面有大量的解決方案和交付案例。chenmingfu 寧夏銀行股份有限公司基礎架構(gòu)組長：其實如果就存儲雙活來看，相對較為簡單，目前主流存儲廠商就那么幾家，幾乎每家都有成熟經(jīng)驗且使用案例也多，所以根據(jù)業(yè)界使用情況采用廠商的方法即可，唯一要做好的就是選擇好合適的第三站點仲裁及通訊線路。5、如何有效保證存儲層雙活和數(shù)據(jù)一致性，以及發(fā)生故障時如何保證前端業(yè)務的正常運行？【問題描述】1、存儲雙活雙活依賴的的必要條件有哪些，如發(fā)生發(fā)生故障故障或中斷時的應急方案。2、故障發(fā)生時如何保證業(yè)務業(yè)務連續(xù)性和數(shù)據(jù)數(shù)據(jù)的一致性？chenmingfu 寧夏銀行股份有限公司基礎架

14、構(gòu)組長：1.針對存儲的雙活，兩臺存儲中的不同的LUN構(gòu)成雙活LUN，提供給上層的主機使用，數(shù)據(jù)是從主機側(cè)同時寫入兩個存儲的LUN內(nèi)，雙活平臺沒有故障的時候，兩端的數(shù)據(jù)始終是一致的。2.如果存儲的雙活出現(xiàn)的故障，此時，雙活平臺內(nèi)部有仲裁機制，從兩端中會重新選舉一端的存儲平臺作為主存儲給前端的主機繼續(xù)提供服務，待存儲的雙活修復好了后，雙活兩端的存儲內(nèi)部會自行比對，將存在的差異、增量的數(shù)據(jù)進行同步，待兩端的數(shù)據(jù)一致后，繼續(xù)雙活對外提供服務。3.對于雙活架構(gòu)下，會包含很多的層面，比如應用層，數(shù)據(jù)庫層，服務器層，存儲層等等，要實現(xiàn)真正的業(yè)務雙活，必須做到每個層面都是活的，而每個層面都會有各自的技術來實現(xiàn)

15、，數(shù)據(jù)的一致性也是通過這些層面采用的技術來保證的，比如數(shù)據(jù)層面采用oracle RAC，那么RAC需要解決的關鍵問題就是多節(jié)點進行數(shù)據(jù)訪問時如何保證數(shù)據(jù)的一致性，Oracle是通過各節(jié)點間的私有連接進行內(nèi)存融合（cache fusion）來保證各節(jié)點數(shù)據(jù)訪問的一致性。對于存儲層面，如果采用了svc來搭建雙活架構(gòu)，那么其數(shù)據(jù)一致性是通過svc節(jié)點之間的緩存數(shù)據(jù)同步來完成；當雙活架構(gòu)發(fā)生故障的時候，最主要的是避免集群的腦裂，避免腦裂的方式是一定要部署第三站點的仲裁機制，仲裁站點可以采用存儲仲裁或者ip仲裁等不同的方式，避免集群發(fā)生腦裂，從而導致業(yè)務數(shù)據(jù)的不一致性發(fā)生。crazierspore 華為

16、產(chǎn)品總監(jiān)：一般來講，需要考慮如下幾方面內(nèi)容：6、雙活存儲性能影響問題如何避免？【問題描述】雙活存儲系統(tǒng)在寫入數(shù)據(jù)時，會寫兩次數(shù)據(jù)，尤其是通過復制功能寫到遠端存儲的過程，傳輸鏈路的性能也會影響整體性能。鄧毓江西農(nóng)信 系統(tǒng)工程師：無法避免，肯定會影響一定的性能。這是雙活存儲機制必然帶來的。只能盡量減少性能影響，比如減少距離，提升鏈路穩(wěn)定性，降低寫I/O頻率，提升讀寫比例，適合寫I/O時延敏感度不太高的應用等等。chenmingfu 寧夏銀行股份有限公司基礎架構(gòu)組長：租用多家運營商裸光纖加購買獨立dwdm波分設備提升鏈路的冗余性及鏈路質(zhì)量，從底層通訊鏈路層保障跨中心通訊的穩(wěn)定性，從操作系統(tǒng)及數(shù)據(jù)庫參

17、數(shù)層面優(yōu)化存儲相關參數(shù)，盡量降低性能帶來的風險，無法徹底避免。crazierspore 華為產(chǎn)品總監(jiān)：雙活在保證數(shù)據(jù)可靠性的同時勢必會造成一定程度的性能影響，為了保證兩個數(shù)據(jù)中心存儲的數(shù)據(jù)實時一致，寫操作都需要等待兩端存儲寫成功之后再返回主機“寫成功”。雙活 I/O 性能因為實時雙寫導致一定的時延增加。雙活容災解決方案提升了站點級的冗余保護，把本地的雙機雙柜的硬件冗余方案跨站點建設，無論是傳統(tǒng)的集群系統(tǒng)、虛擬化主機平臺 Vmware, 還是 Oracle RAC 等 , 跨站點建設都會無形中在業(yè)務平臺中增添幾分不穩(wěn)定的因素。在性能方案，站點間的監(jiān)測、業(yè)務會話的同步確認等的網(wǎng)絡延遲數(shù)，加上數(shù)據(jù)同

18、步雙寫的光纖延遲，都或多或少的影響了整體業(yè)務處理的性能。距離越遠影響越明顯，如果距離較近，也會失去建設雙活容災數(shù)據(jù)中心的意義。針對以上對性能的挑戰(zhàn)，華為主要從數(shù)據(jù)零拷貝、 FastWrite 功能、地域優(yōu)化訪問三方面來克服相應的挑戰(zhàn)。零數(shù)據(jù)拷貝：在雙活鏡像數(shù)據(jù)的初始同步或者恢復過程中的增量同步過程中，差異數(shù)據(jù)塊通常有大量的零數(shù)據(jù)塊，無需逐塊復制，該功能叫數(shù)據(jù)零拷貝。例如，虛擬化場景下，新建虛擬機時會產(chǎn)生大量的零數(shù)據(jù)塊，一個數(shù)十 GB 的操作系統(tǒng)盤，實際非零數(shù)據(jù)塊僅 2-3GB 。FastWrite 功能：對陣列間數(shù)據(jù)傳輸進行了協(xié)議級優(yōu)化，應用 SCSI 協(xié)議的 First Burst Enab

19、led 功能，將寫數(shù)據(jù)的鏈路傳輸交互次數(shù)減少一半。正常的 SCSI 流程中，寫 I/O 在傳輸?shù)碾p端要經(jīng)歷“寫命令”、“寫分配完成”、“寫數(shù)據(jù)”和“寫執(zhí)行狀態(tài)”等多次交互。利用 FastWrite 功能，優(yōu)化寫 I/O 交互過程，將“寫命令”和“寫數(shù)據(jù)”合并為一次發(fā)送，并取消“寫分配完成”交互過程，將跨站點寫 I/O 交互次數(shù)減少一半。地域優(yōu)化訪問：雙活數(shù)據(jù)業(yè)務場景，兩站點的距離遠近，是影響 I/O 訪問性能的關鍵因素。HyperMetro 特性通過與華為 OceanStor UltraPath 多路徑配合，根據(jù)雙活站點部署距離，提供了兩種 I/O 訪問策略供用戶選擇。負載均衡模式 + 優(yōu)選陣

20、列模式。7、雙活方案中的NAS復制及切換問題？【問題描述】在同城雙活的建設過程中，很多負載均衡的應用需要用到NAS來實現(xiàn)文件的共享，滿足負載均衡的需求。1、一般的NAS都采取網(wǎng)絡復制到同城的方案，復制的內(nèi)容一般沒有辦法實時同步，有一定的滯后，沒有辦法保證數(shù)據(jù)的完全一致，一旦生產(chǎn)發(fā)生問題，遇到需要切換的場景，可能會丟失一些數(shù)據(jù)。有些對于數(shù)據(jù)一致要求較高的應用可能因為文件的不一致造成異常（比如一些批量作業(yè)）。請問有什么好的解決辦法？2、請問在雙活的建設過程中，關于NAS的雙活或者容災有沒有好的成熟的解決方案或者產(chǎn)品？chenmingfu 寧夏銀行股份有限公司基礎架構(gòu)組長：如果是雙活場景的話，可以考

21、慮把nas存儲也設置為雙活，否則，采用主備復制的方式，nas文件系統(tǒng)在數(shù)據(jù)同步狀態(tài)下 同城端主機是無法mount這些文件系統(tǒng)的，這將導致nas文件系統(tǒng)無法實時使用，可以根據(jù)實際nas文件應用場景區(qū)分，沒必要同步的就兩邊分別獨立掛載各自數(shù)據(jù)中心內(nèi)的nas文件系統(tǒng)，這樣也能解耦。LX11 華為高級工程師：1）當前業(yè)界已經(jīng)具備NAS雙活技術，NAS雙活采用AP架構(gòu)，使主機能夠?qū)蓚€存儲系統(tǒng)的文件系統(tǒng)視為單個存儲系統(tǒng)上的單個文件系統(tǒng)，并保持文件系統(tǒng)的實時雙寫存放和讀取。2）華為Oceanstor存儲具備免網(wǎng)關NAS雙活能力，基于多租戶（vStore Pair）雙活機制，可以將主Store的網(wǎng)絡資源、協(xié)

22、議配置及存儲資源實時鏡像到遠端，保證兩端資源實時一致。同時，該系列存儲也具備SAN&NAS雙活一體化能力，推薦使用。crazierspore 華為產(chǎn)品總監(jiān)：首先看一些NAS的同步雙寫流程： 同步雙寫由 SPACE 發(fā)起，當有主機 IO 時， SPACE 轉(zhuǎn)發(fā)給 Pair ； 由 Pair 根據(jù)當前狀態(tài)決定是否雙寫，如果是同步雙寫，則將 IO 拆分成兩個 IO ，一個由源文件系統(tǒng) RIM 實際寫入 SPACE ； 另一個 IO 通過目標文件系統(tǒng) RIM 代理轉(zhuǎn)發(fā)到從端； 由 EPL 根據(jù)鏈路進行路由，通過 TCP 或 FC 或 iSCSI 鏈路轉(zhuǎn)發(fā)到從端； 當從端 EPL 接收到主端數(shù)據(jù)時，找到

23、目標文件系統(tǒng) RIM ，并由其寫入目標文件系統(tǒng)的 SPACE 。因此有關對于數(shù)據(jù)一致要求較高的應用可能因為文件的不一致造成異常的影響， 一般由于切換時間引起。影響切換時間長短的幾個因素：1、 協(xié)議類型，推薦使用 NFSv3 協(xié)議， NFSv3 屬無狀態(tài)協(xié)議， NFS 受故障影響小，故障后直接重試直到響應，而 CIFS 和 NFSV4 屬有狀態(tài)協(xié)議，故障后還需維護自身的狀態(tài)信息，遇到加鎖業(yè)務時切換時間會更長甚至斷業(yè)務，而且CIFS沒有鎖和句柄同步，對于已經(jīng)加鎖的文件故障恢復后沒法恢復鎖導致文件沖突，比如打開的文件遇到雙活故障場景恢復后只能另存為文件，無法原文件保存。2、 掛載 NFS 時需要修改

24、協(xié)議重試的時間參數(shù)：-o timeo=XX ，該參數(shù)的單位是 1/10 秒，默認值為 600 ，建議設置成 50 ，即重試時間 5 秒。如果設置時間太短，陣列還沒切換完成，會導致重試次數(shù)較多，整體時間較長。舉例：mount -t nfs -o vers=3,timeo=50 /11.11.11.1/FS /FS3、 主機上運行的業(yè)務模型，如果是加鎖類業(yè)務切換時間會比不加鎖類業(yè)務時間長（針對 NFSv4 和 CIFS 協(xié)議），因為故障切換流程還需保障之前加鎖的業(yè)務鎖釋放是否完成，是否會有鎖沖突，比如 VMware 或者集群類業(yè)務。為了排除是加鎖影響，測試時掛在文件系統(tǒng)是可以加上 nolock 參

25、數(shù)。舉例：mount -t nfs -o nolock /11.11.11.1/FS /FS4、 主機業(yè)務壓力，這個原理很簡單，如果主機上業(yè)務壓力較大，故障切換時間就相對較長，因此測試時需要調(diào)小主機的業(yè)務壓力，減小下 IO 的并發(fā)。5、 故障方式，掉電（拔電源）是非計劃內(nèi)的故障，需要陣列去感知掉電故障然后走仲裁，這里仲裁還需要靜默 8 秒才切換，因此切換時間相對較長，而用下電或者重啟的方式進行故障則是計劃內(nèi)的故障，陣列可以主動通知仲裁進行業(yè)務切換，會立即進行切換，最終的切換時間只由主機協(xié)議倒換時間長短決定，大概在 510 秒。6、 故障不同站點，掉電非優(yōu)先站點，則無業(yè)務切換流程，只有故障處理流

26、程，切換時間大概在 5 秒左右。8、雙活數(shù)據(jù)中心考慮哪些因素決定哪些系統(tǒng)適合二層哪些適合三層？是否一些基礎平臺適合二層？還是都建立為三層更好？chenmingfu 寧夏銀行股份有限公司基礎架構(gòu)組長：從當前趨勢來看，不同數(shù)據(jù)中心間通過三層網(wǎng)絡互聯(lián)是主流技術，如果可能的話盡量不要采用二層互聯(lián)的方式連接兩個數(shù)據(jù)中心，這樣能讓兩個數(shù)據(jù)中心間解耦，將影響和風險降到最低。采用二層還是三層技術主要取決于一些技術儲備和容災需求，比如，引入dns技術以后就可以實現(xiàn)dns技術加三層網(wǎng)絡的互聯(lián)切換容災。根據(jù)最佳實踐，建議以三層互聯(lián)技術為主，特殊迫不得已的情況下，再考慮采用二層技術互聯(lián)。9、存儲雙活對同城數(shù)據(jù)中心的選

27、址要求？雙活存儲間鏈路的可靠性和穩(wěn)定性對系統(tǒng)的影響及應對方案？chenmingfu 寧夏銀行股份有限公司基礎架構(gòu)組長：1.跨數(shù)據(jù)中心通訊鏈路方面購買波分設備，波分設備具備冗余高可用性，租用運營商的裸光纖，作為通訊的鏈路。裸光纖也冗余。裸光纖通常租用兩家或兩家以上的運營商線路，比如電信、聯(lián)通和移動，電信的裸光纖也需要冗余，聯(lián)通的裸光纖也需要冗余，防止單根裸光纖意外割斷或者損壞。然而單家運營商的裸纖都通常在一個弱點井中，一起意外割斷的事情常有，所以需要兩家運營商互相冗余。這兩家運營商裸纖的路線還不能一致，弱電井需要在不同的街道，并且分別走不同的路線到達目的地。2.通訊鏈路質(zhì)量方面鏈路質(zhì)量包括光衰、

28、抖動和帶寬等。一方面，光衰和抖動無法控制，只能靠波分設備去探測，發(fā)現(xiàn)光衰和抖動，立即中斷該鏈路，切向備鏈路，這對后端的 SAN 網(wǎng)絡無感知，但對波分設備的要求很高，需要購買和建設時注意。至于帶寬，可以監(jiān)測，達到帶寬預警閾值后，可向運營商申請?zhí)嵘龓挕Ａ硪环矫?，對于鏈路質(zhì)量的監(jiān)測機制一定要在建設存儲雙活或者其他雙活之前建立，由于是運營商的鏈路，鏈路經(jīng)過了多少中繼、多少設備我們是不得知的，我們只能在波分端建立有效的監(jiān)測機制，有些波分設備也有專門的監(jiān)控軟件支持。而且也要要求和運營商建立監(jiān)測聯(lián)動機制，運營商監(jiān)測到鏈路質(zhì)量（是質(zhì)量而不是中斷）有問題，也需要第一時間告知，做出合理的決策。3.存儲雙活控制器

29、的機制由于跨中心的雙活控制器間的通訊是實時的，完整寫周期必須兩個站點的控制器都完成寫操作。他們間的通訊又是靠鏈路完成的，鏈路質(zhì)量和鏈路中斷都將導致性能波動甚至超時，對于中斷，控制器的處理機制都還不錯，對于質(zhì)量，控制器的處理機制往往不夠，需要長時間的嘗試，才會做出合理的決策，甚至沒有決策， 導致上層數(shù)據(jù)庫或者應用磁盤 IO 超時，而異常掛起甚至宕機。所以這個機制是決定好的雙活體系的重要因素，有時候?qū)幙闪⒓捶艞壱贿?，也要保?RTO。4.存儲上層 OS、應用和數(shù)據(jù)庫合理的超時參數(shù)OS 識別磁盤、應用訪問文件系統(tǒng)、數(shù)據(jù)庫訪問裸設備或者文件系統(tǒng)，存儲 IOHANG 住，將導致層層超時，尤其是數(shù)據(jù)庫，超時將徹底中斷宕機，甚至出現(xiàn)邏輯損壞等莫名奇妙的問題。有時候超時響應慢是可以等，而不是中止，所以需要OS、數(shù)據(jù)庫層進行合理的超時聯(lián)動設置。5.盡量避免跨站點讀寫頻率沒有跨站點讀，就意味著本地可讀，對鏈路質(zhì)量沒有要求；減少跨站點寫頻率， 就意味著，性能影響弱化，被控制器、數(shù)據(jù)庫、操作系統(tǒng)等層層緩存暫存