通過存儲(chǔ)仲裁的合理配置規(guī)避雙活腦裂風(fēng)險(xiǎn)

1、 通過存儲(chǔ)仲裁的合理配置規(guī)避雙活“腦裂”風(fēng)險(xiǎn) 在存儲(chǔ)雙活方案設(shè)計(jì)過程中，首要關(guān)注的風(fēng)險(xiǎn)是“腦裂”風(fēng)險(xiǎn)。雙活存儲(chǔ)“腦裂”會(huì)造成非常嚴(yán)重的后果，會(huì)導(dǎo)致存儲(chǔ)讀寫IO掛起，進(jìn)一步會(huì)導(dǎo)致應(yīng)用、數(shù)據(jù)庫以及操作系統(tǒng)磁盤IO超時(shí)或掛起，從而給生產(chǎn)系統(tǒng)造成重大影響。而最有效地規(guī)避雙活存儲(chǔ)“腦裂”風(fēng)險(xiǎn)的措施就是引入仲裁機(jī)制。1、針對(duì)目前主流的一些存儲(chǔ)雙活方案中，分別有哪些存儲(chǔ)仲裁機(jī)制來規(guī)避雙活存儲(chǔ)“腦裂”風(fēng)險(xiǎn)？主流雙活存儲(chǔ)基本就兩種模式，仲裁服務(wù)器和靜態(tài)優(yōu)先，一般情況下采取仲裁服務(wù)器和靜態(tài)優(yōu)先并存模式，仲裁服務(wù)器為主，當(dāng)仲裁服務(wù)器宕機(jī)后，啟用靜態(tài)優(yōu)先模式。yfwang 戴爾科技集團(tuán) 顧問工程師：一般就是兩類：1、

2、 一類是靜態(tài)式仲裁，通過在存儲(chǔ)內(nèi)部設(shè)定“優(yōu)勝者”來實(shí)現(xiàn)，優(yōu)勢(shì)是不需要外置仲裁裝置，不需要仲裁網(wǎng)絡(luò)，劣勢(shì)是在某些故障場(chǎng)景下，會(huì)業(yè)務(wù)中斷，比如“優(yōu)勝者”存儲(chǔ)失敗的的時(shí)候，但是不會(huì)發(fā)生腦裂。2、 另外一類是外置仲裁機(jī)制，一般又包括兩種，一種是虛擬機(jī)監(jiān)控程序，比如 vplex 的 witness ，另外一種是基于仲裁盤的仲裁機(jī)制，比如 hds 的雙活仲裁。這類仲裁的優(yōu)勢(shì)比第一類方式的系統(tǒng)連續(xù)性好，劣勢(shì)是需要準(zhǔn)備單獨(dú)的服務(wù)器或者存儲(chǔ)，以及仲裁需要的網(wǎng)絡(luò)連接。不管哪類仲裁，正常情況下都可以預(yù)防腦裂的出現(xiàn)，當(dāng)然從業(yè)務(wù)連續(xù)性的角度來看，外置仲裁的方式更優(yōu)一些，具體采用監(jiān)控程序還是仲裁盤的方式，可根據(jù)實(shí)際情況和

3、現(xiàn)有環(huán)境來定，如果采用外置式的一般要求部署在第三個(gè)故障域，且對(duì)仲裁網(wǎng)絡(luò)有一些要求，相比而言，監(jiān)控程序的方式部署更簡(jiǎn)單一些，對(duì)實(shí)施條件要求低一些，也是未來的發(fā)展方向。2、存儲(chǔ)雙活方案該如何結(jié)合實(shí)際條件，選擇相應(yīng)的存儲(chǔ)仲裁機(jī)制？是否一定需要選擇第三方站點(diǎn)部署存儲(chǔ)仲裁節(jié)點(diǎn)？每種存儲(chǔ)雙活方案都有各自的仲裁機(jī)制，所以選擇了雙活方案，仲裁機(jī)制基本也定了，沒什么選擇的空間。一般仲裁建議放在第三個(gè)站點(diǎn)，這是從最佳實(shí)踐的角度來說，不是技術(shù)限制；如果沒有第三站點(diǎn)，也可以和生產(chǎn)放在一起，不過整個(gè)系統(tǒng)的健壯性會(huì)受影響，所以對(duì)VPLEX說來，我們認(rèn)為如果沒有第三個(gè)站點(diǎn)的話，就不用部署外置仲裁了，就用內(nèi)置靜態(tài)仲裁就可以了

4、，也可以防止腦裂的發(fā)生。guwenkuan 某股份制銀行存儲(chǔ)架構(gòu)師：不需要一定選擇第三方站點(diǎn)部署，本地站點(diǎn)也可以，靜態(tài)優(yōu)先能保證不發(fā)生腦裂情況。3、雙活存儲(chǔ)中設(shè)置優(yōu)先站點(diǎn)的意義是什么？其與仲裁節(jié)點(diǎn)如何配合作用？guwenkuan 某股份制銀行存儲(chǔ)架構(gòu)師：在腦裂情況下，雙活存儲(chǔ)快速識(shí)別業(yè)務(wù)主站點(diǎn)，確保腦裂情況下不相互爭(zhēng)搶資源。yfwang 戴爾科技集團(tuán) 顧問工程師：設(shè)置優(yōu)先站點(diǎn)的意義在于發(fā)生仲裁的時(shí)候，可以讓業(yè)務(wù)運(yùn)行在更優(yōu)化的系統(tǒng)或者環(huán)境中，比如，如果兩臺(tái)存儲(chǔ)的配置有高有低，那么在仲裁后，業(yè)務(wù)應(yīng)該選擇配置高的存儲(chǔ)運(yùn)行；如果雙活的存儲(chǔ)分別部署在生產(chǎn)中心和災(zāi)備中心，仲裁后業(yè)務(wù)應(yīng)該運(yùn)行在生產(chǎn)中心比較理

5、想，因?yàn)樯a(chǎn)中心一般設(shè)施更完善且技術(shù)資源更豐富。通過設(shè)置優(yōu)先站點(diǎn)，可以選擇在發(fā)生仲裁時(shí)，優(yōu)先讓預(yù)先設(shè)置的“優(yōu)先站點(diǎn)”接管業(yè)務(wù)，只有在優(yōu)先站點(diǎn)也發(fā)生了故障后，仲裁才會(huì)讓非優(yōu)先站點(diǎn)接管業(yè)務(wù)。4、雙活存儲(chǔ)在仲裁規(guī)則的配置上，如何與主機(jī)層面的PowerHA、RHCS以及數(shù)據(jù)庫層面的oracle rac的仲裁保持一致？yfwang 戴爾科技集團(tuán)顧問工程師：我覺得這個(gè)問題要分兩種情況來看，以 RAC 為例說明：1 、對(duì)于主機(jī)和存儲(chǔ)是交叉互聯(lián)的方案即每臺(tái)主機(jī)都有連接到兩臺(tái)存儲(chǔ)的路徑，在這種情況下，如果存儲(chǔ)發(fā)生了仲裁，主機(jī)還可以訪問另外一臺(tái)，不會(huì)發(fā)生仲裁；如果主機(jī)發(fā)生了仲裁，存活的主機(jī)也都可以看到兩臺(tái)存儲(chǔ)，存

6、儲(chǔ)不需要仲裁；唯一有可能發(fā)生仲裁不一致的場(chǎng)景是主機(jī)和存儲(chǔ)同時(shí)需要仲裁，比如 RAC 節(jié)點(diǎn)心跳和存儲(chǔ)心跳同時(shí)斷了，這時(shí)不僅 RAC 需要仲裁防止腦裂，存儲(chǔ)也一樣，為了保證仲裁的一致性，需要在設(shè)置的時(shí)候注意一下，一般 RAC 心跳斷后，如果兩邊節(jié)點(diǎn)數(shù)一致，那么編號(hào)小的一邊存活，對(duì)于 EMC 的存儲(chǔ)方案，存儲(chǔ)可以設(shè)置“優(yōu)先者”，可以通過把和節(jié)點(diǎn)編號(hào)小的在一個(gè)站點(diǎn)的存儲(chǔ)設(shè)置成“優(yōu)先者”，來保證存儲(chǔ)和 RAC 仲裁結(jié)果的一致性。2 、對(duì)于主機(jī)和存儲(chǔ)是非交叉連接的方案VPLEX 支持交叉連接，也支持非交叉連接，當(dāng)非交叉連接時(shí)，因?yàn)?RAC 節(jié)點(diǎn)只有到本地存儲(chǔ)的路徑，所以當(dāng)存儲(chǔ)發(fā)生仲裁時(shí)，因?yàn)橛幸贿叺拇鎯?chǔ)將

7、被掛起，所以這一邊的 RAC 節(jié)點(diǎn)將訪問不到存儲(chǔ)， RAC 機(jī)制也會(huì)開始仲裁，會(huì)將失去存儲(chǔ)這邊的節(jié)點(diǎn)踢出群集，從而保證仲裁的一致性，這種情況下，需要保證存儲(chǔ)先于 RAC 仲裁，這個(gè)順序可以在 vplex 和 RAC 中設(shè)置。5、Vplex的 仲裁機(jī) Witness 故障時(shí)執(zhí)行原理？【問題描述】singlefailure 與 double failure 。誰來講透，你們就不用擔(dān)心仲裁如何選取位置了。不懂仲裁建哪里都一樣，當(dāng)發(fā)生故障時(shí)候你也沒法人工干預(yù)。官方有16個(gè)場(chǎng)景，比較復(fù)雜。原廠專家來好好分析一下，多多賜教。yfwang 戴爾科技集團(tuán)顧問工程師：官方的 16 個(gè)場(chǎng)景考慮了主機(jī)集群的切換，太

8、復(fù)雜，容易搞暈，其實(shí)理解 witness 主要關(guān)注存儲(chǔ)層面就可以了，主機(jī)層面按主機(jī)的仲裁規(guī)則去理解。對(duì)于存儲(chǔ)層面，雙活方案由三點(diǎn)三線組成，三點(diǎn)是：生產(chǎn)站點(diǎn) A 、生產(chǎn)站點(diǎn) B 、仲裁站點(diǎn) C ；三線是：A 和 B 之間的復(fù)制鏈路、 A 和 C 之間的仲裁鏈路、 B 和 C 之間的仲裁鏈路。加起來可以理解為一共 6 個(gè)故障點(diǎn)， 6 個(gè)故障點(diǎn)可以有兩種失敗情形：1 、單點(diǎn)故障：vplex 雙活機(jī)制下，可以保證任何一個(gè)單點(diǎn)故障，都不會(huì)引起業(yè)務(wù)中斷，比如只是 A 站點(diǎn)發(fā)生災(zāi)難（是最嚴(yán)重的情況，如果只是 A 站點(diǎn)里面的存儲(chǔ)壞了或者 vplex 壞了或者交換機(jī)壞了，破壞性不會(huì)超過整個(gè)站點(diǎn)的災(zāi)難）， wit

9、ness 會(huì)通知 B 站點(diǎn)繼續(xù)處理業(yè)務(wù)，業(yè)務(wù)不中斷，不需要人為干預(yù)。2 、雙點(diǎn)故障：雙點(diǎn)故障指上面的 6 個(gè)故障點(diǎn)有兩個(gè)同時(shí)發(fā)生了故障，比如站點(diǎn) A 和站點(diǎn) C 同時(shí)發(fā)生了災(zāi)難，就屬于雙點(diǎn)故障。雙點(diǎn)故障下，會(huì)不會(huì)發(fā)生業(yè)務(wù)中斷分情況來看， 6 個(gè)故障點(diǎn)兩兩組合，會(huì)導(dǎo)致業(yè)務(wù)中斷的共有以下五種情況，此時(shí)需要人為手動(dòng)干預(yù)才能恢復(fù)業(yè)務(wù)，這五種情況如下（見圖）：除了這五種兩點(diǎn)故障場(chǎng)景外，其他的場(chǎng)景也不會(huì)造成業(yè)務(wù)中斷，不需要人為干預(yù)。注意以下最后兩個(gè)場(chǎng)景下，其實(shí)它說明了為什么 witness 要放在第三個(gè)站點(diǎn)，因?yàn)槿绻?witness 和 vplex 放在同一個(gè)站點(diǎn)，當(dāng)這個(gè)站點(diǎn)發(fā)生了失敗，雖然是個(gè)單點(diǎn)故障，

10、但是相當(dāng)于發(fā)生了如最后兩圖所示的雙點(diǎn)故障，會(huì)導(dǎo)致業(yè)務(wù)中斷，如果 witness 在第三個(gè)站點(diǎn)就不會(huì)有問題，這時(shí) witness 建議在不同站點(diǎn)的主要原因。綜上所述，一般只需要避免發(fā)生如上五種雙點(diǎn)故障，就可以避免業(yè)務(wù)中斷，或者說如果進(jìn)行災(zāi)難演練，可以著重演練這幾種場(chǎng)景，因?yàn)檫@幾個(gè)場(chǎng)景是需要人為操作恢復(fù)的。不過只要按照最佳實(shí)踐來部署，發(fā)生雙點(diǎn)故障屬于極小概率事件，實(shí)際環(huán)境中很少能碰上。6、如何吃透 Vplex Globa distributed cache工作原理，大神來細(xì)講一下，讓運(yùn)維人員心里踏實(shí)應(yīng)對(duì)故障？【問題描述】雙寫原理，數(shù)據(jù)落盤的全過程是什么樣的一個(gè)流程？如何保證cache一致性，【這個(gè)

11、一致了，兩邊存儲(chǔ)數(shù)據(jù)就一致了】？歡迎大神指點(diǎn)迷津。yfwang 戴爾科技集團(tuán)顧問工程師：講起來比較復(fù)雜，試著說一下，看看能不能講清楚。分布式緩存一致性，是 VPLEX 的核心技術(shù)，也是 VPLEX 實(shí)現(xiàn)雙活的主要技術(shù)基礎(chǔ)。分布式是指緩存的管理是跨控制器的，一致性是指所有控制的緩存是全局的，互相能感知對(duì)方狀態(tài)。VPlex 實(shí)現(xiàn)分布式緩存一致性的關(guān)鍵組件是緩存一致性目錄，該目錄記錄著 cache 里的所有數(shù)據(jù)的歸屬信息，比如數(shù)據(jù)塊 37 屬于哪個(gè)控制器，該目錄狀態(tài)會(huì)實(shí)時(shí)更新且 share 給所有控制器，對(duì)于 VPLEX Metro 方案，緩存一致性目錄可以跨 VPLEX 集群擴(kuò)展，以提供實(shí)現(xiàn)跨站點(diǎn)

12、的緩存一致性。下面用讀寫 I/O 的流程來簡(jiǎn)單描述一下如何實(shí)現(xiàn)的。對(duì)于讀請(qǐng)求來講：讀 I/O 從某個(gè)控制器的前端口進(jìn)來，先查看該控制器本地 cache 是否命中，如果命中，直接返回，如果沒有命中，則去查找緩存一致性目錄，看看別的控制器緩存里是否有要訪問的數(shù)據(jù)，如果有，則從對(duì)應(yīng)的控制器 Cache 中將其讀取到本地 Cache ，再返回給主機(jī)；如也沒有命中，則從本地后端的存儲(chǔ)中讀到本地 Local 中，修改緩存一致性目錄的狀態(tài)，然后返回給主機(jī)。在雙活狀態(tài)下，雖然緩存一致性目錄是跨 VPLEX 集群的，但對(duì)于讀操作來講，如果在本地集群緩存沒命中，就直接去后端存儲(chǔ)讀數(shù)了，不會(huì)去遠(yuǎn)端的 VPLEX 緩

13、存中讀數(shù)據(jù)，因?yàn)闄C(jī)制認(rèn)為鏈路的延時(shí)要大于本地存儲(chǔ)的延時(shí)。對(duì)于寫請(qǐng)求來講：寫 I/O 從某個(gè)控制器的前端口進(jìn)來，先找本地 cache 中有沒有對(duì)應(yīng)的舊數(shù)據(jù)，有的話先把它廢除，同理，根據(jù)緩存一致性目錄查找別的控制器緩存中是否有舊數(shù)據(jù)，有的話也要廢除，然后新數(shù)據(jù)寫入本地緩存，并且透寫到后端存儲(chǔ)中，存儲(chǔ)返回確認(rèn)。與此同時(shí)，另外一個(gè) vplex 集群也會(huì)執(zhí)行相應(yīng)的操作，將舊數(shù)據(jù)廢除，然后寫入新數(shù)據(jù)，同時(shí)新數(shù)據(jù)透寫到后端存儲(chǔ)，返回確認(rèn)給 vplex 。Vplex 在收到兩邊存儲(chǔ)返回的確認(rèn)后，認(rèn)為該寫操作成功，給主機(jī)返回寫入確認(rèn)。這一系列的步驟說起來比較繁瑣，實(shí)際情況下幾乎都是同時(shí)瞬間完成的，所以不用擔(dān)心對(duì)

14、性能的影響。通過這種機(jī)制，可以保證不論是本地主機(jī)訪問本地 vplex ，還是異地主機(jī)訪問異地 vplex ，看到的數(shù)據(jù)是完全一致性的，這個(gè)也是雙活的技術(shù)基礎(chǔ)。不過分布式緩存一致性是 vplex 內(nèi)部機(jī)制，可以了解一下原理，實(shí)際運(yùn)維中不用擔(dān)心數(shù)據(jù)一致性的問題，這是 VPLEX 內(nèi)在機(jī)制保證的。cpc1989 某保險(xiǎn)公司 存儲(chǔ)工程師：VPLEX現(xiàn)在主要就local和Metro兩種方案了，Geo方案本身也少，也由其他方案替代了，不知道你是不是想了解的是VPLEX Metro 的分布式緩存的原理。VPLEX Metro在物理上是兩個(gè)站點(diǎn)，邏輯上兩個(gè)集群，而且VPLEX只有讀cache，沒有寫cache

15、，這也是VPLEX保持強(qiáng)一致性的關(guān)鍵。數(shù)據(jù)落盤的過程中是數(shù)據(jù)寫動(dòng)作分為兩個(gè)路線，一個(gè)寫到本地VPLEX集群的本地存儲(chǔ)，一個(gè)同步到異地站點(diǎn)的VPLEX集群，并寫到異地存儲(chǔ)中，只有兩個(gè)落盤動(dòng)作都完成后，寫到VPLEX的動(dòng)作才結(jié)束。guwenkuan 某股份制銀行存儲(chǔ)架構(gòu)師：分為兩部分全局 cache 目錄，和每個(gè) director 的 cache 。讀 IO 會(huì)首先查詢?nèi)帜夸浛纯词欠裨?cache 里，如果有也從相應(yīng)的 director 里讀取數(shù)據(jù)，如果沒有，也從存儲(chǔ)讀取，并更新全局目錄，下次短期內(nèi)再讀取則會(huì)命中。7、基于存儲(chǔ)網(wǎng)關(guān)和存儲(chǔ)引擎的優(yōu)缺點(diǎn)以及價(jià)值？【問題描述】1）基于存儲(chǔ)網(wǎng)關(guān)和基于存儲(chǔ)

16、引擎，兩種存儲(chǔ)雙活實(shí)現(xiàn)方式的區(qū)別和優(yōu)劣勢(shì)是？2）在存儲(chǔ)引擎本身支持雙活的情況下，使用類似VPLEX的網(wǎng)關(guān)型存儲(chǔ)雙活的必要性和方案價(jià)值是什么？劉文 CMBC 系統(tǒng)工程師：基于存儲(chǔ)網(wǎng)關(guān)：可以接入異構(gòu)存儲(chǔ)品牌，網(wǎng)關(guān)可以復(fù)用，對(duì)外統(tǒng)一訪問，工作量集中在存儲(chǔ)底層，對(duì)于上層的改造小。缺點(diǎn)是增加了網(wǎng)關(guān)層，也就增加了底層鏈路節(jié)點(diǎn)和復(fù)雜性?；诖鎯?chǔ)引擎：由存儲(chǔ)本身集成雙活特性，兼容性好，運(yùn)維難度小。缺點(diǎn)是不能統(tǒng)一納管異構(gòu)存儲(chǔ)，對(duì)外形成統(tǒng)一訪問入口。yfwang 戴爾科技集團(tuán) 顧問工程師：網(wǎng)關(guān)型：優(yōu)勢(shì)：可以支持異構(gòu)平臺(tái)；可以聚合容量；可實(shí)現(xiàn)多點(diǎn)多活；提供單獨(dú)的計(jì)算資源劣勢(shì)：需要增加硬件；管理復(fù)雜度存儲(chǔ)型：優(yōu)勢(shì)：實(shí)

17、施、管理、維護(hù)更加簡(jiǎn)單；消除虛擬層對(duì)性能的影響；實(shí)施更加簡(jiǎn)單；劣勢(shì)：一般不支持異構(gòu)；一般只支持兩點(diǎn)雙活；需要同品牌同型號(hào)VPLEX 作為網(wǎng)關(guān)型雙活方案，其價(jià)值在于可以搭建一個(gè)存儲(chǔ)無關(guān)的雙活平臺(tái)，這個(gè)平臺(tái)可以給用戶帶來的好處主要有：1、 增加用戶在存儲(chǔ)選型上的靈活性；2、 平臺(tái)搭好以后，只要有雙活需求的存儲(chǔ)，直接掛載到 vplex 的環(huán)境中即可實(shí)現(xiàn)，簡(jiǎn)單簡(jiǎn)便；3、 Vplex 下面的存儲(chǔ)的維護(hù)、升級(jí)、更新?lián)Q代甚至意外宕機(jī)都不會(huì)影響主機(jī)的正常工作，可以大大提升業(yè)務(wù)連續(xù)性。8、能否詳細(xì)介紹下Vplex存儲(chǔ)雙活方案的技術(shù)特點(diǎn)？包括存儲(chǔ)層組網(wǎng)、分布式一致性緩存、分布式緩存模式、讀I/O加速能力等特點(diǎn)？g

18、uwenkuan 某股份制銀行存儲(chǔ)架構(gòu)師：EMC Vplex 存儲(chǔ)雙活方案是基于 Vplex 網(wǎng)關(guān)產(chǎn)品實(shí)現(xiàn)，能夠?qū)?EMC 和其他廠商存儲(chǔ)異構(gòu)整合，虛擬化為統(tǒng)一的存儲(chǔ)資源池，實(shí)現(xiàn)異構(gòu)存儲(chǔ)雙活。Vplex 雙活方案有 Vplex Metro 和 Vplex Geo 兩種方案，方案由兩個(gè)站點(diǎn)的兩套 Vplex 集群系統(tǒng)組成，每個(gè)站點(diǎn)的 Vplex 集群都有自己專屬的本地存儲(chǔ)陣列，通過創(chuàng)建分布式鏡像卷為跨集群的鏡像卷，提供 Vplex Access Anywhere 功能，兩個(gè)站點(diǎn)的 Vplex 集群各有一個(gè)卷，兩個(gè)卷的 ID 一樣。存儲(chǔ)層組網(wǎng)：主機(jī)與 Vplex 集群間訪問、 Vplex 集群與后

19、端存儲(chǔ)數(shù)據(jù)傳輸、 Vplex 集群間通信網(wǎng)絡(luò)全部隔離，為保證最高級(jí)別的高可用性，每個(gè) Vplex Director 前端 I/O 模塊和一對(duì) SAN 光纖交換機(jī)之間必須保證 2 個(gè)以上的物理連接，每個(gè)主機(jī)和每個(gè) Vplex 引擎的 A Director 和 B Director 都需要保持一個(gè)以上的路徑連接，因此主機(jī)和一個(gè) Vplex 引擎間具有 8 條邏輯路徑。對(duì)于每個(gè)站點(diǎn) 2 個(gè)、 4 個(gè)引擎的 Vplex 集群來說，主機(jī)連接需要覆蓋所有引擎；后端存儲(chǔ)陣列通過 SAN 交換機(jī)或者直接連接 Vplex 引擎的后端 IO 模塊，不需要配置到其他 Vplex 集群的跨站點(diǎn)連接路徑；根據(jù)需要選用

20、Witness 作仲裁， Witness 需部署于兩個(gè) Vplex 集群不同的故障域中 ( 第三方站點(diǎn) ) 。分布式一致性緩存技術(shù)：EMC Vplex 是一個(gè)集群系統(tǒng)，提供分布式緩存一致性保證，能夠?qū)蓚€(gè)或多個(gè) Vplex 的緩存進(jìn)行統(tǒng)一管理，從而使主機(jī)訪問到一個(gè)整體的緩存系統(tǒng)。當(dāng)主機(jī)向 Vplex 的一個(gè)緩存區(qū)域?qū)?I/O 時(shí)， Vplex 緩存將鎖定這個(gè)緩存區(qū)域，同一時(shí)刻其他主機(jī)是無法向這個(gè)緩存區(qū)域?qū)懭?I/O 的。但是，當(dāng)主機(jī)讀取 I/O 時(shí)， Vplex 緩存允許多個(gè)主機(jī)訪問一個(gè)緩存區(qū)域，尤其是主機(jī)訪問其他 Vplex 集群中其他 Vplex 節(jié)點(diǎn)所管理的數(shù)據(jù)時(shí)，統(tǒng)一緩存管理會(huì)將這個(gè)

21、I/O 的具體緩存位置告知主機(jī)，主機(jī)直接跨 Vplex 集群訪問。分布式一致性緩存技術(shù)在實(shí)現(xiàn)上面，并沒有強(qiáng)求所有的 Cache 都保持統(tǒng)一，而是基于卷緩存目錄的形式來跟蹤細(xì)小的內(nèi)存塊，并通過鎖的粒度來保證數(shù)據(jù)一致性。每個(gè)引擎的 cache 分為本地 Cache(Cache Local) 和全局 Cache(Cache Global) ，每引擎的本地 Cache 只有 26GB ，其余為全局 Cache分布式緩存模式：Vplex Local 和 Vplex Metro 采用了寫直通緩存模式，當(dāng) Vplex 集群的虛擬卷接收到了主機(jī)的寫請(qǐng)求時(shí)，寫 I/O 直接透寫到該卷映射的后端存儲(chǔ) LUN （

22、Vplex Metro 包含兩套后端存儲(chǔ) LUN ）中，后端陣列確認(rèn)寫 I/O 完成后， Vplex 將返回確認(rèn)信號(hào)至主機(jī)，完成本次寫 I/O 周期。寫直通緩存模式需要等待后端存儲(chǔ)陣列落盤完成，對(duì)寫 I/O 時(shí)延要求較高。這種寫直通緩存模式并適合 Vplex Geo 方案，該方案最大支持 50ms 的跨站點(diǎn)往返延遲，采用該緩存模式將對(duì)主機(jī)產(chǎn)生非常大的性能影響，對(duì)于大多數(shù)應(yīng)用而言顯然是無法接受的。因此， Vplex Geo 采用了回寫緩存模式，在該模式下， Vplex 收到了主機(jī)的寫請(qǐng)求后，直接寫入引擎控制器的緩存，并將寫 I/O 鏡像至引擎另一個(gè)控制器和另一套 Vplex 集群的引擎控制器的內(nèi)

23、存中，然后向主機(jī)確認(rèn)本次寫 I/O 周期。最后再將數(shù)據(jù)異步轉(zhuǎn)儲(chǔ)到引擎后端的存儲(chǔ)陣列中。當(dāng)出現(xiàn)電源故障時(shí)， Vplex 引擎自帶的備用電源能夠保證緩存中的所有未持久化的數(shù)據(jù)暫存到本地 SSD 存儲(chǔ)上?；貙懢彺婺Ｊ綗o需等待后端存儲(chǔ)陣列落盤，即可回響應(yīng)主機(jī)，大幅提升了 Vplex 雙活方案的距離和時(shí)延要求。讀 I/O 加速能力：具有讀 Cache ，寫 I/O 的機(jī)制能對(duì)讀 I/O 實(shí)現(xiàn)加速。為了提升讀 I/O 性能，寫 I/O 的時(shí)候先判斷是否在 Local 、 Global Cache 中有對(duì)應(yīng)的舊數(shù)據(jù)，如沒有直接寫入本地 Local Cache ；如有舊數(shù)據(jù)，先廢除舊數(shù)據(jù)再寫入 Local ；

24、再通過寫直通緩存模式將寫 I/O 刷入兩套后端存儲(chǔ)陣列；最后反饋主機(jī)寫 I/O 周期完成，同時(shí) Global Cache 中的索引做相應(yīng)修改，并在所有引擎上共享該信息，實(shí)現(xiàn)分布式緩存一致性。yfwang 戴爾科技集團(tuán) 顧問工程師：簡(jiǎn)單概括幾點(diǎn)VPLEX方案的特點(diǎn)：1、 存儲(chǔ)復(fù)制網(wǎng)絡(luò)支持 FC 和萬兆以太網(wǎng)連接，只要延時(shí)小于 5ms 就可以，復(fù)制鏈路對(duì)距離沒有特別限制2、 分布式緩存一致性是 vplex 的核心技術(shù)，在 vplex 出來之前，其他的網(wǎng)關(guān)都不具有這個(gè)技術(shù)，緩存一致性的核心是將所有控制器的緩存全局化，任何一個(gè)控制器進(jìn)來的 I/O 可以訪問到任何一個(gè)控制器管理的后端存儲(chǔ)上的數(shù)據(jù)，而且可

25、以跨集群擴(kuò)展，所以不論主機(jī)從哪個(gè) vplex 集群接入，訪問到的數(shù)據(jù)是一致的，關(guān)于緩存一致性的內(nèi)容，樓上解釋的很詳細(xì)，贊。3、 Vplex 的可用性標(biāo)準(zhǔn)和 VMAX 一樣，以高端存儲(chǔ)的性能和可靠性標(biāo)準(zhǔn)設(shè)計(jì)，可以勝任企業(yè)核心業(yè)務(wù)的要求。4、 VPLEX 支持大容量的讀緩存，讀 I/O 如果在 vplex 緩存里命中，直接返回主機(jī)確認(rèn)，如果 vplex 緩存沒有命中，則去后端存儲(chǔ)緩存去查找，如果命中返回，如果沒命中才去后端磁盤讀取數(shù)據(jù)，所以加了 vplex 相當(dāng)于多了一級(jí)讀緩存，讀的性能一般會(huì)有所提升。5、 Vplex 的寫操作采用透寫的模式，即寫 I/O 直接穿過 vplex 寫到后端存儲(chǔ)才確認(rèn)

26、，這樣做的好處是 vplex cache 里沒有臟數(shù)據(jù)，可以時(shí)刻保證后端存儲(chǔ)數(shù)據(jù)的一致性，從而不影響后端存儲(chǔ)的所有數(shù)據(jù)服務(wù)功能。6、 Vplex 的仲裁采用監(jiān)控程序的方式，部署簡(jiǎn)單，成本低，可用性高。9、VPLEX Metro同城存儲(chǔ)雙活方案下的異地?cái)U(kuò)展方案有哪些實(shí)現(xiàn)方式?鄧毓江西農(nóng)信系統(tǒng)工程師：Vplex 的兩地三中心擴(kuò)展方案有兩種實(shí)現(xiàn)方式，第一種是借助 EMC RecoverPoint 設(shè)備實(shí)現(xiàn)。在 Vplex Metro 雙活 +CDP 方案中， Vplex 接受到主機(jī)寫 I/O 之后，同時(shí)寫入兩個(gè)數(shù)據(jù)中心的存儲(chǔ)。此外 Vplex 內(nèi)部集成 I/O 分流軟件， Vplex 將每個(gè)主機(jī)寫 I/O 同步復(fù)制到 RecoverPoint 。RecoverPoint 將每個(gè) I/O 記錄下來，采用 CDP 實(shí)現(xiàn)任意時(shí)間點(diǎn)恢復(fù)，如下圖 1 所示。在該方案之上還可進(jìn)階實(shí)現(xiàn) 3DC 方案：站點(diǎn) 2 的 RecoverPoint 通過異步復(fù)制將 I/O 復(fù)制到站點(diǎn) 3 部署的 RecoverPoint 設(shè)備，站點(diǎn) 2 的 RecoverPoint 都將每個(gè) IO 記錄下來，實(shí)現(xiàn)任意時(shí)間點(diǎn)恢復(fù)，站點(diǎn) 3 的 RecoverPoint 設(shè)備異步記錄從站點(diǎn) 2 Recover