分布式存儲(chǔ)數(shù)據(jù)一致性技術(shù)架構(gòu)

1、 分布式存儲(chǔ)數(shù)據(jù)一致性技術(shù)架構(gòu)分布式存儲(chǔ)如何保證數(shù)據(jù)一致性？作為一個(gè)面向大規(guī)模的分布式存儲(chǔ)系統(tǒng)，故障處理是作為一個(gè)常態(tài)異常處理，在多副本機(jī)制下，數(shù)據(jù)的一致性是如何保證的，中間應(yīng)用了什么機(jī)制？這里以solidfire和fusionstorage block 作為典型的分布式塊存儲(chǔ)，2種在架構(gòu)區(qū)別較大的存儲(chǔ)來講講在2種主流協(xié)議架構(gòu)下數(shù)據(jù)一致性的保障問題。一、 solidfiire分布式塊存儲(chǔ)寫入數(shù)據(jù)數(shù)據(jù)一致性保障:solidfire 是全閃存架構(gòu)雙副本保護(hù)機(jī)制，主機(jī)端的寫操作會(huì)被分片成多個(gè)4K的block 下發(fā)到存儲(chǔ)集群，數(shù)據(jù)首先寫到存儲(chǔ)集群中該卷（類似傳統(tǒng)存儲(chǔ)分給主機(jī)的LUN）對(duì)應(yīng)primary

2、存儲(chǔ)節(jié)點(diǎn)的NVRAM，之后再被復(fù)制到集群中該卷對(duì)應(yīng)的secondary 存儲(chǔ)節(jié)點(diǎn)NVRAM完成第二份副本復(fù)制，復(fù)制完成secondary 副本之后，集群直接acknowledge write to host 返回主機(jī)寫入完成。注意這里還沒有完返回主機(jī)寫入完成后，集群中存儲(chǔ)節(jié)點(diǎn)還有做將NVRAM中數(shù)據(jù)刷入后端SSD硬盤的數(shù)據(jù)落盤操作，最終完成數(shù)據(jù)存儲(chǔ)過程。二、 fusionstorage block分布式塊存儲(chǔ)數(shù)據(jù)一致性保障:數(shù)據(jù)一致性意味著當(dāng)應(yīng)用成功寫入一份數(shù)據(jù)到存儲(chǔ)系統(tǒng)時(shí)， 存儲(chǔ)系統(tǒng)的幾個(gè)數(shù)據(jù)副本必然是一致的，當(dāng)應(yīng)用再次讀時(shí)，無論在哪個(gè)副本上讀取，都是之前寫入的數(shù)據(jù)。FusionStorag

3、e Block 采取多種方式來保證系統(tǒng)中數(shù)據(jù)的一致性：1、 副本同步寫當(dāng) VBS 模塊將寫操作發(fā)送給指定主 OSD 時(shí)， 該 OSD 在寫入本節(jié)點(diǎn)硬盤時(shí)，同時(shí)將寫操作同步到備 OSD， 同步過程中嚴(yán)格按照 IO 編號(hào)進(jìn)行，保證了主 OSD 接收到的 IO 順序和同步到備 OSD 的 IO 順序一致。 當(dāng)主備 OSD 同時(shí)完成寫操作時(shí)，才向應(yīng)用返回操作成功。具體流程如下圖所示：2、 讀修復(fù)（Read Repair）Read Repair 機(jī)制是指在讀數(shù)據(jù)失敗時(shí)，系統(tǒng)會(huì)判斷錯(cuò)誤類型，如果是磁盤扇區(qū)讀取錯(cuò)誤，系統(tǒng)會(huì)自動(dòng)從其他節(jié)點(diǎn)保存的副本讀取數(shù)據(jù)，然后重新寫入該副本數(shù)據(jù)到硬盤扇區(qū)錯(cuò)誤的節(jié)點(diǎn)， 從而保證數(shù)據(jù)副本總數(shù)不減少和副本間的數(shù)據(jù)一致性從服務(wù)端角度，如何盡快將更新后的數(shù)據(jù)分布到整個(gè)系統(tǒng)，降低達(dá)到最終一致性的時(shí)間窗口，是提高系統(tǒng)的可用度和用戶體驗(yàn)非常重要的方面。對(duì)于分布式存儲(chǔ)系統(tǒng)：N 數(shù)據(jù)復(fù)制的份數(shù)W 更新數(shù)據(jù)是需要保證寫完成的節(jié)點(diǎn)數(shù)R 讀取數(shù)據(jù)的時(shí)候需要讀取的節(jié)點(diǎn)數(shù)如果W+RN，寫的節(jié)點(diǎn)和讀的節(jié)點(diǎn)重疊，則是強(qiáng)一致性。例如對(duì)于典型的一主一備同步復(fù)制的分布式存儲(chǔ)系統(tǒng)，N=2,W=2,R=1，則不管讀的是