王東臨論分布式存儲及系統(tǒng)指標

1、王東臨論分布式存儲及系統(tǒng)指標存儲是IT核心技術眾所周知，美國是IT技術執(zhí)牛耳者，幾乎壟斷了 IT業(yè)。近些年，中國在IT 應用技術逐漸趕超美國，甚至在移動支付等個別領域已經(jīng)反超美國。但是 IT核 心技術仍然被國際巨頭把持，其中IT基礎架構技術是最重要的IT核心技術。IT基礎架構技術為應用層提供存儲能力和計算能力，包括存儲、計算、網(wǎng)絡 三大件。存儲技術是其中重要組成部分，甚至很多存儲從業(yè)人士認為，存儲比計 算和網(wǎng)絡更為重要。不管這個觀點是否得到認同，存儲是 IT核心技術的重要組 成部分，這一點是無可置疑的。存儲產(chǎn)業(yè)長期被國際巨頭所把持在桌面級存儲時代，中國是全軍覆沒。當年興起的眾多硬盤廠家，全部倒

2、閉。 FAT等流行的桌面文件系統(tǒng)，也全都是美國廠商的。在企業(yè)級存儲時代，Dell/EMC、NetApp、舊M、HPE HD野美日巨頭處于一 流水平，把持著產(chǎn)業(yè)，中國的華為存儲幾千人的團隊奮斗十幾年，已經(jīng)達到世界二流水平，而且處于二流水平的前列，正在向世界一流水平發(fā)起沖擊， 但尚有一 定距離。即使在中國市場，也是到了最近兩年才有一些小銀行開始嘗試使用華為 存儲，其它銀行的核心存儲是寧愿用日本的 HDS&不用華為的。在云存儲時代，AWS Azure和Google位于世界一流，阿里云在馬云的強力 推動下成功位居世界二流水平，但阿里云雖然借助各種因素成為中國市場的霸主， 在全球市場依然難以突破

3、。最近，阿里云美國市場也不得不做出調(diào)整， 從面向美 國主流市場調(diào)整為面向做中國生意的美國企業(yè)。區(qū)塊鏈存儲時代雖然還在孕育中，但給中國人帶來了新的機會。抓住一個產(chǎn) 業(yè)新機會，躍居世界一流水平，成為所有中國存儲人的期盼。分布式存儲分布式存儲是一個有歧義的名詞，在不同的行業(yè)有不同的含義。在存儲行業(yè)，分布式存儲是中心化存儲的一種類型，指同一個機房內(nèi)多個存儲服務器組成存儲 系統(tǒng)，而在區(qū)塊鏈行業(yè)，分布式存儲是跨地域的存儲節(jié)點組成的存儲系統(tǒng)，等同于去中心化存儲。也有人說，分布式存儲包含中心化的分布式存儲和去中心化的 分布式存儲，二者都可以叫分布式存儲。由于分布式存儲的概念在這兩個行業(yè)都已經(jīng)約定俗成了，要任何

4、一方改變都很難，所以較好的方式是對跨地域的存儲系統(tǒng)稱為去中心化存儲，或者叫WAN儲（即廣域網(wǎng)存儲），對應本地存儲網(wǎng)絡的SAN#儲，而作為中心化存儲一種類 型的分布式存儲則稱為傳統(tǒng)分布式存儲，這樣可以最大程度避免歧義。存儲的職業(yè)道德傳說中很多武林宗師在收徒之前會要求弟子要學武藝就要先學武德。任何行業(yè)都有自己的職業(yè)道德，一個合格的前輩在帶弟子學生時一定要先闡述這個行業(yè) 的價值觀和職業(yè)道德。那存儲行業(yè)的職業(yè)道德是什么呢？在存儲行業(yè)的從業(yè)人士看來，數(shù)據(jù)是有生命的，用戶將數(shù)據(jù)托付給我們，我 們就要對用戶數(shù)據(jù)的生命負責。存儲業(yè)務不賺錢可以不做，但只要做存儲就要對 數(shù)據(jù)持久性負責。這就像航空公司必須將飛行安

5、全置于最高優(yōu)先級一樣。 哪怕是飛機晚點、空 姐服務不好，也千萬不能飛機掉下來。航空公司哪怕已經(jīng)嚴重虧損，只要航班還 在飛，該做的飛機養(yǎng)護就必須做，該配兩個機長就一個都不能少，發(fā)現(xiàn)任何影響 飛行安全的故障寧愿賠款也不能飛。總之，飛行安全是最高優(yōu)先級。同樣，存儲產(chǎn)品、技術、服務的最高優(yōu)先級就是數(shù)據(jù)持久性，要對用戶數(shù)據(jù) 的生命負責。存儲系統(tǒng)指標怎樣衡量一個存儲系統(tǒng)的好壞呢？以下指標是專業(yè)人員常用的指標。持久性(Durability)“對用戶數(shù)據(jù)的生命負責”這句話不能只停留在口頭上，要落實在行動上。 一個存儲系統(tǒng)，第一重要的就是要設計一套數(shù)據(jù)持久性保障性機制，使得存儲用戶的數(shù)據(jù)隨時處于可靠的保障之中，

6、這樣才能保證數(shù)據(jù)不丟，而不是聽天由命。 換句話說，凡是沒有設計數(shù)據(jù)持久性保障機制的存儲系統(tǒng)，都是還沒入門的非專業(yè)系統(tǒng)。數(shù)據(jù)持久性一般用達到多少個9表示，用如下公式計算：Durability=1-AFR其中AFR(Annual Failure Rates)是年故障率，AFR=1附，數(shù)據(jù)持久性為99% 也就是2個9; AFR=0.1°M,數(shù)據(jù)才!久性為99.9%,也就是3個9。每多1個9, 持久性增加10倍。一般桌面級存儲系統(tǒng)可以達到 2個9的持久性，企業(yè)級存儲可以達到4到7 個9的持久性，云存儲可以達到11個9的持久性，YTFS可以達到15個9以上 的數(shù)據(jù)持久性。IPFS由于缺乏數(shù)據(jù)持

7、久性保障機制，數(shù)據(jù)持久性還停留在聽天 由命的階段，熱數(shù)據(jù)持久性很高，冷數(shù)據(jù)持久性等同于桌面級存儲，總體大約在 2到3個9的樣子。安全性(Security )數(shù)據(jù)安全性的意思是數(shù)據(jù)不被人偷，即未經(jīng)授權的人員拿不到數(shù)據(jù)，或者即 使拿到也只能得到數(shù)據(jù)密文，無法破譯出數(shù)據(jù)明文。對中心化存儲系統(tǒng)來說，安全性并不是必備特性，因為存儲系統(tǒng)完全處于其 所有者的管控之中，并且可以通過網(wǎng)絡安全措施(如防火墻)和系統(tǒng)安全措施(如 OS安全)來防止被外人偷。盡管網(wǎng)絡安全措施和系統(tǒng)安全措施不如數(shù)據(jù)安全措 施可靠，但也能滿足大多數(shù)應用場景的需求， 所以存儲系統(tǒng)一般不考慮數(shù)據(jù)安全 機制的設計，最多增加一個數(shù)據(jù)加密接口。對于

8、去中心化存儲系統(tǒng)來說，情況就完全不一樣了。不僅數(shù)據(jù)在公網(wǎng)上傳輸 隨時可能會被截獲，而且存儲節(jié)點極為分散，很多都是非常輕量級的邊緣節(jié)點， 不可能對每個存儲節(jié)點采取高強度的網(wǎng)絡安全和系統(tǒng)安全措施。這時最好的方法 就是像BTC一樣干脆放棄網(wǎng)絡安全和系統(tǒng)安全措施，完全依靠基于密碼學的數(shù)據(jù) 安全措施。存儲系統(tǒng)如果沒有內(nèi)生的安全性保障機制， 依靠外在的安全產(chǎn)品，是很難做 好安全性的。最好是在系統(tǒng)原生就設計了完備的數(shù)據(jù)安全體系，可以實現(xiàn)全程加 密、無縫加密、零知識加密，并自帶完備的密鑰管理系統(tǒng)，可以全程管控所存儲 數(shù)據(jù)的全生命周期。包括傳統(tǒng)分布式存儲在內(nèi)的中心化存儲大都沒有任何數(shù)據(jù)安全機制， 少數(shù)系 統(tǒng)有非

9、常不完備的數(shù)據(jù)安全機制，例如只有簡單的加密，沒有密鑰管理系統(tǒng)。在 去中心化存儲系統(tǒng)中，YTFSW內(nèi)生的、完備的數(shù)據(jù)安全體系，但IPFS也沒有數(shù) 據(jù)安全體系?？捎眯?Availability )服務可用性是一個專業(yè)術語，學術上的定義是“在指定時間內(nèi)返回操作結果”， 通俗地說就是不宕機。服務可用性和數(shù)據(jù)持久性是不同的指標。打個比方來說，你去 ATM機取錢， 結果說銀行電腦故障，今天不能取錢，這就是服務可用性出現(xiàn)問題了。但如果在 這次故障之后，你在銀行賬上的錢都沒了，原本你有 10萬元，但變成零了，那 就是數(shù)據(jù)持久性出現(xiàn)問題了。服務可用性一般也是用多少個 9來衡量。例如，4個9 (99.99%)就是

10、每年 宕機不超過1小時。大型云服務公司的可用性一般是按照 4個9設計但是承諾3個9的SLA (Service Level Agreement,服務等級協(xié)議)。去中心化存儲系統(tǒng)在可用性方面 有天生的優(yōu)勢，雖然沒有嚴格的測試數(shù)據(jù)，但理論上來說至少可以提高幾個數(shù)量 級。一致性(Consistency)為了保證數(shù)據(jù)持久性，數(shù)據(jù)都要做冗余存儲。數(shù)據(jù)一致性就是冗余的數(shù)據(jù)之 問是一致的還是互相沖突的。典型場景就是在多副本冗余方案中，一個文件的多個副本是相同的還是不同的一致性對數(shù)據(jù)持久性是很重要的。如果不能保證數(shù)據(jù)一致性，當不同副本的 數(shù)據(jù)沖突的時候，雖然其中有一個副本的數(shù)據(jù)是正確的， 但因為不知道哪個是正

11、確的，存在正確數(shù)據(jù)被淘汰、錯誤數(shù)據(jù)被保留的風險，數(shù)據(jù)持久性受到威脅；如 果不淘汰不一致數(shù)據(jù)，那在讀取的時候就可能讀到錯誤的數(shù)據(jù)， 而且當存放正確 數(shù)據(jù)的介質(zhì)出現(xiàn)故障的時候，也無法從其它副本恢復數(shù)據(jù)（因為其它副本保存的 是錯誤的數(shù)據(jù)）。數(shù)據(jù)一致性又可以進一步細分為強一致性、 順序一致性、弱一致性、最終一 致性、會話一致性、單調(diào)讀一致性、單調(diào)寫一致性等：強一致性也稱為原子一致性、線性一致性。強一致性可以理解為在任意時刻，所有節(jié)點中的文件是相同的，任何一次讀都能讀到該文件的最近一次寫的數(shù)據(jù)。順序一致性任何一次讀都能讀到所讀文件最近一次寫的數(shù)據(jù)，系統(tǒng)的所有進程的順序一 致，而且是合理的。即不需要和全局

12、時鐘下的順序一致，錯的話一起錯，對 的話一起對。弱一致性未能達到強一致性的要求，但在一個較低要求下也能實現(xiàn)一定程度的一致性， 稱為弱一致性。最終一致性最終一致性是弱一致性的一種常見實現(xiàn)方式。最終一致性不保證每次寫數(shù)據(jù) 都能馬上更新所有副本，但保證在一個特定的時間后用戶最終能夠讀取到最 新的數(shù)據(jù)。如果該文件之后不再寫入新數(shù)據(jù)，在一段時間后，各節(jié)點（或各 副本）問的數(shù)據(jù)會最終達到一致狀態(tài)。但是如果該文件不斷地寫入新數(shù)據(jù)， 則不同節(jié)點（副本）的數(shù)據(jù)總是在向趨同的方向變化，卻可能一直都不能達 到完全相同。會話一致性這個概念需要IT工程師才好理解。在一個存儲應用訪問存儲系統(tǒng)的一個會話（session ,

13、可以視為兩個系統(tǒng)之間交互的一個通道）中，可以保證讀己之 所寫” 一致性，即一個進程寫一個文件后，它再讀該文件時總是能讀到最新 的數(shù)據(jù)，絕不會看到舊數(shù)據(jù)。但是當該會話終止（視為該交互通道關閉）后, 再讀該文件就需要建立新的會話，不能保證一定會讀到最新數(shù)據(jù)了。單調(diào)讀一致性如果一個存儲應用已經(jīng)讀到一個文件的新數(shù)據(jù)，那么同一應用后續(xù)再讀都不會再讀到舊數(shù)據(jù)。單調(diào)寫一致性存儲系統(tǒng)保證來自同一個存儲應用的寫操作在任何節(jié)點（或副本）都是嚴格 按照順序執(zhí)行的。一般說來，單調(diào)寫一致性總是要保證的，否則存儲應用就 非常難以使用了對象一致性這是YTFS提出的一種適用于對象存儲的一致性方案。在該方案中，不保證 一個對象

14、存儲過程中的一致性，但是可以保證一個對象存儲完成后的一致性。 換句話說，在寫一個文件的過程中不保證一致性，但是寫完文件關閉后，能 夠保證一致性。協(xié)同一致性存儲應用與存儲系統(tǒng)協(xié)同，以取得一致性。其它的數(shù)據(jù)一致性方案對存儲應 用來說都是一個黑洞，存儲應用只能去了解存儲系統(tǒng)的數(shù)據(jù)一致性方案，然 后去猜測在什么情況下可以實現(xiàn)數(shù)據(jù)一致性。YTFS提出一種協(xié)同一致性方案，讓存儲應用可以感知底層的數(shù)據(jù)一致性狀態(tài)，例如什么時候完成寫確認, 什么時候完成讀一致性，這些狀態(tài)都可以被存儲應用感知到，從而無需猜測 就能明確地知道是否可以獲得一致性結果，在此之前讀出的數(shù)據(jù)是不確定 的，?？吹竭@里，很多人可能會問：難道往

15、一個文件寫了數(shù)據(jù)后，馬上再讀能讀到 新數(shù)據(jù)不是理所當然的嗎？這個要求確實很合理， 但存儲系統(tǒng)尤其是分布式存儲 是非常復雜的，做到這一點其實很不容易，或者說代價很高（很高成本或者性能 很低）。因此在很多應用場景下，都盡量將一致性的要求降低到能夠滿足該應用 需求的最低程度，從而可以用更低的成本或更高的性能來完成存儲操作。一個典型的例子是修改微信好友的備注時，有時會發(fā)現(xiàn)操作完成后該微信好友的備注并 沒有修改，這就是因為修改操作發(fā)給了一個節(jié)點， 但操作完成后再讀該好友信息 時是從另一個節(jié)點讀的，這兩個節(jié)點的數(shù)據(jù)在新數(shù)據(jù)剛更新的一瞬間是不一致的。 這就能看出來微信對修改好友備注操作沒有采取強一致性的方案

16、，而是采取了最終一致性的方案。也就是說，微信認為最終一致性對這個場景是可以滿足要求的， 偶爾出現(xiàn)點更新滯后是可以被用戶所忍受的。不需要為之付出強一致性的代價。延時(Latency)延時又稱時延、延遲，是指一次讀寫花費的時間，是一個重要的存儲性能指 標。如果將讀寫操作的性能比作北京到天津的運輸性能， 那延時就相當于從北京 到天津運輸所需要花費的時間，如果是高鐵需要大約半小時，如果是高速公路大 約是2小時。一般硬盤操作的延時是毫秒級別的，SS皿讀操作幾十微秒、寫操作幾十到 幾百微秒。分布式存儲由于有網(wǎng)絡延時，延時指標一般會差一些，在毫秒左右， 但SurFS由于采用了分布式共享架構，可以達到幾十微秒

17、量級。去中心化存儲由 于網(wǎng)絡延時更高，所以延時指標會更差，大約在幾百毫秒量級，這也是中心化存 儲系統(tǒng)唯一能確保勝過YTFS去中心化存儲系統(tǒng)的技術指標。吞吐量(Bandwidth)吞吐量又稱帶寬，是指平均每秒讀寫的數(shù)據(jù)量。在同樣的延時指標下，增加 并發(fā)可以提高吞吐量。在如上的比方中，吞吐量就是每小時能從北京運送多少人 到天津去，在同樣的車速下，增加更多的車道可以運送更多的人。去中心化存儲系統(tǒng)雖然延時指標較差， 但由于可以增加更多的并發(fā)，因此吞 吐量可以做到與中心化存儲系統(tǒng)相當?shù)某潭取OPSIOPS是IO Per Second的縮寫，即每秒執(zhí)行讀寫操作的數(shù)量，又可以進一 步細分為順序讀IOPS,

18、順序?qū)慖OPS,隨機讀IOPS,隨機寫IOPS等指標，常見 的有4K隨機讀IOPS 4K隨機寫IOPS 64K順序讀IOPS 64K順序?qū)慖OPS指標。4K隨機讀是一次讀寫4K字節(jié)，讀地址是隨機的。對硬盤來說，一個盤片是 按磁道讀寫的，讀寫速度與硬盤轉(zhuǎn)速有關，但尋道（即磁頭更換磁道）速度就會 慢很多，隨機讀寫會導致隨機尋址，讀寫性能會大幅度下降。順序讀寫就基本上 不存在這個問題，所以二者分別反映了不同場景下的性能。對于SS冰說，雖然閃存顆粒本身就是隨機尋址的，但緩存是順序讀寫友好 的，而且顆粒的擦除也是順序的（連續(xù)多個Page一起擦除），所以也是順序讀寫 性能更好些。專業(yè)測試還會測試讀寫混合（

19、例如 50%1 50%、70%1 30%）以及其它更 多的細分指標。IOPS和吞吐量是有直接關系的。IOPS乘以每次讀寫的數(shù)據(jù)塊大小就等于吞 吐量。增加IOPS最簡單有效的方法也是增加并發(fā)。 例如SSD勺IOPS可以比硬盤 高幾千倍，但SSD的延時可能只提高了幾十倍，但因為SSDT以多個顆粒同時并 發(fā)讀寫，所以IOPS就可以很高。去重（Deduplication ）簡稱Dedup,又稱重刪（“重復數(shù)據(jù)刪除”的簡稱），指重復數(shù)據(jù)占用相同存 儲空間，從而可以大大節(jié)約數(shù)據(jù)存儲所需的物理空間。去重率是去重前的數(shù)據(jù)總量除以去重后的數(shù)據(jù)總量的比率，與用戶數(shù)有直接的關系。單用戶的重復率是不高的，用戶數(shù)越多，

20、重復文件就會越多，去重率就 會越高。去重率與應用場景也有較大關系，例如災備系統(tǒng)的去重率就會很高。一個中型的云盤系統(tǒng)的去重率大約在 3倍左右，一個大型的云盤系統(tǒng)的去重 率大約在5倍左右，一個典型的企業(yè)備份軟件的去重率大約在 4倍左右。去重需要消耗一定的性能，但是當遇到重復文件時可以不用再存儲， 只需要 修改相關元數(shù)據(jù)即可，因此在正常去重率下反而應該提高存儲性能。明文去重是很多高端存儲都有的常規(guī)功能，但密文去重是只有YTFS才有的專利技術。并發(fā)能力（Concurrency ）并發(fā)能力指可以同時響應多少個訪問請求的能力對桌面級存儲來說，對并發(fā)要求不高，一般也就是同一個操作系統(tǒng)下多個進 程可能會同時讀

21、寫硬盤，但由于一個用戶同時使用的應用極為有限， 除非遇到磁 盤碎片整理這樣的持續(xù)大量占用硬盤 I/O操作的應用會讓其它應用的I/O變得 非常慢，一般情況下這樣的并發(fā)對用戶是沒有感知的，也比較好處理。但對服務器來說，由于要同時服務于多個客戶端，并發(fā)就成為一個基本的要 求，高并發(fā)也成為每一個架構師的追求。 無論是企業(yè)級存儲還是云存儲，高并發(fā) 都是必不可少的。對去中心化存儲來說，由于數(shù)據(jù)節(jié)點眾多，高并發(fā)相對來說更 容易實現(xiàn)。設計和工程實現(xiàn)上的缺陷在并發(fā)負載上來后很容易暴露出來，一秒鐘幾個 I/O請求，與一秒鐘百萬個I/O請求對存儲系統(tǒng)的負載能力要求是天壤之別的， 并發(fā)能力成為衡量架構師能力的重要尺子

22、。例如同樣是去中心化存儲，IPFS的單節(jié)點并發(fā)大約在2個左右，YTFS則是100左右，有了非常明顯的提升。為了防止并發(fā)訪問同時寫同一個數(shù)據(jù)產(chǎn)生混亂， 需要有并發(fā)鎖機制，一個人 寫的時候不能另外的人同時寫。鎖機制屬于非常復雜、專業(yè)的純技術領域，超出 本文的范疇了。分區(qū)可容忍性(Partition Tolerance )分區(qū)可容忍性就是存儲系統(tǒng)因故障分成多個區(qū)后整個系統(tǒng)依然可用。分布式存儲是由多個存儲節(jié)點組成的，這些節(jié)點之間一旦網(wǎng)絡連接斷掉了，對系統(tǒng)可用性就會構成嚴重的威脅，因為此時節(jié)點之間就無法進行數(shù)據(jù)同步了，如果繼續(xù)提供存儲服務的話數(shù)據(jù)一致性就無法保障了。所以，分布式存儲存在一個經(jīng)典的 CAP

23、S論,即數(shù)據(jù)一致性(Consistency )、服務可用性(Availability )和分區(qū) 可容忍性(Partition tolerance )不可能同時滿足。CAP三者如何選擇，就成了 不同分布式存儲系統(tǒng)設計的差異之一。CAP®論看似正確無比，但其實有一些隱含的假設，例如假設數(shù)據(jù)是以多副 本方式存儲，而且每個節(jié)點的存儲池都是獨立的，附屬于存儲節(jié)點的。但某些分布式存儲系統(tǒng)采用了更有創(chuàng)造性的存儲架構，例如SurFS的分布式共享存儲架構是后端存儲池是共享的，數(shù)據(jù)是用冗余編碼方式做冗余的，這樣數(shù)據(jù)一致性和分 區(qū)可容忍性就會有極大的改觀。在 YTFS去中心化存儲系統(tǒng)中，同樣是用冗余編 碼

24、的方式來保證數(shù)據(jù)一致性，而且節(jié)點之間是通過互聯(lián)網(wǎng)傳輸，天然抗分區(qū)風險, 這也會改變傳統(tǒng)的CAP!論。容災，性（Disaster Tolerance ）一旦出現(xiàn)地震、火災、停電、斷網(wǎng)、雷電、盜竊、恐怖襲擊、天津大爆炸等 災難性事件。整個地域的設備全部毀滅（而不只是個別零部件故障），是否還能不丟失數(shù)據(jù)，是否還能正常提供存儲服務？容災性通常用“兩地三中心”方式來滿足，即在生產(chǎn)系統(tǒng)本地建一個本地災 備數(shù)據(jù)中心，在異地也建一個災備數(shù)據(jù)中心。本地災備中心主要是用于防范生產(chǎn) 服務器發(fā)生的故障，異地災備中心用于防范大規(guī)模區(qū)域性災難。 本地災備中心與 生產(chǎn)中心可通過高速局域網(wǎng)進行連接，因此數(shù)據(jù)復制和應用切換比較

25、容易實現(xiàn)， 可實現(xiàn)生產(chǎn)與災備服務器之間數(shù)據(jù)的實時復制和應用的快速切換。異地災備中心與生產(chǎn)中心不僅連接的網(wǎng)絡線路帶寬和質(zhì)量存在一定的限制，而且存在一定的網(wǎng)絡延時（光纖傳輸大約1毫秒200公里），應用系統(tǒng)的切換也需要一定的時間， 因此異地災備中心可以實現(xiàn)在業(yè)務限定的時間內(nèi)進行恢復和可容忍丟失范圍內(nèi) 的數(shù)據(jù)恢復。“兩地三中心”是實踐中總結出來的具有一種非常好容災性的模式， 但該模 式成本非常高昂，因為需要建設三個相等規(guī)模的數(shù)據(jù)中心， 再加上一套非常昂貴 的容災備份軟件，以及日常的運維、演練。即便如此，也不能做到100琳證數(shù)據(jù) 可完全恢復，即RPOf口 RTCM以花很高的代價接近于零，但不能等于零。RPO1指災難發(fā)生后可以將數(shù)據(jù)恢復到災難發(fā)生前多長時間，RTC®指災難發(fā)生后多長時間可以恢復服務，也就是說災難導致業(yè)務停頓的時間。 例如，如果 RPOt 10秒鐘，RTOt 1分鐘，則當災難發(fā)生后，業(yè)務將會停頓 1分鐘時間，1 分鐘后災備系統(tǒng)啟動，恢復服務，但最近 10秒鐘的數(shù)據(jù)會丟失，可以將系統(tǒng)恢 復到災難發(fā)生前10秒鐘時的狀態(tài)。去中心化存儲系統(tǒng)具有天然的容災性，可以在存儲層面實現(xiàn)RTOW RPO勻為 零的極致目標，即出現(xiàn)任何災難都不會停止存儲服務， 而且已經(jīng)完