存儲系統(tǒng)基本要求

1、存儲系統(tǒng)基本要求存儲系統(tǒng)基本要求基本原則：1、CAPS論2000年EricBrewer教授提出了著名的CAP1論，即：一個分布式系統(tǒng)不可能滿足一致性，可用性和分區(qū)容錯性這三個需求，最多只能同時滿足兩個。2002年MIT的SethGilbert和Nancylynch兩人證明了CAP!論的正確性。根據CAP!論，一致性（C）,可用性（A）,分區(qū)容錯性（P）,三者不可兼得，必須有所取舍。因此系統(tǒng)架構師不要把精力浪費在如何設計才能同時滿足CAP三者的完美分布式系統(tǒng)，而是應該研究如何進行取舍，滿足實際的業(yè)務需求。C:Consistency（一致性），任何一個讀操作總是能讀取到之前完成的寫操作結果，也就是

2、在分布式環(huán)境中，多點的數據是一致的;A:Availability（可用性），每一個操作總是能夠在確定的時間內返回，也就是系統(tǒng)隨時都是可用的;P:ToleranceofnetworkPartition（分區(qū)容忍性），在出現(xiàn)網絡分區(qū)（比如斷網）的情況下，分離的系統(tǒng)也能正常運行;對于分布式存儲系統(tǒng)而言，分區(qū)容錯性（P）是基本需求，因此只有CP和AP兩種選擇。CP模式保證分布在網絡上不同節(jié)點數據的一致性，但對可用性支持不足，這類系統(tǒng)主要有BigTable,HBASE,MongoDB,Redis,MemcacheDB,BerkeleyDB等。AP模式主要以實現(xiàn)最終一致性（EventualConsiste

3、ncy）來確?？捎眯院头謪^(qū)容忍性，但弱化了數據一致性要求，典型系統(tǒng)包括Dynamo,TokyoCabinet,Cassandra,CouchDB,SimpleDB等。2、EventualConsistency（最終一致性）簡而言之：過程松，結果緊，最終結果必須保持一致性。從客戶端考慮數據一致性模型，假設如下場景：存儲系統(tǒng)：它在本質上是大規(guī)模且高度分布的系統(tǒng)，其創(chuàng)建目的是為了保證耐用性和可用性。進程A:對存儲系統(tǒng)進行讀寫。進程B和C:這兩個進程完全獨立于進程A,也讀寫存儲系統(tǒng)?？蛻舳艘恢滦员仨毺幚硪粋€觀察者(在此即進程A、B或C)如何以及何時看到存儲系統(tǒng)中的一個數據對象被更新。根據以上場景可以得

4、到如下三種一致性模型：強一致性：在更新完成后，(A、B或C進行的)任何后續(xù)訪問都將返回更新過的值。弱一致性：系統(tǒng)不保證后續(xù)訪問將返回更新過的值，在那之前要先滿足若干條件。從更新到保證任一觀察者看到更新值的時刻之間的這段時間被稱為不一致窗口。最終一致性：這是弱一致性的一種特殊形式;存儲系統(tǒng)保證如果對象沒有新的更新，最終所有訪問都將返回最后更新的值。如果沒有發(fā)生故障，不一致窗口的最大值可以根據下列因素確定，比如通信延遲、系統(tǒng)負載、復制方案涉及的副本數量。客戶端一致性模型的變體有：因果一致性(Causalconsistency):如果進程A通知進程B它已更新了一個數據項，那么進程B的后續(xù)訪問將返回更

5、新后的值，且一次寫入將保證取代前一次寫入。與進程A無因果關系的進程C的訪問遵守一般的最終一致性規(guī)則?！白x己之所寫”一致性(Read-your-writesconsistency)：這是一個重要的模型。當進程A自己更新一個數據項之后，它總是訪問到更新過的值，絕不會看到舊值。這是因果一致性模型的一個特例。會話一致性(Sessionconsistency)：這是上一個模型的實用版本，它把訪問存儲系統(tǒng)的進程放到會話的上下文中。只要會話還存在，系統(tǒng)就保證“讀己之所寫”一致性，系統(tǒng)保證也不會延續(xù)到新的會話。單調讀一致性(Monotonicreadconsistency)：如果進程已經看到過數據對象的某個值

6、，那么任何后續(xù)訪問都不會返回在那個值之前的值。單調寫一致性(Monotonicwriteconsistency)：系統(tǒng)保證來自同一個進程的寫操作順序執(zhí)行。要是系統(tǒng)不能保證這種程度的一致性，就非常難以編程了。3、BASES論BASE即BasicallyAvailble(基本可用)、Soft-state(軟狀態(tài))、EventualConsistency(最終一致性)。BASE勺英文意義是堿，而ACID是酸，有點水火不容的意思。關系數據庫的ACID模型擁有高一致性和可靠性，喪失可用性。ACID,即原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation)、持久性(D

7、urability)。其中的一致性強調事務完成時，數據庫處于一致的狀態(tài)。對于很多應用來說，一致性要求可以降低，而可用性(Availability)的要求則更為明顯。從而產生了弱一致性的理論BASEBASE模型反ACID模型，完全不同ACID模型，犧牲高一致性，獲得可用性或可靠性。它僅需要保證系統(tǒng)基本可用，支持分區(qū)失敗，允許狀態(tài)在一定時間內不同步，保證數據達到最終一致性即可。BASE想主要強調基本的可用性，如果你需要高可用性，也就是純粹的高性能，那么就要以一致性或容錯性為犧牲，BASE想的方案在性能上還是有潛力可挖的。4、I/O五分鐘法則1987年，JimGray與GianfrancoPutzo

8、lu發(fā)表了五分鐘法則的觀點，簡而言之，如果一條記錄頻繁被訪問，就應該放到內存里，否則的話就應該待在硬盤上按需要再訪問。這個臨界點就是五分鐘。看上去像一條經驗性的法則，實際上五分鐘的評估標準是根據投入成本判斷的，根據當時的硬件發(fā)展水準，在內存中保持1KB的數據成本相當于硬盤中存儲400秒的開銷(接近五分鐘)。這個法則在1997年左右的時候進行過一次回顧，證實了五分鐘法則依然有效(硬盤、內存實際上沒有質的飛躍)，而這次的回顧則是針對SSD這個新的舊硬件可能帶來的影響。隨著閃存時代的來臨，五分鐘法則一分為二：是把SSD當成較慢的內存(extendedbufferpool)使用還是當成較快的硬盤(ex

9、tendeddisk)使用。小內存頁在內存和閃存之間的移動對比大內存頁在閃存和磁盤之間的移動。在這個法則首次提出的20年之后，在閃存時代，5分鐘法則依然有效，只不過適合更大的內存頁(適合64KB的頁，這個頁大小的變化恰恰體現(xiàn)了計算機硬件工藝的發(fā)展，以及帶寬、延時)。根據數據結構和數據特點的不同，對于文件系統(tǒng)來說,操作系統(tǒng)傾向于將SSD當作瞬時內存(cache)來使用。而對于數據庫，傾向于將SSD當作一致性存儲來用。5、Amdahl定律和Gustafson定律這里我們以S(n)表示n核系統(tǒng)對具體程序的加速比，K表示串行部分計算時間比例。Amdahl定律的加速比：S(n)=使用1個處理器的串行計算時間/使用n個處理器的并行計算時間，S(n)=1/(K+(1-K)/n)=n/(1+(n-1)K)Gustafson定律的加速比：S(n)=使用n個處理器的并行計算量/使用1個