超融合系統(tǒng)產(chǎn)品架構(gòu)解析

1、 超融合系統(tǒng)產(chǎn)品架構(gòu)解析1、超融合系統(tǒng)架構(gòu)的產(chǎn)品有哪些黑匣子，客戶看不到的地方？劉東：下文提到了一些黑匣子，其實(shí)最重要的一點(diǎn)，就是超融合基礎(chǔ)架構(gòu)的產(chǎn)品一旦選擇，就會產(chǎn)生強(qiáng)大的依賴性，如果這個超融合廠商不再發(fā)展產(chǎn)品或者不再開發(fā)甚至倒閉，那么整個系統(tǒng)的遷移工作將會非常大，群集規(guī)模越大，越難以實(shí)現(xiàn)。wwwlm2001：超融合的黑匣子也很多，其實(shí)就是它根深蒂固的一些缺點(diǎn)（目前分布式架構(gòu)的問題），超融合并不是一個完美的架構(gòu)！性能一致性問題：數(shù)據(jù)中心中存儲的性能至關(guān)重要，而且期望性能是可以預(yù)測并保持一致性的，包括延遲、IOPS和帶寬，這一點(diǎn)尤其對核心業(yè)務(wù)系統(tǒng)很關(guān)鍵。對于超融合架構(gòu)而言，這一點(diǎn)恰恰是很大的挑

2、戰(zhàn)。原因主要有兩點(diǎn)，一是超融合架構(gòu)“共享一切”。計算和存儲會爭搶CPU/內(nèi)存/網(wǎng)絡(luò)等物理資源，而且計算和存儲又相互依賴，一旦一方資源需求驟升就是導(dǎo)致另一方資源枯竭，進(jìn)而影響性能并在整個基礎(chǔ)架構(gòu)中產(chǎn)生漣漪效應(yīng)。雖然可以采用cgroup或容器技術(shù)進(jìn)行資源隔離限制，但和非超融合架構(gòu)的效果還是不同的。二是超融合架構(gòu)“一切分布式和軟件定義”，集群規(guī)模較大后，網(wǎng)絡(luò)、硬盤、服務(wù)器發(fā)生故障的概率都會增大，數(shù)據(jù)重刪/壓縮/加密/糾刪碼等功能都用軟件實(shí)現(xiàn)，故障的自修復(fù)和數(shù)據(jù)功能實(shí)現(xiàn)都會消耗一定的系統(tǒng)資源，導(dǎo)致性能下降和抖動。自修復(fù)的流控，數(shù)據(jù)功能旁路到硬件模塊處理，這些方法會緩解性能一致性問題，但似乎又與超融合的

3、理念相背離。橫向擴(kuò)展之殃：超融合架構(gòu)關(guān)鍵特征之一就是易于擴(kuò)展，最小部署，按需擴(kuò)容。超融合架構(gòu)廠商宣稱最大集群規(guī)模也差別很大，從數(shù)十到數(shù)千節(jié)點(diǎn)不等，通常從3節(jié)點(diǎn)起配。超融合中計算能力、存儲性能和容量是同步擴(kuò)容的，無法滿足現(xiàn)實(shí)中單項能力的擴(kuò)展，有些廠商還對擴(kuò)容最小單元有要求，擴(kuò)展靈活性會受到限制。集群達(dá)到一定規(guī)模后，系統(tǒng)架構(gòu)復(fù)雜性就會非線性增加，集群管理變的更加困難，硬件故障和自修復(fù)發(fā)生的概率也會大大增加。因此，我們是不建議構(gòu)建大集群的，如果業(yè)務(wù)允許盡量構(gòu)建多個適當(dāng)規(guī)模的較小集群，或者采用大集群中構(gòu)建故障域或子資源池，光大是不行的。集群擴(kuò)展還面臨一個棘手問題，就是容量均衡。如果存儲集群容量很大，均

4、衡是一個非常漫長而痛苦的過程，同時還會對正常的業(yè)務(wù)負(fù)載產(chǎn)生較大的影響。系統(tǒng)復(fù)雜性：超融合架構(gòu)簡化了IT架構(gòu)，極大降低了數(shù)據(jù)中心設(shè)計的復(fù)雜性，實(shí)現(xiàn)了快速交付，并極大簡化了運(yùn)維管理。不過，這都是基于用戶角度的，從產(chǎn)品研發(fā)角度而言，超融合實(shí)際上使得內(nèi)部的軟件復(fù)雜性更高了。前面我們已經(jīng)闡述，超融合架構(gòu)需要采用CVM虛擬機(jī)控制器，并且需要將主機(jī)物理設(shè)備透傳給控制虛機(jī)，增加了部署配置管理的復(fù)雜性。計算和存儲對硬件平臺的要求都不同，融合后也會一定程度上增加兼容性驗(yàn)證的復(fù)雜性。超融合架構(gòu)下，管理、計算、存儲、高可用通常都需要配置獨(dú)立的虛擬網(wǎng)絡(luò)，網(wǎng)絡(luò)配置也會更加復(fù)雜。同時，共享物理資源的分配、隔離、調(diào)度，這也是

5、額外增加的復(fù)雜性。還有一點(diǎn)，如果出現(xiàn)故障，問題的跟蹤調(diào)試和分析診斷也變得更加困難。SSD分層存儲：閃存SSD基本成為超融合架構(gòu)中必不可少的元素，消除了計算和存儲的巨大鴻溝，解決了I/O性能瓶頸問題，尤其是I/O隨機(jī)讀寫能力。目前閃存的價格相對HDD磁盤還是要高于許多，迫于成本因素，全閃超融合方案應(yīng)用仍然較少，多數(shù)應(yīng)用以SSD混合存儲配置為主，從而獲得較高的性價比。通常情況下，我們假設(shè)熱點(diǎn)數(shù)據(jù)占10-20%，配置相應(yīng)比例的SSD存儲，采用Cache加速或Tier分層模式將熱點(diǎn)數(shù)據(jù)存儲在SSD存儲中，一旦熱點(diǎn)數(shù)據(jù)超過預(yù)先設(shè)置閾值或觸發(fā)遷移策略，則按相應(yīng)淘汰算法將較冷數(shù)據(jù)遷移回HDD磁盤存儲，從而期

6、望在性能和容量方面達(dá)到整體平衡?？瓷先ズ芡昝朗前桑縎SD擅長的隨機(jī)讀寫，帶寬并不是它的強(qiáng)項，對于帶寬型應(yīng)用，SSD對性能并沒有幫助。關(guān)于熱點(diǎn)數(shù)據(jù)占比，這個并不好估計，如果SSD配置不足，性能會變得更差。假設(shè)應(yīng)用場景合適并且SSD配置合理，情況又如何呢？SSD空間最終要被熱點(diǎn)數(shù)據(jù)占滿，就會觸發(fā)數(shù)據(jù)遷移，這時HDD存儲仍將成為I/O性能瓶頸，同時還要承擔(dān)正常的I/O業(yè)務(wù)負(fù)載，整體性能就會出現(xiàn)降級和抖動。為了緩解這一問題，SSD Cache/Tier功能實(shí)現(xiàn)中，一方面會過濾掉順序讀寫I/O，另一方面會把空間閾值設(shè)置較低，盡早進(jìn)行數(shù)據(jù)遷移，同時選擇系統(tǒng)空閑時間執(zhí)行和流控。帶來的負(fù)面效應(yīng)是，SSD性能加

7、速效果受限，物理設(shè)備效率發(fā)揮不充分。另外，SSD本身被寫滿時性能也會出現(xiàn)較大的波動。因此，SSD混合存儲并非理想模式，實(shí)際中我們推薦根據(jù)應(yīng)用場景采用全閃SSD或全磁盤HDD配置，從而獲得一致性的性能表現(xiàn)。如果真的無法全用SSD，還有另外一種應(yīng)用方式，同時創(chuàng)建一個全SSD和一個全HDD存儲池，人為按照性能需求將虛擬機(jī)分配到不同存儲池中。企業(yè)級數(shù)據(jù)功能：目前在大多數(shù)超融合系統(tǒng)以及SDS系統(tǒng)都具備了核心的企業(yè)級功能，包括數(shù)據(jù)冗余、自動精簡配置、快照、克隆、SSD Cache/Tier、數(shù)據(jù)自動重建、高可用/多路徑等數(shù)據(jù)功能，有些甚至還提供了重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)加密、數(shù)據(jù)壓縮等高級數(shù)據(jù)功能。然而，相對于高端存儲系統(tǒng)，如果超融合架構(gòu)要承載核心關(guān)鍵應(yīng)用，還有很大的差距，包括但不限于QoS控制、數(shù)據(jù)保護(hù)、數(shù)據(jù)遷移、備份容災(zāi)、一致性的高性能。核心存儲系統(tǒng)應(yīng)該遵循RAS-P原則，先做好穩(wěn)定可靠性，其次是企業(yè)數(shù)據(jù)功能完備性，最后才是高性能，這個順序不能亂，光有高性能是不行的。比如Ceph，企業(yè)級數(shù)據(jù)功能列表多而全，功能規(guī)格參數(shù)非常誘人，