云平臺存儲項目規(guī)劃的綱要原則

云平臺存儲架構(gòu)規(guī)劃及設(shè)計，可以與傳統(tǒng)數(shù)據(jù)中心存儲的規(guī)劃實踐思路求同存異。同，是規(guī)劃與設(shè)計的方向相同。都是始于業(yè)務(wù)需求，著眼于存儲類型、數(shù)據(jù)量級、業(yè)務(wù)場景，于空間布局、增容擴(kuò)展以及故障容災(zāi)上進(jìn)行精細(xì)配置。異，則是詳細(xì)設(shè)計的方向不同。傳統(tǒng)數(shù)據(jù)中心存儲的規(guī)劃與實踐注重于對存儲網(wǎng)絡(luò)、品牌性能、高級特性優(yōu)化的著墨，一般對存儲架構(gòu)及性能的配置、調(diào)整、優(yōu)化重點(diǎn)關(guān)注，系一種架構(gòu)思維去推動產(chǎn)品實踐的模式。而云平臺的存儲規(guī)劃，是鑒于云架構(gòu)的服務(wù)化與平臺化的能力，云平臺存儲類型、規(guī)格、性能、擴(kuò)縮容以及計費(fèi)等模式一覽無余，即開即用無需繁雜的設(shè)計與規(guī)劃。云平臺存儲的規(guī)劃與設(shè)計，更像是“連連看”，將實際的業(yè)務(wù)需求、業(yè)務(wù)場景和與之最佳匹配的云存儲做連線，盡可能的將云下存儲服務(wù)的能力融入到業(yè)務(wù)多維度的數(shù)據(jù)需求，形成全方位的部署。因此，云平臺存儲的規(guī)劃與設(shè)計，幾乎是需求目標(biāo)與設(shè)計實踐一對一的業(yè)務(wù)驅(qū)動科技的現(xiàn)實演繹。云平臺存儲架構(gòu)規(guī)劃與設(shè)計的維度，一般分為存儲選型、空間布局、性能優(yōu)化、故障容災(zāi)等多個階段。在進(jìn)行云平臺存儲的細(xì)致設(shè)計之前，架構(gòu)師首先會對云上業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲需求進(jìn)行調(diào)研與分析，在前期的摸排階段重點(diǎn)關(guān)注業(yè)務(wù)系統(tǒng)的量級、負(fù)載、可用性等關(guān)鍵業(yè)務(wù)指標(biāo)，轉(zhuǎn)化成對云平臺存儲的需求，即存儲類別選型、初始空間評估、關(guān)鍵壓力性能、數(shù)據(jù)保護(hù)。存儲選型存儲選型一般先做粗略分類，將結(jié)構(gòu)化與非結(jié)構(gòu)化存儲區(qū)分，然后在非結(jié)構(gòu)化與結(jié)構(gòu)化存儲上做細(xì)致分類。數(shù)據(jù)的存取形式與云平臺存儲的選型也存在很強(qiáng)的集聯(lián)關(guān)系：結(jié)構(gòu)化云平臺存儲基于其關(guān)聯(lián)業(yè)務(wù)幾乎是在線業(yè)務(wù)或高負(fù)載業(yè)務(wù)，因此其選擇搭配范圍較為固定。生產(chǎn)ECS存儲一般業(yè)務(wù)選擇普通云盤、高負(fù)載業(yè)務(wù)優(yōu)先選擇讀寫密集型高效云盤。云數(shù)據(jù)庫存儲通常為高效型SSD；非結(jié)構(gòu)化數(shù)據(jù)多為企業(yè)的歸結(jié)數(shù)據(jù)如證件材料圖片、視頻、交易報文等，此類數(shù)據(jù)的存儲選型很大程度取決于業(yè)務(wù)對數(shù)據(jù)的存取策略及性能要求，持續(xù)在線數(shù)據(jù)使用計算型存儲，低頻回訪數(shù)據(jù)使用歸檔存儲，IO頻繁則使用熱存儲，反之則選擇冷存儲。非結(jié)構(gòu)化云存儲的選型上，通常推薦復(fù)合選擇以達(dá)到最佳實踐，這是因為非結(jié)構(gòu)化數(shù)據(jù)在業(yè)務(wù)的不同時期其存取需求各異，在線生產(chǎn)經(jīng)營周期內(nèi)需要隨存隨取，不定時訪問進(jìn)行業(yè)務(wù)生產(chǎn)并可能形成持續(xù)壓力，此時數(shù)據(jù)建議配置在對象存儲上。當(dāng)超過生產(chǎn)經(jīng)營周期，數(shù)據(jù)由熱轉(zhuǎn)冷，不需要頻繁訪問，在此期間此類數(shù)據(jù)則建議由生產(chǎn)的對象存儲歸檔至低頻冷存儲上。冷熱數(shù)據(jù)存儲單獨(dú)配置，既適配了業(yè)務(wù)的負(fù)載特性又方便獨(dú)立管理，同時在云平臺的整體開銷上也形成了良性的優(yōu)化導(dǎo)向。空間布局在云平臺存儲空間布局上，通常使用年度測算法評估業(yè)務(wù)數(shù)據(jù)需求總量。例如以月度或季度統(tǒng)計業(yè)務(wù)的數(shù)據(jù)單位數(shù)據(jù)量，以一年為時間長度統(tǒng)計業(yè)務(wù)數(shù)據(jù)年度基礎(chǔ)量，評估出該業(yè)務(wù)正常經(jīng)營一年的數(shù)據(jù)量預(yù)估值。以三年為實時間長度模擬業(yè)務(wù)數(shù)據(jù)量的增長，最終評估出業(yè)務(wù)數(shù)據(jù)需求總量。云平臺存儲初始空間大小約等于最終業(yè)務(wù)數(shù)據(jù)需求總量除以經(jīng)典壓力負(fù)載常數(shù)（經(jīng)典值為70%）。云平臺存儲的空間通常宜多不宜少，尤其對于正處于發(fā)展期（經(jīng)營超過一兩年）的業(yè)務(wù)，空間測算時預(yù)估的年度增長值通常會低于業(yè)務(wù)實際增長。盡管云平臺存儲的空間分配與傳統(tǒng)存儲不同，模糊淡化了LUN的概念，但在云平臺存儲空間布局上仍要保持傳統(tǒng)存儲上LUN分配的幾個原則——“獨(dú)立不集中、宜多不宜大”。以ECS存儲配置為例，在分配ECS云盤資源時，系統(tǒng)盤與數(shù)據(jù)盤推薦獨(dú)立配置（獨(dú)立不集中），方便系統(tǒng)故障無法開啟可以將數(shù)據(jù)盤迅速掛載到其他ECS快速恢復(fù)業(yè)務(wù)數(shù)據(jù)。ECS不同數(shù)據(jù)盤之間，推薦多盤部署分?jǐn)倶I(yè)務(wù)IO、避免單盤過大造成恢復(fù)困難或觸達(dá)云盤性能瓶頸（宜多不宜大）。性能優(yōu)化云平臺存儲除了滿足業(yè)務(wù)的基本需求，對云平臺存儲性能敏感的業(yè)務(wù)、難以抉擇云平臺存儲最佳選型的情況，均強(qiáng)烈推薦進(jìn)行性能壓測，模擬真實業(yè)務(wù)運(yùn)行監(jiān)測云存儲的實際運(yùn)行效能，云平臺存儲服務(wù)標(biāo)定的存儲規(guī)格及性能標(biāo)定無法真實反映業(yè)務(wù)的實際運(yùn)行情況。常見的云平臺存儲測試大致可分為三類：1.FIO類工具的復(fù)合云存儲測試，通過指定IO塊大小、IO深度、各IO百分比等參數(shù)模擬云存儲的裸盤性能。此類工具的測試結(jié)果可作為業(yè)務(wù)初步模擬的基礎(chǔ)參考，結(jié)果符合業(yè)務(wù)運(yùn)行要求后再進(jìn)行后續(xù)應(yīng)用測試。2.真實業(yè)務(wù)模擬測試，通常部署業(yè)務(wù)應(yīng)用集群，選擇核心業(yè)務(wù)流程，填充業(yè)務(wù)模擬數(shù)據(jù)進(jìn)行低、中、高負(fù)載的多輪持續(xù)壓測，結(jié)合裸盤性能測試報告，持續(xù)變更云平臺存儲的配置進(jìn)行業(yè)務(wù)適配性優(yōu)化。3.數(shù)據(jù)庫類應(yīng)用測試，數(shù)據(jù)庫類測試工具非常多，如Sysbench、Swingbench、BenchmarkSQL等，選擇合適工具進(jìn)行OLAP或OLTP測試。數(shù)據(jù)庫類測試結(jié)果的優(yōu)化往往需要DBA反復(fù)調(diào)試數(shù)據(jù)庫參數(shù)，以及云平臺存儲工程師對存儲布局進(jìn)行適配。在云平臺存儲的性能問題上，我們常常面對一個選擇——云平臺存儲的高級特性（如智能預(yù)讀、冷熱分層、重復(fù)數(shù)據(jù)刪除等）是否可以開啟利用？雖然高級特性帶來的存儲性能提升顯而易見，但是否是其業(yè)務(wù)運(yùn)營發(fā)展需要？其次高級特性的方案成熟度是否完善、是否經(jīng)過時間的檢驗？最后開啟高級特性的副作用場景我們也應(yīng)同步考慮，如智能預(yù)讀中部分場景的讀放大、冷熱分層特性中的緩存擊穿、重復(fù)數(shù)據(jù)刪除中元數(shù)據(jù)故障數(shù)據(jù)重構(gòu)等問題。云平臺存儲事故無大小，一旦發(fā)生，其影響的點(diǎn)和面將相當(dāng)廣。對于成熟的高級特性可適當(dāng)計劃在生產(chǎn)實踐中開啟引用，但一切的前提均是在性能持續(xù)壓測中進(jìn)行充分驗證。故障容災(zāi)云平臺存儲的故障容災(zāi)手段是相當(dāng)豐富的，大多可實現(xiàn)數(shù)據(jù)的快速恢復(fù)，比如ECS云盤的快照、OSS的跨域同步、NAS的快照備份等。在項目實踐中如何做好合適的規(guī)劃呢？首先業(yè)務(wù)系統(tǒng)重要等級和數(shù)據(jù)完整性高低是云平臺存儲的數(shù)據(jù)保護(hù)基準(zhǔn)也是核心參考，因此進(jìn)行云平臺存儲項目前的業(yè)務(wù)調(diào)研報告就相當(dāng)重要。核心等級越高、完整性要求越嚴(yán)格的業(yè)務(wù)數(shù)據(jù)啟用的云平臺存儲數(shù)據(jù)保護(hù)越全面，盡可能減少RPO和RTO。同時也要牢記一個原則——所有云平臺業(yè)務(wù)數(shù)據(jù)至少配置一種數(shù)據(jù)保護(hù)手段。在常規(guī)實踐中，云平臺存儲上的故障容災(zāi)推薦以云服務(wù)數(shù)據(jù)保護(hù)為主，傳統(tǒng)備份恢復(fù)軟件為輔，云保護(hù)主要實現(xiàn)數(shù)據(jù)的迅速恢復(fù)，備份恢復(fù)軟件突出對數(shù)據(jù)的長期保存或異地離線需求。若以項目場景為例，ECS的云盤數(shù)據(jù)一般要求通過快照保護(hù)，若項目允許輔以備份恢復(fù)系統(tǒng)對ECS進(jìn)行完整性備份或離線導(dǎo)出異地保存等，實現(xiàn)更高精度的備份恢復(fù)。OSS和NAS除了本身的復(fù)制、快照手段，還可以進(jìn)行跨區(qū)域同步等能力實現(xiàn)多份數(shù)據(jù)的冗余，利用集中備份恢復(fù)系統(tǒng)實現(xiàn)周期性的合成全備份實現(xiàn)細(xì)粒度的恢復(fù)需求。云數(shù)據(jù)庫存儲的數(shù)據(jù)保護(hù)，物理備份、邏輯備份、沙箱保護(hù)等多種技術(shù)可進(jìn)行多元組合，同時還可以結(jié)合備份恢復(fù)系統(tǒng)進(jìn)行云數(shù)據(jù)庫的離線