算網融合下的多云部署和數據存儲發(fā)展趨勢分析

算網融合下的多云部署和數據存儲發(fā)展趨勢分析翟爽

王旭東

張震（華為技術有限公司，深圳518129）摘要：算網融合因其能夠提供高效算力、先進存力、高速運力而成為加速產業(yè)數字化轉型的重要抓手。在算網融合的演進中也伴隨著多云協(xié)同、云網協(xié)同、云數協(xié)同、存算協(xié)同等挑戰(zhàn)。當前各行各業(yè)的上云需求猛增，但是大部分選擇了混合多云的部署方式，而數據存儲作為承載業(yè)務的數據載體，如何協(xié)同數據存儲與多云的高效發(fā)展，推動算網融合落地已經變得越發(fā)重要。洞察了在多云發(fā)展過程中數據存儲的發(fā)展趨勢，以及在多云環(huán)境下數據管理、數據流動中面臨的挑戰(zhàn)，同時提出數據存儲與云原生協(xié)同發(fā)展的建議，幫助企業(yè)在多云架構下選擇適合的存儲類型。關鍵詞：多云；算網融合；數據存儲；云原生；全閃存儲0

引言自2006年云計算首次商用以來，隨著全球數字化轉型進程加速，云計算正逐漸成為經濟發(fā)展的首選數字化業(yè)務平臺?！丁笆奈濉睌底纸洕l(fā)展規(guī)劃》明確指出“推進云網協(xié)同和算網融合發(fā)展”，《“十四五”國家信息化規(guī)劃》明確要求構建新型算力基礎設施。據Gartner機構測算，2015—2021年全球云計算市場滲透率由4.3%上升到15.3%[1]，2021年全球公有云市場規(guī)模達到了3307億美元，增速達到32.5%，用戶已經遍及互聯網、政務、金融、教育、制造等各個行業(yè)。我國已經成為全球重要的云計算市場，2021年我國云計算市場規(guī)模達3229億元，同比增長54.4%，公有云市場2181億元，同比增長70.8%，私有云市場1048億元，同比增長28.7%[2]。其中，互聯網是云計算的主流應用行業(yè)，而在政策的驅動下，我國政務云規(guī)模持續(xù)高速增長。金融、交通、制造等行業(yè)的云計算應用水平也在快速提高，成為最具潛力的領域。雖然云計算發(fā)展迅速，但是也正在變得越來越復雜。之前很多企業(yè)上云的愿景是將應用負載放在單個云上，但隨著業(yè)務的需求和技術的發(fā)展，混合多云架構因為能夠為企業(yè)提供更多選擇正變得更具吸引力。上云已經由單一云架構轉變?yōu)榛旌隙嘣频慕ㄔO方式。在多云架構部署的模式下，如何實現數據的安全管理、高效流通、敏捷變更已經成為企業(yè)管理者在選擇多云架構時重點思考的問題。1

混合多云與存儲技術發(fā)展趨勢1.1

多元化的企業(yè)需求推動多云市場的爆發(fā)式增長當企業(yè)決定采用云計算作為基礎架構時，需要考慮時間、成本、業(yè)務創(chuàng)新、風險管控、法律遵從、關鍵信息資產保護等多種因素。尤其對于業(yè)務全球化、多元化的大中型企業(yè)，單一的云商很難滿足分布地域廣、高耦合度、系統(tǒng)復雜的業(yè)務需求，因此多云架構變成了一種新常態(tài)。多云的優(yōu)勢是讓企業(yè)選擇最適合其每個應用負載的云服務，既可以選擇多種云平臺，也可以選擇不同的云形態(tài)，既不會被單一云資源鎖定，也能夠滿足在距離數據中心更近的位置上云。根據Flexera統(tǒng)計，如圖1所示，89%的企業(yè)選擇了多云的部署模式，其中80%選擇了混合云，7%選擇了混合公有云，2%選擇了混合私有云[3]。由此可見，混合多云的部署模式是絕大部分企業(yè)上云的選擇。圖1

企業(yè)多云部署趨勢

1.2

數據中心存儲技術的發(fā)展趨勢隨著人工智能、大數據、5G、物聯網的快速發(fā)展，數據規(guī)模呈現爆發(fā)式增長，數據已經成為關鍵的生產要素。存儲作為數據的直接載體和數據中心的重要組成部分，守護著數字經濟發(fā)展的生命線。中國算力大會發(fā)布了《中國存力白皮書（2022年）》，明確了數據中心存力規(guī)模為800EB，并闡述了數據存力的概念，指出數據存儲技術的發(fā)展和數據存力的水平是衡量數字經濟高質量發(fā)展的關鍵因素，是激活數據要素價值、提高數據匯聚能力的根本[4]。

Gartner發(fā)布的《2022年存儲與數據保護技術成熟度曲線報告》顯示，存儲發(fā)展趨勢主要包含以下重點方向：2021—2025年，部署支持主存儲工作負載的外部閃存存儲中采用NVMe-oF技術的比例由5%增長到30%；2022—2025年，推出至少一種混合云架構部署模式的存儲廠商由15%增長到60%；2022—2025年，部署在邊緣的企業(yè)存儲比例由15%增長到40%；2026年，在數據中心、公有云和邊緣部署的非結構化數據容量預計將是2022年的3倍[5]。在云計算存儲領域，容器存儲部署和數據處理單元專有硬件集成的存儲也成為兩大發(fā)展趨勢。

2

混合多云下數據基礎設施層建設面臨的挑戰(zhàn)

2.1

數據爆發(fā)式增長帶來的數據管理難題根據IDC報告，2022—2026年，企業(yè)生成的數據將從59ZB增長到155ZB，全球數據領域的規(guī)模預計將增加一倍以上。企業(yè)數據增長速度將是消費者數據的兩倍[6]。ESG的多云成熟度調查也顯示，企業(yè)管理的非結構化數據的三年復合年增長率為39.4%[7]。這將給企業(yè)的管理和數據保護帶來更大的挑戰(zhàn)，尤其是在多云的部署模式下。多云環(huán)境除了使用公有云、私有云、專有云等不同形態(tài)的云服務，還體現在使用不同云計算供應商的資源服務，在多云環(huán)境下最大的難題是如何將割裂的數據和資源進行統(tǒng)一管理，并應對數據利用率低、運維復雜、運營成本高等挑戰(zhàn)。

希捷報告指出，2020年企業(yè)只有32%的可用數據被使用[8]。由于多云之間的架構不同導致數據之間的訪問存在壁壘，要實現多云的數據存儲擴展、數據的輕松流通和利用很困難，容易產生新的“數據孤島”。

在不同云之間保留數據會限制業(yè)務負載的可移動性并增加合規(guī)風險。特別是目前云計算的存儲成本是不穩(wěn)定的，伴隨著數據的指數增長、成本的增加，隱藏的費用支出大大提高了總擁有成本（TotalCostofOwnership，TCO），并且額外的高額費用會讓數據被鎖定在某個云上。比如73%的受訪者表示，數據留存成本限制了他們企業(yè)最大化數據價值的能力。還有60%的受訪企業(yè)表示，由于存儲成本過高，刪除了他們認為有價值的業(yè)務數據[7]?？梢钥吹?，越來越多的企業(yè)感受到了多云數據成本相關的挑戰(zhàn)。

2.2

多云讓不同數據資源形成了孤島由于多云建設采用了不同的技術堆棧、不同的數據平臺來實現數據整合和管理，所以企業(yè)很難遷移不同格式且駐留在不同存儲技術中的數據。雖然企業(yè)整合了公有云、私有云、傳統(tǒng)企業(yè)數據中心和邊緣數據中心等多種基礎資源來支撐各種云化應用，但不同技術體系的數據中心仍是“數據孤島”，相互之間的數據共享與流動十分困難且成本相當高?？蛇w移性解決方案獲取和維護成本很高，并且缺乏可遷移性可能導致多云戰(zhàn)略的風險。由于“數據孤島”的長期存在，數據的遷移和流轉要面對更多的安全風險，如何使不同云上的數據實現合規(guī)管理也面臨著巨大的挑戰(zhàn)。

2.3

多云之間的數據資源流動難在企業(yè)多云的場景下，數據資源往往需要被不同的應用平臺處理，這就要求數據能在不同云平臺之間雙向自由流動，但是每一個云商采用的存儲層硬件資源是不同的，這就形成了硬件資源被云商鎖定的局面，當企業(yè)在建設多個云平臺時就會被迫采用不同的存儲硬件資源。而云商的存儲硬件資源之間的協(xié)議不互通、生態(tài)不適配、數據不一致、數據不可用等限制帶來了數據流動的風險和瓶頸，從而造成完成數據遷移和數據可用的時間達到數周或者數月。在多云之間、邊緣和云之間的數據流動需要占用大量的網絡帶寬和穩(wěn)定的低時延，因此，不穩(wěn)定的網絡傳輸效率也會帶來數據流動的瓶頸。從全球的云計算和存儲產業(yè)發(fā)展來看，云和存儲之間建立了開放合作的生態(tài)和標準，其更具備前瞻性和協(xié)同性。在商務層面，云平臺與數據存儲設備分開采購；在技術層面，云平臺和數據存儲設備兼容互通。統(tǒng)一的數據存儲資源池能夠支撐多云間的數據實時共享和流動，保障數據的完整一致性。

3

促進多云和數據存儲協(xié)同高質量發(fā)展的相關建議

3.1

部署多元數據存儲形態(tài)，分層解耦建設多云基礎設施數據存儲一直是高價值數據的最佳底座，并伴隨著數據應用的演進而發(fā)展。早期的數據應用主要是數據庫系統(tǒng)以及大型主機應用，此時的外置存儲以存儲區(qū)域網絡（StorageAreaNetwork，SAN）存儲為主。隨著互聯網、云計算的高速發(fā)展，不同用戶在使用云計算時產生的數據形式、應用場景、訪問方式都存在較大的差異，云計算需要滿足各類場景下的多元用戶需求，統(tǒng)一存儲應運而生。在保證性能、可靠性的基礎上，存儲擴展能力也得到了極大的提升。在IaaS層數據存儲架構選擇上有多種方式，包括基于服務器存儲的分布式架構、基于外置存儲的SAN架構等，但是無論選擇哪種方式，當前的IaaS層絕大部分采用了計算、存儲、網絡分離的分層解耦組網模式，即使是大型的公有云服務商也不例外。尤其是在以混合云或者私有云為主的多云部署方式下，數據中心的外置存儲設備作為分層解耦的架構更具備優(yōu)勢。其帶來的數據管理、數據流動、成本控制更加符合多云發(fā)展的現狀。多云架構下應當選擇多元化的存儲類型，并采用分層解耦的建設方式。

3.2

數據集中共享，存儲云原生能力加速賦能企業(yè)多云數字化轉型企業(yè)業(yè)務創(chuàng)新持續(xù)加速，需要進一步縮短應用上市的周期，擁抱容器技術成為了當今絕大部分企業(yè)的選擇。應用云上開發(fā)、云下部署既能利用公有云的敏捷彈性降低開發(fā)測試成本，又能利用私有云保證數據安全和主權。由于云上云下的開發(fā)和應用架構不一致以及業(yè)務割裂，無法保證應用的一致性交付、一致性運維，云上PaaS/SaaS服務下推到云下企業(yè)數據中心需要對企業(yè)信息技術（InformationTechnology，IT）架構進行容器化改造。有狀態(tài)應用在進行云化改造時，云原生應用場景對服務的敏捷度、靈活性要求非常高,很多場景期望容器的快速啟動、靈活的調度。云原生時代的存儲系統(tǒng)，除了要滿足性能、穩(wěn)定性、可靠性的要求以外，還要滿足業(yè)務系統(tǒng)對敏捷性的要求，能夠通過統(tǒng)一的編排系統(tǒng)配合業(yè)務上線，并且可以實現快速擴容。首先，存儲支持標準接口規(guī)范，實現與容器的對接，采用專業(yè)存儲代替服務器本地盤，具有高可靠性，計算和存儲靈活更換、擴展。在這一基礎上，網絡附屬存儲（NetworkAttachedStorage，NAS）是最適合作為容器底座的存儲，一方面，業(yè)務系統(tǒng)可以非常方便地掛載和卸載到NAS文件系統(tǒng)上，契合容器彈性伸縮的訴求；另一方面，NAS擁有豐富的企業(yè)級特性，如多租戶、配額等，與容器面向應用級的多租戶、服務質量（QualityofService，QoS）等訴求可以配合使用。此外，NAS還可以將文件系統(tǒng)開銷卸載到存儲上，在大并發(fā)應用下，性能不受主機操作系統(tǒng)開銷影響。在容器標準接口和災備插件的配合下，數據存儲可以為容器提供應用級的跨云、跨數據中心容災，使云原生關鍵應用擁有和傳統(tǒng)應用一樣的容災能力，避免單節(jié)點故障、單數據中心故障和集群故障，達到數據零丟失的可用容災級別。這種高可用機制只需通過存儲底層實現，應用無需為考慮高可用進行任何改造，使企業(yè)只關注應用本身，加速企業(yè)IT向多云架構邁進。

3.3

積極擁抱多云架構，打造多云時代安全可靠的存儲底座數據存儲是多云架構優(yōu)劣的關鍵，應當積極發(fā)揮數據存儲和云技術的能力，構建數據分級存儲、全局文件系統(tǒng)、存儲容器化和Diskless數據中心架構的能力。探索本地與云上冷熱數據分層管理、數據容災備份等技術路線，打造具備高可靠、高性能、多協(xié)議、低成本的統(tǒng)一存儲。從產、學、研、用等多維度推進，鼓勵在多云建設時采用數據基礎設施建設升級，通過制定政策促進企業(yè)在上云過程中建設統(tǒng)一的數據存儲資源池，并制定云平臺和數據存儲的互聯互通標準。加快閃存數據存儲的應用節(jié)奏，并將其納入企業(yè)數字化轉型工作計劃。加大新型存儲架構的產業(yè)扶持力度和科研資金投入，引導企業(yè)聯合高校、科研院所將新型存儲架構的基礎研究、技術創(chuàng)