淺析計(jì)算型存儲技術(shù)的發(fā)展

1.什么是ComputationalStorage（計(jì)算型存儲）？2022年8月Gartner新鮮出爐了年度存儲和數(shù)據(jù)保護(hù)炒作周期（HyperCycleForStorageandDataProtectionTechnologies,2022）報(bào)告，ComputationalStorage（計(jì)算型存儲）位列炒作熱點(diǎn)之一。按照SNIA的定義，計(jì)算型存儲是一種具備計(jì)算型存儲功能（ComputationalStorageFunction）的架構(gòu)，用于卸載主機(jī)處理或減少數(shù)據(jù)移動。這種架構(gòu)將計(jì)算資源（在傳統(tǒng)的計(jì)算和內(nèi)存架構(gòu)之外）直接與存儲或在主機(jī)和存儲之間進(jìn)行整合，使應(yīng)用性能和/或基礎(chǔ)設(shè)施效率得到改善。計(jì)算型存儲出現(xiàn)的目標(biāo)在于啟用并行計(jì)算，從而減輕對現(xiàn)有計(jì)算、內(nèi)存、存儲和I/O的約束。按照具體的技術(shù)形態(tài)，ComputationalStorage（計(jì)算型存儲）又被分為三個(gè)大的類別：CSD（ComputationalStorageDevice）、CSP（ComputationalStorageProcessor）和CSA（ComputationalStorageArray）。2.offload（卸載）是計(jì)算型存儲設(shè)計(jì)思想的精髓談到計(jì)算型存儲就不能不談OracleExadata數(shù)據(jù)庫一體機(jī)。2008年研發(fā)的Exadata是針對Oracle數(shù)據(jù)庫進(jìn)行優(yōu)化的計(jì)算平臺，用于解決傳統(tǒng)數(shù)據(jù)庫受I/O瓶頸引發(fā)的性能問題。在解決思路上，Exadata采用了顛覆性的設(shè)計(jì)思想-“offload（卸載）”，即將數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)處理行為從計(jì)算節(jié)點(diǎn)（數(shù)據(jù)庫服務(wù)器）卸載到存儲節(jié)點(diǎn)（存儲服務(wù)器）進(jìn)行并行處理，并且僅有計(jì)算后的最終結(jié)果會被返還給計(jì)算節(jié)點(diǎn)。這種設(shè)計(jì)方式大大規(guī)避了計(jì)算、存儲和網(wǎng)絡(luò)等硬件設(shè)備的I/O瓶頸對數(shù)據(jù)庫性能造成的局限。數(shù)年前筆者曾做過一次ExadataX5和國產(chǎn)數(shù)據(jù)庫一體機(jī)之間的性能對比測試。OLTP場景下二者之間的差異主要體現(xiàn)為硬件配置差異帶來的差距，換句話Exadata在OLTP場景下的加速效應(yīng)可以忽略；而在OLAP場景下，Exadata“卸載”的設(shè)計(jì)帶來2-3倍以上的巨大性能增益，諸如全庫掃描體現(xiàn)出的性能已不再受到IB交換機(jī)網(wǎng)絡(luò)帶寬的限制。Exadata“卸載”的設(shè)計(jì)思想可能是計(jì)算型存儲早期的雛形，但是由于只能在Oracle數(shù)據(jù)庫場景下使用，注定這項(xiàng)技術(shù)在市場上的推廣受到極大的局限。3.DPU的出現(xiàn)讓普適型計(jì)算型存儲成為可能近幾年DPU（Dataprocessingunit）概念異?；鸨菂⑴c的企業(yè)多半隸屬半導(dǎo)體行業(yè)，如：Intel、Marvel、Samsung等，所出產(chǎn)品也多屬于CSD或CSP的范疇。初創(chuàng)公司Fungible在自研DPU芯片同時(shí)，開發(fā)了一套分離式存儲平臺（Disaggregatedstorageplatform），其設(shè)計(jì)核心理念和Exadata如出一撤，就是將數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理環(huán)節(jié)“卸載”到存儲端進(jìn)行執(zhí)行，并通過專用的DPU芯片實(shí)現(xiàn)加速。因此，F(xiàn)ungible存儲操作系統(tǒng)的軟件模塊除了包括常見的存儲（存儲協(xié)議、EC、消重、壓縮、復(fù)制等）、網(wǎng)絡(luò)、安全等功能以外，還增加了數(shù)據(jù)分析的類別：數(shù)據(jù)庫、大數(shù)據(jù)、Serverless等富數(shù)據(jù)應(yīng)用的協(xié)同模塊被包括其中。應(yīng)用運(yùn)行在計(jì)算型存儲平臺，據(jù)稱，“在DPU上使用單線程，將X86服務(wù)器上的MySQL查詢與基于DPU的存儲集群進(jìn)行比較，查詢時(shí)間提高了75倍；使用正則表達(dá)式匹配，拿軟件實(shí)現(xiàn)與DPU加速操作對比，吞吐量提高了27倍?！?.HPC應(yīng)用正成為計(jì)算型存儲技術(shù)被最早的實(shí)踐場景除了作為供應(yīng)側(cè)的廠商在進(jìn)行計(jì)算型存儲的創(chuàng)新努力以外，作為需求側(cè)的最終用戶也在進(jìn)行這樣的嘗試。美國阿拉莫斯國家實(shí)驗(yàn)室(LANL)是世界上最大的科學(xué)和技術(shù)研究機(jī)構(gòu)之一，它在國家安全、太空探索、可再生能源、醫(yī)藥、納米技術(shù)和超級計(jì)算機(jī)等多個(gè)學(xué)科領(lǐng)域開展科學(xué)研究。阿拉莫斯的工程人員預(yù)計(jì)他們的Trinity超算系統(tǒng)在2023年將達(dá)到10PBDRAM、100PBFlash存儲和0.5EB磁盤存儲的規(guī)模。在不斷發(fā)展中的HPC環(huán)境下，數(shù)據(jù)存儲環(huán)境面臨巨大的挑戰(zhàn)，譬如：(1).面對CPU頻率增益已不復(fù)存在、計(jì)算內(nèi)核從1000增加到100萬、基準(zhǔn)FLOPS在增加，效率卻在降低等現(xiàn)實(shí)挑戰(zhàn)，在PB乃至EB數(shù)據(jù)量級的數(shù)據(jù)存儲環(huán)境下，如何利用橫向擴(kuò)展架構(gòu)實(shí)現(xiàn)更高性能？(2).在系統(tǒng)規(guī)模不變大的情況下，如何讓存儲系統(tǒng)跑的更快？(3).如何更快的解決文件固定尺寸的問題？為了克服這些挑戰(zhàn)，阿拉莫斯的工程師與各類科技廠商合作探索計(jì)算型存儲的創(chuàng)新實(shí)踐。對存儲在文件系統(tǒng)上的數(shù)據(jù)處理進(jìn)行“卸載”是設(shè)計(jì)的核心，為此將每個(gè)處理環(huán)節(jié)涉及數(shù)據(jù)處理部分卸載到DPU，以近盤/近存儲計(jì)算來大幅加速數(shù)據(jù)處理效率。阿拉莫斯在實(shí)踐中通過EideticomFPGA加速器和NvidiaBlueField-2SmartNIC構(gòu)建具備數(shù)據(jù)處理加速的閃存磁盤框（ABOF），將數(shù)據(jù)訪問速度提高了10-30

倍。此外，阿拉莫斯還嘗試和SK海力士構(gòu)建了計(jì)算型存儲SSD，通過索引關(guān)鍵值存儲數(shù)據(jù)，將仿真輸出分析速度提高了1000倍

。5.除了提升數(shù)據(jù)處理性能，計(jì)算型存儲對現(xiàn)代數(shù)據(jù)中心的綠色節(jié)能有現(xiàn)實(shí)意義2015年三星半導(dǎo)體實(shí)驗(yàn)室的一項(xiàng)研究1表明，分布式計(jì)算環(huán)境下的數(shù)據(jù)移動將會導(dǎo)致更高的能量消耗。即在一個(gè)上千節(jié)點(diǎn)的計(jì)算集群中，數(shù)據(jù)移動能耗幾乎是計(jì)算能耗的兩倍以上，而在單個(gè)計(jì)算節(jié)點(diǎn)上，這樣的比例則不到5%。數(shù)據(jù)中心的高能效設(shè)計(jì)已是趨勢，如：“東數(shù)西算”工程對數(shù)據(jù)中心PUE（電能利用效率）要求為<1.2。然而“東數(shù)西算”當(dāng)前更多是資源配置層面的構(gòu)想，讓我們大膽想象一下，如果未來計(jì)算型存儲技術(shù)可以實(shí)現(xiàn)跨域的配置，那么真正意義上的“東數(shù)西算”就會變成現(xiàn)實(shí)，而數(shù)據(jù)中心資源的高能效將會走向一個(gè)新的高度。今天計(jì)算型存儲尚處在發(fā)展早期，當(dāng)前行業(yè)實(shí)踐也主要發(fā)生在HPC和公有云的應(yīng)用場景，但是在數(shù)據(jù)庫、私有云、大數(shù)據(jù)、AI等富數(shù)據(jù)應(yīng)用場景下，計(jì)算型存儲同樣會存在很好的應(yīng)用前景。然而任何一項(xiàng)創(chuàng)新技術(shù)都需要時(shí)間在市場去驗(yàn)證其實(shí)用價(jià)