高性能NAS典型創(chuàng)新應用報告 2024

ODCC2024ODCC2024-OA001版權(quán)聲明對于未經(jīng)著作權(quán)人書面同意而實施的剽竊、復制、修編和翻譯出版等侵權(quán)行為，ODCC及有關單位將追究其法律ODCC2024ODCC2024-OA001編寫組ODCC2024ODCC2024-OA001信息存儲產(chǎn)業(yè)，特別是以附網(wǎng)存儲（NAS）為代表的網(wǎng)絡存儲技標綱要》在堅持創(chuàng)新驅(qū)動發(fā)展、加快發(fā)展現(xiàn)代產(chǎn)業(yè)體系等多個方面，文件數(shù)據(jù)。附網(wǎng)存儲技術因其具有易于部署、更加優(yōu)化的數(shù)ODCC2024ODCC2024-OA001 1 1 3 3 4 4 四、結(jié)語......................高性能NAS典型創(chuàng)新應用報告一、NAS存儲概述(一)NAS定義和發(fā)展歷程DAS是一種直接與主機系統(tǒng)相連接的存儲架構(gòu)，存儲設備作為計算機的附屬部分。SAN是傳統(tǒng)的DAS技術的發(fā)展延續(xù)，存儲設備資源。NAS是一種將存儲設備直接聯(lián)網(wǎng)并使用網(wǎng)絡文件共享協(xié)議提供文件級數(shù)據(jù)訪問的存儲架構(gòu)。NAS廣泛應用于消費級和企業(yè)級文享文件逐漸發(fā)展成為專用存儲服務器提供文件共享服務，形成NAS1網(wǎng)絡的快速發(fā)展，越來越多的廠商開始推出NAS2(二)NAS市場現(xiàn)狀及主流產(chǎn)品從國際市場情況分析，全球企業(yè)級NAS市場的年復合增長率約為3備數(shù)據(jù)分級流動、全局共享和容器存儲能力。各行各業(yè)應用升級對4監(jiān)測數(shù)據(jù)顯示，2014年-2023年2月全球AAIGC依賴通用基礎大模型，訓練通用5AI大模型的門檻；利用存儲內(nèi)嵌的算力和新型數(shù)據(jù)存儲格式，可卸熱點2：HPC為高性能NAS擴大市場空間6高性能計算(HPC)是使用并行處理來高78需要更好的數(shù)據(jù)一致性和可移植性。為了應對這些挑戰(zhàn)，新的NAS安全性：在多云環(huán)境中，數(shù)據(jù)的安全性也是一個9性能提出了更高的要求，以4K轉(zhuǎn)為8K為例，碼率由589Mbps提升二、NAS典型應用場景業(yè)銀行票據(jù)影像、數(shù)據(jù)交數(shù)據(jù)交換平臺對接200數(shù)據(jù)要求存儲具備較高安全性，具有防勒索能性能：海量小文件場景高話單計費系統(tǒng)話單計費系統(tǒng)是運營商性能：話單處理速度要求中扣費等突發(fā)業(yè)務浪涌帶來的高并發(fā)場性能要存儲內(nèi)容類型多涵蓋視/存周期長達數(shù)年甚至更可用性：7*24小時連續(xù)播可服務性：統(tǒng)一的運維管視頻監(jiān)控、海量KB級小文件圖片件，上百路并發(fā)隨機讀數(shù)十PB級的海量存儲空模分布式存儲系統(tǒng)運維圖片讀取時延要求低于移動任務不影響讀寫業(yè)務真、自動駕端設計產(chǎn)生上億KB級測試以GB級別的大文新仿真，對存儲故障檢生命科學、基因測序、臺、多源異構(gòu)數(shù)據(jù)的特有EB級別數(shù)據(jù)歸檔需冷凍電鏡場景:采集過時管理多個廠商的多套設影像系統(tǒng)、醫(yī)院數(shù)據(jù)的80%都來自時延直接影響患者感知平均大小為300KB左像數(shù)據(jù)時間要求不少于15年。而病理系統(tǒng)通常醫(yī)院年病理數(shù)據(jù)增量1~2PB，要求存儲可彈性擴燃氣企業(yè)生需要處理和存儲海量生產(chǎn)運行數(shù)據(jù)和設備設施實時產(chǎn)生的設備運行數(shù)采集的數(shù)據(jù)相結(jié)合進行置。存儲內(nèi)容存在多樣性能：基礎數(shù)據(jù)查詢在10萬條/秒以上，文件數(shù)據(jù)讀模型訓練、AI大模型已經(jīng)從傳統(tǒng)模儲的要求包括海量存儲方面。為了滿足這些要研發(fā)新的存儲技術和解集的加載吞吐達到數(shù)百(一)金融容器平臺NAS應用l通過IO聚合、眾核調(diào)度，支持小文件小IO性能提升；l通過多路徑技術實現(xiàn)性能翻倍。99.99999%，當一個存儲控制器發(fā)生故障時，業(yè)務無中斷，性能波動(二)高端制造EDA仿真平臺NAS應用EDA是以計算機為工具，為芯片開發(fā)設計者提供的一個軟件化EDA仿真流程各階段workload模NAS應用實踐如下。l元數(shù)據(jù)操作算法優(yōu)化、獨立分區(qū)提升垃圾回收效率，避免lAA雙活替代異步復制，既能滿足業(yè)務負載均衡的性能需決方案級的四級可靠性設計，實現(xiàn)99.9999%極致可靠，確保仿真業(yè)(三)醫(yī)療行業(yè)數(shù)據(jù)處理NAS應用務，需要額外提供網(wǎng)關才能實現(xiàn)，導致醫(yī)院文件系統(tǒng)管理難度增大。部署NAS存儲后，存儲時延降低30%，性能提高40%，運維效(四)電信運營商話單類業(yè)務應用標準話單文件。每天需要處理6000+萬個文件，約2000+億條話單記SAN組網(wǎng)替代FC組網(wǎng)，實現(xiàn)了整體解決方案端到端自主可控。(五)人工智能平臺NAS應用城市物聯(lián)網(wǎng)和供應鏈物聯(lián)網(wǎng)的核心場景提供解決方案，對外提供AIGC場景的全套解決方案，持續(xù)為客戶和社會(六)能源行業(yè)物探平臺NAS應用繁的鏈表操作將降低地震數(shù)據(jù)讀寫的速度。地震數(shù)據(jù)處理過程中通件判斷數(shù)據(jù)處理的優(yōu)劣。該場景存在單個文件用戶客戶端用戶客戶端NAS服務計算集群后端分布式存儲集群分布式存儲業(yè)務網(wǎng)絡(10GE)計算集群后端分布式存儲集群Node1Node2Node3Node4Noden分布式存儲集群網(wǎng)絡(IB或40GE網(wǎng)絡或至少20GE)(七)視頻監(jiān)控AINAS應用型訓練與推理應用，即對數(shù)據(jù)進行多階段、密集模型訓練，生成入，對寫入性能、容量要求高；模型調(diào)優(yōu)需反復訓練，海量小文件(八)自動駕駛訓練平臺NAS應用l并行文件系統(tǒng)架構(gòu)：數(shù)據(jù)切片打散保存，客戶端并發(fā)訪問l分級存儲：將熱數(shù)據(jù)存儲在高性能存儲池內(nèi)，冷數(shù)據(jù)自動(九)媒資視頻非線性編輯NAS應用為大文件順序?qū)懩Ｐ?。每個MacPro客戶端單軌道播放帶寬要求在為了多臺客戶端同時多軌道播放不卡頓，時延要求小于0l存儲回收站：存儲支持回收站特性，避免誤刪導致的數(shù)據(jù)(十)燃氣企業(yè)生產(chǎn)管理系統(tǒng)NAS應用高靈活性與可擴展性。NAS文件系統(tǒng)支持多用戶和多種操作系統(tǒng)同l故障預測：建立存儲內(nèi)存故障、硬盤故障、硬盤生命周期l智能升級：一鍵式評估、升級存儲設備到更高軟件版本；展NAS應用帶來一定的參考，促進產(chǎn)業(yè)發(fā)AIGC:AI-GeneratedCBFS:Banking,financeandinsurance銀行、金融服務BGP：BorderGatewayProtocol邊界網(wǎng)BMC：BaseboardManagementController基板管理CBE：ConvergentBillingCIFS:CommonInternetFileSystem公共互聯(lián)網(wǎng)文件系統(tǒng)CSI：ContainerStorageInterfaceFC：FibreChannel光纖通道IOPS：Input/outputoperationspersecond每秒讀寫(I/O)操作的次數(shù)OPEX：OperatingExpense運營成本RAID:RedundantArrayofIndependentDisks獨立磁盤冗余陣列RDMA：RemoteDirectMemoSNIA：StorageNetw