金融行業(yè)存儲精益化管理降低存儲成本 202412

Al金融行業(yè)存儲精益化管理，降低存儲成本CONTENTS現(xiàn)狀：近年銀行存儲采購情況分析?不同規(guī)模的銀行根據(jù)其業(yè)務(wù)需求和預算，在存儲設(shè)備上的投資金額相對比較大，從小型的幾百萬元到大型的幾千萬元不等?金融行業(yè)通常是中低端存儲和高端存儲搭配使用，集中存儲和分布式存儲的混合使用，最終的結(jié)果是通過架構(gòu)的設(shè)計或管理要求，既要保證系統(tǒng)的高可用性和性能要求，又要用最低的成本采購到最適合的存儲設(shè)備銀行項目名稱人行征信中心2024年存儲采購項目興業(yè)銀行2022年存儲云化設(shè)備擴容項目3444萬人行征信中心2024年存儲采購項目浦發(fā)銀行2024年信用卡中心存儲資源池采購中國銀行2024年總行IT基礎(chǔ)硬件資源池分布式存儲966萬北京銀行2024年藍光存儲采購項目2024年分布式存儲采購2024年信用卡機房統(tǒng)一存儲平臺邢臺銀行2024年存儲設(shè)備采購365.8萬九江銀行2024年存儲設(shè)備采購項目240萬紹興銀行2024年分布式存儲采購項目哈爾濱銀行2024年NAS存儲采購廣東農(nóng)商行2024年存儲替換紙全閃存儲采購項目80%-90%非結(jié)構(gòu)化數(shù)據(jù)33ZB2018挑戰(zhàn)一：海量的數(shù)據(jù)增長，存儲年年買，成本居高80%-90%非結(jié)構(gòu)化數(shù)據(jù)33ZB2018??隨著數(shù)據(jù)量越來越大，對存儲的需求越來越大，存儲成本逐年升高?存儲數(shù)據(jù)未分類，大量“冷數(shù)據(jù)”與頻繁修改、點查的數(shù)據(jù)放在同一環(huán)境中進行同等處理?數(shù)據(jù)無序堆積：隨著各種非結(jié)構(gòu)化數(shù)據(jù)（文志等）在存儲平臺間的不斷膨脹，數(shù)據(jù)的存儲成本居高不?存儲資源浪費：大量重復、過期文件占用寶貴的存儲空間，費用?成本控制困難：缺乏有效的數(shù)據(jù)管理和優(yōu)化策略，難以分辨哪些數(shù)據(jù)必須長期保留，哪些數(shù)據(jù)是冷數(shù)據(jù)可以丟棄，哪些數(shù)據(jù)是熱數(shù)據(jù)需要存儲在高性能但高成本的存儲介質(zhì)上，哪些冷數(shù)數(shù)據(jù)可挑戰(zhàn)二：存儲資源利用率普遍較低，缺少多視角的存儲資源優(yōu)化分析缺乏使用者視角？難難缺少全局視角：企業(yè)往往需要跨多個平臺甚至地理位置整合存儲資源。缺乏全局視角使得企業(yè)難以對存儲資源進行全面務(wù)單元之間平衡存儲資源，以滿足各自的性能和容量需求。但是，大部分企業(yè)缺少業(yè)務(wù)視角的資源使用分析，難以將存儲資源的分配與業(yè)務(wù)需求和優(yōu)先級對齊。員工是存儲資源的直接使用者，他們的個人存儲空間管理對整體資源利用效率有著直接影響。然而，許多企業(yè)在存儲資源優(yōu)化分析時往往缺乏對使用者需求的考慮，導致存儲資源存儲需求預測困難：業(yè)務(wù)數(shù)據(jù)量迅速增加，導致存儲需求不斷上升，但是大部分組織的存儲需求預測缺乏前瞻性，可能設(shè)計研發(fā)經(jīng)營管理協(xié)同辦公生產(chǎn)控制決策分析設(shè)計研發(fā)經(jīng)營管理協(xié)同辦公生產(chǎn)控制決策分析旦管理者技術(shù)/運維人員業(yè)務(wù)人員旦財務(wù)人員其他人員...大數(shù)據(jù)平臺對象存儲本地文件系統(tǒng)NAS分布式文件大數(shù)據(jù)平臺對象存儲本地文件系統(tǒng)多樣化的數(shù)據(jù)類型：客戶擁有包括文本文檔、圖片、視頻、音頻和日志文件等在內(nèi)的多種類型的非結(jié)構(gòu)化數(shù)據(jù)?？缍鄠€業(yè)務(wù)部門的運作：企業(yè)的各個部門通常都有獨立的系統(tǒng)來管理其業(yè)務(wù)流程，并生成各自的數(shù)據(jù)，這些數(shù)據(jù)往往被封閉在各自的系統(tǒng)中，缺乏共享機制和統(tǒng)一管理與分析的能力。不同用戶需求的差異：企業(yè)的不同用戶對于數(shù)據(jù)的使用需求各不相同。一些用戶需要全局的可視化數(shù)據(jù)報表，另一些則需要詳細的實時數(shù)據(jù)報表，需求的多樣化導致數(shù)據(jù)在整合和分析過程中變存儲(NAS)、存儲區(qū)域網(wǎng)絡(luò)(SAN)、對象存儲等。這些環(huán)境各自使用不同的協(xié)議、標準和訪問控制機制，加劇了數(shù)據(jù)的分散，導缺乏統(tǒng)一的數(shù)據(jù)視圖：企業(yè)無法全盤掌握其所有數(shù)據(jù)資源。這意應(yīng)用場景存儲精益化管理解決方案架構(gòu)應(yīng)用場景需存儲數(shù)據(jù)支持5類存儲系統(tǒng)分布式存儲對象存儲大數(shù)據(jù)平臺理降本增效生產(chǎn)系統(tǒng)降本增效生產(chǎn)系統(tǒng)熱溫冷數(shù)據(jù)分類大文件識別容量趨勢熱溫冷數(shù)據(jù)分類大文件識別容量趨勢熱度檢測模型熱度檢測模型重復文件檢測模型容量預測模型分布式搜索引擎分布式搜索引擎機器數(shù)據(jù)湖跨品牌支持跨品牌支持…通過存儲精益化管理，支撐數(shù)據(jù)分級管理歸檔庫企業(yè)文化資料歸檔庫企業(yè)文化資料歸檔庫項目資料票據(jù)電子影像音視頻文件歸檔庫歸檔庫基于熱度分類文件類型分類自定義分類…業(yè)務(wù)屬性海量文件數(shù)據(jù)分布式文件存儲精益化管理基于熱度分類文件類型分類自定義分類…業(yè)務(wù)屬性海量文件數(shù)據(jù)分布式文件存儲精益化管理溫數(shù)據(jù)冷數(shù)據(jù)音樂、視頻壓縮文件組織結(jié)構(gòu)名稱項目名稱正則表達式規(guī)則數(shù)據(jù)存儲規(guī)范數(shù)據(jù)管理規(guī)范數(shù)據(jù)保留規(guī)范數(shù)據(jù)歸檔規(guī)范優(yōu)化數(shù)據(jù)管理規(guī)范數(shù)據(jù)存儲規(guī)范數(shù)據(jù)管理規(guī)范數(shù)據(jù)保留規(guī)范數(shù)據(jù)歸檔規(guī)范優(yōu)化數(shù)據(jù)管理規(guī)范數(shù)據(jù)備份策略數(shù)據(jù)恢復策略數(shù)據(jù)歸檔策略災(zāi)難恢復演練策略優(yōu)化備份管理策略數(shù)據(jù)備份策略數(shù)據(jù)恢復策略數(shù)據(jù)歸檔策略災(zāi)難恢復演練策略優(yōu)化備份管理策略文件數(shù)據(jù)自動分類優(yōu)化數(shù)據(jù)管理策略、提高數(shù)據(jù)可靠性數(shù)據(jù)分類存儲、降低成本壓縮和重復數(shù)據(jù)刪除歸檔系統(tǒng)$機臺DCO客戶端x前置機重復數(shù)據(jù)可刪除/可恢復NFS掛載｜CIFS掛載｜本地Agent｜RESTAPI文件元數(shù)據(jù)讀取分層歸檔自動化數(shù)據(jù)轉(zhuǎn)儲壓縮和重復數(shù)據(jù)刪除歸檔系統(tǒng)$機臺DCO客戶端x前置機重復數(shù)據(jù)可刪除/可恢復NFS掛載｜CIFS掛載｜本地Agent｜RESTAPI文件元數(shù)據(jù)讀取分層歸檔自動化數(shù)據(jù)轉(zhuǎn)儲冷熱溫數(shù)據(jù)分類結(jié)果機器數(shù)據(jù)湖重復文件統(tǒng)計結(jié)果重復文件夾統(tǒng)計結(jié)果待轉(zhuǎn)數(shù)據(jù)處理支持動態(tài)調(diào)整冷熱溫數(shù)據(jù)的存儲策略，將熱數(shù)據(jù)遷自重復文件列表重復文件夾列表自重復文件列表重復文件夾列表冷熱溫分類冷熱溫分類標簽管理AnyStorageAnyStorage分布式存儲管理生產(chǎn)系統(tǒng)基于熱度的數(shù)據(jù)分類存儲優(yōu)化建議數(shù)據(jù)從冷轉(zhuǎn)熱：最后訪問時間數(shù)據(jù)從熱轉(zhuǎn)冷：最后修改時間、最后訪問時間熱數(shù)據(jù)經(jīng)常被訪問或使用的實時數(shù)據(jù)。訪問頻率高，對性能要求高，生產(chǎn)系統(tǒng)基于熱度的數(shù)據(jù)分類存儲優(yōu)化建議數(shù)據(jù)從冷轉(zhuǎn)熱：最后訪問時間數(shù)據(jù)從熱轉(zhuǎn)冷：最后修改時間、最后訪問時間熱數(shù)據(jù)經(jīng)常被訪問或使用的實時數(shù)據(jù)。訪問頻率高，對性能要求高，建議存儲在快速的存儲介質(zhì)上。熱數(shù)據(jù)分類模型溫數(shù)據(jù)機械硬盤訪問頻率較低但偶爾需要訪問的數(shù)據(jù)。能夠容忍一定的訪問延遲，建議存儲在性能和成本之間的平衡存儲介質(zhì)上。溫數(shù)據(jù)冷數(shù)據(jù)訪問頻率低，可以長期存儲而不需要頻繁訪問的數(shù)據(jù)。冷數(shù)據(jù)建議存儲在成本較低的介質(zhì)，進行歸檔，或?qū)]有價值的過期數(shù)據(jù)刪除。本地文件海量數(shù)據(jù)本地文件儲分布式文件?支持創(chuàng)建時間、最后訪問時間、最后修改時間的冷數(shù)據(jù)識別按照數(shù)據(jù)的創(chuàng)建時間、最后訪問時間、最后修改時間按照數(shù)據(jù)的創(chuàng)建時間、最后訪問時間、最后修改時間，將數(shù)據(jù)分為冷、熱、溫三個類別。。非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)存儲數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)存儲數(shù)據(jù)率數(shù)據(jù)庫率數(shù)據(jù)庫虛擬機虛擬機大數(shù)據(jù)平臺大數(shù)據(jù)平臺結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)應(yīng)用應(yīng)用注：依據(jù)《GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分數(shù)據(jù)存儲策略數(shù)據(jù)保留策略數(shù)據(jù)歸檔策略災(zāi)難恢復演練策略降低存儲成本，是一個重要的考慮因素。不同的業(yè)務(wù)對數(shù)問頻率和重要性有不同的要求。在線業(yè)務(wù)系統(tǒng)需要實時訪理熱數(shù)據(jù)，離線分析系統(tǒng)則需要處理大量的歷史數(shù)據(jù)和冷需要通過對數(shù)據(jù)進行熱、溫、冷分類，根據(jù)數(shù)據(jù)的訪問頻值，選擇不同性能和成本的存儲介質(zhì)和存儲方案，實現(xiàn)存數(shù)據(jù)存儲策略數(shù)據(jù)保留策略數(shù)據(jù)歸檔策略災(zāi)難恢復演練策略降低存儲成本，是一個重要的考慮因素。不同的業(yè)務(wù)對數(shù)問頻率和重要性有不同的要求。在線業(yè)務(wù)系統(tǒng)需要實時訪理熱數(shù)據(jù)，離線分析系統(tǒng)則需要處理大量的歷史數(shù)據(jù)和冷需要通過對數(shù)據(jù)進行熱、溫、冷分類，根據(jù)數(shù)據(jù)的訪問頻值，選擇不同性能和成本的存儲介質(zhì)和存儲方案，實現(xiàn)存本存儲介質(zhì)上，實現(xiàn)數(shù)據(jù)分類存儲，從而降低成本、冷分類后，管理員可以根據(jù)數(shù)據(jù)的分類情況制數(shù)據(jù)分類管理生產(chǎn)系統(tǒng)海量文件數(shù) 分布式文件大數(shù)據(jù)文件自動分類熱數(shù)據(jù)溫數(shù)據(jù)冷數(shù)據(jù)存儲數(shù)據(jù)的全局視角管理存儲全局概覽冷數(shù)據(jù)分析?重復文件總數(shù)重復文件總數(shù)據(jù)量重復數(shù)據(jù)量百分比重復文件總數(shù)重復文件總數(shù)據(jù)量重復數(shù)據(jù)量百分比可節(jié)省空間自文件夾唯一標識符重復文件夾路徑文件夾大小文件唯一標識符重復文件路徑文件大小….….在海量文件的存儲系統(tǒng)中，常常面臨的一個挑戰(zhàn)是處理和管理大數(shù)據(jù)。重復數(shù)據(jù)的存在，一方面占用大量存儲空間、造成資源浪費….….重復文件詳情列表重復文件夾詳情重復文件/文件夾統(tǒng)計重復文件可能存在于企業(yè)內(nèi)的多個存儲系統(tǒng)中，如何跨存儲重復文件詳情列表重復文件夾詳情重復文件/文件夾統(tǒng)計重復文件重復文件組重復文件重復文件組重復文件夾重復文件夾組重復文件夾重復文件夾組?多種重復文件識別方法：支持文件哈希值抽樣比較法、文件屬性數(shù)據(jù)比較法進行重復文件識別。其中文件哈希值抽樣比較法通過海量文件分布式文件系統(tǒng)（NAS/S3對象存儲/…）?跨異構(gòu)存儲識別重復文件識別，提升管理效率：通過提供跨異構(gòu)存儲重復文件的識別，存儲管理員可針對海量文件分布式文件系統(tǒng)（NAS/S3對象存儲/…）?消除冗余數(shù)據(jù)、降低存儲成本：通過識別出的重復文件/文件夾詳情列表，通過刪除或合并重復文件消除冗余數(shù)據(jù)，可以節(jié)省大釋放存儲空間?重復文件分析?一級文件夾分析文件類型分類分析支持兩種在文件元數(shù)據(jù)中打業(yè)務(wù)部門標簽方式?目錄標簽自動提取：如果存儲中的文件目錄帶有業(yè)務(wù)系統(tǒng)信息，則可通過配置提取規(guī)則，自動提取業(yè)務(wù)系統(tǒng)標簽到元數(shù)據(jù)?目錄/業(yè)務(wù)系統(tǒng)映射表：管理員可手動編輯文件目錄和業(yè)務(wù)系統(tǒng)的映射關(guān)系，元數(shù)據(jù)處理時會根據(jù)映射關(guān)系附加業(yè)務(wù)系統(tǒng)標簽業(yè)務(wù)系統(tǒng)資源詳情表自業(yè)務(wù)系統(tǒng)資源報表業(yè)務(wù)系統(tǒng)資源報告文件元數(shù)據(jù)業(yè)務(wù)部門明細業(yè)務(wù)部門匯總 元數(shù)據(jù)采集掛載點MP…業(yè)務(wù)系統(tǒng)資源詳情表自業(yè)務(wù)系統(tǒng)資源報表業(yè)務(wù)系統(tǒng)資源報告文件元數(shù)據(jù)業(yè)務(wù)部門明細業(yè)務(wù)部門匯總 元數(shù)據(jù)采集掛載點MP…存儲存儲存儲存儲存儲海量存儲業(yè)務(wù)系統(tǒng)存儲概覽業(yè)務(wù)系統(tǒng)資源詳情業(yè)務(wù)系統(tǒng)匯總分析分析業(yè)務(wù)部門對存儲資源使用現(xiàn)狀，實現(xiàn)業(yè)務(wù)部門成本監(jiān)控和優(yōu)化業(yè)務(wù)部門總體情況可優(yōu)化的業(yè)務(wù)部門本部門使用情況支持兩種在文件元數(shù)據(jù)中打業(yè)務(wù)部門標簽方式業(yè)務(wù)部門總體情況可優(yōu)化的業(yè)務(wù)部門本部門使用情況業(yè)務(wù)部門資源報表文件元數(shù)據(jù)業(yè)務(wù)部門明細業(yè)務(wù)部門匯總 元數(shù)據(jù)采集↑自業(yè)務(wù)部門資源報表文件元數(shù)據(jù)業(yè)務(wù)部門明細業(yè)務(wù)部門匯總 元數(shù)據(jù)采集↑自?目錄標簽自動提?。喝绻鎯χ械奈募夸泿в袠I(yè)務(wù)部門信息，則可通過配置提取規(guī)則，自動提取業(yè)務(wù)部門標簽到元數(shù)據(jù)?目錄/業(yè)務(wù)部門映射表：管理員可手動編輯文件目錄和業(yè)務(wù)部門的映射關(guān)系，元數(shù)據(jù)處理時會根據(jù)映射關(guān)系附加業(yè)務(wù)部門標簽部門A部門B資源整體使用、可優(yōu)化的情況門資源使用多、可優(yōu)化空間多，針對性用、費用和可優(yōu)化點，針對部門存儲進存儲存儲存儲存儲存儲海量存儲業(yè)務(wù)部門資源詳情表自業(yè)務(wù)部門資源報告業(yè)務(wù)部門概覽?業(yè)務(wù)部門資源詳情分析業(yè)務(wù)部門匯總分析統(tǒng)一數(shù)據(jù)視圖全面的數(shù)據(jù)視圖全局視角數(shù)據(jù)資源梳理?全面洞察不同位置和系統(tǒng)中的文件數(shù)據(jù)分布，有效地整合分散的數(shù)據(jù)，構(gòu)建統(tǒng)一的數(shù)據(jù)視圖。多視角數(shù)據(jù)資源清點?業(yè)務(wù)視角：識別不同業(yè)務(wù)部門的數(shù)據(jù)需求，并根據(jù)業(yè)務(wù)標準對業(yè)務(wù)視角個人使用者視角跨平臺文件檢索，全面洞察文件存儲大小和分布統(tǒng)一數(shù)據(jù)視圖全面的數(shù)據(jù)視圖全局視角數(shù)據(jù)資源梳理?全面洞察不同位置和系統(tǒng)中的文件數(shù)據(jù)分布，有效地整合分散的數(shù)據(jù)，構(gòu)建統(tǒng)一的數(shù)據(jù)視圖。多視角數(shù)據(jù)資源清點?業(yè)務(wù)視角：識別不同業(yè)務(wù)部門的數(shù)據(jù)需求，并根據(jù)業(yè)務(wù)標準對業(yè)務(wù)視角個人使用者視角分布式文件大數(shù)據(jù)系統(tǒng)平臺?個人使用者視角?個人使用者視角：分析員工在虛擬桌面等企業(yè)資產(chǎn)中的文件使非結(jié)構(gòu)化數(shù)據(jù)存儲多業(yè)務(wù)部門數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心跨平臺文件路徑檢索，合理規(guī)劃存儲使用文件元數(shù)據(jù)查詢?存儲容量預測，降低容量規(guī)劃復雜度存儲增長趨勢剩余可用時間未來存儲量?深度學習：TCN、存儲增長趨勢剩余可用時間未來存儲量?深度學習：TCN、RNN、block_RNN、nbeats、transformer?基線算法：na?ve_arift、na?ve_drift、na?ve_mean、na?ve_sea?指數(shù)平滑：SES、Holt機器學習預測引擎前瞻性存儲資源分配機器學習預測引擎前瞻性存儲資源分配?預測性規(guī)劃使企業(yè)能夠根據(jù)預期的存儲增長趨勢提前為不同海量文件海量文件分布式文件系統(tǒng)（NAS/S3對象存儲/…）避免資源瓶頸避免資源瓶頸?預測存儲的剩余使用時