DB37T 4529-2022 海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范

37Technicalspecificationforhierarchicalstorageofoceanbigdata2022-07-25發(fā)布I 2 2 2 2 3 3 3 3 4 4 5 5 5 6本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定1海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范GB/T35295—2017信息技術(shù)理技術(shù)進(jìn)行有效組織、存儲、計算、分析和管4縮略語CPU：中央處理單元（CentralProcessingETL：數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extract-Transform2ORC：列式存儲（OptimizedRowColSQL：結(jié)構(gòu)化查詢語言（StructuredQueryL來判斷，可分為高頻率訪問的海洋大數(shù)據(jù)、一般頻率訪問的5.2定級規(guī)則數(shù)據(jù)訪問頻次從高到低，排序30%～1005.3分級等級及存儲要求1)應(yīng)實現(xiàn)數(shù)據(jù)實時訪問，訪問延遲應(yīng)小于5ms；1)可實現(xiàn)數(shù)據(jù)實時訪問，訪問延遲應(yīng)小于100ms；31)可實現(xiàn)數(shù)據(jù)延遲訪問，訪問延遲不高于5min；b)應(yīng)支持分布式存儲，包括分布式文件存儲、分布式結(jié)構(gòu)化數(shù)據(jù)存儲、分布式列式數(shù)據(jù)存儲、e)應(yīng)支持批處理計算功能，包括離線批量數(shù)據(jù)處理、在線批量數(shù)據(jù)處理等功能；b)應(yīng)支持依據(jù)海洋大數(shù)據(jù)的分級等級將海洋大數(shù)據(jù)存儲在相應(yīng)等級的存儲設(shè)備或系統(tǒng)中，海洋c)海洋大數(shù)據(jù)分級存儲前應(yīng)事先進(jìn)行數(shù)據(jù)處理，應(yīng)對缺失值數(shù)據(jù)進(jìn)行補(bǔ)齊，支持差異數(shù)據(jù)、臟d)應(yīng)定期評估海洋大數(shù)據(jù)的分級等級，分級等級發(fā)生變化的，應(yīng)將海洋大數(shù)據(jù)遷移至相應(yīng)等級2)采用數(shù)據(jù)抽取方式將海洋大數(shù)據(jù)遷移至相應(yīng)等級的存儲設(shè)備或系統(tǒng)，應(yīng)e)應(yīng)支持根據(jù)海洋大數(shù)據(jù)的分級等級及存儲要求、數(shù)據(jù)訪問量，進(jìn)行不同存儲方式之間的遷移f)應(yīng)支持根據(jù)遷移策略實現(xiàn)對海洋大數(shù)據(jù)的組合查詢；g)應(yīng)支持根據(jù)海洋大數(shù)據(jù)的遷移策略實現(xiàn)海洋大數(shù)據(jù)的自動遷移4a)制定待遷移數(shù)據(jù)源的詳細(xì)說明，包括數(shù)據(jù)的存儲方式、數(shù)據(jù)量、數(shù)據(jù)的時間跨度等；b)建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典；f)建立新舊系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系，并對無法映射的字段進(jìn)行處理；h)制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。應(yīng)對重復(fù)、錯誤、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題數(shù)據(jù)進(jìn)行相應(yīng)的a)海洋大數(shù)據(jù)遷移后，應(yīng)對遷移后的海洋大數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗，可通過以下兩種方式對遷移后1)新舊系統(tǒng)查詢數(shù)據(jù)對比檢查，通過新舊系統(tǒng)各自的查詢工具，對相同指標(biāo)的數(shù)據(jù)進(jìn)行查2)將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，并將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)2)數(shù)據(jù)長度檢查：檢查數(shù)據(jù)的有效長5支持分級存儲系統(tǒng)或設(shè)備的磁盤、CPU、內(nèi)存、電源、風(fēng)扇、網(wǎng)口等信息的查詢，以便實時了解分a)應(yīng)提供分級存儲系統(tǒng)的各個節(jié)點(diǎn)的服務(wù)情況的查詢功能，包括節(jié)點(diǎn)的主備、節(jié)點(diǎn)的容量和性b)應(yīng)提供用戶權(quán)限范圍內(nèi)的節(jié)點(diǎn)管理功能，c)應(yīng)及時了解資源的異常，若有必要應(yīng)采取適當(dāng)措施保證其正常運(yùn)行；d)應(yīng)提供CPU、內(nèi)存、存儲等資源e)應(yīng)支持靜態(tài)資源分配策略和動態(tài)資源分配策h(yuǎn))宜提供作業(yè)自動分配或手動分配功能；1)應(yīng)提供靈活的分級存儲策略，包括異地存儲、加密存儲、壓縮存儲、同步或異步等存儲b)遷移策略管理：應(yīng)支持對海洋大數(shù)據(jù)遷移策略的設(shè)置、修改、刪除和查詢等；c)應(yīng)提供海洋大數(shù)據(jù)分級等級、分級存儲要a)應(yīng)定期對海洋大數(shù)據(jù)的分級等級進(jìn)行監(jiān)測，海洋大數(shù)據(jù)分級等級發(fā)生變化時，應(yīng)實現(xiàn)海洋大b)應(yīng)實時監(jiān)控