(高清版)GB∕T 44216-2024 信息技術(shù) 大數(shù)據(jù) 批流融合計(jì)算技術(shù)要求

ICS35.240信息技術(shù)大數(shù)據(jù)批流融合計(jì)算技術(shù)要求2024-07-24發(fā)布2025-02-01實(shí)施I 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 2 2 36.1統(tǒng)一資源管理 36.2統(tǒng)一計(jì)算框架 4 4 56.5統(tǒng)一作業(yè)管理 6.6統(tǒng)一權(quán)限管理 6 6 7 7附錄A(資料性)批流融合計(jì)算應(yīng)用場(chǎng)景 8A.1金融行業(yè) 8A.2智能制造行業(yè) 8A.3物聯(lián)網(wǎng) 8A.4航空航天 8附錄B(資料性)字符類型及操作中英文對(duì)照表 9 ⅢV12信息技術(shù)大數(shù)據(jù)批流融合計(jì)算技術(shù)要求3.23.33.4所需的計(jì)算被劃分并分布在多個(gè)節(jié)點(diǎn)上，整體結(jié)果由每個(gè)節(jié)點(diǎn)的結(jié)果合并而成的大數(shù)據(jù)集的處理3.53.62API:應(yīng)用程序編程接口(ApplicationProgrammingIntCEP:復(fù)雜事件處理(ComplexEventProcessing)CPU:中央處理器(CentralProcessingUnit)DAG:有向無環(huán)圖(DirectedAcyclicGraph)GPU:圖形處理器(GraphicsProcessingUnit)SQL:結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)3生命周期生命周期接口窗口租戶級(jí)CPU算框架統(tǒng)一資源管理監(jiān)控配置上報(bào)統(tǒng)一作統(tǒng)一權(quán)限管理身份鑒別狀態(tài)數(shù)據(jù)任務(wù)級(jí)多移戶隊(duì)列級(jí)作業(yè)級(jí)編排內(nèi)存資源■批流融合計(jì)算技術(shù)應(yīng)具備統(tǒng)一的資源調(diào)度和分配能力。統(tǒng)一的資源調(diào)度和分配能力具體包括：a)應(yīng)支持使用同一套資源調(diào)度和分配系統(tǒng)，以滿足資源互相共享或削峰填谷；b)應(yīng)支持CPU、內(nèi)存、GPU等異構(gòu)資源調(diào)度和配置；c)應(yīng)支持任務(wù)優(yōu)先級(jí)調(diào)度：能夠定義不同優(yōu)先級(jí)的任務(wù)，可實(shí)現(xiàn)部分場(chǎng)景中后啟動(dòng)的高優(yōu)先級(jí)任務(wù)能夠獲取運(yùn)行中的低優(yōu)先級(jí)任務(wù)釋放的資源；d)應(yīng)支持靜態(tài)資源分配策略和動(dòng)態(tài)資源分配策略；e)應(yīng)提供匹配組織的層次結(jié)構(gòu)，支持多層次的隊(duì)列資源管理；f)應(yīng)實(shí)現(xiàn)隊(duì)列資源嚴(yán)格的隔離，即不超過分配給該隊(duì)列的資源上限；g)應(yīng)支持彈性資源搶占：當(dāng)有空閑資源時(shí)，租戶可以使用超過其配置資源，以提高系統(tǒng)資源整體h)應(yīng)支持租戶的資源搶占：當(dāng)系統(tǒng)繁忙時(shí)，其他租戶無法拿到配置應(yīng)得的資源時(shí)，當(dāng)前租戶超過配置部分的閑置資源可以被其他租戶搶占，保證各租戶的服務(wù)質(zhì)量；i)應(yīng)支持根據(jù)作業(yè)需求動(dòng)態(tài)分配計(jì)算資源，自動(dòng)管理回收資源；j)應(yīng)支持作業(yè)級(jí)別資源隔離，資源類型包括CPU、內(nèi)存、GPU等；應(yīng)支持多種運(yùn)行模式，包括本地模式和集群模式；k)宜支持獨(dú)立部署模式。4d)應(yīng)支持窗口切分：支持按事件時(shí)間進(jìn)行窗口切分、支持按處理時(shí)間(或入口時(shí)間)進(jìn)行窗口b)應(yīng)在批/流數(shù)據(jù)集合之上統(tǒng)一支持常用的數(shù)據(jù)類型，涵蓋可變長(zhǎng)字符串、字節(jié)型、布爾型、整3)宜支持高級(jí)聚合語句。1)應(yīng)支持多條數(shù)據(jù)流使用任意關(guān)聯(lián)條件的連接、時(shí)間區(qū)間連接、維表連接、靜態(tài)維表連接、51)應(yīng)支持保留最新的數(shù)據(jù)；2)應(yīng)支持保留最老的數(shù)據(jù)。1)消息隊(duì)列；2)鍵值存儲(chǔ)；3)復(fù)雜數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)；4)關(guān)系型數(shù)據(jù)庫；5)搜索引擎；6)分布式文件系統(tǒng)。61)應(yīng)具備在線擴(kuò)容能力，融合系統(tǒng)集群具備集群擴(kuò)展能力，且性能能夠隨之提升；1)不同并發(fā)度下作業(yè)的調(diào)度耗時(shí)；2)作業(yè)彼此無影響的情況下支持的任務(wù)并發(fā)度。2)檢查大流量時(shí)的作業(yè)穩(wěn)定性。1)無狀態(tài)數(shù)據(jù)；2)少量狀態(tài)數(shù)據(jù)；3)大量狀態(tài)數(shù)據(jù)。78批流融合計(jì)算應(yīng)用場(chǎng)景A.4航空航天(資料性)中文名稱英文名稱可變長(zhǎng)字符串VARCHAR字節(jié)型BYTE布爾型BOOLEAN整型大整型BIGINT單精度浮點(diǎn)型FLOAT雙精度浮點(diǎn)型DOUBLE小數(shù)DECIMAL日期DATE時(shí)間戳TIMESTAMP數(shù)組ARRAY行聚合GroupBy滾動(dòng)窗口TumbleWindow滑動(dòng)窗口HopWindow會(huì)話窗口SessionWindow累積窗口CumulativeWindow連接內(nèi)連接左外連接LEFTOUTERJOIN右外連接RIGHTOUTERJOIN全外連接FULLOUTERJOIN合并UNION合并所有