(高清版)GB∕T 38676-2020 信息技術(shù) 大數(shù)據(jù) 存儲與處理系統(tǒng)功能測試要求

ICS35.240GB/T38676—2020信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能測試要求國家市場監(jiān)督管理總局國家標(biāo)準(zhǔn)化管理委員會GB/T38676—2020 I 6大數(shù)據(jù)存儲子系統(tǒng)的功能測試要求 6.1基本功能的測試要求 6.2分布式文件存儲的功能測試要求 26.3分布式結(jié)構(gòu)化數(shù)據(jù)存儲的功能測試要求 26.4分布式列式數(shù)據(jù)存儲的功能測試要求 36.5分布式圖數(shù)據(jù)存儲的功能測試要求 37大數(shù)據(jù)處理子系統(tǒng)的功能測試要求 37.1基本功能的測試要求 37.2批處理框架的功能測試要求 47.3流處理框架的功能測試要求 47.4圖計(jì)算框架的功能測試要求 57.5內(nèi)存計(jì)算框架的功能測試要求 57.6批流融合計(jì)算框架的功能測試要求 5IGB/T38676—2020本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任。本標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC28)提出并歸口。本標(biāo)準(zhǔn)起草單位：華為技術(shù)有限公司、中國電子技術(shù)標(biāo)準(zhǔn)化研究院、上海計(jì)算機(jī)軟件技新華三技術(shù)有限公司、浪潮電子信息產(chǎn)業(yè)股份有限公司、深圳市金蝶天燕云計(jì)算股份有限公司。1GB/T38676—2020信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能測試要求1范圍本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)存儲與處理系統(tǒng)的基本功能、分布式文件存儲、分布式結(jié)構(gòu)化數(shù)據(jù)存儲、分布計(jì)算框架的測試要求。本標(biāo)準(zhǔn)適用于大數(shù)據(jù)存儲與處理系統(tǒng)的測試。2規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T37722—2019信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能要求3術(shù)語和定義GB/T37722—2019界定的術(shù)語和定義適用于本文件。4縮略語下列縮略語適用于本文件。API:應(yīng)用程序接口(ApplicationProgrammingInterface)CPU:中央處理器(CentralProcessingUnit)DAG:有向無環(huán)圖(DirectedAcyclicGraph)GPU:圖形處理器(GraphicsProcessingUnit)MPI:消息傳遞接口(MessagePassingInterface)SQL:結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)5概述本標(biāo)準(zhǔn)根據(jù)GB/T37722—2019規(guī)定的大數(shù)據(jù)存儲與處理系統(tǒng)的功能要求，給出了相應(yīng)的測試要求。6大數(shù)據(jù)存儲子系統(tǒng)的功能測試要求6.1基本功能的測試要求大數(shù)據(jù)存儲子系統(tǒng)基本功能的測試要求如下：2GB/T38676—2020a)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)是否能對文件、圖等數(shù)據(jù)進(jìn)行上傳和下載的操作；b)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)是否能對目錄進(jìn)行創(chuàng)建加等操作；d)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否通過開源或商業(yè)工具提供系統(tǒng)與傳統(tǒng)關(guān)系型數(shù)據(jù)庫之間交換數(shù)據(jù)和文件；e)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否通過開源或商業(yè)工具提供系統(tǒng)與其他文件系統(tǒng)(如ext2等)之間交換數(shù)據(jù)和文件；f)應(yīng)構(gòu)造一個(gè)關(guān)鍵節(jié)點(diǎn)故障，驗(yàn)證大數(shù)據(jù)存儲子系統(tǒng)中的數(shù)據(jù)讀寫是否正常；g)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否通過界面/工具/命令行方式完成自動或手動備份。自動備份需h)應(yīng)對大數(shù)據(jù)存儲子系統(tǒng)中存在的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)執(zhí)行批量更新、批量刪除等操作，測試操作是否正常執(zhí)行；i)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否從消息隊(duì)列讀取數(shù)據(jù)，并將計(jì)算結(jié)果實(shí)時(shí)寫入數(shù)據(jù)庫；j)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否將數(shù)據(jù)采集到實(shí)時(shí)檢索平臺，并根據(jù)索引主鍵進(jìn)行實(shí)時(shí)查詢。注：本條的測試要求對應(yīng)GB/T37722—2019中6.1的要求。6.2分布式文件存儲的功能測試要求分布式文件存儲的功能測試要求如下：b)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否對文件進(jìn)行多副本備份，并能通過副本恢復(fù)出原始數(shù)據(jù)；c)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)節(jié)點(diǎn)/軟件發(fā)生故障時(shí)，如斷電、數(shù)據(jù)節(jié)點(diǎn)失效等，不影響系統(tǒng)及業(yè)務(wù)d)應(yīng)通過對副本文件進(jìn)行寫操作，然后查看塊校驗(yàn)文件，驗(yàn)證副本文件所在節(jié)點(diǎn)的塊校驗(yàn)文件e)應(yīng)測試刪除節(jié)點(diǎn)前，單個(gè)數(shù)據(jù)節(jié)點(diǎn)先退出服務(wù)集群，集群數(shù)據(jù)重新分布，數(shù)據(jù)無損，業(yè)務(wù)不h)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否對文件數(shù)據(jù)進(jìn)行統(tǒng)一檢索、編目、增加和刪除操作；i)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否通過命令或圖形化界面對文件進(jìn)行搜索、批量操作(創(chuàng)建/刪除j)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否根據(jù)配置的文件閾值，將存儲系統(tǒng)中的小文件打包成大文件進(jìn)行存儲；k)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否根據(jù)目錄存儲空間大小以及文件數(shù)量，對寫文件設(shè)置最高上限。注：本條的測試要求對應(yīng)GB/T37722—2019中6.2的要求。6.3分布式結(jié)構(gòu)化數(shù)據(jù)存儲的功能測試要求分布式結(jié)構(gòu)化數(shù)據(jù)存儲的功能測試要求如下：a)應(yīng)通過向大數(shù)據(jù)存儲子系統(tǒng)中導(dǎo)入結(jié)構(gòu)化數(shù)據(jù)，測試在數(shù)據(jù)節(jié)點(diǎn)上能否看到塊數(shù)據(jù)分布在不同的節(jié)點(diǎn)上；b)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否支持通過API調(diào)用對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行查詢操作，包括：元數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等；3GB/T38676—2020到某張表中的數(shù)據(jù)；注：本條的測試要求對應(yīng)GB/T37722—2019中6.3的要求。分布式列式數(shù)據(jù)存儲的功能測試要求如下：測試數(shù)據(jù)備份和恢復(fù)任務(wù)的進(jìn)展和歷史記錄。f)應(yīng)通過構(gòu)造多張表，導(dǎo)入數(shù)據(jù)，測試大數(shù)據(jù)存儲子系統(tǒng)根據(jù)關(guān)聯(lián)規(guī)則/關(guān)系合并后的表內(nèi)容與預(yù)期是否一致。注：本條的測試要求對應(yīng)GB/T37722—2019中6.4的要求。分布式圖數(shù)據(jù)存儲的功能測試要求如下：模型是否一致；c)應(yīng)測試大數(shù)據(jù)存儲子系統(tǒng)能否通過圖數(shù)據(jù)庫開發(fā)接口進(jìn)行元數(shù)據(jù)管理、圖數(shù)據(jù)管理等操作；d)應(yīng)通過寫入/導(dǎo)入圖數(shù)據(jù)，數(shù)據(jù)間存在多層關(guān)系，測試大數(shù)據(jù)存儲子系統(tǒng)能否對數(shù)據(jù)進(jìn)行單節(jié)e)應(yīng)通過設(shè)置最短路徑/最優(yōu)路徑模型，寫入/導(dǎo)入圖數(shù)據(jù)，測試搜索結(jié)果是否符合最短路徑/最注：本條的測試要求對應(yīng)GB/T37722—2019中6.5的要求。大數(shù)據(jù)處理子系統(tǒng)基本功能的測試要求如下：4GB/T38676—2020b)應(yīng)通過工具加壓，測試計(jì)算框架部署的環(huán)境能否隨任務(wù)的增加而增加節(jié)點(diǎn)個(gè)數(shù)；c)應(yīng)通過創(chuàng)建多個(gè)任務(wù)，對其分別設(shè)置不同的優(yōu)先級標(biāo)簽，測試高優(yōu)先級任務(wù)能否優(yōu)先執(zhí)行；d)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)能否通過圖形化界面或命令行等查看系統(tǒng)資源情況，包括：所有資e)應(yīng)測試任務(wù)的靜態(tài)資源調(diào)度策略，設(shè)置每個(gè)任務(wù)使用固定的資源，查看任務(wù)運(yùn)行過程中的資源占用是否達(dá)到預(yù)期；f)應(yīng)測試任務(wù)的動態(tài)資源調(diào)度策略，查看任務(wù)運(yùn)行過程中資源占用的變化情況；g)應(yīng)通過創(chuàng)建一級租戶，測試在其下是否能創(chuàng)建多個(gè)層級的子租戶，并為其配置資源使用上限，每層子租戶的資源總和不超過其父租戶；h)應(yīng)通過創(chuàng)建一級租戶A和租戶B,分別分配一定量的資源，指定租戶A提交任務(wù)，任務(wù)占用資源遠(yuǎn)超過其配置的資源容量，測試任務(wù)能否提交成功，租戶B的資源能否減少。再指定租戶B提交任務(wù)，任務(wù)占用資源為其滿配，測試任務(wù)能否提交成功，租戶Ai)應(yīng)通過同時(shí)提交各種分布式計(jì)算框架的任務(wù)，測試任務(wù)能否成功執(zhí)行；j)應(yīng)通過構(gòu)造任務(wù)A和任務(wù)B,A的輸出是B的輸入，提交任務(wù)A和任務(wù)B,測試A和B是否能夠按照依賴關(guān)系自動調(diào)度；k)應(yīng)通過提交任務(wù)，查看其對資源占用的變化情況；等任務(wù)運(yùn)行完成，再次查看該任務(wù)對資源的占用情況，測試大數(shù)據(jù)處理子系統(tǒng)能否根據(jù)作業(yè)需求動態(tài)分配計(jì)算資源，自動管理回收資源；1)應(yīng)通過提交多個(gè)任務(wù)，這些任務(wù)按照無回路有向圖的方式進(jìn)行拓?fù)渑判颍瑴y試任務(wù)是否能夠按照拓?fù)浣Y(jié)果進(jìn)行自動調(diào)度；m)應(yīng)通過提交一個(gè)復(fù)雜任務(wù)，測試大數(shù)據(jù)處理子系統(tǒng)為不同子任務(wù)調(diào)度的CPU、內(nèi)存數(shù)量是否注：本條的測試要求對應(yīng)GB/T37722—2019中7.1的要求。7.2批處理框架的功能測試要求批處理框架的功能測試要求如下：a)應(yīng)通過創(chuàng)建結(jié)構(gòu)化、非結(jié)構(gòu)化類型數(shù)據(jù)，對數(shù)據(jù)進(jìn)行建表，測試批處理框架能否對創(chuàng)建的表進(jìn)行離線分析；b)應(yīng)通過提交一個(gè)離線任務(wù)，測試圖形化界面能否查看離線計(jì)算任務(wù)進(jìn)度與狀態(tài)；c)應(yīng)在分布式計(jì)算環(huán)境上，測試大數(shù)據(jù)處理子系統(tǒng)能否執(zhí)行批處理任務(wù)；d)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)能否使用多種語言開發(fā)接口進(jìn)行分析任務(wù)，例如Python、Java等；e)應(yīng)通過創(chuàng)建多個(gè)任務(wù)，設(shè)置任務(wù)之間依賴關(guān)系，測試任務(wù)能否按照依賴關(guān)系順序執(zhí)行；行聚集；g)應(yīng)通過提交分布式任務(wù)，測試任務(wù)申請資源是否正常，任務(wù)執(zhí)行是否成功。注：本條的測試要求對應(yīng)GB/T37722—2019中7.2的要求。7.3流處理框架的功能測試要求流處理框架的功能測試要求如下：a)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)從消息隊(duì)列獲取實(shí)時(shí)消息，對數(shù)據(jù)進(jìn)行高吞吐、低延遲的實(shí)時(shí)計(jì)算后，再將結(jié)果數(shù)據(jù)寫入消息隊(duì)列操作；b)應(yīng)通過創(chuàng)建消息處理任務(wù)，測試用戶能否對任務(wù)作記錄是否在審計(jì)日志中；c)應(yīng)通過創(chuàng)建滑動窗口方式的實(shí)時(shí)分析任務(wù)，測試窗口大小、滑動步長是否可調(diào)節(jié)；5GB/T38676—2020d)應(yīng)通過構(gòu)造流處理框架故障(如服務(wù)進(jìn)程故障等),測試流處理服務(wù)是否正常、無中斷；e)應(yīng)通過創(chuàng)建消息處理任務(wù)，在消息處理過程中構(gòu)造節(jié)點(diǎn)、進(jìn)程等異常，測試異常節(jié)點(diǎn)上的消息是否會重分布到其他正常節(jié)點(diǎn)、進(jìn)程進(jìn)行處理。注：本條的測試要求對應(yīng)GB/T37722—2019中7.3的要求。7.4圖計(jì)算框架的功能測試要求圖計(jì)算框架的功能測試要求如下：a)應(yīng)通過API讀取圖數(shù)據(jù)，尋找某條邊/某個(gè)點(diǎn)的屬性，測試結(jié)果與預(yù)期是否一致；b)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)是否提供工具/命令行/圖形化界面進(jìn)行數(shù)據(jù)的全量導(dǎo)入、增量導(dǎo)入以及自定義導(dǎo)入；c)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)是否支持對實(shí)時(shí)圖數(shù)據(jù)進(jìn)行分析和查詢；d)應(yīng)通過定義圖數(shù)據(jù)模型，上傳數(shù)據(jù)文件和圖規(guī)則映射文件(節(jié)點(diǎn)/邊上的標(biāo)簽和屬性),測試文件上傳是否成功；e)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)是否支持內(nèi)置常用圖指標(biāo)計(jì)算功能，如統(tǒng)計(jì)點(diǎn)邊數(shù)量等；f)應(yīng)通過工具加壓，測試大數(shù)據(jù)處理子系統(tǒng)能否對增加的圖數(shù)據(jù)計(jì)算和查詢業(yè)務(wù)自動分配到不g)應(yīng)通過模擬多個(gè)客戶端發(fā)起圖數(shù)據(jù)庫查詢請求，測試能否查詢到相應(yīng)的數(shù)據(jù)結(jié)果。注：本條的測試要求對應(yīng)GB/T37722—2019中7.4的要求。7.5內(nèi)存計(jì)算框架的功能測試要求內(nèi)存計(jì)算框架的功能測試要求如下：a)應(yīng)在分布式計(jì)算環(huán)境上，測試將任務(wù)轉(zhuǎn)化為DAG圖的功能，并測試能否正確執(zhí)行分布式計(jì)算任務(wù)；b)應(yīng)通過工具加壓，測試系統(tǒng)對增加的數(shù)據(jù)處理業(yè)務(wù)能否自動分配到不同處理節(jié)點(diǎn)，自動負(fù)載均c)應(yīng)測試內(nèi)存計(jì)算引擎能否對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化不同類型的數(shù)據(jù)進(jìn)行處理；d)應(yīng)通過運(yùn)行貝葉斯計(jì)算任務(wù)，測試任務(wù)能否成功執(zhí)行；e)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)能否直接讀取非關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，不需要對數(shù)據(jù)做遷移。注：本條的測試要求對應(yīng)GB/T37722—2019中7.5的要求。7.6批流融合計(jì)算框架的功能測試要求批流融合計(jì)算框架的功能測試要求如下：a)應(yīng)通過流式讀取數(shù)據(jù)，對讀取到的數(shù)據(jù)執(zhí)行SQL查詢語句，測試查詢到的數(shù)據(jù)是否與預(yù)期的一致；b)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)是否支持位置信息分析、廣告瀏覽統(tǒng)計(jì)等場景下的流式SQL處理能力；c)應(yīng)測試批流融合計(jì)算/處理的時(shí)間窗口是否支持多種類型，包括跳躍窗口、滑動窗口等；d)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)能否執(zhí)行對樣本數(shù)據(jù)進(jìn)行清洗、去重等批、流處理操作，結(jié)合模式識e)應(yīng)測試大數(shù)據(jù)處理子系統(tǒng)能否從消息隊(duì)列中實(shí)時(shí)讀取并批量處理數(shù)據(jù)，并將統(tǒng)計(jì)分析結(jié)果實(shí)時(shí)更新到存儲系統(tǒng)中；f)應(yīng)測試大數(shù)據(jù)處理子