DB37T 3048-2017 自主可控軟件測試與認(rèn)證規(guī)范　

ICS35.080DB37DB37/T3048—2017自主可控軟件測試與認(rèn)證規(guī)范山東省質(zhì)量技術(shù)監(jiān)督局發(fā)布IDB37/T3048—2017前言 1 13術(shù)語和定義 14自主可控軟件要求 24.1自主性要求 24.2用戶文檔要求 24.3軟件質(zhì)量要求 25測試內(nèi)容 3 35.2自主性測試 35.3功能性測試 35.4安全性測試 45.5可靠性測試 45.6易用性測試 55.7性能效率測試 55.8維護(hù)性測試 55.9兼容性測試 55.10用戶文檔測試 66測試流程 66.1測試樣品提交 66.2測試需求分析 66.3測試計(jì)劃 66.4測試設(shè)計(jì) 76.5測試環(huán)境準(zhǔn)備 76.6測試執(zhí)行 76.7測試結(jié)果匯總與分析 76.8測試結(jié)果評價 76.9報(bào)告編制 77測試實(shí)施要求 87.1測試計(jì)劃要求 87.2測試用例要求 87.3測試執(zhí)行記錄要求 87.4符合性評價報(bào)告要求 8 88.1認(rèn)證要求 8 98.3認(rèn)證實(shí)施 98.4認(rèn)證證書 9DB37/T3048—2017本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。本標(biāo)準(zhǔn)由山東省經(jīng)濟(jì)和信息化委員會提出并歸口。本標(biāo)準(zhǔn)起草單位：山東省計(jì)算中心(國家超級計(jì)算濟(jì)南中心)、山東省軟件評測中心、山東道普測評技術(shù)有限公司、山東中創(chuàng)軟件商用中間件股份有限公司、山東瀚高基礎(chǔ)軟件股份有限公司、國家網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心(濟(jì)南)、山東億云信息技術(shù)有限公司、山大電力有限責(zé)任公司、山東山大華天軟件有限公司、山東正中計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)咨詢有限公司、山東華迪智能技術(shù)有限公司。本標(biāo)準(zhǔn)主要起草人：楊美紅、韓慶良、韓明軍、張海燕、劉娜、鄭玉華、周長倫、李繼才、張峻、吳梅磊、張建成、李釗、王平、張偉、張文治。1DB37/T3048—2017本標(biāo)準(zhǔn)規(guī)定了自主可控軟件要求、測試內(nèi)容、測試流程、測試實(shí)施要求和認(rèn)證。本標(biāo)準(zhǔn)適用于自主可控軟件的標(biāo)準(zhǔn)符合性測試與認(rèn)證，也可供軟件生產(chǎn)商在設(shè)計(jì)、驗(yàn)證、日常檢測和維護(hù)時參考。2規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T25000.51—2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第51部分：就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測試細(xì)則3術(shù)語和定義GB/T25000.51—2016界定的以及下列術(shù)語和定義適用于本文件。國產(chǎn)軟件在中華人民共和國境內(nèi)最終形成，其著作權(quán)歸屬中華人民共和國境內(nèi)的自然人、法人或其他組織，并且在國內(nèi)的開發(fā)成本不低于總開發(fā)成本的百分之五十的軟件產(chǎn)品。3.2由軟件生產(chǎn)商自身研發(fā)設(shè)計(jì)，全面掌握產(chǎn)品核心技術(shù)，擁有自主知識產(chǎn)權(quán)，可由軟件生產(chǎn)商自護(hù)來應(yīng)對安全威脅的國產(chǎn)軟件。3.3符合性評價報(bào)告說明對自主可控軟件實(shí)施評價的行為和結(jié)果的文檔。注：改寫IEEEstd610.12-1998。3.4測試機(jī)構(gòu)獲得中國實(shí)驗(yàn)室國家認(rèn)可委員會認(rèn)可的具有軟件檢測能力的機(jī)構(gòu)，認(rèn)可的檢測能力范圍應(yīng)對軟件功能性、可靠性、易用性，及性能效率的測試。3.52DB37/T3048—2017認(rèn)證機(jī)構(gòu)軟件應(yīng)自主研發(fā)，且擁有自主知識產(chǎn)權(quán)。4.2用戶文檔要求用戶文檔對于該軟件的用戶應(yīng)是可用的。用戶文檔應(yīng)具有唯一標(biāo)識，應(yīng)包含使用該軟件所必需的信息，應(yīng)說明最終用戶能調(diào)用的所有功能。用戶文檔中所有信息都應(yīng)是正確的，且不應(yīng)有歧義的信息。4.2.4一致性要求用戶文檔不應(yīng)自相矛盾、互相矛盾，以及與產(chǎn)品說明矛盾。用戶文檔應(yīng)采用軟件特定讀者可理解的術(shù)語和文體。4.3軟件質(zhì)量要求軟件應(yīng)能夠保護(hù)信息和數(shù)據(jù)，使未授權(quán)的人員或系統(tǒng)不能閱讀或修改這些信息和數(shù)據(jù)，而不拒絕授權(quán)人員或系統(tǒng)對它們的訪問。軟件應(yīng)按照用戶文檔中定義的可靠性特征來執(zhí)行，應(yīng)識別違反句法條件的輸入，并且不應(yīng)作為許可的輸入加以處理；在用戶文檔陳述的限制范圍內(nèi)使用時，不應(yīng)丟失數(shù)據(jù)。有關(guān)軟件執(zhí)行的各種問題、消息和結(jié)果都應(yīng)是易理解的；對具有嚴(yán)重后果的功能執(zhí)行應(yīng)是可撤銷的，或者軟件應(yīng)給出這種后果的明顯警告，并且在這種命令執(zhí)行前要求確認(rèn)。3DB37/T3048—2017軟件應(yīng)符合產(chǎn)品說明中有關(guān)性能效率的陳述。軟件應(yīng)按照用戶文檔中定義的維護(hù)性特征來執(zhí)行。軟件應(yīng)按照用戶文檔和產(chǎn)品說明中所定義的兼容性特征來執(zhí)行。5.1總則針對自主可控軟件，從自主性、功能性、安全性、可靠性、易用性、性能效率、維護(hù)性、兼容性和用戶文檔等九個方面進(jìn)行測試。其中，性能效率、維護(hù)性和兼容性部分作為考察項(xiàng)，其測試結(jié)果能夠更全面地展現(xiàn)軟件相應(yīng)能力，但不用于軟件整體測試結(jié)果的評價。針對自主可控軟件要求，給出以下主要的測試項(xiàng)目。在實(shí)際執(zhí)行過程中，可根據(jù)自主可控軟件自身特點(diǎn)及軟件生產(chǎn)商要求增加測試項(xiàng)目。對于自主性測試、功能性測試、安全性測試、可靠性測試、易用性測試和用戶文檔測試等六個類別，在符合性評價報(bào)告中應(yīng)至少列出以下所有測試項(xiàng)目，對其中不適用的測試項(xiàng)目，應(yīng)說明其不適用原因。測試內(nèi)容如表1所示：表1自主性測試內(nèi)容測試項(xiàng)目項(xiàng)目說明自主管理可行性與計(jì)劃研究應(yīng)有相應(yīng)的文檔或記錄能夠證明對軟件進(jìn)行了可行性分析，并制定了開發(fā)計(jì)劃。需求分析應(yīng)有相應(yīng)的文檔或記錄能夠證明對軟件進(jìn)行了需求分析。軟件設(shè)計(jì)應(yīng)有相應(yīng)的文檔或記錄能夠證明對軟件進(jìn)行了設(shè)計(jì)。質(zhì)量控制應(yīng)有相應(yīng)的文檔或記錄能夠證明對軟件進(jìn)行了質(zhì)量控制。版本控制應(yīng)有相應(yīng)的文檔、記錄能夠證明對軟件進(jìn)行了版本控制。自主研發(fā)源代碼可執(zhí)行驗(yàn)證軟件源代碼編譯后生成的軟件的功能完整，且與用戶文檔描述的軟件功能一致。源代碼自主研發(fā)驗(yàn)證軟件所有功能都應(yīng)有對應(yīng)的源代碼，且軟件核心功能應(yīng)由自主研發(fā)的源代碼獨(dú)立實(shí)現(xiàn)。5.3功能性測試測試內(nèi)容如表2所示：測試項(xiàng)目項(xiàng)目說明完備性功能實(shí)現(xiàn)的完整性軟件中應(yīng)包括產(chǎn)品說明中所描述的所有功能。正確性功能的正確性產(chǎn)品說明中所有的功能應(yīng)都能正確執(zhí)行。精度軟件中所有精度應(yīng)與產(chǎn)品說明中的精度要求一致。4DB37/T3048—2017測試內(nèi)容如表3所示：測試項(xiàng)目項(xiàng)目說明身份鑒別鑒別機(jī)制軟件應(yīng)提供專用的登錄控制模塊對登錄用戶進(jìn)行身份標(biāo)識和鑒別。登錄失敗處理軟件連續(xù)多次登錄失敗時，可采取限制非法登錄次數(shù)、結(jié)束會話等措施。強(qiáng)口令策略軟件應(yīng)啟用強(qiáng)口令策略，口令長度、類型等具有復(fù)雜度限制。會話超時機(jī)制軟件提供會話超時機(jī)制；會話超時后，應(yīng)使會話進(jìn)入休眠狀態(tài)或中斷連接。錯誤提示信息軟件認(rèn)證錯誤提示信息中不存在確切錯誤分類信息。用戶權(quán)限控制權(quán)限控制功能軟件具有權(quán)限控制策略，對于每個角色用戶權(quán)限控制合理。越權(quán)控制機(jī)制軟件不存在橫向越權(quán)漏洞。軟件不存在縱向越權(quán)漏洞。權(quán)限控制范圍軟件權(quán)限控制范圍覆蓋系統(tǒng)的主要功能操作。限制默認(rèn)賬戶權(quán)限軟件嚴(yán)格限制默認(rèn)帳戶的訪問權(quán)限，默認(rèn)用戶權(quán)限應(yīng)合理。用戶最小權(quán)限原則軟件各角色用戶應(yīng)根據(jù)業(yè)務(wù)特性及權(quán)限互斥原則，分配最小權(quán)限。訪問審計(jì)審計(jì)的廣泛性軟件審計(jì)范圍覆蓋所有角色用戶。審計(jì)的完整性軟件限制刪除、修改或覆蓋審計(jì)記錄，維護(hù)審計(jì)活動的完整性。審計(jì)內(nèi)容全面性軟件審計(jì)記錄的內(nèi)容至少包括事件的日期、時間、發(fā)起者信息、類型、描述和結(jié)果等。審計(jì)關(guān)鍵事件軟件重要安全事件記錄日志。數(shù)據(jù)安全數(shù)據(jù)保密性軟件重要信息或敏感信息加密傳輸或存儲。數(shù)據(jù)完整性應(yīng)能夠檢測到重要用戶數(shù)據(jù)在傳輸過程中完整性受到破壞。數(shù)據(jù)有效性應(yīng)提供數(shù)據(jù)有效性檢驗(yàn)功能，保證通過人機(jī)接口輸入或通過通信接口輸入的數(shù)據(jù)格式或長度符合系統(tǒng)設(shè)定要求。測試內(nèi)容如表4所示：測試項(xiàng)目項(xiàng)目說明成熟性可控制性在測試過程中，軟件不應(yīng)陷入用戶無法控制的狀態(tài)，如進(jìn)入死循環(huán)，執(zhí)行其他操作無響應(yīng)。數(shù)據(jù)完整性在測試過程中，不應(yīng)由于軟件故障而導(dǎo)致軟件丟失數(shù)據(jù)，破壞數(shù)據(jù)的完整性。避免失效在測試過程中，不應(yīng)出現(xiàn)由于軟件的故障而導(dǎo)致系統(tǒng)失效的現(xiàn)象。容錯性抵御誤操作軟件應(yīng)對非法輸入、非法操作等進(jìn)行屏蔽處理。易恢復(fù)性在發(fā)生中斷或失效時，軟件能夠恢復(fù)直接受影響的數(shù)據(jù)，并重建期望的系統(tǒng)狀態(tài)。測試內(nèi)容如表5所示：5DB37/T3048—2017測試項(xiàng)目項(xiàng)目說明易理解性描述的完整性用戶在閱讀產(chǎn)品說明后應(yīng)能理解軟件的能力。明顯的功能軟件界面中所有的功能應(yīng)易于識別。功能的易理解性軟件中所有界面對應(yīng)的功能應(yīng)易于理解。易理解的輸入輸出軟件界面中所有的輸入輸出項(xiàng)應(yīng)易于理解。易學(xué)性用戶文檔和/或幫助機(jī)制的有效性軟件提供的聯(lián)機(jī)幫助系統(tǒng)和/或文檔應(yīng)能有效地指導(dǎo)用戶完成相關(guān)操作。幫助的獲得性軟件應(yīng)提供幫助的快速定位查找功能，以便用戶能正確定位所需的幫助內(nèi)容。易操作性在使用中功能操作的一致性軟件中功能操作界面的組成應(yīng)保持一致。在使用中消息的一致性軟件中提示的信息應(yīng)易于指導(dǎo)用戶操作。使用中錯誤的糾正在使用軟件過程中，用戶應(yīng)能成功撤銷其錯誤操作。使用中默認(rèn)值的可用性軟件應(yīng)提供參數(shù)值的默認(rèn)值以方便用戶使用。使用中消息的可理解性軟件中的提示信息不應(yīng)導(dǎo)致用戶操作停頓與失敗。在使用中操作錯誤的易恢復(fù)性軟件應(yīng)對關(guān)鍵數(shù)據(jù)的操作給出警告或在執(zhí)行前要求確認(rèn)。(用戶錯誤糾正的)可還原性軟件應(yīng)提供關(guān)鍵操作的可逆處理，以便用戶糾正錯誤。測試內(nèi)容如表6所示：測試項(xiàng)目項(xiàng)目說明時間特性響應(yīng)時間從發(fā)出請求到請求完成為止，用戶經(jīng)歷的平均等待時間間隔。吞吐率軟件在給定的時間周期內(nèi)有多少個任務(wù)成功的執(zhí)行。資源特性CPU利用率在測試過程中服務(wù)器端CPU的平均使用率。資源特性內(nèi)存利用率在測試過程中服務(wù)器端內(nèi)存的平均使用率。容量并發(fā)用戶數(shù)軟件能夠支撐的最大并發(fā)用戶數(shù)量。存儲數(shù)據(jù)項(xiàng)數(shù)量軟件能夠支撐的最大存儲數(shù)據(jù)項(xiàng)數(shù)量。測試內(nèi)容如表7所示：測試項(xiàng)目項(xiàng)目說明易分析性狀態(tài)監(jiān)視能力在運(yùn)行中要記錄足以監(jiān)視軟件狀態(tài)的數(shù)據(jù)。易修改性參數(shù)表示的修改性軟件應(yīng)提供方便的參數(shù)修改手段，以便變更軟件適應(yīng)新的應(yīng)用。測試內(nèi)容如表8所示：6DB37/T3048—2017測試項(xiàng)目項(xiàng)目說明適應(yīng)性硬件環(huán)境適應(yīng)性軟件兼容產(chǎn)品說明中要求的國產(chǎn)硬件環(huán)境。軟件環(huán)境適應(yīng)性軟件兼容產(chǎn)品說明中要求的國產(chǎn)軟件運(yùn)行環(huán)境。共存性有效的共存性軟件能夠與產(chǎn)品說明中列舉的國產(chǎn)軟件共存運(yùn)行。測試內(nèi)容如表9所示：測試項(xiàng)目項(xiàng)目說明完備性標(biāo)識指示用戶文檔應(yīng)具有唯一的文檔標(biāo)識。使用信息用戶文檔應(yīng)包含使用該軟件所必需的信息。陳述所有功能用戶文檔應(yīng)說明在產(chǎn)品說明中陳述的所有功能以及最終用戶能調(diào)用的所有功能。差錯和失效、數(shù)據(jù)丟失條件用戶文檔應(yīng)列出所處置的和引起應(yīng)用系統(tǒng)失效或終止的差錯和失效，特別是那些導(dǎo)致數(shù)據(jù)丟失的應(yīng)用系統(tǒng)終止的結(jié)束條件。備份和恢復(fù)指南用戶文檔應(yīng)給出必要數(shù)據(jù)的備份和恢復(fù)指南。關(guān)鍵功能細(xì)則對于所有關(guān)鍵的軟件功能(即失效后會對安全產(chǎn)生影響或會造成重大財(cái)產(chǎn)損失或社會損失的軟件),用戶文檔應(yīng)提供完備的細(xì)則信息和參考信息。磁盤空間要求用戶文檔應(yīng)陳述安裝所要求的最小和最大磁盤空間。應(yīng)用管理對用戶要完成的應(yīng)用管理職能，用戶文檔應(yīng)包括所有必要的信息。集分標(biāo)識如果用戶文檔分若干部分提供，在該集合中至少有一處應(yīng)標(biāo)識出所有的部分。正確性用戶文檔中所有信息都應(yīng)是正確的，且不應(yīng)有歧義的信息。一致性用戶文檔不應(yīng)自相矛盾、互相矛盾，以及與產(chǎn)品說明矛盾。易理解性用戶文檔應(yīng)采用軟件特定讀者可理解的術(shù)語和文體。各參測企業(yè)必須提供紙質(zhì)或電子形式的可行性分析報(bào)告、開發(fā)計(jì)劃、需求分析說明書、軟件設(shè)計(jì)文檔、質(zhì)量控制文檔、版本控制文檔、用戶文檔和產(chǎn)品說明，提供含有軟件源代碼的光盤介質(zhì)，必要時有責(zé)任配合測試機(jī)構(gòu)進(jìn)行軟件安裝。根據(jù)自主可控的軟件要求，以及用戶文檔和軟件產(chǎn)品說明，確定測試內(nèi)容。6.3測試計(jì)劃根據(jù)測試內(nèi)容，結(jié)合軟件類型、應(yīng)用領(lǐng)域和運(yùn)行環(huán)境等信息，確定測試活動的范圍、測試方法、測試進(jìn)度和測試風(fēng)險等內(nèi)容，編制測試計(jì)劃。7DB37/T3048—20176.4測試設(shè)計(jì)根據(jù)測試內(nèi)容及測試計(jì)劃中預(yù)定的測試方法，進(jìn)行測試用例的設(shè)計(jì)。6.5測試環(huán)境準(zhǔn)備按照測試設(shè)計(jì)要求，準(zhǔn)備相應(yīng)的測試環(huán)境，包括相關(guān)軟件、硬件設(shè)備，以及網(wǎng)絡(luò)環(huán)境等。6.6測試執(zhí)行按照設(shè)計(jì)的測試用例，實(shí)施測試，形成測試記錄。6.7測試結(jié)果匯總與分析對測試記錄進(jìn)行整理和綜合分析。6.8測試結(jié)果評價實(shí)施評價以確定軟件自主性與4.1要求的符合程度。6.8.2用戶文檔評價實(shí)施評價以確定用戶文檔與4.2要求的符合程度。6.8.3軟件質(zhì)量評價實(shí)施評價以確定軟件質(zhì)量與4.3要求的符合程度。6.9報(bào)告編制符合性評價報(bào)告應(yīng)確立自主可控軟件與第4章要求的符合性。b)執(zhí)行評價的人員姓名；c)評價完成日期以及測試完成日期；d)用于進(jìn)行測試的計(jì)算機(jī)系統(tǒng)(硬件、軟件及其配置);e)使用的文檔及其標(biāo)識；f)符合性評價活動匯總和測試活動匯總；g)符合性評價結(jié)果匯總和測試結(jié)果匯總；h)符合性評價的詳細(xì)結(jié)果和測試的詳細(xì)結(jié)果(應(yīng)該覆蓋所測試的每項(xiàng)測試內(nèi)容及其對應(yīng)的測試項(xiàng)目，且每個測試項(xiàng)目包括對應(yīng)的測試要點(diǎn)及詳細(xì)測試結(jié)果);i)若有時，不符合要求項(xiàng)的清單。對于紙質(zhì)的符合性評價報(bào)告而言，符合性評價報(bào)告的標(biāo)識(測試實(shí)驗(yàn)室、自主可控軟件標(biāo)識、符合性評價報(bào)告日期)及其總頁數(shù)均應(yīng)出現(xiàn)在符合性評價報(bào)告的每一頁上。符合性評價報(bào)告還應(yīng)包含：a)效果聲明：測試結(jié)果和評價只與被測試和被評價的項(xiàng)有關(guān)；b)復(fù)制聲明：除非以完整報(bào)告的形式復(fù)制，否則未經(jīng)測試實(shí)驗(yàn)室書面批準(zhǔn)不得復(fù)制符合性報(bào)告。7測試實(shí)施要求8DB37/T3048—2017自主可控軟件測試按照測試計(jì)劃、測試設(shè)計(jì)、測試執(zhí)行、測試結(jié)果評價四步驟進(jìn)行實(shí)施，每個步驟的產(chǎn)出物依次為測試計(jì)劃文檔、測試用例文檔、測試執(zhí)行記錄文檔和符合性評價報(bào)告：測試計(jì)劃要求包括：合性準(zhǔn)則；測試用例要求包括：否定結(jié)果的準(zhǔn)則等；行說明；c)為提供測試的可重復(fù)性和可再現(xiàn)性，測試用例應(yīng)足夠詳細(xì)。測試