洪水預(yù)報(bào)軟件測(cè)評(píng)方案

1、附件洪水預(yù)報(bào)軟件測(cè)評(píng)方案（試行）一、總則1、測(cè)評(píng)目的為促進(jìn)水利科技推廣管理工作，服務(wù)洪水預(yù)報(bào)系統(tǒng)建設(shè)，水利部科 技推廣中心、水利部防洪抗旱減災(zāi)工程技術(shù)研究中心、中國(guó)水利學(xué)會(huì)減 災(zāi)專業(yè)委員會(huì)聯(lián)合組織開展洪水預(yù)報(bào)軟件的測(cè)評(píng)工作。2、參評(píng)單位國(guó)內(nèi)已經(jīng)獲得洪水預(yù)報(bào)軟件著作權(quán)的單位單獨(dú)或聯(lián)名參加。報(bào)送的 洪水預(yù)報(bào)軟件，必須為報(bào)送單位自主研發(fā)或聯(lián)合研發(fā)，代理銷售的不具 備報(bào)名資格。3、測(cè)評(píng)方式測(cè)評(píng)含軟件測(cè)試和專家評(píng)審兩部分。（1）軟件測(cè)試。由具有中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì)（CNAS ）資 質(zhì)的國(guó)家級(jí)軟件檢測(cè)機(jī)構(gòu)對(duì)各參評(píng)產(chǎn)品進(jìn)行軟件測(cè)試。（2）專家評(píng)審。參評(píng)單位對(duì)參評(píng)產(chǎn)品進(jìn)行應(yīng)用功能演示，由專家 組現(xiàn)場(chǎng)評(píng)審

2、。4、評(píng)分辦法軟件測(cè)評(píng)結(jié)果以分值表示，100分為滿分，其中軟件測(cè)試部分占70%，專家評(píng)審部分占30%?？偡?5分的為“優(yōu)良”產(chǎn)品；85分總 分0分的為“合格”產(chǎn)品；總分S0分為“需改進(jìn)”產(chǎn)品。二、軟件測(cè)試大綱1、測(cè)試依據(jù)GB/T 25000.51-2010 軟件工程 軟件產(chǎn)品質(zhì)量要求與評(píng)價(jià)（SQuaRE ）商業(yè)現(xiàn)貨（COTS ）軟件產(chǎn)品的質(zhì)量要求和測(cè)試細(xì) 貝；SL323-2011實(shí)時(shí)雨水情數(shù)據(jù)庫(kù)表結(jié)構(gòu)及標(biāo)識(shí)符標(biāo)準(zhǔn);GB/T 22482-2008水文情報(bào)預(yù)報(bào)規(guī)范。2、測(cè)試準(zhǔn)備（1）測(cè)試環(huán)境軟件測(cè)試地點(diǎn)設(shè)在檢測(cè)機(jī)構(gòu)，檢測(cè)機(jī)構(gòu)按照軟件工程軟件產(chǎn)品質(zhì) 量要求與評(píng)價(jià)（SQuaRE ）商業(yè)現(xiàn)貨（COTS

3、）軟件產(chǎn)品的質(zhì)量要求和 測(cè)試細(xì)則中的設(shè)備配置，統(tǒng)一準(zhǔn)備測(cè)試環(huán)境，參評(píng)單位負(fù)責(zé)在統(tǒng)一的 測(cè)試環(huán)境上安置應(yīng)用軟件。參評(píng)單位應(yīng)在規(guī)定的時(shí)間進(jìn)行系統(tǒng)安置工作（時(shí)間最長(zhǎng)為一個(gè)工作 日），并簽署相關(guān)測(cè)試委托書。（2）測(cè)試文檔在系統(tǒng)測(cè)試開始前，參評(píng)單位向檢測(cè)機(jī)構(gòu)提供用戶手冊(cè)或操作手冊(cè) 等系統(tǒng)相關(guān)文檔。3、軟件功能測(cè)試(1 )系統(tǒng)建模1) 模型/方法庫(kù)管理多種產(chǎn)匯流、模型/方法，各模型/方法可任意組合模型/方法構(gòu)件封裝，僅通過數(shù)據(jù)接口機(jī)制實(shí)現(xiàn)信息交換各模型/方法對(duì)同一輸入、輸出要素具有相同格局的數(shù)據(jù)接口定義對(duì)模型/方法可進(jìn)行添加、修改、刪除、導(dǎo)入導(dǎo)出、運(yùn)行等維護(hù)操 作2) 預(yù)報(bào)方案構(gòu)建方案定義流域圈畫確定方案

4、模型雨量站控制權(quán)重3 )參數(shù)率定/檢驗(yàn)歷史數(shù)據(jù)處理參數(shù)優(yōu)選率定資料選取預(yù)報(bào)方案維護(hù)(2)作業(yè)預(yù)報(bào)實(shí)時(shí)雨水情查詢數(shù)值降雨預(yù)報(bào)實(shí)時(shí)洪水預(yù)報(bào)實(shí)時(shí)洪水校正 預(yù)報(bào)誤差統(tǒng)計(jì)洪水預(yù)報(bào)精度評(píng)定預(yù)報(bào)成果管理4、測(cè)試數(shù)據(jù)說明為了體現(xiàn)公平原則，統(tǒng)一測(cè)試標(biāo)準(zhǔn)，由測(cè)評(píng)組織單位統(tǒng)一提供洪水預(yù)報(bào)基礎(chǔ)數(shù)據(jù)。5、軟件系統(tǒng)缺陷嚴(yán)重程度等級(jí)缺陷嚴(yán)重程度等級(jí)的設(shè)定如下：S1級(jí)：發(fā)現(xiàn)影響被測(cè)系統(tǒng)正確運(yùn)行的嚴(yán)重問題導(dǎo)致系統(tǒng)崩潰出現(xiàn)不可挽救的數(shù)據(jù)丟失或損壞主業(yè)務(wù)流程出現(xiàn)斷點(diǎn)導(dǎo)致死機(jī)內(nèi)存泄漏S2級(jí)：發(fā)現(xiàn)影響被測(cè)模塊正確運(yùn)行的嚴(yán)重問題導(dǎo)致程序模塊丟失或未實(shí)現(xiàn)軟件錯(cuò)誤導(dǎo)致數(shù)據(jù)丟失被測(cè)數(shù)據(jù)處理錯(cuò)誤需求未實(shí)現(xiàn)S3級(jí)：發(fā)現(xiàn)影響被測(cè)功能正確實(shí)現(xiàn)的問題S

5、4級(jí)：一般性的錯(cuò)誤或功能實(shí)現(xiàn)有不完善處S5級(jí)：建議性問題6、預(yù)報(bào)精度等級(jí)參見GB/T 22482-2008水文情報(bào)預(yù)報(bào)規(guī)范，以作業(yè)預(yù)報(bào)精度等 級(jí)進(jìn)行評(píng)價(jià)，即用預(yù)報(bào)誤差與許可誤差之比的百分?jǐn)?shù)作為分級(jí)指標(biāo)，分 級(jí)指標(biāo)25.0的為優(yōu)秀；25.0分級(jí)指標(biāo)50.0的為良好；50.0 分級(jí)指 標(biāo)100.0的為合格；分級(jí)指標(biāo) 100.0的為不合格。7、測(cè)試結(jié)果判定標(biāo)準(zhǔn)檢測(cè)機(jī)構(gòu)對(duì)測(cè)試過程中發(fā)現(xiàn)的問題進(jìn)行分析匯總，向參評(píng)單位出具系統(tǒng)測(cè)試問題確認(rèn)單，并且雙方簽字確認(rèn)。在系統(tǒng)測(cè)試中，檢測(cè)機(jī)構(gòu)依據(jù)已確認(rèn)的系統(tǒng)測(cè)試問題確認(rèn)單，對(duì)每一項(xiàng)測(cè)試內(nèi)容給出其檢測(cè)結(jié)果。檢測(cè)結(jié)果分為“通過”、“基本通過”“不 通過”和“功能缺失”(

6、1) 通過在測(cè)試過程中，針對(duì)某測(cè)試過程的測(cè)試用例執(zhí)行后，結(jié)果與預(yù)期的基本一致，未發(fā)現(xiàn)S5級(jí)以外的缺陷，該測(cè)試過程的檢測(cè)結(jié)果可判定為“通（2）不通過在測(cè)試過程中，針對(duì)某測(cè)試過程的測(cè)試用例執(zhí)行后，發(fā)生S1級(jí)或S2級(jí)缺陷，該測(cè)試過程判定為“不通過”（3）基本通過在測(cè)試過程中，結(jié)果屬上述“通過” “不通過”以外的情況，該測(cè)試過 程判定為“基本通過。（4）功能缺失因系統(tǒng)原因而無(wú)法提供測(cè)試的功能點(diǎn)，在測(cè)試結(jié)果中注明“功能缺 失”8、測(cè)試內(nèi)容及評(píng)分標(biāo)準(zhǔn)本次測(cè)試的內(nèi)容包括系統(tǒng)的功能性、可靠性、易操作性和效率4個(gè)方面，以及自選演示項(xiàng)目，其評(píng)分安排如下：序號(hào)測(cè)試內(nèi)容評(píng)分安排1功能性測(cè)試602精度評(píng)定103可靠性測(cè)

7、試154效率測(cè)試105易操作性測(cè)試5合計(jì)100自選演示項(xiàng)目不計(jì)分，但可作為專家現(xiàn)場(chǎng)評(píng)審的參考依據(jù)。（1）功能性編號(hào)測(cè)試內(nèi)容技術(shù)要求1系統(tǒng)建 模（30 分）模型/方 法管理（4 分）靈活性（1分）包含多種產(chǎn)匯流、模型/方法，各模 型/方法可任意組合獨(dú)立性（1分）模型/方法構(gòu)件封裝，僅通過數(shù)據(jù)接 口機(jī)制實(shí)現(xiàn)信息交換統(tǒng)一性（1分）各模型/方法對(duì)同一輸入、輸出要素 具有相同格局的數(shù)據(jù)接口定義擴(kuò)充性（1分）對(duì)模型/方法可進(jìn)行添加、修改、刪 除、導(dǎo)入導(dǎo)出、運(yùn)行等維護(hù)操作預(yù)報(bào)方案 構(gòu)建（10 分）方案疋義（4分）確定預(yù)報(bào)站碼、計(jì)算時(shí)段長(zhǎng)、預(yù)見 期、預(yù)熱期、方案輸出類型、預(yù)報(bào) 告警閾值、方案說明、水位流量關(guān)

8、系曲線、庫(kù)容曲線、方案輸入個(gè)數(shù) 和類型、上游根據(jù)站點(diǎn)、站點(diǎn)流量 合成關(guān)系、預(yù)報(bào)方案結(jié)構(gòu)框圖等流域圈畫（2分）流域邊界自動(dòng)/人工圈畫確定方案模型（2分）添加、刪除、變更模型/方法、模型 參數(shù)、狀態(tài)變量等雨量站控制權(quán)重（2 分）利用泰森多邊形或其他方法，計(jì)算 區(qū)域內(nèi)雨量站的控制權(quán)重參數(shù)率定（16 分）歷史數(shù)據(jù)處理（5分）對(duì)用于模型參數(shù)率定的歷史水文氣 象資料，包括洪水摘錄資料、洪水 日資料、降雨摘錄資料和降雨日資 料，進(jìn)行等時(shí)段整編參數(shù)率定/檢驗(yàn)（5分）錄入、修改、存儲(chǔ)參數(shù)，設(shè)定參數(shù) 范圍或參數(shù)值，設(shè)定率定/檢驗(yàn)期， 選擇目標(biāo)函數(shù)，設(shè)定統(tǒng)計(jì)閾值，參 數(shù)經(jīng)驗(yàn)及合理性分析等參數(shù)優(yōu)選（2分）選擇優(yōu)化方法

9、，自動(dòng)/人工優(yōu)選參數(shù):率定資料選?。?分）歷史、實(shí)時(shí)數(shù)據(jù)任意時(shí)間內(nèi)或場(chǎng)次 洪水選取、檢查、修改、展示預(yù)報(bào)方案維護(hù)（2分）檢索、查詢、更新、刪除、導(dǎo)入導(dǎo) 出預(yù)報(bào)方案等功能2作業(yè)預(yù)報(bào)（30分）實(shí)時(shí)雨水 情查詢（10 分）雨情查詢（5分）各站降雨過程柱狀圖及數(shù)據(jù)表查 詢、降雨量小時(shí)（時(shí)段）數(shù)據(jù)、日數(shù) 據(jù)、旬月數(shù)據(jù)；區(qū)域降雨過程柱狀圖及數(shù)據(jù)表查詢、區(qū)域降雨等值線/面圖繪制等水情查詢（5分）各站實(shí)時(shí)水情數(shù)據(jù)過程線及數(shù)據(jù)表 查詢，包括小時(shí)數(shù)據(jù)、日數(shù)據(jù)、旬 月數(shù)據(jù)、特征值等實(shí)時(shí)預(yù)報(bào) （14 分）數(shù)值降雨預(yù)報(bào)（3分）能對(duì)未來(lái)降雨進(jìn)仃數(shù)值預(yù)報(bào)或能接 入數(shù)值降雨預(yù)報(bào)數(shù)據(jù)實(shí)時(shí)洪水預(yù)報(bào)（5分）預(yù)報(bào)方案手動(dòng)/自動(dòng)運(yùn)行，

10、能夠以圖 形表格方式展示運(yùn)行結(jié)果實(shí)時(shí)洪水校正（3分）對(duì)洪水過程、單點(diǎn)數(shù)據(jù)進(jìn)行自動(dòng)/人 工校正預(yù)報(bào)誤差統(tǒng)計(jì)（3分）任意時(shí)間內(nèi)或場(chǎng)次洪水的洪峰流量 /水位、洪峰出現(xiàn)時(shí)間、洪量（徑流 量）的絕對(duì)誤差、相對(duì)誤差，確定 性系數(shù)統(tǒng)計(jì)成果管理（6分）預(yù)報(bào)信息報(bào)表（2分）自動(dòng)生成預(yù)報(bào)信息報(bào)表洪水預(yù)報(bào)精度評(píng)定（2 分）任意時(shí)間內(nèi)或場(chǎng)次洪水預(yù)報(bào)過程的 合格率統(tǒng)計(jì)、確定性系數(shù)統(tǒng)計(jì)預(yù)報(bào)成果優(yōu)選（2分）多模型/方法計(jì)算結(jié)果的對(duì)比分析（2 ）精度評(píng)定序號(hào)精度等級(jí)得分范圍1優(yōu)秀9-102良好7-83合格5-64不合格0-4（3）可靠性編號(hào)評(píng)測(cè)內(nèi)容技術(shù)要求評(píng)分標(biāo)準(zhǔn)1成熟性（10分）系統(tǒng)應(yīng)能夠不間斷的穩(wěn)定運(yùn)行。A. 在測(cè)試過程

11、中，系統(tǒng)運(yùn)行情況良 好，可以很好地完成所述功能， 基本沒有出錯(cuò)（910）B. 在測(cè)試過程中，系統(tǒng)運(yùn)行情況基 本正常，可以完成所述功能，發(fā) 生一般性錯(cuò)誤（58）C. 在測(cè)試過程中，系統(tǒng)運(yùn)行情況不 正常，難以完成所述功能，發(fā)生 嚴(yán)重性錯(cuò)誤（14）D. 在測(cè)試過程中，系統(tǒng)發(fā)生致命性 錯(cuò)誤，無(wú)法繼續(xù)運(yùn)行（0）2易恢復(fù)性（5分）軟件系統(tǒng)應(yīng)具備自動(dòng)或手動(dòng)恢復(fù) 措施，以便在發(fā)生錯(cuò)誤時(shí)能夠快 速地恢復(fù)正常運(yùn)行。A. 運(yùn)仃中出錯(cuò)后不需人工干預(yù)即可恢復(fù)（5）B. 運(yùn)行中出錯(cuò)后需人工干預(yù)才可恢 復(fù)（4）C. 運(yùn)行中出錯(cuò)后只能關(guān)閉重啟應(yīng)用系統(tǒng)才可恢復(fù)正常（23）D. 運(yùn)行中出錯(cuò)后只能關(guān)閉計(jì)算機(jī)才 可恢復(fù)正常（1）備注

12、：如果在成熟性測(cè)試中未出現(xiàn)錯(cuò) 誤，檢測(cè)機(jī)構(gòu)將模擬異常情況，例如強(qiáng)行斷電等進(jìn)行測(cè)試。（4）效率編號(hào)評(píng)測(cè)內(nèi)容技術(shù)要求評(píng)分標(biāo)準(zhǔn)1時(shí)間特性 （5分）對(duì)軟件系統(tǒng)的各類人機(jī)交互操作、 信息查詢、圖形操作等應(yīng)實(shí)時(shí)響 應(yīng)。A. 在測(cè)試過程中，響應(yīng)時(shí)間在合理 范圍之內(nèi)（5）B. 在測(cè)試過程中，響應(yīng)時(shí)間超出合 理范圍，但是可接受（14）C. 在測(cè)試過程中，響應(yīng)時(shí)間超出合 理范圍，不可接受（0）2資源特性（5分）對(duì)軟件系統(tǒng)的各類操作，服務(wù)器的 資源利用合理。A. 在測(cè)試過程中，資源利用合理（5）B. 在測(cè)試過程中，資源利用基本合 理（14）C. 在測(cè)試過程中，資源利用明顯不 合理，如有內(nèi)存泄漏等現(xiàn)象（0）編號(hào)評(píng)測(cè)內(nèi)

13、容技術(shù)要求評(píng)分標(biāo)準(zhǔn)測(cè)試說明（一）測(cè)試點(diǎn)1、GIS操作：放大操作到某個(gè)地區(qū)或流域。2、模型計(jì)算耗時(shí)。（5 ）易操作性編號(hào)評(píng)測(cè)內(nèi)容技術(shù)要求評(píng)分標(biāo)準(zhǔn)1易操作性（5 分）應(yīng)具有良好的簡(jiǎn)體中文操作界面、 詳細(xì)的幫助信息，系統(tǒng)參數(shù)的維護(hù) 與管理通過操作界面完成。A.操作簡(jiǎn)單，容易理解，完全符合 軟件信息表所述內(nèi)容，很好地反 映了其所在領(lǐng)域的特性（45）B比較容易操作，需花費(fèi)一定的時(shí) 間理解，基本符合軟件信息表所 述內(nèi)容，基本地反映了其所在領(lǐng) 域的特性（23）C.操作復(fù)雜，難以理解，沒有很好 地反映了其所在領(lǐng)域的特性 （0 1）三、專家評(píng)審大綱1、評(píng)審準(zhǔn)備參評(píng)單位自行準(zhǔn)備軟硬件及網(wǎng)絡(luò)環(huán)境，以及相應(yīng)的軟件產(chǎn)品

14、和測(cè)試數(shù)據(jù)。2、評(píng)審內(nèi)容及技術(shù)要求專家評(píng)審的內(nèi)容包括系統(tǒng)的主要功能及自選演示項(xiàng)目的實(shí)用性、易用性、時(shí)效性、美觀性、先進(jìn)性等方面進(jìn)行評(píng)價(jià)，評(píng)審內(nèi)容和其要求如下：編號(hào)演示/測(cè)評(píng)內(nèi)容1總體結(jié)構(gòu) （10 分）采用的軟件結(jié)構(gòu)（2分）采用的開發(fā)架構(gòu)（2分）功能結(jié)構(gòu)的合理性（6分）2系統(tǒng)建模（30 分）模型/方法管理，包含多種產(chǎn)匯流、模型/方法，各模型/方法可任意組合，模型封裝合理，組合方便。（5分）預(yù)報(bào)方案構(gòu)建：方案疋義（3分）流域圈畫（2分）確定方案模型（2分）雨量站控制權(quán)重（2分）參數(shù)率定：歷史數(shù)據(jù)處理（5分） 參數(shù)率定/檢驗(yàn)（5分）參數(shù)優(yōu)選（2分） 率定資料選取（2分） 預(yù)報(bào)方案維護(hù)（2分）3作業(yè)預(yù)報(bào) （25 分）實(shí)時(shí)雨水情查詢 雨情查詢（4分） 水情查詢（4分）實(shí)時(shí)預(yù)報(bào)：數(shù)值降雨預(yù)報(bào)（3分） 實(shí)時(shí)洪水預(yù)報(bào)（