《人工智能輔助醫(yī)療診斷系統(tǒng)的性能評價規(guī)范（征求意見稿）》

ICS13.100CCSC5032范Specificationforperformanceevaluationof（本草案完成時間：）在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。IDB32/TXXXX—XXXX前言 2規(guī)范性引用文件 3術(shù)語和定義 4評價機構(gòu)與人員 5評價平臺與設(shè)備 26評價體系 37評價檔案管理 6DB32/TXXXX—XXXX本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由江蘇省衛(wèi)生健康委員會提出。本文件由江蘇省衛(wèi)生標(biāo)準(zhǔn)化技術(shù)委員會歸口。本文件起草單位：江蘇省疾病預(yù)防控制中心（江蘇省公共衛(wèi)生研究院）、江蘇省衛(wèi)生健康信息中心（江蘇省中醫(yī)藥信息中心）、江蘇省人工智能學(xué)會、南京信息工程大學(xué)、南京航天航空大學(xué)、南京博視醫(yī)療科技有限公司、南京醫(yī)科大學(xué)。本文件主要起草人：徐酩、朱寶立、韓磊、季英凱、張國明、房偉、徐軍、王詩丹、楊一洲、陳遠方、季心語、張杰、王京、張道強、俞婷婷、杜牧龍、高玥、于政民、劉嘯文。1DB32/TXXXX—XXXX人工智能輔助醫(yī)療診斷系統(tǒng)的性能評價規(guī)范本文件規(guī)定了人工智能輔助醫(yī)療診斷系統(tǒng)的評價的機構(gòu)與人員、設(shè)備、評價體系及評價檔案管理。本文件適用于人工智能輔助醫(yī)療診斷系統(tǒng)研發(fā)企業(yè)對人工智能輔助醫(yī)療診斷系統(tǒng)產(chǎn)品的自評價、第三方評價企業(yè)評價，以及相關(guān)監(jiān)管部門的監(jiān)督與管理參考依據(jù)。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1人工智能artificialintelligence（AI）表現(xiàn)出與人類智能相關(guān)的各種功能的功能單元的能力。3.2人工智能輔助醫(yī)療診斷artificialintelligenceassistedmedicaldiagnosis（AIAMD）采用AI技術(shù)對文字、音頻、圖像、視頻等多媒體形式的診斷數(shù)據(jù)進行分析與理解，挖掘和區(qū)分病情特征，進行診斷和評估。3.3數(shù)據(jù)集dataset具有一定主題，可以標(biāo)識并可以被計算機化處理的數(shù)據(jù)集合。3.4數(shù)據(jù)脫敏datamasking通過去標(biāo)識化或匿名化，實現(xiàn)對個人敏感信息的可靠保護。3.5數(shù)據(jù)標(biāo)注dataannotation對數(shù)據(jù)進行分析，添加外部知識的過程。4評價機構(gòu)與人員4.1評價機構(gòu)資質(zhì)人工智能輔助醫(yī)療診斷系統(tǒng)評審單位應(yīng)設(shè)有獨立倫理委員會，保證評價過程中受試者的權(quán)益。評價過程中所涉及的知情同意及相關(guān)要求在無其他特殊規(guī)定時，參照現(xiàn)有藥物臨床實驗機構(gòu)（GCP）進行。2DB32/TXXXX—XXXX4.2數(shù)據(jù)處理人員4.2.1數(shù)據(jù)處理人員團隊構(gòu)成評價主體應(yīng)確立一名數(shù)據(jù)管理代表全面負(fù)責(zé)數(shù)據(jù)處理相關(guān)工作。其他數(shù)據(jù)處理人員一般包括首席研究員、數(shù)據(jù)管理員、數(shù)據(jù)采集員、標(biāo)注人員、審核人員等，標(biāo)注過程中標(biāo)注人員與審核人員不可相互兼任。4.2.2數(shù)據(jù)處理人員崗位需求明確人員職責(zé)、任職資質(zhì)、選拔、培訓(xùn)、考核要求，如職稱、工作年限、工作經(jīng)驗等；應(yīng)有任命、培訓(xùn)及考核記錄等；對于評價主體外部聘用人員的還應(yīng)該記錄聘用、主要執(zhí)業(yè)機構(gòu)、培訓(xùn)等信息，明確其資質(zhì)是否滿足崗位需求。4.3算法相關(guān)人員4.3.1算法相關(guān)人員團隊構(gòu)成評價主體應(yīng)建立具有算法研發(fā)能力且穩(wěn)定的算法評價團隊，確立一名團隊負(fù)責(zé)人負(fù)責(zé)算法相關(guān)評價工作。算法評價團隊人員應(yīng)包括：算法研究人員、算法工程人員、算法測試人員、算法部署人員及具有醫(yī)學(xué)背景的專家。4.3.2算法相關(guān)人員崗位需求對于評價主體外部聘用人員應(yīng)記錄聘用、主要執(zhí)業(yè)機構(gòu)、培訓(xùn)等信息，明確其資質(zhì)是否滿足崗位需5評價平臺與設(shè)備5.1一般要求評價主體應(yīng)結(jié)合待評價產(chǎn)品的實際情況，在產(chǎn)品評價過程中提供充分、適宜、有效的軟硬件設(shè)備、測試工具、網(wǎng)絡(luò)資源以及數(shù)據(jù)保護等保障。5.2評價數(shù)據(jù)集構(gòu)建所用設(shè)備5.2.1數(shù)據(jù)采集設(shè)備要求數(shù)據(jù)采集設(shè)備管理應(yīng)明確兼容性和采集特征等要求。5.2.1.1設(shè)備兼容性設(shè)備的兼容性記錄應(yīng)包括采集設(shè)備的名稱、規(guī)格型號、制造商、性能指標(biāo)，若無需考慮兼容性要求應(yīng)詳述理由并予以記錄。5.2.1.2設(shè)備采集特征采集特征需明確采集設(shè)備的采集方式（如常規(guī)成像、增強成像）、采集協(xié)議（如MRI成像序列）、采集參數(shù)（如CT加載電壓、加載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）。5.2.2歷史數(shù)據(jù)使用條件3DB32/TXXXX—XXXX數(shù)據(jù)采集若使用歷史數(shù)據(jù)，需列明采集設(shè)備及采集特征要求，并開展數(shù)據(jù)采集質(zhì)量評估工作。5.2.3評價主題所需資源評價主體應(yīng)配備執(zhí)行數(shù)據(jù)集相關(guān)任務(wù)需要的資源，如訪問、讀取數(shù)據(jù)、預(yù)覽、檢索等任務(wù)需要的軟件、硬件、網(wǎng)絡(luò)配置。測試集應(yīng)配備封閉管理需要的軟件、硬件、網(wǎng)絡(luò)配置，明確管理要求。5.2.4數(shù)據(jù)標(biāo)注要求數(shù)據(jù)標(biāo)注應(yīng)明確標(biāo)注軟件（包含自動標(biāo)注軟件）的要求，明確標(biāo)注軟件的名稱、規(guī)格型號、完整版本、制造商、運行環(huán)境、軟件確認(rèn)等要求并予以記錄。5.2.5特定外部設(shè)備記錄要求若需使用特定的外部設(shè)備獲取附加的信息（如病理結(jié)果、檢驗結(jié)果、數(shù)據(jù)模態(tài)轉(zhuǎn)化、多模態(tài)配準(zhǔn)、體積測量、三維打印等），設(shè)備的規(guī)格型號、計量信息（如需計量）等應(yīng)確認(rèn)要求并予以記錄。5.2.6軟件工具確認(rèn)數(shù)據(jù)整理所用軟件工具（含腳本）均需明確名稱、規(guī)格型號、完整版本、制造商、運行環(huán)境，并進行軟件確認(rèn)。5.3算法評價所用設(shè)備5.3.1服務(wù)器配置明確定義并記錄進行算法訓(xùn)練、算法測試、算法部署所用到服務(wù)器算力的典型配置（如GPU型號和數(shù)量、CPU型號和數(shù)量、內(nèi)存大小、網(wǎng)絡(luò)帶寬等）。5.3.2算法訓(xùn)練服務(wù)器記錄明確定義并記錄算法訓(xùn)練所用的操作系統(tǒng)、開發(fā)環(huán)境（如編程語言及版本、集成開發(fā)環(huán)境及版本、web服務(wù)及版本、支持軟件及版本等）、算法架構(gòu)（如基礎(chǔ)計算包、GPU指令集、集成開發(fā)環(huán)境插件等）。5.3.3算法測試服務(wù)器記錄明確定義并記錄算法測試所用的操作系統(tǒng)、開發(fā)環(huán)境、算法框架、基礎(chǔ)服務(wù)等，若與其他外部設(shè)備進行配合或作為軟件組件集成到其他醫(yī)療器械中，明確說明外部設(shè)備和器械的規(guī)格型號。5.3.4算法服務(wù)器部署記錄明確定義并記錄算法部署運行的操作系統(tǒng)、開發(fā)環(huán)境、算法框架、基礎(chǔ)服務(wù)、虛擬機、應(yīng)用容器引擎等。6評價體系6.1評價需求原則6.1.1綜合分析用戶需求與風(fēng)險應(yīng)以用戶需求與風(fēng)險為導(dǎo)向，結(jié)合產(chǎn)品的預(yù)期用途、使用場景、核心功能，綜合分析法律、法規(guī)、4DB32/TXXXX—XXXX規(guī)章、標(biāo)準(zhǔn)、用戶、產(chǎn)品、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求。6.1.2形成評價文件應(yīng)明確風(fēng)險管理、可追溯性分析、數(shù)據(jù)收集、算法性能、使用限制、現(xiàn)成軟件（現(xiàn)成算法）的驗證與確認(rèn)等活動要求，形成相應(yīng)文件。6.1.3使用限制評價應(yīng)提出使用限制，如考慮產(chǎn)品禁用、慎用等場景，準(zhǔn)確表述產(chǎn)品使用場景，提供必要警示提示信息等。6.2評價數(shù)據(jù)收集6.2.1評價數(shù)據(jù)采集6.2.1.1數(shù)據(jù)來源特性評價數(shù)據(jù)采集應(yīng)當(dāng)確保數(shù)據(jù)來源的合規(guī)性、充分性和多樣性，數(shù)據(jù)分布的科學(xué)性和合理性，數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性。6.2.1.2數(shù)據(jù)質(zhì)控數(shù)據(jù)采集應(yīng)當(dāng)明確采集設(shè)備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求，并建立數(shù)據(jù)采集操作規(guī)范。若使用歷史數(shù)據(jù)，應(yīng)當(dāng)結(jié)合樣本規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式，明確數(shù)據(jù)篩選標(biāo)準(zhǔn)并對采集的數(shù)據(jù)進行質(zhì)量評估。6.2.1.3數(shù)據(jù)脫敏采集的數(shù)據(jù)應(yīng)進行數(shù)據(jù)脫敏以保護患者隱私，數(shù)據(jù)脫敏需明確脫敏的類型（靜態(tài)、動態(tài)）、規(guī)則、方法以及脫敏內(nèi)容的確定依據(jù)。如使用歷史數(shù)據(jù)，企業(yè)接收的數(shù)據(jù)應(yīng)為脫敏后的數(shù)據(jù)，不應(yīng)有敏感數(shù)據(jù)流入企業(yè)。6.2.2評價數(shù)據(jù)整理應(yīng)基于原始數(shù)據(jù)庫明確數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。數(shù)據(jù)清洗應(yīng)當(dāng)明確清洗的規(guī)則、方法、結(jié)果，數(shù)據(jù)預(yù)處理應(yīng)當(dāng)明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結(jié)果。數(shù)據(jù)經(jīng)整理后形成基礎(chǔ)數(shù)據(jù)庫，需明確樣本類型、樣本量、樣本分布等信息。6.2.3評價數(shù)據(jù)標(biāo)注6.2.3.1操作規(guī)范數(shù)據(jù)標(biāo)注應(yīng)當(dāng)明確標(biāo)注資源管理、標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估等要求，并建立數(shù)據(jù)標(biāo)注操作規(guī)范。6.2.3.2標(biāo)注內(nèi)容標(biāo)注過程質(zhì)控包括人員職責(zé)（如人員資質(zhì)、人員數(shù)量、職責(zé)分工）、標(biāo)注規(guī)則（如臨床指南、專家共識、專家評議、文獻分析）、標(biāo)注流程（如標(biāo)注對象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、結(jié)果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數(shù)據(jù)、操作）等要求。6.2.3.3標(biāo)注數(shù)據(jù)庫類型5DB32/TXXXX—XXXX數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫，樣本類型可分為數(shù)據(jù)塊（如圖像區(qū)域、數(shù)據(jù)片段）、單一數(shù)據(jù)（由多個數(shù)據(jù)塊組成）、數(shù)據(jù)序列（由多個單一數(shù)據(jù)組成）。6.2.3.4標(biāo)注數(shù)據(jù)庫要求標(biāo)注數(shù)據(jù)庫的樣本量、樣本分布等要求及風(fēng)險考量與基礎(chǔ)數(shù)據(jù)庫相同。6.2.4評價數(shù)據(jù)集構(gòu)建6.2.4.1評價數(shù)據(jù)集要求基于標(biāo)注數(shù)據(jù)庫構(gòu)建訓(xùn)練集、調(diào)優(yōu)集（若有）、測試集，應(yīng)當(dāng)明確訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集應(yīng)保證樣本分布具有均衡性，測試集、調(diào)優(yōu)集應(yīng)保證樣本分布符合真實情況，訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)兩兩無交集并通過查重予以驗證。6.2.4.2數(shù)據(jù)擴增要求數(shù)據(jù)擴增（若有）應(yīng)當(dāng)明確擴增的對象、范圍、方式（離線、在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò)等）、倍數(shù)，在線擴增亦需予以記錄，擴增需考慮數(shù)據(jù)偏倚的影響及風(fēng)險。不應(yīng)對測試集進行數(shù)據(jù)擴增，對抗測試除外。6.2.4.3擴增數(shù)據(jù)庫數(shù)據(jù)經(jīng)擴增后應(yīng)當(dāng)形成擴增數(shù)據(jù)庫，需列表對比擴增數(shù)據(jù)庫與標(biāo)注數(shù)據(jù)庫在樣本量、樣本分布（注明擴增倍數(shù)）等差異，以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。6.3算法性能評價6.3.1綜合評估內(nèi)容應(yīng)當(dāng)基于測試集對算法設(shè)計結(jié)果進行評估，綜合評估內(nèi)容應(yīng)包括：靈敏度、精確度、特異度、召回率、準(zhǔn)確率、F1度量、約登指數(shù)、假陰性（率）與假陽性(率)、重復(fù)性與再現(xiàn)性、魯棒性、Dice系數(shù)、Kappa系數(shù)、受試者操作特征曲線積及曲線下面積等適用性指標(biāo)，兼顧不同性能指標(biāo)的制約關(guān)系，以證實算法性能滿足算法設(shè)計目標(biāo)，并作為軟件驗證、軟件確認(rèn)的基礎(chǔ)。若使用第三方數(shù)據(jù)庫開展算法性能評估，應(yīng)當(dāng)提供第三方數(shù)據(jù)庫的基本信息（如名稱、創(chuàng)建者、數(shù)據(jù)總量等）和使用情況（如測試數(shù)據(jù)樣本量、評估指標(biāo)、評估結(jié)果等）。6.3.2限制情況與警示信息如遇黑盒算法應(yīng)開展算法性能影響因素分析，并提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產(chǎn)品使用限制和必要警示提示信息。6.4驗證與確認(rèn)6.4.1軟件驗證軟件驗證應(yīng)當(dāng)基于軟件需求予以開展，保證軟件的安全有效性，并作為軟件確認(rèn)的基礎(chǔ)。6.4.2軟件確認(rèn)軟件確認(rèn)測試應(yīng)當(dāng)基于用戶需求，由預(yù)期用戶在真實或模擬使用場景下予以開展，涵蓋現(xiàn)成軟件、網(wǎng)絡(luò)安全的測試要求，確定缺陷管理、風(fēng)險管理、可追溯性分析、評審等活動要求，形成用戶測試記錄、6DB32/TXXXX—XXXX測試報告以及評審記錄并經(jīng)批準(zhǔn)，適時更新并經(jīng)批準(zhǔn)?？勺匪菪苑治龃藭r應(yīng)當(dāng)分析用戶測試與用戶需求、用戶測試與風(fēng)險管理的關(guān)系。6.5評價部署運行測試應(yīng)在相關(guān)文件列明算法（及更新）關(guān)鍵模塊的功能、接口、版本、存儲形式（如pt、pth、binpb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴和接口關(guān)系；軟件的前后端部署方式；對基礎(chǔ)軟件和硬件的依賴和兼容性要求等。6.6更新控制評價應(yīng)考慮產(chǎn)品在算法更新、軟件更新時是否引入回滾機制，以保證醫(yī)療業(yè)務(wù)的連續(xù)性，特別是對風(fēng)險較高的軟件。6.7網(wǎng)絡(luò)與數(shù)據(jù)安全6.7.1網(wǎng)絡(luò)與數(shù)據(jù)安全評估應(yīng)考慮其全生命周期過程中應(yīng)當(dāng)考慮網(wǎng)絡(luò)安全與數(shù)據(jù)安全問題，對網(wǎng)絡(luò)與數(shù)據(jù)安全過程的控制需進行全面評估。包括數(shù)據(jù)轉(zhuǎn)移、數(shù)據(jù)集構(gòu)建、算法訓(xùn)練、數(shù)據(jù)集標(biāo)注、軟件確認(rèn)等活動開展過程中的數(shù)據(jù)污染防護集數(shù)據(jù)接口。6.7.2算法風(fēng)險管理評估應(yīng)明確算法的軟件安全性級別（輕、中、重）并詳述判定理由。應(yīng)形成算法風(fēng)險管理評估資料，明確過擬合與欠擬合、陽性、數(shù)據(jù)污染與數(shù)據(jù)偏移、中外差異等風(fēng)險的控制措施。6.8可追溯性分析應(yīng)當(dāng)建立控制程序，涵蓋軟件、現(xiàn)成軟件、算法及數(shù)據(jù)、網(wǎng)絡(luò)安全的控制要求，形成軟件及算法的可追溯性分析報告。使用可追溯保證軟件開發(fā)、軟件更新過程滿足可追溯性要求，并貫穿于軟件生存周期全過程。提供算法可追溯性分析報告等相關(guān)文件及記錄，即追溯算法需求、算法實現(xiàn)、算法驗證與確認(rèn)、風(fēng)險管理、數(shù)據(jù)集的管理。若無單獨文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所在位置。6.9不良事件評估6.9.1控制風(fēng)險對于上市后具有持續(xù)開展算法泛化能力的產(chǎn)品，評價應(yīng)當(dāng)結(jié)合用戶投訴、不良事件和召回等情況識別前期未預(yù)見的風(fēng)險，并采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平。6.9.2更新算法根據(jù)產(chǎn)品更新需求，經(jīng)評估后實施更新活動，開展與之相適宜的驗證與確認(rèn)活動，保證算法泛化能力持續(xù)滿足用戶需求。7評價檔案管理7.1檔案的創(chuàng)