肺炎CT影像輔助分診與評(píng)估軟件審評(píng)要點(diǎn)（精品課件）

1、肺炎CT影像輔助分診與評(píng)估軟件審評(píng)要點(diǎn)（試行）一、適用范圍本審評(píng)要點(diǎn)適用于肺炎CT影像輔助分診與評(píng)估軟件的產(chǎn)品注冊(cè)。該類產(chǎn)品基于肺部CT影像，采用深度學(xué)習(xí)技術(shù)進(jìn)行肺炎影像學(xué)異常識(shí)別，臨床用于新型冠狀病毒肺炎疑似患者的分診提示以及確診患者的病情評(píng)估。.按現(xiàn)行醫(yī)療器械分類目錄，該類產(chǎn)品分類編碼為21-04-02，管理類別為三類。二、基本要求生產(chǎn)企業(yè)應(yīng)依據(jù)醫(yī)療器械軟件注冊(cè)技術(shù)審查指導(dǎo)原則醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)等相關(guān)指導(dǎo)原則與審評(píng)要點(diǎn)，提交相應(yīng)注冊(cè)申報(bào)資料。.該類產(chǎn)品的軟件安全性級(jí)別為B級(jí)，生產(chǎn)企業(yè)應(yīng)依據(jù)醫(yī)療器械軟件注冊(cè)

2、技術(shù)審查指導(dǎo)原則提交相應(yīng)軟件描述文檔。其中，核心算法所述深度學(xué)習(xí)算法應(yīng)依據(jù)深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)提交相應(yīng)算法研究資料。.生產(chǎn)企業(yè)應(yīng)依據(jù)醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則提交網(wǎng)絡(luò)安全描述文檔。其中，基本信息應(yīng)圍繞數(shù)據(jù)類型進(jìn)行描述；風(fēng)險(xiǎn)管理、驗(yàn)證與確認(rèn)應(yīng)基于19項(xiàng)網(wǎng)絡(luò)安全能力進(jìn)行分析和實(shí)施，不適用項(xiàng)詳述理由；可追溯性分析報(bào)告應(yīng)追溯網(wǎng)絡(luò)安全需求、設(shè)計(jì)、測試、風(fēng)險(xiǎn)管理的相互關(guān)系；維護(hù)計(jì)劃應(yīng)包含網(wǎng)絡(luò)安全日常維護(hù)計(jì)劃、網(wǎng)絡(luò)安全事件應(yīng)急響應(yīng)預(yù)案。.若使用云計(jì)算服務(wù)、移動(dòng)計(jì)算終端，生產(chǎn)企業(yè)應(yīng)依據(jù)移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則提交相應(yīng)研究資料。其中，使用云計(jì)算服務(wù)應(yīng)明確服務(wù)模式、部署模式、核心

3、功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力、服務(wù)（質(zhì)量）協(xié)議等要求；使用移動(dòng)計(jì)算終端應(yīng)結(jié)合終端的類型、特點(diǎn)、使用風(fēng)險(xiǎn)明確相應(yīng)性能指標(biāo)要求。.生產(chǎn)企業(yè)應(yīng)單獨(dú)出具一份軟件版本命名規(guī)則真實(shí)性聲明。明確軟件發(fā)布版本、軟件完整版本，涵蓋算法驅(qū)動(dòng)型軟件更新和數(shù)據(jù)驅(qū)動(dòng)型軟件更新；區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新應(yīng)列舉全部典型情況。.三、風(fēng)險(xiǎn)管理生產(chǎn)企業(yè)應(yīng)基于軟件的預(yù)期用途、使用場景、核心功能開展風(fēng)險(xiǎn)管理。重點(diǎn)分析假陰性和假陽性風(fēng)險(xiǎn)，特別是假陰性風(fēng)險(xiǎn)，明確相應(yīng)風(fēng)險(xiǎn)控制措施，確保軟件綜合剩余風(fēng)險(xiǎn)均可接受。.四、軟件研究生產(chǎn)企業(yè)在準(zhǔn)備軟件研究資料時(shí)應(yīng)重點(diǎn)關(guān)注以下方面要求：（一）軟件功能至少包含異常識(shí)別、量化分析

4、（如病灶體積占比、CT值分布等）、數(shù)據(jù)對(duì)比（手動(dòng)、自動(dòng)均可）、報(bào)告輸出。其中，異常識(shí)別用于疑似患者的分診提示，量化分析和數(shù)據(jù)對(duì)比用于確診患者的病情評(píng)估。.（二）訓(xùn)練數(shù)據(jù)原則上不少于2000例新型冠狀病毒肺炎確診患者CT影像；至少來源于3家醫(yī)療機(jī)構(gòu)，其中至少包含1家疫情嚴(yán)重地區(qū)醫(yī)療機(jī)構(gòu)；至少包括早期、進(jìn)展期的新型冠狀病毒肺炎CT影像。.（三）明確CT影像要求，包括CT設(shè)備兼容性與掃描參數(shù)、CT影像質(zhì)量等因素，如廠家、排數(shù)、層數(shù)、層厚、管電壓、管電流、加載時(shí)間、圖像偽影與噪聲等要求，并提供相應(yīng)支持材料。.（四）結(jié)合人群特征（如性別、年齡）、影像學(xué)分期（早期、進(jìn)展期、嚴(yán)重期）、數(shù)據(jù)來源機(jī)構(gòu)、CT設(shè)備

5、（如廠家、層厚）等因素，提供新型冠狀病毒肺炎CT影像的數(shù)據(jù)分布情況。.（五）明確數(shù)據(jù)標(biāo)注的流程以及質(zhì)控要求。（六）提供訓(xùn)練集、調(diào)優(yōu)集、測試集的數(shù)據(jù)量以及數(shù)據(jù)分布情況，明確新型冠狀病毒肺炎、其他類型肺炎等類似病征的占比，保證測試集陽性樣本與陰性樣本的比例合理。.（七）明確數(shù)據(jù)擴(kuò)增的對(duì)象、方法、倍數(shù)，分析擴(kuò)增倍數(shù)過大的影響及其風(fēng)險(xiǎn)。（八）提供算法結(jié)構(gòu)、流程圖，明確輸入與輸出、所用現(xiàn)成深度學(xué)習(xí)框架。（九）明確算法訓(xùn)練的評(píng)估指標(biāo)、訓(xùn)練目標(biāo)及其確定依據(jù)，提供訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線、ROC曲線等證據(jù)。（十）結(jié)合CT設(shè)備、影像學(xué)分期、類似病征等因素，提供算法性能影響因素分析報(bào)告。五、臨床研究該類產(chǎn)品臨床評(píng)

6、價(jià)方式與其必備的軟件功能類型有關(guān)。用于分診提示的異常識(shí)別功能屬于輔助決策類軟件功能，需要開展臨床試驗(yàn)，可采用回顧性研究。用于病情評(píng)估的量化分析等功能屬于非輔助決策類軟件功能，可根據(jù)醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則提交相應(yīng)臨床評(píng)價(jià)資料，也可在臨床試驗(yàn)中予以評(píng)價(jià)。.分診提示的臨床試驗(yàn)要求具體如下：（一）試驗(yàn)?zāi)康纳a(chǎn)企業(yè)應(yīng)根據(jù)產(chǎn)品適用范圍確定臨床試驗(yàn)?zāi)康摹＿m用范圍考慮因素包括但不限于：目標(biāo)疾?。ǚ窝祝?、臨床用途（分診提示）、禁忌癥（如某些類似病征）、預(yù)期適用人群（如具有新型冠狀病毒肺炎流行病學(xué)史、臨床表現(xiàn)的患者）、預(yù)期使用場所（如定點(diǎn)醫(yī)院、方艙醫(yī)院）、預(yù)期目標(biāo)用戶（如放射科醫(yī)師）、預(yù)期兼容的CT設(shè)備等。

7、.臨床試驗(yàn)?zāi)康闹饕獙?duì)分診提示的診斷準(zhǔn)確度進(jìn)行確認(rèn)。（二）試驗(yàn)設(shè)計(jì)可采用單組目標(biāo)值試驗(yàn)設(shè)計(jì)，以分診提示的敏感性、特異性等固有診斷準(zhǔn)確度指標(biāo)作為主要評(píng)價(jià)指標(biāo)。目標(biāo)值應(yīng)符合臨床應(yīng)用需求，可來源于權(quán)威醫(yī)學(xué)組織、相關(guān)標(biāo)準(zhǔn)化組織發(fā)布的客觀性能標(biāo)準(zhǔn)，也可基于影像科醫(yī)師診斷目標(biāo)疾病準(zhǔn)確度的臨床數(shù)據(jù)經(jīng)薈萃分析來構(gòu)建性能目標(biāo)。生產(chǎn)企業(yè)應(yīng)明確目標(biāo)值的確定依據(jù)。.（三）受試對(duì)象受試對(duì)象應(yīng)包含一定樣本量的陽性病例和陰性病例。按照新型冠狀病毒肺炎診療方案（試行），陽性病例為具有肺炎影像學(xué)特征的新型冠狀病毒肺炎疑似病例，陰性病例為未見肺炎影像學(xué)特征的病例。在此基礎(chǔ)上，病例的選擇還需綜合考慮以下因素：.1.臨床試驗(yàn)納入病例應(yīng)

8、獨(dú)立于產(chǎn)品開發(fā)所用病例；2.臨床試驗(yàn)納入病例需來源于不同地域醫(yī)療機(jī)構(gòu)；3.選擇性入組病例可能導(dǎo)致研究人群與預(yù)期適用人群存在較大差異，建議連續(xù)入組符合入排標(biāo)準(zhǔn)的病例，以消除或減小選擇性偏倚；.4.需考慮陽性病例中新型冠狀病毒肺炎分型、分期的分布合理性。（四）評(píng)價(jià)指標(biāo)主要評(píng)價(jià)指標(biāo)原則上應(yīng)考慮將病例水平的敏感性和特異性組成復(fù)合終點(diǎn)。次要評(píng)價(jià)指標(biāo)可包括分診提示時(shí)間、軟件易用性（可采用主觀感受評(píng)價(jià)，如李克特量表等）和安全性等。若同時(shí)觀察量化分析等功能的臨床安全有效性，可設(shè)立相應(yīng)次要評(píng)價(jià)指標(biāo)。.（五）金標(biāo)準(zhǔn)構(gòu)建生產(chǎn)企業(yè)應(yīng)詳述金標(biāo)準(zhǔn)的選擇、構(gòu)建方法及理由?？晒┻x擇的金標(biāo)準(zhǔn)構(gòu)建方法包括：一是以臨床確定結(jié)果為金

9、標(biāo)準(zhǔn)，即流行病學(xué)史、臨床表現(xiàn)（含影像學(xué)特征）的綜合診斷結(jié)果；二是通過專家閱片小組構(gòu)建金標(biāo)準(zhǔn)。.若選用后者，需明確專家數(shù)量、來源科室、專家資質(zhì)要求（如職稱）、專家相關(guān)培訓(xùn)要求、培訓(xùn)效果評(píng)測（判定一致性）、結(jié)果判定標(biāo)準(zhǔn)、結(jié)果判定規(guī)則（如少數(shù)服從多數(shù)，雙人背靠背評(píng)判，高水平醫(yī)師仲裁）、專家抽取標(biāo)準(zhǔn)（隨機(jī)抽取或順序輪轉(zhuǎn)）等。建議由來自影像科、呼吸科等多個(gè)科室的醫(yī)師聯(lián)合閱片，以減少不完美金標(biāo)準(zhǔn)的偏倚。.（六）樣本量樣本量估算需綜合考慮臨床試驗(yàn)設(shè)計(jì)、主要評(píng)價(jià)指標(biāo)和統(tǒng)計(jì)學(xué)要求。生產(chǎn)企業(yè)需明確計(jì)算公式、相應(yīng)參數(shù)及確定理由，以及所用的統(tǒng)計(jì)軟件。.對(duì)于復(fù)合終點(diǎn)，樣本量估算需考慮滿足所有單項(xiàng)指標(biāo)的假設(shè)檢驗(yàn)的樣本量需

10、求。假設(shè)軟件的敏感性為95%，臨床認(rèn)可的目標(biāo)值為90%，則在雙側(cè)顯著性水平0.05、把握度80%，至少需231例陽性病例。假設(shè)軟件的特異性為85%，臨床認(rèn)可的目標(biāo)值為80%，則在雙側(cè)顯著性水平0.05、把握度80%，至少需466例陰性病例。在此基礎(chǔ)上考慮5%-10%脫落率確定最終樣本量。.（七）其他臨床試驗(yàn)資料需明確以下信息：1.病例基線情況統(tǒng)計(jì)學(xué)描述，包括年齡、性別、流行病學(xué)特征、病例數(shù)（陽性病例數(shù)、陰性病例數(shù)）、疾病分型（普通型、重型、危重型）、影像學(xué)分期（早期、進(jìn)展期、嚴(yán)重期）等。.2.CT影像采集情況統(tǒng)計(jì)學(xué)描述，包括數(shù)據(jù)來源機(jī)構(gòu)、CT設(shè)備廠商及型號(hào)規(guī)格、CT設(shè)備掃描參數(shù)（如排數(shù)、層數(shù)、

11、層厚、管電壓、管電流、加載時(shí)間）等。.六、說明書說明書應(yīng)符合醫(yī)療器械說明書和標(biāo)簽管理規(guī)定相關(guān)要求。明確適用范圍、禁忌癥、使用限制、注意事項(xiàng)、CT設(shè)備兼容性與掃描參數(shù)要求、CT影像質(zhì)量要求、算法輸入與輸出、算法訓(xùn)練總結(jié)、算法性能評(píng)估總結(jié)、軟件臨床評(píng)價(jià)總結(jié)、軟件發(fā)布版本、軟件運(yùn)行環(huán)境、使用期限等內(nèi)容。.七、軟件更新考量考慮到疫情防控的緊迫性，結(jié)合該類產(chǎn)品所具有的數(shù)據(jù)驅(qū)動(dòng)、快速迭代等特性，上市后軟件更新要求如下：（一）對(duì)于數(shù)據(jù)驅(qū)動(dòng)型軟件更新，生產(chǎn)企業(yè)在疫情期間可通過質(zhì)量管理體系進(jìn)行軟件更新質(zhì)量控制，無需提交許可事項(xiàng)變更申請(qǐng)，但應(yīng)確保新版本可回滾至已批準(zhǔn)版本；待疫情結(jié)束后1個(gè)月內(nèi)，生產(chǎn)企業(yè)應(yīng)針對(duì)全部軟

12、件更新情況提交許可事項(xiàng)變更申請(qǐng)。.（二）對(duì)于算法驅(qū)動(dòng)型軟件更新，生產(chǎn)企業(yè)應(yīng)及時(shí)提交許可事項(xiàng)變更申請(qǐng)。（三）對(duì)于其他類型的軟件更新，若發(fā)生重大軟件更新，生產(chǎn)企業(yè)應(yīng)及時(shí)提交許可事項(xiàng)變更申請(qǐng)；若發(fā)生輕微軟件更新，生產(chǎn)企業(yè)通過質(zhì)量管理體系進(jìn)行軟件更新質(zhì)量控制，無需提交許可事項(xiàng)變更申請(qǐng)。.（四）若同時(shí)發(fā)生多種類型的軟件更新，注冊(cè)申報(bào)要求遵循風(fēng)險(xiǎn)從高原則。例如，同時(shí)發(fā)生數(shù)據(jù)驅(qū)動(dòng)型和算法驅(qū)動(dòng)型軟件更新，按照算法驅(qū)動(dòng)型軟件更新處理。.八、其他說明（一）生產(chǎn)企業(yè)應(yīng)基于產(chǎn)品特性提交注冊(cè)申報(bào)資料，判斷本審評(píng)要點(diǎn)具體內(nèi)容的適用性，不適用內(nèi)容應(yīng)詳述理由。（二）輔助檢測軟件、輔助診斷軟件風(fēng)險(xiǎn)水平高于輔助分診軟件，原則上應(yīng)作為不同注冊(cè)單元分別申報(bào)