醫(yī)學影像人工智能臨床使用質(zhì)量控制 - 副本

摘要

醫(yī)學影像人工智能（AI）產(chǎn)業(yè)發(fā)展迅速，產(chǎn)品預期用途日益豐富，臨床轉化步伐加快?？紤]到AI算法模型的快速演化、監(jiān)督學習對數(shù)據(jù)質(zhì)量的依賴以及產(chǎn)品的黑盒特性，相關AI醫(yī)療器械的性能與安全可能在臨床使用條件下出現(xiàn)不同程度、不同方式的波動，影響最終的收益與風險；而目前國內(nèi)外尚未建立此類產(chǎn)品臨床使用階段的質(zhì)量控制與標準規(guī)范。為支撐全生命周期監(jiān)管，有必要在AI醫(yī)療器械大規(guī)模上市之前，對于臨床使用條件下的質(zhì)量控制方法進行研究，以降低出現(xiàn)不良事件的風險，提升社會經(jīng)濟收益，促進行業(yè)健康發(fā)展。筆者分析醫(yī)學影像AI在臨床部署與使用的各個階段可能面臨的風險，提出必要的質(zhì)量控制措施，論述在用產(chǎn)品質(zhì)量的評價方法與指標，旨在對臨床機構的日常使用和管理提供參考，為行業(yè)主管部門開展上市后監(jiān)管工作提供建議，促進AI醫(yī)療器械產(chǎn)業(yè)的長遠發(fā)展。近年來，預期用于醫(yī)學影像的人工智能（artificialintelligence，AI）醫(yī)療器械進展迅速，在輔助檢測、輔助診斷、輔助治療、過程優(yōu)化與賦能、預后評估等方向不斷進步，應用場景從醫(yī)院內(nèi)部向院外擴展。在行業(yè)發(fā)展如火如荼的同時，國內(nèi)的行業(yè)標準和使用規(guī)范尚未建立，質(zhì)量評價工作側重于上市前。然而臨床使用階段的風險來源較多，上市前評價難以全部覆蓋，必須在使用階段加強控制，才能保證產(chǎn)品上市后真正發(fā)揮臨床價值，因此醫(yī)學界日益重視臨床使用階段的質(zhì)量控制，包括產(chǎn)品獨立性能和人機結合的評價。圍繞臨床使用質(zhì)量，我國藥監(jiān)部門發(fā)布過《醫(yī)療器械使用質(zhì)量監(jiān)督管理辦法》（以下簡稱《管理辦法》），也研究過在用醫(yī)療器械的檢驗技術要求。前國家衛(wèi)生和計劃生育委員會在2017年分別發(fā)布了《人工智能輔助診斷技術管理規(guī)范》和《人工智能輔助診斷技術臨床應用質(zhì)量控制規(guī)范》。上述文件從宏觀意義上對AI醫(yī)療器械的臨床使用質(zhì)量控制提供了重要指導，但具體實施的方法和要點需要進一步清晰和落實，并與時俱進。筆者在此背景下，從醫(yī)療器械全生命周期質(zhì)量控制出發(fā)，分析臨床使用階段的各個環(huán)節(jié)對質(zhì)量控制工作的要求，提出相應的解決方案，幫助使用者增強對醫(yī)學影像AI的使用質(zhì)量的認識和保障能力，提高AI在臨床應用過程中的收益，降低質(zhì)量風險，促進行業(yè)長遠健康發(fā)展。一、臨床使用質(zhì)量控制的工作思路臨床使用質(zhì)量控制的工作思路，首先是明確臨床使用質(zhì)量控制與產(chǎn)品上市前評價的差異，在此基礎上，一方面充分借鑒產(chǎn)品上市前評價工作在方法學方面的成果，完成臨床使用質(zhì)量控制的方法學轉化和指標的建立；另一方面在實踐中幫助使用AI醫(yī)療器械的臨床機構從人員、設備、材料（數(shù)據(jù)集）、方法、環(huán)境等角度重視影響臨床使用質(zhì)量的具體質(zhì)控要素，建立有效的質(zhì)量管理體系。醫(yī)學影像AI產(chǎn)品臨床使用階段質(zhì)量評價的主要出發(fā)點，是評估臨床使用過程中的收益（臨床績效）與風險，確?；颊呃妫ＷC臨床機構的服務水平。它與產(chǎn)品的上市前評價的差異主要表現(xiàn)為以下3點。1．場景差異：表現(xiàn)為產(chǎn)品上市前評價所針對的臨床情景、硬件條件與實際部署環(huán)境有差別，產(chǎn)品在臨床使用階段的表現(xiàn)可能與上市前評價不同。2．考核方式與指標差異：目前醫(yī)學影像AI產(chǎn)品的上市前評價較多關注的是機器判斷與參考標準的相似程度，而臨床使用質(zhì)量控制更關注臨床績效，考察AI對醫(yī)師決策過程和臨床診療服務的影響。3．動態(tài)變化的差異：產(chǎn)品上市前評價所使用的測試數(shù)據(jù)是相對靜態(tài)的，而臨床使用階段的質(zhì)量控制是一個長期面對真實世界考驗的動態(tài)過程。以上3點差異是醫(yī)學影像AI產(chǎn)品臨床使用質(zhì)量控制的薄弱之處。筆者建議的工作思路是參考醫(yī)療器械全生命周期質(zhì)量控制的理念，從人員、設備、材料（數(shù)據(jù)集）、方法、環(huán)境等要素入手，結合臨床機構實際情況，完成以下3種轉變。1．在理解產(chǎn)品技術特性和產(chǎn)品上市前評價方式的基礎上，結合特定機構實際情況，建立臨床使用質(zhì)量控制的指標與方法，完成由市場通用到機構專用的評價方式轉變。2．在產(chǎn)品獨立性能評價的基礎上，把臨床實際決策過程、使用者的因素納入臨床使用質(zhì)量控制，明確對臨床績效的要求，完成由產(chǎn)品視角到醫(yī)師視角的評價方式轉變。3．記錄、分析和控制來自真實世界的變化，對產(chǎn)品臨床表現(xiàn)的變化進行監(jiān)視和追溯，聚焦產(chǎn)品的泛化能力和魯棒性，提供有價值的反饋，完成由靜態(tài)評價到動態(tài)過程評價的評價方式轉變。二、臨床使用質(zhì)量控制工作要點醫(yī)學影像AI的臨床使用質(zhì)量控制工作一方面應參考傳統(tǒng)醫(yī)療器械的通用做法，完成設立質(zhì)量管理架構、落實人員責任等常規(guī)工作，本文不再贅述。另一方面，筆者建議從人員、設備、材料（數(shù)據(jù)集）、方法、環(huán)境5個方面，注意醫(yī)學影像AI臨床使用質(zhì)量控制的特殊要點。（一）人員1．資質(zhì)要求：為避免AI醫(yī)療器械對人工判斷、臨床決策的誤導，AI醫(yī)療器械的相關人員（包括數(shù)據(jù)采集人員、醫(yī)護人員、物理師、質(zhì)控人員等）應當足夠了解實際部署場景，具有基本的職業(yè)資質(zhì)和從業(yè)經(jīng)驗，對本機構的診療相關工作具有豐富的實踐經(jīng)驗，有獨立根據(jù)臨床分工進行操作、決策和承擔責任的能力。2．培訓要求：相關人員應當接受廠家的培訓，熟悉產(chǎn)品的技術文件、操作使用、研發(fā)遵照的標準規(guī)范，了解數(shù)據(jù)采集的要求和規(guī)范，能夠理解和轉化產(chǎn)品的上市前評價指標。以AI圖像輔助分析為例，如果使用者既有的圖像判讀習慣與產(chǎn)品研發(fā)所依據(jù)的標準不同，那么產(chǎn)品給出的病灶標注、分類、分割等信息將很可能偏離使用者的預期。如果使用人員不能識別這種差異，那么判斷上的分歧就難以化解，甚至產(chǎn)生不良事件的誤報。3．能力管理要求：為保證人機協(xié)同的效率和效果，建議使用部門關注AI醫(yī)療器械使用人員的能力，適當時，進行實驗室間比對和人員比對，觀測使用者自身的判斷能力、穩(wěn)定性和機構之間的一致性，并采取必要的干預。（二）設備1．硬件要求：醫(yī)學影像AI相關硬件，包括數(shù)據(jù)采集、存儲、傳輸、管理、算法部署運行等涉及的硬件應當納入質(zhì)量控制范疇，在安全性、有效性、可靠性、復現(xiàn)性、可用性等方面可參照現(xiàn)有醫(yī)院硬件設備的日常質(zhì)控規(guī)程進行考量。以移動醫(yī)療APP形式部署和使用的AI醫(yī)療器械，對APP的運行設備同樣應進行考量。AI醫(yī)療器械的部署、使用、校準、維護、維修等環(huán)節(jié)應當嚴格控制和觀測相關硬件的變化，以避免產(chǎn)品表現(xiàn)出現(xiàn)波動。2．軟件要求：對于獨立軟件形態(tài)的醫(yī)學影像AI產(chǎn)品，臨床使用質(zhì)量控制需要開展運行效率、并發(fā)數(shù)、可移植性、網(wǎng)絡響應、內(nèi)存占用、存儲空間管理等方面的檢查與測試，觀測軟件在臨床實際使用周境下的性能；對于嵌入式軟件組件、軟硬件一體化產(chǎn)品，應當參考獨立軟件質(zhì)控要求，對其可能的變化予以評價和觀測。（三）材料（數(shù)據(jù)集）1．數(shù)據(jù)標準化：臨床使用質(zhì)量控制的重要材料是數(shù)據(jù)集，來源包括AI產(chǎn)品供應商、臨床機構、第三方機構等，內(nèi)容包含臨床數(shù)據(jù)、仿真數(shù)據(jù)和體模數(shù)據(jù)等。不同數(shù)據(jù)集的差異對臨床使用階段的產(chǎn)品性能評價結果影響較大，因此需加強數(shù)據(jù)本身的標準化，在數(shù)據(jù)格式、數(shù)據(jù)傳輸協(xié)議、數(shù)據(jù)預處理、數(shù)據(jù)集設計、數(shù)據(jù)集質(zhì)量管理與評價等方面建立標準規(guī)范，保障臨床使用質(zhì)量控制能夠依托高質(zhì)量的數(shù)據(jù)集。2．標注標準化：醫(yī)學影像的標注在AI產(chǎn)品的臨床使用質(zhì)量控制中同樣具有重要地位。使用同一個數(shù)據(jù)集對同一產(chǎn)品在不同機構開展臨床使用質(zhì)量評價時，不同機構在標注準確性、穩(wěn)定性等方面的差異將導致評價結果和感受的不同，因而需要開展標準化標注，在數(shù)據(jù)標注規(guī)則、標注流程設計、標注人員管理、過程質(zhì)控等方面建立標準規(guī)范。（四）方法1．指標：日常質(zhì)控可以引用上市前評價的部分指標，在日常質(zhì)控數(shù)據(jù)集上測試算法性能，如準確率、重復性、魯棒性等。2．產(chǎn)品性能測試方式：建議以批量處理數(shù)據(jù)集的形式開展產(chǎn)品算法性能的日常質(zhì)控，提高效率和可重復性。對用于統(tǒng)計分類的產(chǎn)品，日常質(zhì)控需要計算混淆矩陣、敏感度、特異度等指標；對用于病灶分割與尺寸測量的產(chǎn)品，日常質(zhì)控需要實現(xiàn)算法結果可視化、手工尺寸測量、手工邊界勾勒、交并比計算等功能，以支持人機比對和金標準比對。3．臨床績效評價：參考國內(nèi)外現(xiàn)有的醫(yī)學服務質(zhì)量控制，建議從以下4個角度評價產(chǎn)品的臨床績效。（1）醫(yī)療服務環(huán)境的特征。本要素考慮的是影響臨床績效的各種外在因素，例如AI設備單位時間（平均）處理的患者數(shù)據(jù)量和患者類型（體檢、門診、急診、住院等）、醫(yī)師與AI設備比例、醫(yī)師與患者比例。這些指標反映AI醫(yī)療器械使用者的工作量和負荷水平，有助于優(yōu)化使用者的工作時間，改善醫(yī)療服務。（2）醫(yī)療服務過程中的表現(xiàn)。本要素衡量的是臨床績效的過程參數(shù)，例如平均AI報告等候時間、生理異常與危險事件報警數(shù)量。平均AI報告等候時間既包含AI運算的時間，又包含醫(yī)師審核與糾正結果的時間，能夠綜合反映AI在醫(yī)療服務中的效率。生理異常與危險事件報警數(shù)量指的是每天由AI發(fā)現(xiàn)的需要及時處理的危重病例數(shù)量，反映了AI在挽救患者生命方面的貢獻。（3）醫(yī)療服務結果。本要素衡量的是臨床績效的結果表現(xiàn)，例如報告的準確率、一致性。這些指標以定量的方式描述AI與醫(yī)師判斷的一致程度，反映了AI輔助醫(yī)師的能力。一般來說，其評價方法與上市注冊的產(chǎn)品技術要求中的方法基本一致，有時需要根據(jù)醫(yī)師的關注點進行調(diào)整。例如，某些基于AI的胸部CT肺結節(jié)輔助診斷軟件聲稱能夠檢出長徑3~30mm的肺結節(jié)，當臨床機構只要求在診斷報告中體現(xiàn)5mm以上的檢出結果時，日常質(zhì)控中有關報告的準確率計算也應當側重5mm以上的檢出結果，而與上市注冊的產(chǎn)品技術要求的定義不同。（4）人機協(xié)同能力。本要素考慮的是AI算法對醫(yī)師的影響。對于使用AI對醫(yī)學影像進行輔助分類或輔助探測的產(chǎn)品，建議收集一部分經(jīng)倫理委員會批準使用的前瞻性數(shù)據(jù)，用于建立和比較人+AI、人的ROC曲線下面積（areaundercurve，AUC）。當人+AI的AUC大于人的AUC且具有統(tǒng)計學意義時，可以認為AI對于醫(yī)師的輔助作用是積極顯著的。（五）環(huán)境在算力、網(wǎng)絡帶寬等硬件條件滿足的前提下，建議日常質(zhì)控的環(huán)境應在日常工作環(huán)境與標準化數(shù)據(jù)標注環(huán)境兩種條件下進行，以分析使用者的體驗和判斷是否受環(huán)境影響出現(xiàn)差異。例如，基于AI的胸部CT肺結節(jié)輔助分析軟件產(chǎn)品有必要在日常條件和標準化讀片室下比對人工閱片和AI結果，評估人工識別肺結節(jié)的召回率、精確度的一致性是否受到顯示器分辨率、亮度、圖像放大倍數(shù)、室內(nèi)光照、溫濕度等環(huán)境條件差異的影響。如果影響顯著，說明產(chǎn)品與日常工作環(huán)境的適配應當加強，以保障產(chǎn)品性能符合預期。三、對臨床性能偏離的響應考慮到日常使用環(huán)境的變化和患者數(shù)據(jù)的不確定性，AI醫(yī)療器械在臨床部署后的性能可能在不同程度上偏離預期，臨床使用階段應當明確對這種偏離的應對措施，這涉及真實世界數(shù)據(jù)的開發(fā)利用。真實世界中AI產(chǎn)品性能的評價，可以看作基于動態(tài)前瞻式數(shù)據(jù)集的性能測試，當真實世界數(shù)據(jù)的總體和分層的樣本量具有統(tǒng)計意義時，即可用于觀測實際性能與臨床預期的偏離。觀測的頻率由經(jīng)濟和技術條件決定。出現(xiàn)性能偏離時，建議研究人員進一步分析真實臨床使用環(huán)境下影響產(chǎn)品性能的因素，例如運行環(huán)境、人員操作、患者群體等方面的信息，并關注數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標注標準規(guī)范的演化，綜合判斷產(chǎn)品能否繼續(xù)有效執(zhí)行任務，以采取修復、校準、改進、召回、淘汰等后續(xù)整改措施。臨床機構發(fā)生整改后，應當對產(chǎn)品進行重復性測試，確認算法性能與日常質(zhì)控結果一致后方可重新啟用。上述流程和結果應形成詳細記錄，反饋給生產(chǎn)廠家。當AI醫(yī)療器械在臨床績效、臨床使用風險方面出現(xiàn)顯著問題時，建議及時報告不良事件。典型問題包括大范圍誤診/漏診、界面崩潰、算力異常、操作異常、質(zhì)控結果不可重復、數(shù)據(jù)管理混亂、數(shù)據(jù)丟失、患者隱私泄露等。四、其他應注意的問題在臨床使用階段，產(chǎn)品的非預期使用帶來的風險值得特殊關注，建議臨床機構在使用前明確AI醫(yī)療器械在臨床使用中的角色，例如獨立輸出診斷結果（直接產(chǎn)生報告）、第一讀片人（AI先出結果，再由醫(yī)師審核）、第二讀片人（醫(yī)師先讀數(shù)據(jù)，然后AI分析數(shù)據(jù)，提醒醫(yī)師避免漏診）等情況，以防止AI的跨角色使用。AI決策與醫(yī)師決策的結果必須有明確的標識和區(qū)分。為避免非預期使用，臨床機構應明確產(chǎn)品的適應證范圍，防止非預期結果影響醫(yī)學診療（例如，預期僅用于識別肺內(nèi)結節(jié)的AI產(chǎn)品有可能檢出胸膜結節(jié)）。即使這種非預期結果在個別病例上符合醫(yī)師的判斷，它有可能在其他的病例上作為假陽性的結果干擾醫(yī)師，從而降低醫(yī)療服務質(zhì)量。預防非預期使用，還應當關注產(chǎn)品關鍵參數(shù)的變化。典型代表是AI進行輔助分類時使用的閾值。閾值的選擇，會直接影響產(chǎn)品分類的敏感度和特異度。根據(jù)已公開的資料，敏感度、特異度、AUC是產(chǎn)品上市前評價中建議并經(jīng)常采用的指標，其中敏感度、特異度是針對特定閾值的。如果生產(chǎn)廠家和臨床機構認為有必要針對具體場景調(diào)整閾值，建議在上市前質(zhì)量評價階段進行相應研究，以保證性能的可重復性。從研究的角度看，應鼓勵臨床機構對客觀出現(xiàn)的非預期結果開展分析，尋找規(guī)律，促進產(chǎn)品功能擴展。實際上，這種分析屬于醫(yī)學大數(shù)據(jù)的開發(fā)利用，本質(zhì)上是依托臨床數(shù)據(jù)開展的科研活動。首先在流程上，研究人員應滿足臨床倫理和科研管理的法規(guī)要求，獲得相關部門的批準。其次，研究使用的軟件、算法、計算平臺應當與臨床使用中的AI醫(yī)療器械軟硬件相隔離，避免臨床數(shù)據(jù)在未受控的情況下流入科研平臺，同時防止科研產(chǎn)生的數(shù)據(jù)、結果干擾臨床診療。五、結論綜上所述，醫(yī)學影像AI的臨床使用