醫(yī)療大模型應(yīng)用測評指南編制說明

上海人工智能行業(yè)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)《醫(yī)療大模型應(yīng)用測評指南》（征求意見稿）編制說明工作簡況任務(wù)來源為積極響應(yīng)國家對醫(yī)療領(lǐng)域技術(shù)創(chuàng)新和標(biāo)準(zhǔn)化建設(shè)的號召，推動(dòng)醫(yī)療大模型技術(shù)的健康發(fā)展，促進(jìn)其在醫(yī)療行業(yè)的廣泛應(yīng)用，本團(tuán)體標(biāo)準(zhǔn)旨在規(guī)范和指導(dǎo)醫(yī)療大模型應(yīng)用測評的框架體系。本項(xiàng)目由上海庫帕思科技有限公司提出，上海人工智能協(xié)會(huì)批準(zhǔn)立項(xiàng)?！夺t(yī)療大模型應(yīng)用測評指南》主要起草單位：上海庫帕思科技有限公司，計(jì)劃應(yīng)完成時(shí)間為2025年1月。主要參與起草單位本標(biāo)準(zhǔn)由上海庫帕思科技有限公司、工業(yè)互聯(lián)網(wǎng)創(chuàng)新中心(上海)有限公司、上海人工智能協(xié)會(huì)、上海人工智能實(shí)驗(yàn)室、上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院、復(fù)旦大學(xué)附屬中山醫(yī)院、上海長海醫(yī)院等10余家單位共同負(fù)責(zé)起草。主要工作過程與主要起草人所做工作本標(biāo)準(zhǔn)編制過程到目前主要經(jīng)歷了標(biāo)準(zhǔn)工作組成立、標(biāo)準(zhǔn)調(diào)研、立項(xiàng)階段和標(biāo)準(zhǔn)研制四個(gè)階段。各階段主要工作總結(jié)如下：標(biāo)準(zhǔn)工作組成立：2024年8月，面向社會(huì)征集標(biāo)準(zhǔn)編寫參與單位，組成標(biāo)準(zhǔn)工作組。標(biāo)準(zhǔn)調(diào)研：2024年9月-2024年12月，標(biāo)準(zhǔn)工作組對醫(yī)療大模型應(yīng)用測評的標(biāo)準(zhǔn)化需求進(jìn)行資料收集、查閱、分析和整理，對團(tuán)體標(biāo)準(zhǔn)政策制度進(jìn)行梳理，確定標(biāo)準(zhǔn)主要內(nèi)容和標(biāo)準(zhǔn)框架結(jié)構(gòu)。對照《標(biāo)準(zhǔn)化法》、《團(tuán)體標(biāo)準(zhǔn)管理規(guī)定》和GB/T1.1-2020等標(biāo)準(zhǔn)，編寫標(biāo)準(zhǔn)草案。期間為提高標(biāo)準(zhǔn)的普適性和可操作性，標(biāo)準(zhǔn)工作組通過召開研討會(huì)以及書面反饋意見等多種形式，對標(biāo)準(zhǔn)文本進(jìn)行修改完善。立項(xiàng)階段：2025年1月，標(biāo)準(zhǔn)工作組組織各參編單位代表開展了《醫(yī)療大模型應(yīng)用測評指南》團(tuán)體標(biāo)準(zhǔn)的立項(xiàng)會(huì)，與會(huì)專家一致同意標(biāo)準(zhǔn)立項(xiàng)。標(biāo)準(zhǔn)研制：2025年1月，標(biāo)準(zhǔn)工作組組織上海庫帕思科技有限公司及各參編單位代表開展了共兩輪《醫(yī)療大模型應(yīng)用測評指南》團(tuán)體標(biāo)準(zhǔn)的標(biāo)準(zhǔn)研制會(huì)，期間標(biāo)準(zhǔn)工作組共處理內(nèi)部意見10余條，形成標(biāo)準(zhǔn)征求意見稿。標(biāo)準(zhǔn)工作組主要成員：山棟明、黃海清、施家樑、鄭忠斌、方金武、張宏亮、蔣龍泉、汪智、王哲文等30余人。主要分工：山棟明為工作組組長，主持全面協(xié)調(diào)工作。張宏亮為本標(biāo)準(zhǔn)主要持筆人，負(fù)責(zé)本標(biāo)準(zhǔn)的起草、編寫。蔣龍泉、汪智、王哲文等為組員負(fù)責(zé)對醫(yī)療大模型應(yīng)用測評框架及測評方法進(jìn)行全面調(diào)研、研究分析和資料匯總整理等工作，提煉總結(jié)醫(yī)療大模型應(yīng)用測評指南，并進(jìn)行了反復(fù)驗(yàn)證、修改完善。二、標(biāo)準(zhǔn)編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問題（一）原則（1）符合性原則，團(tuán)體標(biāo)準(zhǔn)制修訂應(yīng)符合國家有關(guān)團(tuán)體標(biāo)準(zhǔn)的法律法規(guī)、行政規(guī)章的要求；（2）先進(jìn)性原則，團(tuán)體標(biāo)準(zhǔn)的主要技術(shù)指標(biāo)不得低于強(qiáng)制性標(biāo)準(zhǔn)的技術(shù)要求，并應(yīng)優(yōu)于國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)；（3）協(xié)調(diào)性原則，團(tuán)標(biāo)標(biāo)準(zhǔn)文本應(yīng)與現(xiàn)行標(biāo)準(zhǔn)協(xié)調(diào)一致；（4）規(guī)范性原則，團(tuán)體標(biāo)準(zhǔn)編寫應(yīng)規(guī)范，符合GB/T1.1的要求。（二）確定主要內(nèi)容的論據(jù)（1）《團(tuán)體標(biāo)準(zhǔn)管理規(guī)定》第十一條明確提出“團(tuán)體標(biāo)準(zhǔn)應(yīng)當(dāng)符合相關(guān)法律法規(guī)的要求，不得與國家有關(guān)產(chǎn)業(yè)政策相抵觸。”《中國標(biāo)準(zhǔn)化協(xié)會(huì)標(biāo)準(zhǔn)管理辦法》中第三條明確提出“標(biāo)協(xié)標(biāo)準(zhǔn)制修訂工作應(yīng)當(dāng)遵循以下原則：（一）遵守國家有關(guān)的法律、法規(guī)；（二）符合強(qiáng)制性標(biāo)準(zhǔn)的要求?！保?）《標(biāo)準(zhǔn)化法》第二十一條明確提出“推薦性國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)、團(tuán)體標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)的技術(shù)要求不得低于強(qiáng)制性國家標(biāo)準(zhǔn)的相關(guān)技術(shù)要求。國家鼓勵(lì)社會(huì)團(tuán)體、企業(yè)制定高于推薦性標(biāo)準(zhǔn)相關(guān)技術(shù)要求的團(tuán)體標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)?！薄秷F(tuán)體標(biāo)準(zhǔn)管理規(guī)定》第十三條明確提出：“制定團(tuán)體標(biāo)準(zhǔn)應(yīng)當(dāng)以滿足市場和創(chuàng)新需要為目標(biāo),聚焦新技術(shù),新產(chǎn)業(yè),新業(yè)態(tài)和新模式,填補(bǔ)標(biāo)準(zhǔn)空白?！薄吨袊鴺?biāo)準(zhǔn)化協(xié)會(huì)標(biāo)準(zhǔn)管理辦法》中第三條明確提出“標(biāo)協(xié)標(biāo)準(zhǔn)制修訂工作應(yīng)當(dāng)遵循以下原則：（三）優(yōu)先支持符合經(jīng)濟(jì)發(fā)展方向，促進(jìn)科學(xué)技術(shù)進(jìn)步，提高產(chǎn)品質(zhì)量和滿足市場需求的項(xiàng)目；（四）積極采用國際標(biāo)準(zhǔn)；（五）協(xié)調(diào)融合、有序優(yōu)化、技術(shù)先進(jìn)、經(jīng)濟(jì)合理?！保?）《團(tuán)體標(biāo)準(zhǔn)管理規(guī)定》第十一條明確提出:“對于術(shù)語、分類、量值、符號等基礎(chǔ)通用方面的內(nèi)容應(yīng)當(dāng)遵守國家標(biāo)準(zhǔn),行業(yè)標(biāo)準(zhǔn),地方標(biāo)準(zhǔn),團(tuán)體標(biāo)準(zhǔn)一般不予另行規(guī)定?！钡谑鍡l明確規(guī)定：“技術(shù)審查原則上應(yīng)當(dāng)協(xié)商一致。如需表決,不少于出席會(huì)議代表人數(shù)的3/4同意方為通過?！保?）《團(tuán)體標(biāo)管理規(guī)定》第十五條團(tuán)體標(biāo)準(zhǔn)的編寫參照GB/T1.1《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分:標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定執(zhí)行。GB/T20004.1-2016《團(tuán)體標(biāo)準(zhǔn)化第1部分：良好行為指南》第7章7.2條編寫原則提出：“團(tuán)體宜按照GB/T1.1制定統(tǒng)一的標(biāo)準(zhǔn)編寫規(guī)則，包括團(tuán)體標(biāo)準(zhǔn)的結(jié)構(gòu)、起草表述方法、格式等內(nèi)容，以提高團(tuán)體標(biāo)準(zhǔn)的適用性?！保ㄈ┙鉀Q的主要問題首先，該標(biāo)準(zhǔn)能夠?yàn)獒t(yī)療大模型的數(shù)據(jù)集應(yīng)用提供標(biāo)準(zhǔn)化的評估框架，保障大模型安全、合規(guī)和高效運(yùn)行，確保其在醫(yī)療領(lǐng)域的應(yīng)用符合行業(yè)規(guī)范和標(biāo)準(zhǔn)，保障患者和醫(yī)療專業(yè)人員的合法權(quán)益。其次，該標(biāo)準(zhǔn)有助于提高醫(yī)療大模型的應(yīng)用效能，通過科學(xué)的評估方法，能夠準(zhǔn)確識(shí)別模型的優(yōu)勢和不足，為模型的優(yōu)化和改進(jìn)提供依據(jù)。此外，該標(biāo)準(zhǔn)還能夠促進(jìn)醫(yī)療大模型技術(shù)的創(chuàng)新和發(fā)展，為相關(guān)企業(yè)和研究機(jī)構(gòu)提供技術(shù)指導(dǎo)和支持，推動(dòng)醫(yī)療領(lǐng)域的人工智能技術(shù)不斷進(jìn)步。三、主要試驗(yàn)情況分析在制定《醫(yī)療大模型應(yīng)用測評指南》團(tuán)體標(biāo)準(zhǔn)的過程中，我們通過檢索資料、走訪調(diào)查、專家咨詢等多種方式，結(jié)合國家標(biāo)準(zhǔn)化管理委員會(huì)關(guān)于國家標(biāo)準(zhǔn)驗(yàn)證點(diǎn)建設(shè)的指導(dǎo)意見，以及團(tuán)體標(biāo)準(zhǔn)管理規(guī)定，進(jìn)行了一系列的實(shí)驗(yàn)和驗(yàn)證工作。針對評測維度的確定和評測內(nèi)容的詳細(xì)規(guī)定，我們參考了包括國家衛(wèi)健委《衛(wèi)生健康行業(yè)人工智能應(yīng)用場景參考指引》等相關(guān)政策，結(jié)合專家質(zhì)詢，確定從通用基礎(chǔ)能力、倫理安全與價(jià)值對齊能力、醫(yī)療專業(yè)認(rèn)知能力、醫(yī)療場景應(yīng)用能力四大維度構(gòu)建醫(yī)療大模型應(yīng)用的評測框架體系。在評測方法上，我們提出了針對醫(yī)療大模型應(yīng)用的評測方法，包括打分規(guī)則和評測等級的劃分，明確了評分標(biāo)準(zhǔn)，以及如何綜合各個(gè)單項(xiàng)能力的得分來計(jì)算模型的綜合得分。此外，我們還依據(jù)團(tuán)體標(biāo)準(zhǔn)管理規(guī)定，對標(biāo)準(zhǔn)草案進(jìn)行了多輪次的征求意見和審查，確保標(biāo)準(zhǔn)的科學(xué)性、合理性和適用性。四、知識(shí)產(chǎn)權(quán)情況說明本標(biāo)準(zhǔn)不涉及知識(shí)產(chǎn)權(quán)問題。五、產(chǎn)業(yè)化情況、推廣應(yīng)用論證和預(yù)期達(dá)到的經(jīng)濟(jì)效果國際上對于醫(yī)療大模型的評估標(biāo)準(zhǔn)尚未完全統(tǒng)一。不同國家和地區(qū)在評估維度、方法和側(cè)重點(diǎn)上存在差異。例如，一些國家更注重模型的臨床應(yīng)用效果和實(shí)際醫(yī)療價(jià)值，而另一些國家則更關(guān)注模型的倫理合規(guī)性和數(shù)據(jù)安全問題。此外，國際上對于醫(yī)療大模型的監(jiān)管政策和法規(guī)也處于不斷完善和調(diào)整的過程中，以適應(yīng)其快速發(fā)展帶來的新挑戰(zhàn)。國內(nèi)亦尚未形成統(tǒng)一、完善的醫(yī)療大模型評估體系，不同機(jī)構(gòu)和企業(yè)在評估方法和標(biāo)準(zhǔn)上存在差異，導(dǎo)致評估結(jié)果的可比性和一致性較差。此外，國內(nèi)對于醫(yī)療大模型的倫理安全、數(shù)據(jù)隱私保護(hù)等問題的關(guān)注度也在不斷提升，亟需制定相應(yīng)的評估標(biāo)準(zhǔn)和規(guī)范，以保障其在醫(yī)療領(lǐng)域的安全、合規(guī)應(yīng)用。通過制定一套科學(xué)、系統(tǒng)的評估工具和標(biāo)準(zhǔn)，能夠全面評價(jià)醫(yī)療大模型在不同應(yīng)用場景下的表現(xiàn)，從而為醫(yī)療機(jī)構(gòu)、藥械企業(yè)以及模型開發(fā)者提供明確的大模型數(shù)據(jù)集構(gòu)建指引。該標(biāo)準(zhǔn)的制定有助于統(tǒng)一醫(yī)療大模型的能力評估標(biāo)準(zhǔn)，推動(dòng)醫(yī)療大模型技術(shù)的健康發(fā)展，促進(jìn)其在醫(yī)療行業(yè)的廣泛應(yīng)用，釋放其在疾病診斷、藥物研發(fā)、健康管理等方面巨大的潛力和價(jià)值。此外，該標(biāo)準(zhǔn)還能夠?yàn)獒t(yī)療大模型的監(jiān)管提供依據(jù)，為相關(guān)政策的制定和實(shí)施提供參考，促進(jìn)醫(yī)療行業(yè)的健康發(fā)展。六、轉(zhuǎn)化國際標(biāo)準(zhǔn)和國外先進(jìn)標(biāo)準(zhǔn)情況本標(biāo)準(zhǔn)沒有采用國際標(biāo)準(zhǔn)。本標(biāo)準(zhǔn)制定過程中未查到同類國外、國外標(biāo)準(zhǔn)。七、與現(xiàn)行相關(guān)法律、法規(guī)、規(guī)章及相關(guān)標(biāo)準(zhǔn)的協(xié)調(diào)性符合國家有關(guān)法律法規(guī)、政策制度的要求。八、重大分歧意見的處理經(jīng)過和依據(jù)無。九、標(biāo)準(zhǔn)性質(zhì)的建議本標(biāo)準(zhǔn)批準(zhǔn)后作為推薦性團(tuán)體標(biāo)準(zhǔn)使用。十、貫徹標(biāo)準(zhǔn)的要求和措施建議建議本標(biāo)準(zhǔn)批準(zhǔn)發(fā)布3個(gè)月后實(shí)施。建議本標(biāo)準(zhǔn)由上海庫帕思科技有限公司宣貫實(shí)施。十一、替代或廢止現(xiàn)行相關(guān)標(biāo)準(zhǔn)的建議無。十二、其它應(yīng)予說明的事項(xiàng)意見匯總表序號章節(jié)意見提出單位處理結(jié)果17.評測方法建議將模型測評單項(xiàng)能力的維度與評測題型對齊，評測結(jié)果應(yīng)體現(xiàn)與能力測評維度的關(guān)聯(lián)性。瑞金醫(yī)院朱立峰采納。醫(yī)療大模型的測評結(jié)果會(huì)綜合模型通用基礎(chǔ)能力、倫理安全與價(jià)值對齊、醫(yī)療專業(yè)認(rèn)知能力、醫(yī)療場景應(yīng)用能力四個(gè)單項(xiàng)能力及其細(xì)分維度進(jìn)行綜合評測。27.1評測方式評測方式上建議體現(xiàn)人工和自動(dòng)化測評的方式方法。瑞金醫(yī)院朱立峰采納。評測方式宜采用自動(dòng)化評測和人工評測相結(jié)合的方式，由專業(yè)人工審閱并確認(rèn)自動(dòng)化評測的得分結(jié)果。36.1通用基礎(chǔ)能力評測通用基礎(chǔ)能力評測：增加對模型處理實(shí)時(shí)醫(yī)療數(shù)據(jù)能力的評測指標(biāo)。上海市浦東醫(yī)院文中秋部分采納?？紤]附表給出：同等算力等限制條件下，各個(gè)模型的實(shí)時(shí)數(shù)據(jù)處理速度參考信息表。46.2倫理安全與價(jià)值對齊能力評測倫理安全與價(jià)值對齊能力評測：倫理安全部分，除了現(xiàn)有的評測點(diǎn)，建議增加對醫(yī)療大模型算法偏見的檢測。價(jià)值對齊部分，明確不同價(jià)值維度的優(yōu)先級和沖突解決機(jī)制;上海市浦東醫(yī)院文中秋采納。在“倫理安全”能力增加“大模型算法偏見檢測”的評測方面；在“價(jià)值對齊”能力中，體現(xiàn)若價(jià)值間出現(xiàn)優(yōu)先級沖突，可引入專業(yè)人士結(jié)合實(shí)際情況做判斷及規(guī)范。56.3.2臨床醫(yī)學(xué)醫(yī)療專業(yè)認(rèn)知能力評測：臨床醫(yī)學(xué)能力評測，增加對罕見病診療知識(shí)的深度評測。上海市浦東醫(yī)院文中秋感謝提出，指南中已在“臨床醫(yī)學(xué)”能力中體現(xiàn)對罕見疾病的癥狀、體征、發(fā)病特點(diǎn)、治療方案等評測方面。67.1評測方式完善評測方式：在自動(dòng)化評測和人工評測相結(jié)合的基礎(chǔ)上，增加實(shí)際病例模擬測試。上海市浦東醫(yī)院文中秋采納。評測方式上，宜采用自動(dòng)化評測和人工評測相結(jié)合的方式，可增加實(shí)際病例模擬測試，并由專業(yè)人工審閱評測結(jié)果。76.3.1醫(yī)學(xué)基礎(chǔ)知識(shí)建議增加“營養(yǎng)學(xué)”、“組織胚胎學(xué)”、“細(xì)胞生物學(xué)”、“醫(yī)學(xué)心理學(xué)”、“運(yùn)動(dòng)學(xué)”作為標(biāo)準(zhǔn)中“醫(yī)學(xué)基礎(chǔ)知識(shí)”的學(xué)科和領(lǐng)域。長海醫(yī)院曹宏偉采納。補(bǔ)充“營養(yǎng)學(xué)”、“組織