CCKS2020技術(shù)評測任務(wù)書

CCKS2020技術(shù)評測任務(wù)書面向中文電子病歷的醫(yī)療實體及事件抽取本任務(wù)是CCKS圍繞中文電子病歷語義化開展的系列評測的一個延續(xù)，在CCKS2017，2018,2019相關(guān)評測任務(wù)的基礎(chǔ)上進(jìn)行了延伸和拓展。本任務(wù)包括兩個子任務(wù)：1）醫(yī)療命名實體識別2）醫(yī)療事件抽取參賽隊可同時選擇兩個子任務(wù)參賽，也可選擇任一個子任務(wù)單獨參賽。一、醫(yī)療命名實體識別任務(wù)定義及描述本任務(wù)為中文病歷醫(yī)療實體識別任務(wù)，即對于給定的一組電子病歷純文本文檔，識別并抽取出與醫(yī)學(xué)臨床相關(guān)的實體提及（entitymention），并將它們歸類到預(yù)定義類別（pre-definedcategories），比如疾病、治療、檢查檢驗等。相比2019命名實體識別任務(wù)我們做了如下調(diào)整：標(biāo)注了新數(shù)據(jù)對訓(xùn)練數(shù)據(jù)進(jìn)行擴充提供實體詞表及大量非標(biāo)注數(shù)據(jù)供參賽者使用形式化定義輸入：1.電子病歷的自然語言文本集合：2.預(yù)定義類別：C輸出：實體提及和所屬類別對的集合：{其中mi=di,bi,ei是出現(xiàn)在文檔di中的醫(yī)療實體提及（mention），預(yù)定義類別預(yù)定義類別定義如下：1)疾病和診斷：醫(yī)學(xué)上定義的疾病和醫(yī)生在臨床工作中對病因、病生理、分型分期等所作的判斷。2)檢查： 影像檢查（X線、CT、MR、PETCT等）+造影+超聲+心電圖，未避免檢查操作與手術(shù)操作過多沖突，不包含此外其它的診斷性操作，如胃鏡、腸鏡等。3）檢驗： 在實驗室進(jìn)行的物理或化學(xué)檢查，本期特指臨床工作中檢驗科進(jìn)行的化驗，不含免疫組化等廣義實驗室檢查4)手術(shù)： 醫(yī)生在患者身體局部進(jìn)行的切除、縫合等治療，是外科的主要治療方法。5)藥物： 用于疾病治療的具體化學(xué)物質(zhì)。6)解剖部位： 指疾病、癥狀和體征發(fā)生的人體解剖學(xué)部位。數(shù)據(jù)集描述數(shù)據(jù)標(biāo)注說明詞表及電子病歷數(shù)據(jù)由醫(yī)渡云（北京）技術(shù)有限公司編寫，標(biāo)注數(shù)據(jù)由醫(yī)渡云公司組織專業(yè)的醫(yī)學(xué)團(tuán)隊進(jìn)行人工標(biāo)注，僅限CCKS競賽評測用。有關(guān)數(shù)據(jù)集的詳細(xì)描述及標(biāo)注規(guī)范，將隨數(shù)據(jù)的發(fā)布一并加以說明，任務(wù)書中不再贅述。數(shù)據(jù)示例{"originalText":"患者3月前因“直腸癌”于在我院于全麻上行直腸癌根治術(shù)（DIXON術(shù)），手術(shù)過程順利，術(shù)后給予抗感染及營養(yǎng)支持治療，患者恢復(fù)好，切口愈合良好。，術(shù)后病理示：直腸腺癌（中低度分化），浸潤潰瘍型，面積3.5*2CM，侵達(dá)外膜。雙端切線另送“近端”、“遠(yuǎn)端”及環(huán)周底部切除面未查見癌。腸壁一站（10個）、中間組（8個）淋巴結(jié)未查見癌。，免疫組化染色示：ERCC1彌漫（+）、TS少部分弱（+）、SYN（-）、CGA（-）。術(shù)后查無化療禁忌后給予3周期化療，，方案為：奧沙利鉑150MGD1，亞葉酸鈣0.3G+替加氟1.0GD2-D6，同時給與升白細(xì)胞、護(hù)肝、止吐、免疫增強治療，患者副反應(yīng)輕。院外期間患者一般情況好，無惡心，無腹痛腹脹脹不適，無現(xiàn)患者為行復(fù)查及化療再次來院就診，門診以“直腸癌術(shù)后”收入院。""entities":[{"label_type":"疾病和診斷","overlap":0,"start_pos":8,"end_pos":11},{"label_type":"手術(shù)","overlap":0,"start_pos":21,"end_pos":35},{"label_type":"疾病和診斷","overlap":0,"start_pos":78,"end_pos":95}]}數(shù)據(jù)集描述本次評測的訓(xùn)練數(shù)據(jù)有：1500條標(biāo)注數(shù)據(jù)1000條非標(biāo)注數(shù)據(jù)。6個類別的6292個實體詞詞表標(biāo)注數(shù)據(jù)集統(tǒng)計如下表文本疾病和診斷檢查檢驗手術(shù)藥物解剖部位總數(shù)訓(xùn)練集1500621114901885132728411266026414評價指標(biāo)本任務(wù)采用精確率（Precision）、召回率（Recall）以及F1-Measure作為評測指標(biāo)。參賽系統(tǒng)的輸出結(jié)果集合記為S={s1,s2…sm}，人工標(biāo)注的結(jié)果（GoldStandard）集合記為G={g3.1嚴(yán)格指標(biāo)我們定義si∈S與ssss基于以上等價關(guān)系，我們定義集合S與G的嚴(yán)格交集為∩sPs=|S∩3.2松弛指標(biāo)我們定義si∈S與smaxs基于以上等價關(guān)系，我們定義集合S與G的松弛交集為∩rPr=|S∩最后，按照預(yù)定義類別的6個不同類別，對每個子類進(jìn)行分開評測，共得到14個評測結(jié)果：疾病和診斷檢查檢驗手術(shù)藥物解剖部位綜合嚴(yán)格指標(biāo)松弛指標(biāo)二、醫(yī)療事件抽取任務(wù)定義及描述本任務(wù)為中文病歷醫(yī)療事件抽取任務(wù)，即給定主實體為腫瘤的電子病歷文本數(shù)據(jù)，定義腫瘤事件的若干屬性，如腫瘤大小，腫瘤原發(fā)部位等，識別并抽取事件及屬性，進(jìn)行文本結(jié)構(gòu)化。本任務(wù)提供少量標(biāo)注數(shù)據(jù)、大量非標(biāo)注數(shù)據(jù)集及詞表，旨在訓(xùn)練數(shù)據(jù)有限的情況下，利用非標(biāo)注文本和半監(jiān)督等方法提升模型性能。更接近真實世界的場景。事件模板定義事件主實體：腫瘤屬性1：原發(fā)部位【某種疾病最先發(fā)生于的組織或者器官】屬性2：病灶大小【原發(fā)部位的大小】屬性3：轉(zhuǎn)移部位【某種疾病從最先發(fā)生的組織或者器官轉(zhuǎn)移到的其他組織或器官】每個文本的一個屬性可能出現(xiàn)0個或多個屬性實體，比如多個原發(fā)部位。認(rèn)識示例數(shù)據(jù)集描述數(shù)據(jù)標(biāo)注說明電子病歷數(shù)據(jù)由醫(yī)渡云（北京）技術(shù)有限公司編寫，標(biāo)注數(shù)據(jù)由醫(yī)渡云公司組織專業(yè)的醫(yī)學(xué)團(tuán)隊進(jìn)行人工標(biāo)注，僅限CCKS競賽評測用。有關(guān)數(shù)據(jù)集的詳細(xì)描述及標(biāo)注規(guī)范，將隨數(shù)據(jù)的發(fā)布一并加以說明，任務(wù)書中不再贅述。數(shù)據(jù)示例原文：右肺癌化療后，對比2016-11-29CT：右上肺病變較前范圍稍縮小，周邊少許炎癥較前稍減少。兩肺散在小結(jié)節(jié)，大致同前。左側(cè)鎖骨下區(qū)、縱隔多發(fā)淋巴結(jié)，考慮轉(zhuǎn)移，較前稍縮小。肝囊腫。左腎小囊腫。右肺癌化療后，對比2016-11-29CT：右肺上葉見不規(guī)則結(jié)節(jié)狀、片狀病灶，邊界不清，最大層面大小約12mm×8mm，邊緣呈分葉狀，增強掃描不均勻強化，緊貼斜裂胸膜，部分范圍較前略縮小，右上肺見少許斑片狀稍高密度影，邊界不清，較前明顯減少。左下肺（se8，im96）、左上肺（se8，im221）及右下肺（se8，im104）散在數(shù)個小類結(jié)節(jié)，邊界清，大者直徑3mm，大致同前。右肺上葉前內(nèi)基底段支氣管變窄，基底段支氣管分支管壁增厚，氣管及其余支氣管分支通暢。左側(cè)鎖骨下區(qū)、兩下上氣管旁、血管前、主動脈弓旁、主肺動脈窗、隆突上見多發(fā)淋巴結(jié)，部分相互融合，大者短徑約5mm，輕度強化，較前稍縮小。兩側(cè)胸腔未見積液，左側(cè)胸膜未見明顯增厚。心包未見明顯積液。肝臟形態(tài)正常，各葉比例在正常范圍以內(nèi)，其外形輪廓光整，肝內(nèi)見多個低密度灶，邊界清，大者直徑約9mm，未見強化。肝內(nèi)膽管正常，其內(nèi)未見結(jié)石影，膽囊大小正常，其內(nèi)未見結(jié)石影，膽總管未見擴張，其內(nèi)未見結(jié)石影。肝門區(qū)正常。門靜脈未見異常。脾大小正常，密度均勻。胰腺大小、形態(tài)正常，密度均勻。左腎見低密度灶，邊界清，大小約4mm×3mm，未見強化。右腎及兩腎下腺未見異常。膈腳后、腹主動脈旁未見腫大淋巴結(jié)。掃描范圍未見骨質(zhì)破壞征象。腫瘤原發(fā)部位：右肺上葉原發(fā)病灶大小：12mm×8mm轉(zhuǎn)移部位：左側(cè)鎖骨下區(qū)、縱隔多發(fā)淋巴結(jié)數(shù)據(jù)集描述本次評測的訓(xùn)練數(shù)據(jù)有：1400條標(biāo)注數(shù)據(jù)1300條非標(biāo)注數(shù)據(jù)。863個實體詞表標(biāo)注數(shù)據(jù)集統(tǒng)計如下表文本腫瘤原發(fā)部位原發(fā)病灶大小轉(zhuǎn)移部位總數(shù)訓(xùn)練集1400120959010132812此外，本評測將使用300條目標(biāo)場景的標(biāo)注數(shù)據(jù)作為最終評測的測試集。有關(guān)數(shù)據(jù)集的詳細(xì)描述也將隨數(shù)據(jù)的發(fā)布一并加以說明。評價指標(biāo)由于每個文本的一個事件屬性可能出現(xiàn)多個屬性實體，評測指標(biāo)使用屬性實體而非屬性來計算準(zhǔn)召率，最終使用屬性實體的f1值作為評測指標(biāo)。三、任務(wù)提交指南每一個參賽隊需提交的材料如下（分子任務(wù)提交）：結(jié)果文件代碼方法描述文檔（非評測論文，評測論文撰寫要求見CCKS2020官網(wǎng)）代碼需打包成zip文件，用“參賽隊名_code.zip”命名，要求提交所有的程序代碼及相關(guān)的配置說明，確保程序能夠正確運行，且運行結(jié)果與結(jié)果文件相一致。方法描述文檔用“參賽隊名_method.pdf”命名，包含算法描述及參數(shù)設(shè)置，pdf格式存儲，頁數(shù)不超過5頁。四、任務(wù)交流平臺本任務(wù)的交流平臺為：ccks2020-clinic@所有報名參賽的參賽隊至少要有一名成員加入到該討論組中，后續(xù)所有有關(guān)本任務(wù)評測及數(shù)據(jù)的相關(guān)說明和通知將只在討論組中發(fā)布和交流，不再另行發(fā)郵件或更新官網(wǎng)通知，請所有參賽隊務(wù)必在報名成功之后加入該討論組。加入討論組時請務(wù)必注明所屬參賽隊隊名及所屬單位，加入討論組有問題的參賽隊請聯(lián)系：zhang-jt13@。五、評測平臺與往年一致，組委會依托Biendata（/）作為在線評測平臺，所有參賽隊最終結(jié)果均需在Biendata上指定的時間窗內(nèi)進(jìn)行提交。本年度評測組織者還會在Biendata上發(fā)布一個baseline方案和實現(xiàn)。提供一個基準(zhǔn)的性能，供參賽隊伍參考。有關(guān)baseline的發(fā)布事宜，敬請關(guān)注CCKS2020官網(wǎng)通知。六、獎金設(shè)置本任務(wù)獎金設(shè)置如下。每個子任務(wù)第一名5k，第二名3k，第三名2k。另設(shè)技術(shù)創(chuàng)新獎5k。七、時間安排時間安排初定如下，后續(xù)如果有調(diào)整，將在討論組中更新說明。任務(wù)準(zhǔn)備時間：3月1日—3月20日評測任務(wù)發(fā)布：3月20日報名時間：3月20日—7月10日簽署數(shù)