CCKS2021技術(shù)評(píng)測(cè)任務(wù)書

CCKS2021技術(shù)評(píng)測(cè)任務(wù)書面向中文醫(yī)療科普知識(shí)的內(nèi)容理解一、任務(wù)描述隨著科技的發(fā)展和經(jīng)濟(jì)的進(jìn)步，人們對(duì)健康問題越來越關(guān)注，醫(yī)療科普資訊的普及也得到了國(guó)家和社會(huì)的一致認(rèn)可和重視?；ヂ?lián)網(wǎng)技術(shù)日新月異，圖文、問答、短視頻和直播等新內(nèi)容形式層出不窮，如何利用海量的醫(yī)療資訊內(nèi)容快速滿足用戶需求以及保證內(nèi)容的準(zhǔn)確、權(quán)威，都是很重要的課題。所以，本次評(píng)測(cè)任務(wù)圍繞著中文醫(yī)療科普知識(shí)的內(nèi)容理解展開，分為兩個(gè)子任務(wù)：醫(yī)療科普知識(shí)閱讀理解醫(yī)療科普知識(shí)答非所問識(shí)別子任務(wù)一：醫(yī)療科普知識(shí)閱讀理解任務(wù)定義醫(yī)療科普知識(shí)閱讀理解任務(wù)針對(duì)用戶所提出的搜索query，在相關(guān)的文章中找到對(duì)應(yīng)的答案片段內(nèi)容，以作為直接展示給用戶的摘要。本次任務(wù)參考了CMRC2018和CJRC2019閱讀理解任務(wù)：拒答類答案定義：文章里面沒有能回答query的片段或摘要，人工標(biāo)注結(jié)果為空（0條標(biāo)注答案）。單個(gè)答案定義：每一條標(biāo)注答案由人工獨(dú)立標(biāo)注；單個(gè)答案可以由一段連續(xù)的文本組成，也可能由文章中若干不連續(xù)的短語/句子/片段組成。具體json格式見2.2示例。參賽者只需對(duì)每條測(cè)試數(shù)據(jù)預(yù)測(cè)出最多1條答案；如果是拒答類，給出空結(jié)果即可。數(shù)據(jù)描述2.1格式如下：Json文件格式。context_id:文檔IDcontext_text:正文內(nèi)容qas:問答對(duì)列表。其中:query_text:問題描述query_id:問題IDanswers:答案列表，其中：每個(gè)元素為一個(gè)字符串列表，代表一個(gè)人工標(biāo)注答案。如下圖所示，第一個(gè)答案來自文章中若干不連續(xù)的短語/句子/片段，組成一個(gè)字符串列表；第二、三個(gè)答案分別是一段連續(xù)的文本；每個(gè)答案之間相互獨(dú)立標(biāo)注。2.2示例：2.3數(shù)據(jù)集說明本評(píng)測(cè)子任務(wù)的數(shù)據(jù)集包括：1）訓(xùn)練及第一階段測(cè)試集：27000條標(biāo)注數(shù)據(jù)作為訓(xùn)練集，3000條非標(biāo)注數(shù)據(jù)為第一階段測(cè)試集。2）最終測(cè)試集：在測(cè)試數(shù)據(jù)發(fā)布階段，會(huì)有6000條非標(biāo)注數(shù)據(jù)作為最終測(cè)試集。最終測(cè)試集分為公域和私域兩部分?jǐn)?shù)據(jù)（各3000條），公域數(shù)據(jù)作為閉榜之前的排名依據(jù)，參賽隊(duì)每次需提交全部最終測(cè)試集的結(jié)果；閉榜后的最終排名使用全部最終測(cè)試集的預(yù)測(cè)結(jié)果（6000條）計(jì)算得出。3）非標(biāo)注數(shù)據(jù)無answers字段4)訓(xùn)練集包含0或1個(gè)人工標(biāo)注答案，其中0個(gè)標(biāo)注答案表示‘拒答’類；測(cè)試集將包含0~3個(gè)標(biāo)注答案，有多于1個(gè)的標(biāo)注答案表示有多個(gè)人工標(biāo)注，且都是正確答案；計(jì)算評(píng)測(cè)指標(biāo)時(shí)會(huì)將預(yù)測(cè)結(jié)果與每個(gè)標(biāo)注答案依次計(jì)算，取最高的F1分?jǐn)?shù)作為本條結(jié)果的得分。（注：測(cè)試集包含多個(gè)答案的原因是因?yàn)楝F(xiàn)實(shí)場(chǎng)景下每個(gè)人對(duì)答案的理解會(huì)有不同，并且是多人標(biāo)注，取最高匹配得分）5）除訓(xùn)練集和測(cè)試集外，主辦方會(huì)提供100條樣例標(biāo)注數(shù)據(jù)作為驗(yàn)證集（含指標(biāo)計(jì)算腳本）；驗(yàn)證集會(huì)包含0~3個(gè)標(biāo)注答案，驗(yàn)證集的評(píng)測(cè)結(jié)果不作為任何排名依據(jù)，并且不能加入訓(xùn)練集使用。評(píng)價(jià)指標(biāo)本次子任務(wù)采用F1值來評(píng)估預(yù)測(cè)答案效果，預(yù)測(cè)數(shù)據(jù)提交格式同訓(xùn)練集，每條結(jié)果包含0~1個(gè)預(yù)測(cè)答案。指標(biāo)計(jì)算腳本metrics.py會(huì)隨訓(xùn)練集一起發(fā)布，公式定義如下：LLLprecision=recallf1(F1FinalF1子任務(wù)二：醫(yī)療科普知識(shí)答非所問識(shí)別任務(wù)定義答非所問是指針對(duì)問答形式的醫(yī)療科普內(nèi)容<Q，A>，回答A和問題Q沒有關(guān)聯(lián)，即答案不能滿足所提問題。在醫(yī)療科普內(nèi)容里，一般有兩種答非所問形式，一種是回答A和問題Q完全沒有關(guān)聯(lián)，不能回答提問的問題；第二種是回答A和問題Q有關(guān)聯(lián)，但回答的方向不對(duì)，沒有回答提問的問題。舉例如下：第一種：Question:臉總是起痘是閉口粉刺，還總是泛紅怎么治療呢？Description:臉總是起痘泛紅是閉口粉刺，該用什么藥Answer:皮膚光亮泛紅，很可能是由化妝品過敏引起的過敏，如果臉部表皮薄，可能有皮膚沖洗過敏，所以應(yīng)停止使用化品，然后應(yīng)用爐甘石洗劑，也可以采取抗過敏藥物治療內(nèi)部，并避免辛辣刺激性食物，別熬夜，多喝水，沒特效藥，注意生，可用撲爾敏試試。標(biāo)注評(píng)語：患者詢問治理粉刺方法和用藥，回答是關(guān)于化妝品過敏的內(nèi)容，沒有明顯關(guān)聯(lián)。第二種：Question：氣管狹窄是怎么回事？Description：我老公最近胸悶特別厲害，而且咳嗽不斷去醫(yī)院檢查，是右上葉支氣管狹窄，擔(dān)心是癌癥。右上葉支氣管狹窄是癌癥嗎？Answer：一般良性的狹窄，多數(shù)可以考慮用支氣管鏡下球囊擴(kuò)張的治療方法。如果是短暫的狹窄，比如氣管異物引起的肉芽導(dǎo)致的狹窄，把氣管異物通過支氣管鏡取出來之后，就可以看肉芽很快消失。如果是惡性狹窄，惡性狹窄主要是指腫瘤，這種情況的治療就更加復(fù)雜，除了腫瘤是否能夠切除，是否能夠外科治療之外，還要考慮支氣管鏡的介入治療。標(biāo)注評(píng)語：患者詢問氣管狹窄原因，回答是氣管狹窄的治療方法，回答的方向不正確。數(shù)據(jù)描述2.1格式如下：Label\tDocid\tQuestion\tDescription\tAnswerLabel：標(biāo)注，0/1，其中1表示Answer不能回答Question，是答非所問。Docid：文檔idQuestion：?jiǎn)栴}Description：針對(duì)問題的補(bǔ)充描述Answer：回答2.2示例：Label:1Docid：abcd023659647xigosQuestion：出肉芽的甲溝炎怎么治療Description：甲溝炎長(zhǎng)了肉芽，大概黃豆粒般大小，目前在用碘伏和紅霉素軟膏，沒什么效果，除了拔甲手術(shù)還有什么更好的治療方法嗎？Answer：從你說的情況來看這是局部的支架，長(zhǎng)得不好了，再就是有甲溝炎這種情況得先治甲溝炎好了以后再拔甲，如果是這個(gè)指甲卡到了肉里邊，一定要先把指甲拔下來，不把拔甲，只能是先消炎，以后指甲長(zhǎng)出來還會(huì)引起甲溝炎的。2.3數(shù)據(jù)集說明本評(píng)測(cè)子任務(wù)的數(shù)據(jù)集包括：訓(xùn)練及第一階段測(cè)試集：40000條標(biāo)注數(shù)據(jù)作為訓(xùn)練集（正負(fù)比例大致1：2），5000條非標(biāo)注數(shù)據(jù)為第一階段測(cè)試集，用于在最終測(cè)試集發(fā)布前榜單排名的依據(jù)，提交格式和訓(xùn)練集一致。如需離線優(yōu)化，可使用訓(xùn)練集做n-fold劃分。最終測(cè)試集：在測(cè)試數(shù)據(jù)發(fā)布階段，會(huì)有10000條非標(biāo)注數(shù)據(jù)作為最終測(cè)試集。最終測(cè)試集分為公域和私域兩部分?jǐn)?shù)據(jù)（各5000條），公域數(shù)據(jù)作為閉榜之前的排名，參賽隊(duì)每次需提交全部最終測(cè)試集的結(jié)果；閉榜后的最終排名使用全部最終測(cè)試集的預(yù)測(cè)結(jié)果（10000條）計(jì)算得出。標(biāo)注數(shù)據(jù)格式為每行一條數(shù)據(jù)，有5列，用\t分隔，依次為L(zhǎng)abel、Docid、Question、Description和Answer；非標(biāo)注數(shù)據(jù)格式為每行一條數(shù)據(jù)，有4列，用\t分隔，依次為Docid、Question、Description和Answer。評(píng)價(jià)指標(biāo)本次子任務(wù)采用精確率（Precision,P）、召回率（Recall,R）、F1值（F1-measure,F1）來評(píng)估答非所問的識(shí)別效果。PRF二、任務(wù)提交本次任務(wù)將采取刷榜的方式，第一階段測(cè)試集發(fā)布后，允許參賽隊(duì)伍多次向平臺(tái)提交結(jié)果，文件命名為“參賽隊(duì)名稱_valid_result.txt”，格式與任務(wù)描述中的標(biāo)注數(shù)據(jù)格式相同，排名實(shí)時(shí)更新。參賽隊(duì)伍可在測(cè)試集發(fā)布之前隨時(shí)上傳驗(yàn)證集的計(jì)算結(jié)果（每日最多可上傳3次），管理系統(tǒng)會(huì)及時(shí)更新各隊(duì)伍的最新排名情況。測(cè)試集發(fā)布后，允許參賽隊(duì)伍多次提交結(jié)果文件（每日不超過3次），文件命名為“參賽隊(duì)名稱_test_result.txt”，結(jié)果文件提交格式同上。最終提交文件要求：每一支參數(shù)隊(duì)伍提交的材料如下（閱讀理解和答非所問識(shí)別分開提交）：結(jié)果文件，result.txt（utf-8格式）代碼及說明方法描述文檔（非評(píng)測(cè)論文，評(píng)測(cè)論文撰寫要求見CCKS2021官網(wǎng)）以上3個(gè)文件需在任務(wù)提交截止日期前發(fā)送至指定郵箱。閱讀理解：發(fā)送至ccks2021Medical_1@，郵件標(biāo)題格式為：CCKS-評(píng)測(cè)任務(wù)-MRC-最終提交文件-參賽隊(duì)名稱”，例如“CCKS-評(píng)測(cè)任務(wù)-MRC-最終提交文件-醫(yī)心隊(duì)”。答非所問：發(fā)送至ccks2021Medical_2@，郵件標(biāo)題格式為：CCKS-評(píng)測(cè)任務(wù)-WA-最終提交文件-參賽隊(duì)名稱”，例如“CCKS-評(píng)測(cè)任務(wù)-WA-最終提交文件-醫(yī)心隊(duì)”。代碼及其文檔需打包成一個(gè)zip文件，用code.xxx命名，要求提交所有的程序代碼及相關(guān)的配置說明，確保程序能夠正確運(yùn)行，且所得結(jié)果與result.txt相符。方法描述文檔用desc.pdf命名，包含算法描述及參數(shù)設(shè)置，需用pdf格式存儲(chǔ)，頁(yè)數(shù)不超過10頁(yè)。三、規(guī)則本次比賽組委會(huì)依托Biendata（/）作為在線評(píng)測(cè)平臺(tái)，所有參賽隊(duì)伍最終結(jié)果均需在Biendata上指定的時(shí)間窗口內(nèi)進(jìn)行提交。參賽選手須在Biendata平臺(tái)管理系統(tǒng)中注冊(cè)，并確保注冊(cè)時(shí)提交信息準(zhǔn)確有效，所有的比賽資格及獎(jiǎng)金支付均以提交信息為準(zhǔn)；參賽選手在管理系統(tǒng)中組隊(duì)，參賽隊(duì)伍成員數(shù)量不得超過5個(gè)（包括隊(duì)長(zhǎng)），報(bào)名截止日期之后不允許更改隊(duì)員名單；每支隊(duì)伍需指定一名隊(duì)長(zhǎng)，隊(duì)伍名稱不超過15個(gè)字符，隊(duì)伍名的設(shè)定不得違反中國(guó)法律法規(guī)或公序良俗詞匯；每名選手只能參加一支隊(duì)伍，一旦發(fā)現(xiàn)某選手以注冊(cè)多個(gè)賬號(hào)的方式參加多支隊(duì)伍，將取消相關(guān)隊(duì)伍的參賽資格；允許使用開源代碼或工具，但不允許使用任何未公開發(fā)布或需要授權(quán)的代碼或工具；除主辦方提供的數(shù)據(jù)集外，參賽選手允許使用公開的預(yù)訓(xùn)練模型（如詞向量、字向量等），但是不能用額外的標(biāo)注數(shù)據(jù)。參賽隊(duì)伍可在參賽期間隨時(shí)上傳驗(yàn)證集的預(yù)測(cè)結(jié)果，一天不能超過3次，管理系統(tǒng)會(huì)實(shí)時(shí)更新各隊(duì)伍的最新排名情況。參賽隊(duì)伍最終需要提交可運(yùn)行的代碼和方法描述文檔，如果在排行榜上的結(jié)果無法復(fù)現(xiàn)，將取消參賽資格。歡迎在校師生及企業(yè)在職人士參賽。三、時(shí)間安排時(shí)間安排初定如下，如有后續(xù)調(diào)整，將在討論群中更新說明。評(píng)測(cè)任務(wù)發(fā)布：4月1日?qǐng)?bào)名時(shí)間：4月1日—7月15日訓(xùn)練及第一階段測(cè)試集數(shù)據(jù)發(fā)布：4月20日第一階段測(cè)試集提交開放：4月20日-7月15日最終測(cè)試集數(shù)據(jù)發(fā)布：7月15日最終測(cè)試集提交開放：7月15日-7月20日評(píng)測(cè)論文提交：8月5日CCKS會(huì)議日期：8月18日—21日四、獎(jiǎng)勵(lì)設(shè)置第一名：人民幣15000元第二名：人民幣7000元第三名：人民幣3000元技術(shù)創(chuàng)新獎(jiǎng)：人民幣5000元備注：每個(gè)子任務(wù)獨(dú)立設(shè)置獎(jiǎng)項(xiàng)，包括一、二、三名和技術(shù)創(chuàng)新獎(jiǎng)。子任務(wù)每個(gè)獎(jiǎng)項(xiàng)最多一支隊(duì)伍獲得，技術(shù)創(chuàng)新獎(jiǎng)可以缺失，并且可以和前三名兼得；參賽隊(duì)伍可以分別參加兩個(gè)子任務(wù)，并分別排名；獲獎(jiǎng)?wù)哂袡C(jī)會(huì)進(jìn)入2022年騰訊醫(yī)療校園招聘終面和實(shí)習(xí)生綠色通道。五、任務(wù)組織者及聯(lián)系人劉新春（騰訊）：xinchunliu@吳賢（騰訊）：kevinxwu@陳裕通（騰訊）：bradleychen@邵紀(jì)春（騰訊）：sunnyshao@周佳（騰訊）：alisazh