生活服務(wù)知識(shí)圖譜問(wèn)答評(píng)測(cè)

生活服務(wù)知識(shí)圖譜問(wèn)答評(píng)測(cè)評(píng)測(cè)背景在互聯(lián)網(wǎng)軟硬件相關(guān)技術(shù)飛速發(fā)展的今天，人們每天接觸與制造的數(shù)據(jù)量日益上升，理解與應(yīng)用這些數(shù)據(jù)所需的成本也隨之增加。因此，如何高效而準(zhǔn)確地處理海量異質(zhì)數(shù)據(jù)成為了一個(gè)亟待解決的問(wèn)題。知識(shí)圖譜以結(jié)構(gòu)化的“知識(shí)”來(lái)存儲(chǔ)與表示海量數(shù)據(jù)，作為承載底層海量知識(shí)并支持上層智能應(yīng)用的重要載體，它在智能時(shí)代中扮演了極其重要的角色。然而，由于知識(shí)圖譜高度結(jié)構(gòu)化的特點(diǎn)，我們常常需要構(gòu)建結(jié)構(gòu)化查詢語(yǔ)句（SPARQL等）來(lái)查找相關(guān)知識(shí)，這為普通用戶使用知識(shí)圖譜造成了不便。因此，在知識(shí)圖譜上進(jìn)行自然語(yǔ)言問(wèn)答（KBQA）近年來(lái)成為了前者的熱門應(yīng)用之一。在學(xué)界，semanticparsing、IR等創(chuàng)新性方法與框架百花齊放；在業(yè)界，智能音箱、語(yǔ)音助手、智能問(wèn)診等應(yīng)用也極大地拓寬了知識(shí)圖譜自然語(yǔ)言問(wèn)答的應(yīng)用場(chǎng)景，進(jìn)一步加強(qiáng)了對(duì)高效、準(zhǔn)確、易用、安全、可解釋的KBQA系統(tǒng)的需求。面對(duì)這一需求，我們提出了中文知識(shí)圖譜問(wèn)答這一評(píng)測(cè)任務(wù)，期待參賽者們可以提出創(chuàng)新性的KBQA系統(tǒng)，同時(shí)處理“專而深”的特定領(lǐng)域和“廣而淺”的開(kāi)放領(lǐng)域知識(shí)圖譜，對(duì)用戶提出的復(fù)雜多樣的自然語(yǔ)言問(wèn)題給出準(zhǔn)確答案。同時(shí)，我們更希望此次評(píng)測(cè)可以為KBQA的下一步研究和落地提供一些理論及實(shí)踐層面的啟發(fā)。任務(wù)描述本任務(wù)屬于中文知識(shí)圖譜自然語(yǔ)言問(wèn)答任務(wù)，簡(jiǎn)稱CKBQA（ChineseKnowledgeBaseQuestionAnswering）。即輸入一句中文問(wèn)題，問(wèn)答系統(tǒng)從給定知識(shí)庫(kù)中選擇若干實(shí)體或?qū)傩灾底鳛樵搯?wèn)題的答案。問(wèn)題均為客觀事實(shí)型，不包含主觀因素。理解并回答問(wèn)題的過(guò)程中可能需要進(jìn)行實(shí)體識(shí)別、關(guān)系抽取、語(yǔ)義解析等子任務(wù)。這些任務(wù)的訓(xùn)練可以使用額外的資源，但是最終的答案必須來(lái)自給定的知識(shí)庫(kù)。知識(shí)圖譜問(wèn)答在當(dāng)前互聯(lián)網(wǎng)信息爆炸、人工智能盛行的時(shí)代是十分有戰(zhàn)略價(jià)值和研究意義的。一方面，傳統(tǒng)搜索引擎是以網(wǎng)頁(yè)資源為核心，依據(jù)關(guān)鍵詞索引、文本匹配等方式進(jìn)行檢索并返回給用戶相關(guān)網(wǎng)頁(yè)鏈接，而用戶很多時(shí)候需要的只是對(duì)一個(gè)具體問(wèn)題的特定解答。另一方面，諸如智能音箱、智能問(wèn)診等新一代產(chǎn)品應(yīng)用通常也需要依賴于特定的知識(shí)圖譜響應(yīng)用戶的自然語(yǔ)言請(qǐng)求。例如智能問(wèn)診應(yīng)用可以依據(jù)醫(yī)藥健康領(lǐng)域的知識(shí)庫(kù)對(duì)患者的情況進(jìn)行初步診斷。本次知識(shí)圖譜問(wèn)答任務(wù)是在CCKS上舉辦的第四屆。今年在OpenKG基礎(chǔ)上引入生活服務(wù)領(lǐng)域知識(shí)庫(kù)及問(wèn)答數(shù)據(jù)。同時(shí)依然保留去年開(kāi)放領(lǐng)域的問(wèn)答數(shù)據(jù)以供參賽隊(duì)伍對(duì)模型進(jìn)行訓(xùn)練。我們期望參賽選手的問(wèn)答系統(tǒng)既能處理各種百科類的淺層問(wèn)題，也能處理具備一定領(lǐng)域知識(shí)。本評(píng)測(cè)任務(wù)所使用的生活服務(wù)領(lǐng)域知識(shí)圖譜來(lái)源于美團(tuán)。其中包括旅游、酒店、美食等多種領(lǐng)域的數(shù)據(jù)。我們將這些數(shù)據(jù)集整合到一起，同開(kāi)放領(lǐng)域知識(shí)庫(kù)PKUBASE一起作為問(wèn)答任務(wù)的依據(jù)。輸入輸出輸入輸入文件包含若干行中文問(wèn)句。輸出輸出文件每一行對(duì)應(yīng)一個(gè)問(wèn)題的答案列表，列表內(nèi)元素以\t分隔。輸入樣例q1:故宮附近有哪些豪華酒店？q2:紫竹院公園地址在哪？q3:朝陽(yáng)區(qū)有哪些不收門票的公園？輸出樣例<北京王府井希爾頓酒店>\t<北京勵(lì)駿酒店>\t<北京國(guó)際飯店>\t<北京東方君悅大酒店>…<北京市海淀區(qū)中關(guān)村南大街35號(hào)><奧林匹克森林公園>\t<將府公園>\t<黑橋公園>…說(shuō)明為幫助參賽選手提高系統(tǒng)性能，訓(xùn)練文件會(huì)提供問(wèn)題對(duì)應(yīng)的SPARQL查詢。例句一對(duì)應(yīng)的SPARQL查詢語(yǔ)句如下： SELECT?xWHERE {<故宮><附近>

?x.?x<類別><酒店>.?x<等級(jí)><豪華>.}例句二對(duì)應(yīng)的SPARQL查詢語(yǔ)句如下： SELECT?xWHERE{<紫竹院公園><地址>

?x.}例句三對(duì)應(yīng)的SPARQL查詢語(yǔ)句如下： SELECT?xWHERE{?x<類型><公園>.?x<行政區(qū)><朝陽(yáng)區(qū)>.?x<門票價(jià)格><免費(fèi)>.}SPARQL語(yǔ)言的語(yǔ)法規(guī)則可以參考/TR/rdf-sparql-query/。原則上不要求生成SPARQL查詢，參賽選手可以選擇自己的方式，只需要給出問(wèn)題的最終答案（答案需要來(lái)自給定知識(shí)庫(kù)）。當(dāng)問(wèn)題所涉及的事實(shí)與知識(shí)庫(kù)不一致時(shí)，以知識(shí)庫(kù)中數(shù)據(jù)為準(zhǔn)。輸出答案中由<>括起的為實(shí)體，由""括起的為文本值。請(qǐng)嚴(yán)格按照問(wèn)題順序進(jìn)行答案輸出，若參賽系統(tǒng)對(duì)某一問(wèn)題產(chǎn)生答案為空，請(qǐng)輸出空行。評(píng)價(jià)指標(biāo)本任務(wù)的評(píng)價(jià)指標(biāo)包括宏觀準(zhǔn)確率(MacroPrecision)，宏觀召回率(MacroRecall)，AveragedF1值。最終排名以AveragedF1值為基準(zhǔn)。設(shè)Q為問(wèn)題集合，Ai為選手對(duì)第i個(gè)問(wèn)題給出的答案集合，Gi為第i個(gè)問(wèn)題的標(biāo)準(zhǔn)答案集合，相關(guān)計(jì)算公式如下：MacroPrecision=1|Q|i=1|Q|PMacroRecall=1|Q|i=1AveragedF1=數(shù)據(jù)集數(shù)據(jù)來(lái)源本次測(cè)評(píng)的問(wèn)答數(shù)據(jù)來(lái)自于人工構(gòu)建與標(biāo)注。標(biāo)注過(guò)程不依賴于特定模板，標(biāo)注人員超過(guò)20人以保證問(wèn)題各方面的多樣性。問(wèn)答數(shù)據(jù)集中的問(wèn)題不局限于特定領(lǐng)域，且既包含簡(jiǎn)單問(wèn)題（對(duì)應(yīng)單元組查詢），也包含復(fù)雜問(wèn)題（對(duì)應(yīng)多元組查詢），它們的數(shù)量比例大致為1:1。訓(xùn)練集&驗(yàn)證集在訓(xùn)練數(shù)據(jù)發(fā)布階段，我們會(huì)發(fā)布6500條標(biāo)注好的數(shù)據(jù)（包括問(wèn)題/SPARQL/答案）作為訓(xùn)練集。同時(shí)發(fā)布2000條左右不含標(biāo)注結(jié)果的問(wèn)題作為驗(yàn)證集，選手可以將自己生成的驗(yàn)證集答案提交，比賽系統(tǒng)會(huì)對(duì)答案進(jìn)行評(píng)測(cè)，給出得分并進(jìn)行排行。在測(cè)試數(shù)據(jù)發(fā)布階段，我們會(huì)發(fā)布驗(yàn)證集的標(biāo)注結(jié)果（包括問(wèn)題/SPARQL/答案），同時(shí)發(fā)布1500條左右不含標(biāo)注結(jié)果的問(wèn)題，作為測(cè)試。知識(shí)庫(kù)相關(guān)文件說(shuō)明本任務(wù)使用的知識(shí)庫(kù)主要由開(kāi)放領(lǐng)域知識(shí)庫(kù)PKUBASE及生活服務(wù)領(lǐng)域數(shù)據(jù)集（/group/coronavirus）融合得到。參賽選手可以下載數(shù)據(jù)文件后使用相應(yīng)的知識(shí)庫(kù)管理系統(tǒng)（例如gStore系統(tǒng)：/）進(jìn)行存儲(chǔ)和查詢。同時(shí)，為方便參賽選手完成任務(wù)，我們也提供在線查詢終端，選手可以通過(guò)瀏覽器或調(diào)用API進(jìn)行SPARQL查詢。詳情訪問(wèn)/。數(shù)據(jù)說(shuō)明（如有變動(dòng)后續(xù)會(huì)進(jìn)行更新，以實(shí)際下載文件為準(zhǔn)）：triples.txt包含知識(shí)庫(kù)主要三元組。types.txt包含各實(shí)體的類別三元組。mention2ent.txt可以用來(lái)輔助選手進(jìn)行實(shí)體鏈接。其格式為“短語(yǔ)\t候選實(shí)體\t候選實(shí)體的排名”，如下例短語(yǔ)“逆時(shí)針”排名第一的候選實(shí)體是逆時(shí)針_（漢語(yǔ)名詞）。此文件僅供參考，其覆蓋范圍及準(zhǔn)確度并無(wú)保證，選手可以視情況使用。如需對(duì)此映射文件進(jìn)行增補(bǔ)，請(qǐng)?jiān)谖臋n中寫明增補(bǔ)的策略并提交相關(guān)的代碼，原則上不允許人工根據(jù)測(cè)試問(wèn)題添加mention2ent映射。逆時(shí)針 逆時(shí)針_（漢語(yǔ)名詞） 1逆時(shí)針 逆時(shí)針_（張靚穎演唱歌曲） 2逆時(shí)針 逆時(shí)針_（化妝品品牌） 3…任務(wù)提交本次評(píng)測(cè)將采取刷榜方式，各任務(wù)驗(yàn)證集發(fā)布后，允許參賽隊(duì)伍多次向平臺(tái)提交結(jié)果，文件命名參考具體任務(wù)說(shuō)明，并以隊(duì)伍名作為前綴。格式與任務(wù)描述中的示例輸出相同（注意格式，如對(duì)于問(wèn)答任務(wù)需要保留<>或""），排名實(shí)時(shí)更新。參賽隊(duì)伍可在評(píng)測(cè)集發(fā)布之前隨時(shí)上傳驗(yàn)證集的計(jì)算結(jié)果，管理系統(tǒng)會(huì)及時(shí)更新各隊(duì)伍的最新排名情況；測(cè)試集發(fā)布后，允許參賽隊(duì)伍多次提交測(cè)試集結(jié)果文件（每天提交不超過(guò)2次）。最終提交文件要求：每一個(gè)參賽隊(duì)需提交的材料如下。問(wèn)答任務(wù)測(cè)試集結(jié)果文件，用result.txt命名（UTF-8格式）相關(guān)代碼及說(shuō)明方法描述文檔（非評(píng)測(cè)論文，評(píng)測(cè)論文撰寫要求見(jiàn)CCKS2021官網(wǎng)）以上三個(gè)文件需在任務(wù)提交截止日期前發(fā)送至郵箱linyinnian@。郵件的標(biāo)題為：“CCKS-CKBQA-參賽隊(duì)名稱”，例如“CCKS-CKBQA-火箭隊(duì)”。代碼及其文檔需打包成一個(gè)文件（tar，zip，gzip，rar等均可），用code.xxx命名，要求提交所有的程序代碼及相關(guān)的配置說(shuō)明，程序應(yīng)當(dāng)可以運(yùn)行且所得結(jié)果與result.txt相符。如果方法使用了額外資源，要求說(shuō)明并提供資源文件或地址。本次評(píng)測(cè)將依托biendata平臺(tái)（/）展開(kāi)，請(qǐng)有意向的參賽隊(duì)伍關(guān)注平臺(tái)上的競(jìng)賽列表。數(shù)據(jù)集評(píng)測(cè)任務(wù)發(fā)布：4月11日?qǐng)?bào)名時(shí)間：4月11日-7月15日訓(xùn)練及驗(yàn)證數(shù)據(jù)發(fā)布：4月30日公開(kāi)排名榜(A)：4月30日-7月15日測(cè)試數(shù)據(jù)發(fā)布：7月15日最終排名榜(B)：7月15日-7月20日最終測(cè)試結(jié)果：7月20日評(píng)測(cè)論文提交：8月5日CCKS會(huì)議日期（評(píng)測(cè)報(bào)告及頒獎(jiǎng)）：8月18日-21日評(píng)審規(guī)則參賽選手需要提交“參賽隊(duì)名，隊(duì)長(zhǎng)信息（姓名，郵箱，聯(lián)系電話），參賽單位名稱”等信息，報(bào)名方式稍后在評(píng)測(cè)網(wǎng)站發(fā)布。報(bào)名截止到測(cè)試數(shù)據(jù)集發(fā)布，在測(cè)試數(shù)據(jù)集發(fā)布之后，未報(bào)名的選手/隊(duì)伍不能再報(bào)名或提交。每支隊(duì)伍需指定一名隊(duì)長(zhǎng)，隊(duì)伍名稱不超過(guò)15個(gè)字符，隊(duì)伍成員不超過(guò)4人。每名選手只能參加一支隊(duì)伍，一旦發(fā)現(xiàn)某選手以注冊(cè)多個(gè)賬號(hào)的方式參加多支隊(duì)伍，將取消所有相關(guān)隊(duì)伍的參賽資格。允許使用開(kāi)源代碼或工具，但不允許使用任何未公開(kāi)發(fā)布或需要授權(quán)的代碼或工具。允許使用外部數(shù)據(jù)，但該數(shù)據(jù)必須是公開(kāi)的，并在提交最終結(jié)果時(shí)一并提交（如數(shù)據(jù)過(guò)大，需提供下載地址）。鼓勵(lì)使用通用的、創(chuàng)新的算法、模型解決問(wèn)題，不允許基于測(cè)試集或KB用規(guī)則CaseByCase解決問(wèn)題，若發(fā)現(xiàn)主辦方有權(quán)取消參賽資格。參賽選手最終需要提交可運(yùn)行的代碼和方法描述文檔，若在排行榜上的結(jié)果無(wú)法復(fù)現(xiàn)，將取消參賽資格。歡迎國(guó)內(nèi)外在校生及社會(huì)在職人士參加。比賽組織方成員不可參賽。獎(jiǎng)勵(lì)規(guī)則第一名20000，第二名10000，第三名5000，技術(shù)創(chuàng)新獎(jiǎng)5000，同時(shí)排名靠前隊(duì)伍將獲授精美參賽獎(jiǎng)牌、證書。組織者王思睿美團(tuán)搜索與NLP部wangsirui@李如寐美團(tuán)搜索與NLP部lirumei@張鴻志美團(tuán)搜索與NLP部HYPERLINK"mailto:zhang