種問(wèn)答式檢索系統(tǒng)布爾查詢(xún)生成方法.ppt

一種問(wèn)答式檢索系統(tǒng)布爾查詢(xún)生成方法,何靖 北京大學(xué)網(wǎng)絡(luò)與分布式實(shí)驗(yàn)室 2006.07,大綱,背景介紹 信息檢索(IR)和問(wèn)答系統(tǒng)(QA) 問(wèn)答系統(tǒng)的模塊 查詢(xún)生成方法研究 調(diào)整式查詢(xún)生成方法 初始化查詢(xún) 查詢(xún)調(diào)整 實(shí)驗(yàn)設(shè)置和結(jié)果 小結(jié)和展望,背景介紹IR v.s. QA,信息檢索 關(guān)鍵詞查詢(xún)文檔集合 信息需求關(guān)鍵詞查詢(xún)？ 文檔集合所需信息？ 問(wèn)答系統(tǒng) 自然語(yǔ)言描述的信息需求 精確的答案,背景介紹-問(wèn)答系統(tǒng)模塊,問(wèn)題分析 指代消解，問(wèn)題分類(lèi)，問(wèn)題目標(biāo) 文檔/段落檢索 文檔檢索模型 查詢(xún)生成 檢索排序 答案抽取 精細(xì)實(shí)體識(shí)別 通過(guò)關(guān)系抽取 模式匹配,背景介紹問(wèn)答系統(tǒng)中查詢(xún)生成,傳統(tǒng)方法 方法：?jiǎn)柧涑霈F(xiàn)詞去停用詞直接檢索 問(wèn)題： 查詢(xún)過(guò)緊或過(guò)松 導(dǎo)致查全率或查準(zhǔn)率的大幅下降 基于模式重寫(xiě)對(duì)查詢(xún)擴(kuò)展 方法：訓(xùn)練匹配模式，進(jìn)行查詢(xún)擴(kuò)展 問(wèn)題： 需要大量問(wèn)題答案對(duì)數(shù)據(jù)，數(shù)據(jù)稀疏問(wèn)題,調(diào)整式查詢(xún)生成概要,目標(biāo) 提高檢索效果：查準(zhǔn)率和覆蓋率 提高檢索效率：少的查詢(xún)次數(shù) 基本形式 合取范式 基本過(guò)程 初始化查詢(xún) 查詢(xún)調(diào)整,調(diào)整式查詢(xún)生成-初始化查詢(xún),命名實(shí)體和專(zhuān)有名詞（BASELINE） BASELINE + 普通名詞 BASELINE + 普通動(dòng)詞 BASELINE + 普通修飾成分,調(diào)整式查詢(xún)生成- 查詢(xún)調(diào)整(1),設(shè)置合法區(qū)間 檢索獲得文檔數(shù)的范圍：既不太多，也不太少 查詢(xún)過(guò)緊 檢索獲得文檔數(shù)低于合法區(qū)間范圍，放松查詢(xún) 查詢(xún)過(guò)松 檢索獲得文檔數(shù)高于合法區(qū)間范圍，收緊查詢(xún),調(diào)整式查詢(xún)生成查詢(xún)調(diào)整(2),放松查詢(xún)策略 添加擴(kuò)展查詢(xún)?cè)~擴(kuò)展形式 形態(tài)擴(kuò)展 語(yǔ)義擴(kuò)展 拆分詞組 刪除關(guān)鍵詞 收緊查詢(xún)策略 增加關(guān)鍵詞 取消擴(kuò)展形式,調(diào)整式查詢(xún)生成算法,0. 初始化查詢(xún)，轉(zhuǎn)入a a 若查詢(xún)獲得文檔數(shù)在合法區(qū)間內(nèi)，轉(zhuǎn)入d。否則，若返回結(jié)果太多，轉(zhuǎn)入b；太少，則轉(zhuǎn)入c。 b 如果沒(méi)有關(guān)鍵詞可以添加，轉(zhuǎn)入d。否則添加idf最大的關(guān)鍵詞（以及它的擴(kuò)展，不添加不在任何文檔中出現(xiàn)的關(guān)鍵詞），如果返回結(jié)果太多，繼續(xù)添加，否則刪除剛才添加的關(guān)鍵詞，加入idf次大關(guān)鍵詞，一直到重復(fù)這樣的添加刪除到進(jìn)入合法區(qū)間或者沒(méi)有關(guān)鍵詞可添加，轉(zhuǎn)入d。 c 如果有命名實(shí)體，則拆分命名實(shí)體。轉(zhuǎn)入a。若沒(méi)有命名實(shí)體，且沒(méi)有關(guān)鍵詞可以刪除，則轉(zhuǎn)入d。否則刪除idf最小的關(guān)鍵詞。刪除后如果結(jié)果依然過(guò)少，繼續(xù)刪除，否則補(bǔ)回剛剛刪除的關(guān)鍵詞，刪除idf次小的關(guān)鍵詞，一直重復(fù)這樣的刪除補(bǔ)回一直到進(jìn)入合法區(qū)間或者沒(méi)有關(guān)鍵詞可以刪除。 d 用產(chǎn)生的查詢(xún)進(jìn)行檢索，獲得結(jié)果。,實(shí)驗(yàn)設(shè)置,文檔集：AQUAINT 容量：3.1G 文檔數(shù)：1,033,461 問(wèn)題集： TREC2004/2005 QA TRACK Question TestSet,實(shí)驗(yàn)指標(biāo),實(shí)驗(yàn)結(jié)果初始化查詢(xún),實(shí)驗(yàn)結(jié)果調(diào)整查詢(xún),總結(jié)和展望,總結(jié)： 模擬用戶(hù)查詢(xún)構(gòu)造過(guò)程調(diào)整查詢(xún) 檢索效率：2.5次調(diào)整 大幅