信息組織及檢索-第六章-查詢及用戶接口課件

1、2022/7/151第6章 查詢與用戶接口 如何向信息檢索系統(tǒng)提交查詢？如何針對內(nèi)容、結構提交查詢？如何針對文本、多媒體數(shù)據(jù)提交查詢？如何針對用戶的初始查詢可能不確切、查詢要求缺乏明確的范圍和語義的問題？2022/7/152第6章 查詢與用戶接口 本章的主要內(nèi)容：常用的查詢方式通過交互來實現(xiàn)相關反饋和查詢擴展用戶接口中涉及到的其它問題 2022/7/153第6章 本章內(nèi)容 6.1 查詢接口設計中的問題 6.2 查詢方式 6.3 查詢中的交互反饋 6.4 用戶接口 6.5 小結2022/7/1546.1 查詢接口設計中的問題一、信息存取的一般過程 從信息需求開始；選擇操作的系統(tǒng)和文檔集；形成一個

2、查詢；把查詢提交給系統(tǒng)；*獲得搜索到的返回結果；查看、評價和理解結果；結果是否滿意？如果滿意，則停止；否則繼續(xù)；重新形成查詢，并回到（*）。 2022/7/1556.1 查詢接口設計中的問題二、查詢接口設計中的問題 查詢方式 有哪些查詢類型？用戶向系統(tǒng)提交的查詢類型依賴于系統(tǒng)采用的是哪種檢索模型。例如，全文檢索系統(tǒng)采用的查詢方式就會與基于關鍵詞排序、超媒體模型和多媒體內(nèi)容模型的查詢方式不同。 2022/7/1566.1 查詢接口設計中的問題二、查詢接口設計中的問題 查詢中的交互性 信息檢索是一個交互的過程 檢索系統(tǒng)應該提供查詢的反饋，以便用戶能夠及時了解查詢的效果，為下次查詢的形成提供參考 2

3、022/7/1576.1 查詢接口設計中的問題二、查詢接口設計中的問題 用戶接口 用戶如何提交查詢？查詢結果如何表現(xiàn)，使得用戶容易觀察到相關結果？用戶查詢接口的簡易性和檢索能力的矛盾記錄用戶查詢的過程對于多媒體數(shù)據(jù)來說，要求查詢接口能夠提交視聽查詢 2022/7/1586.2 查詢方式基于關鍵詞的查詢 模式匹配結構查詢基于內(nèi)容的查詢2022/7/1596.2.1 基于關鍵詞的查詢 一、單詞查詢 指針對單個詞的查詢，是信息檢索系統(tǒng)的基本查詢形式查詢的結果是包含有指定詞的文檔子集，并根據(jù)與查詢的相似度排序。 有一些系統(tǒng)只允許對文檔集中抽取的單詞集進行搜索，而有一些系統(tǒng)允許全文搜索。 2022/7/

4、15106.2.1 基于關鍵詞的查詢 二、上下文查詢 什么是上下文？用多個詞來構造一個查詢，以縮小查詢的范圍，增加查詢的上下文聯(lián)系 上下文原則對于計算與多個詞表達的查詢之間的相似性來說，相近出現(xiàn)的詞所表達的相似性，要比分離得較遠的詞所表達的相似性高 2022/7/15116.2.1 基于關鍵詞的查詢 二、上下文查詢 上下文查詢的實現(xiàn)“詞組查詢”（或稱為短語查詢）由一系列單詞查詢組成，多個詞形成一組詞，由此來匹配文本中與其相近的一組詞?！敖撇樵儭庇脩艚o出多個詞，同時給定詞與詞之間最大允許的距離可以要求查詢結果中的詞與查詢中的詞出現(xiàn)的順序一致，或不必一致 2022/7/15126.2.1 基于關

5、鍵詞的查詢 二、上下文查詢 示例：用戶提交的查詢詞：“紅色”和“汽車”，目的是查詢包含“紅色汽車”的文檔。但是，可能文檔中包含“紅色的汽車”或“紅色奔馳汽車”，它們也是用戶感興趣的文檔。前者可以用詞組（短語）查詢來實現(xiàn)匹配，因為可以忽略短語（在被匹配的文本內(nèi)）中的非用詞“的”。后者需要近似查詢來實現(xiàn)匹配 2022/7/15136.2.1 基于關鍵詞的查詢 三、布爾查詢 利用布爾操作符及其語法來組合基本的查詢 一個操作符可以作用于其它操作符的結果之上，由此可以定義一個查詢語法樹葉節(jié)點對應于基本查詢內(nèi)部節(jié)點對應于操作符 2022/7/15146.2.1 基于關鍵詞的查詢 三、布爾查詢 ANDOR計

6、算機通信網(wǎng)絡查詢語法樹的例子2022/7/15156.2.1 基于關鍵詞的查詢 三、布爾查詢 給定兩個基本查詢或布爾子表達式e1和e2，最常使用的操作符是：OR。查詢（e1 OR e2）選擇所有滿足e1或e2的文檔，重復的部分去掉；AND。查詢（e1 AND e2）選擇所有同時滿足e1和e2的文檔；BUT。查詢（e1 BUT e2）選擇所有滿足e1 但不滿足e2的文檔。 2022/7/15166.2.1 基于關鍵詞的查詢 三、布爾查詢 問題沒有受過數(shù)學訓練的用戶難以掌握布爾操作符的含義。布爾查詢說明中的一個問題是基本語法的誤導。 人們常常理解的是常識中的“and”和“or”語義，而不是邏輯操作

7、的AND和OR。 2022/7/15176.2.1 基于關鍵詞的查詢 四、自然語言 把布爾模型模糊化，不特別強調(diào)AND和OR的結果，這樣查詢變成了枚舉多詞查詢和上下文查詢 所有能匹配部分用戶查詢的文檔都被檢索出來。匹配得越多，排序的等級就越高 在這種方案中，我們已經(jīng)完全不用布爾操作，采取自然語言查詢的思想 2022/7/15186.2.1 基于關鍵詞的查詢 四、自然語言 可以把布爾查詢看成是自然語言查詢的簡化和抽象 實現(xiàn)方法在用戶提交一段自然語言的輸入句子以后，把句子中的非用詞去掉，留下主干詞。于是，把自然語言看成是一組詞，然后利用這些詞進行查詢。具體的查詢實施可以利用詞組查詢或詞組近似查詢。

8、 2022/7/15196.2.1 基于關鍵詞的查詢 四、自然語言 有些系統(tǒng)還可以對自然語言做進一步的處理和分析，從中抽取一些概念，并用于匹配文檔中的概念。 例如，從自然語言中可以抽取提問關鍵詞，例如“誰”、“什么時候”、“什么地方”等 搜索出與這些詞相關的人物、時間和地點 2022/7/15206.2.2 模式匹配對具有某種特性（模式）的文本片段進行檢索 模式匹配：從文本段中，搜索出與指定模式特征匹配的模式。模式匹配的結果（檢索出來的詞）可以用于構造詞組查詢和近似查詢，構成我們前面所說的基礎查詢。2022/7/15216.2.2 模式匹配什么是模式？模式是一組語法特征，它出現(xiàn)在文本段中詞模式

9、。文本中的一個詞（字符串），這是最基本的模式。前綴模式。一個串，位于詞的開始部分，例如給定前綴“comput”，所有包含如“computer ”，“computation”，“computing”詞的文檔都被檢索出來。后綴模式。一個串，位于詞的結尾部分，例如給定后綴“ters”，所有包含如“computers”，“testers”，“painters”等詞的文檔都被檢索出來。2022/7/15226.2.2 模式匹配什么是模式？子串模式。一個可能在文本詞中出現(xiàn)的串，例如給定子串“tal”，所有包含如“coastal”，“talk”，“metallic”等的詞都被檢索出來。區(qū)間模式。用一對串表示

10、區(qū)間模式，可以用于匹配在詞典順序上位于其間的任何詞。比如，由“held”和“hold”構成的區(qū)間模式包含“hoax”和“hissing”串允許誤差模式。用一個詞和誤差閾值表示。這種模式能夠檢索出所有與給定詞“相似”的詞（在允許的誤差范圍之內(nèi)）。因為鍵入、拼寫或字符識別軟件等原因，文本可能有錯，由此出現(xiàn)差錯變體。查詢應該能夠檢索出給定詞和它的差錯變體詞。 2022/7/15236.2.2 模式匹配什么是模式？模式表達式。一個模式表達式是由簡單串和操作符（并置、串聯(lián)、重復等）組成，是用于匹配的一般模式。例如，“pro(blem | tein)”模式表達式（其中 | 代表“并置”操作符）將匹配“pr

11、oblem”和“protein”這樣的詞。其它模式。使用更加友好方便的形式表達一些通用的模式，包括大小寫敏感（或不敏感）的匹配模式、通配符模式、部分準確匹配、部分允許誤差匹配模式、條件匹配模式等。 2022/7/15246.2.3 結構查詢文檔除了內(nèi)容之外，另一種重要信息線索是包含在其結構中結構查詢固定結構查詢超媒體結構查詢層次結構查詢 2022/7/15256.2.3 結構查詢固定結構超媒體結構層次結構三種主要的文檔結構2022/7/15266.2.3 結構查詢固定結構查詢文檔具有一組固定的域，就象一種表格。每個域都包含文本或其它對象。 例如，一個郵件文檔可以看成是郵件的集合，其中每個郵件有

12、發(fā)送者、接收者、日期、標題、信體域。 用戶于是可以針對這些域來進行搜索。 例如，搜索那些發(fā)給特定人的、在標題域中含有“照片”的郵件。 2022/7/15276.2.3 結構查詢超媒體結構查詢早期，超媒體檢索只是一個導航性的活動。就是說，用戶必須沿著鏈，人工遍歷超媒體節(jié)點，搜索到想要的內(nèi)容。 可以在Web上把瀏覽和搜索能力綜合起來。例如在常規(guī)瀏覽中，增加搜索當前節(jié)點的鄰節(jié)點的功能，這里用到了節(jié)點與鄰節(jié)點之間的鏈。 2022/7/15286.2.3 結構查詢層次結構查詢層次結構可以用鏈表模型或樹模型來表示超媒體結構中就包含有層次結構層次結構可以看成是超媒體結構的簡化（去掉了交叉引用鏈，留下層次結構

13、鏈） 根源查詢。這種查詢主要應用到層次結構中，查詢一個節(jié)點的歸屬，例如這幅圖像屬于哪章，哪本書？如果層次結構是一個分類樹，那么就可以查詢出一個節(jié)點的父類是什么。2022/7/15296.2.3 結構查詢層次結構查詢關聯(lián)查詢。查詢出與該節(jié)點相連的所有節(jié)點，這可以是該節(jié)點與鄰接節(jié)點的鏈接關系，有些鏈是表示語義關系，有些鏈是表示時空關系。包含（被包含）查詢。查詢一個節(jié)點（頁面、文檔）包含哪些節(jié)點，例如一個章節(jié)包含哪些部分，一個概念由哪些子概念組成，等等。反過來，又可以查詢被包含的關系。跟隨（被跟隨）查詢。根據(jù)引用鏈的方向性來進行查詢，由此可以查詢出跟隨和被跟隨的結構關系。 2022/7/15306.

14、2.4 基于內(nèi)容的查詢對于多媒體來說，常用“基于內(nèi)容”的查詢和檢索這個概念。實際上，文本信息檢索也是針對文本內(nèi)容的，只是“基于內(nèi)容”這個術語已經(jīng)習慣用于多媒體信息檢索當中 2022/7/15316.2.4 基于內(nèi)容的查詢一般屬性查詢產(chǎn)生信息。表示產(chǎn)生、類別和其它相關資料的信息，例如產(chǎn)生信息有標題（文本的或圖標形式的）、文本注釋、創(chuàng)建信息（創(chuàng)建者、創(chuàng)建地點、日期）等；類別信息可以是按照風格、主題、目的、語言等方式分類的信息。使用信息。是關于多媒體使用方面的信息，例如使用權限、可用性、使用紀錄、費用等。這些信息可能會動態(tài)改變。媒體描述信息。是有關存儲媒體的信息，包括壓縮、編碼、存儲格式等。2022

15、/7/15326.2.4 基于內(nèi)容的查詢感知特征查詢視聽特征：是顏色、紋理、形狀、運動，以及聽覺特征等。全局特征：這些查詢可以是針對全局的，例如針對整幅圖像局部特征：也可以是針對局部區(qū)域或對象的，例如視頻對象或圖像區(qū)域 2022/7/15336.2.4 基于內(nèi)容的查詢時空結構查詢視聽數(shù)據(jù)的時間結構、空間結構和時空結構信息 圖象對象的空間位置；視頻幀、鏡頭、場景的時間結構；視頻中視頻對象的時空結構等 2022/7/15346.2.4 基于內(nèi)容的查詢概念查詢視聽內(nèi)容表達的概念進行查詢 語義表示的是多媒體的高層抽象概念 2022/7/15356.2.4 基于內(nèi)容的查詢?yōu)g覽和其它存取方式等基于內(nèi)容的瀏

16、覽：而不是常規(guī)的線性瀏覽 分解模型和媒體變體：在多媒體內(nèi)容的“分解模型”和“媒體變體”表示的支持下，我們還可以進行許多新的信息查詢和存取。例如，對圖象進行多分辨率的存取和漸進的查詢。概要、摘要、比例縮放、壓縮、不同分辨率版本、不同語言版本、不同模態(tài)（文本、語言、圖形等）版本都可以看成是視聽內(nèi)容的變體。 2022/7/15366.3 查詢中的交互反饋 查詢中的反饋問題：第一次查詢是作為一次初步的嘗試用戶檢查檢出的文檔，指定哪些是相關的文檔構造出新的或改進的查詢表達式再次進行嘗試 查詢重構的兩個基本步驟：利用新的項來擴展原查詢在擴展的查詢中重新分配項的權重2022/7/15376.3 查詢中的交互

17、反饋 查詢擴展和重新分配權重的三個策略利用用戶的相關反饋基于用戶的反饋信息利用聚類算法，自動進行查詢的調(diào)整基于返回文檔子集的信息基于文檔集的全局信息2022/7/15386.3.1 用戶相關反饋 在相關反饋循環(huán)中系統(tǒng)向用戶返回一組文檔用戶查閱（掃描）這些文檔后，在那些相關的文檔旁做上標記提高這些相關對象（項）在新形成的查詢中的重要性 希望新的查詢代表那些相關文檔，而遠離不相關的文檔 2022/7/15396.3.1 用戶相關反饋 示例1：矢量模型的重新加權和查詢擴展Dr：在檢出文檔中，用戶標識的相關文檔子集；Dn：在檢出文檔中，不相關文檔子集；Dr,Dn分別表示這些子集中相應的文檔數(shù)；，：調(diào)節(jié)

18、常量；Wj為文檔矢量，Q為查詢矢量。直接從檢出文檔中計算出修改的項權重 2022/7/15406.3.1 用戶相關反饋 示例2：概率模型中的項權重分配 項在相關文檔子集中出現(xiàn)的概率 項在不相關文檔子集中出現(xiàn)的概率剛開始時，兩者未知，無法計算。可以利用用戶的相關反饋信息來計算這些概率 2022/7/15416.3.1 用戶相關反饋 示例2：概率模型中的項權重分配 給出初始值：ni表示整個文檔集中包含ki的文檔數(shù)，N為整個文檔集中的文檔數(shù) 然后計算查詢與文檔的相似度2022/7/15426.3.1 用戶相關反饋 示例2：概率模型中的項權重分配 根據(jù)返回的結果，計算兩個P的估計值：Dr表示用戶判別的

19、相關的檢出文檔子集Dr,i表示Dr的一個子集，它是包含項ki的文檔 任何根據(jù)調(diào)整的權重，繼續(xù)提交查詢。2022/7/15436.3.1 用戶相關反饋 Probability EstimationHow can we estimate pi and qi for each term ki of the query? GivenN documents in D ni docs containing term kiqi = ni /Nthe distribution of ki in R is similar to its distribution in the entire collection.

20、pi= 0.5With no knowledge about R we can assume that R is chosen randomly2022/7/15446.3.1 用戶相關反饋 Incremental improvementTRW(p,q)= log(1- qi)/qi = log(N- ni)/ ni) Init:Set pi= 0.5, qi = ni /N for each query termRepeat:Rank D according to the Scoring function induced from the given probabilitiesLet V b

21、e the set of top retrieved documentsLet Vi be a subset of V containing term ki.pi=|Vi|/|V|(pi =(Vi+0.5)/(V+1)qi=(ni -|Vi|)/(N-|V|) (qi=(ni -Vi+0.5)/(N-V+1)Until convergence2022/7/15456.3.1 用戶相關反饋 Probability estimation based on Relevance FeedbackAssume the user provides feedback whether the retrieve

22、d docs are relevant or notR number of docs marked as relevantr number of relevant docs containing kiN num of docsn number of docs containing ki pi= r/R qi= (n-r)/(N-R)Problem: relevance feedback is an expensive task. 2022/7/15466.3.1 用戶相關反饋 Document RelevanceDocumentContaining kiGiven a query term k

23、i + - + r n-r n - R-r N-n-R+r N-n R N-R NWhere N is the number of documents seen2022/7/15476.3.1 用戶相關反饋 NRrnNRrn2022/7/15486.3.1 用戶相關反饋 問題：相關反饋策略的評價？一種方案：利用查詢Qm對文檔集進行檢索，對檢出結果進行排列，然后畫出回調(diào)率-查準率圖，并與原查詢q的性能相比較。通常情況下，性能的改進非常大。由于用戶對看見的文檔進行了相關性的判別。但是有些文檔是用戶沒有看見的，包括沒有返回的文檔，因而沒有考慮這些文檔的作用，所以這種評價還不夠充分。2022/7/15

24、496.3.2 自動的查詢擴展 反饋信息被用來選擇新的查詢項進行查詢擴展擴展的查詢將檢索到更多更準確的相關信息在以前的方法中，與用戶查詢的相關描述是在用戶的輔助下，交互式建立的。我們更希望的是自動得到這種描述。 2022/7/15506.3.2 自動的查詢擴展 如何自動標識出與查詢項相關的其它項？由此用于查詢的擴展這些項也許是同義詞、詞干變體，在文本中與查詢項接近的項，例如與查詢詞相距至多k個單詞的詞，相關的對象這里有兩種基本的實現(xiàn)策略：全局策略和局部策略。 2022/7/15516.3.2 自動的查詢擴展 在局部策略中只采用查詢q的檢出文檔來確定查詢擴展中的項。這與常規(guī)的相關反饋循環(huán)相似，但

25、是可以做到不需要用戶的干預（即可以做到全自動） 在全局策略中所有在文檔集中的文檔都用來確定詞典的結構，定義項的關系。然后，用戶在這個詞典中選擇合適的項進行查詢擴展。 具體實現(xiàn)時，可以采用聚類方法2022/7/15526.4 用戶接口檢索如何開始？ 查詢?nèi)绾伪磉_？ 文檔集瀏覽和查詢結果如何表現(xiàn)？ 相關判別接口的設計考慮？ 多媒體查詢接口是什么樣？ 2022/7/15536.4.1 檢索過程的開始文檔集列表選擇 文檔（數(shù)據(jù)）集列表方式就是向用戶羅列出可以檢索的文檔集的名字用戶需要首先從中選擇要查詢的文檔集（或者說是數(shù)據(jù)庫）然后用戶提交的查詢作用于選擇的數(shù)據(jù)庫人工選擇或自動選擇 2022/7/155

26、46.4.1 檢索過程的開始Dialog box for chosing sources in old lexis-nexis interface2022/7/15556.4.1 檢索過程的開始瀏覽 用戶開始的查詢需求并不明確，因此他們檢索就是以瀏覽形式啟動的 三種常用的梗概接口 目錄梗概 聚類梗概 關聯(lián)梗概 2022/7/15566.4.1 檢索過程的開始Supervised (Manual) Category Overviews2022/7/15576.4.1 檢索過程的開始向導 向導形式的接口是為未經(jīng)過訓練的用戶提供幫助，幫助用戶很快地構造出各種類型的查詢 范例式 文本對話式 圖形向導式

27、 2022/7/15586.4.2 查詢說明選擇檢索的文檔集之外，提交一個查詢還必須對查詢的要求進行說明查詢說明“查詢要求”用詞、詞組、項或描述子（或稱為描述符、敘詞）來說明2022/7/15596.4.2 查詢說明方式命令行、表格和菜單圖形化查詢說明GUI查詢接口 多側面查詢說明用戶查詢被分成多個主題或側面，每個側面的主題應在被檢索出來的文檔中出現(xiàn)比如一個查找預防肝炎的藥物的查詢可能包括三個側面：“甲肝或乙肝”，“藥物或藥劑”，“預防或治療”。2022/7/15606.4.2 查詢說明基于表格的查詢說明(altavista)2022/7/15616.4.2 查詢說明基于表格的查詢說明（inf

28、oseek）2022/7/15626.4.2 查詢說明圖形查詢接口表示布爾查詢的例子2022/7/15636.4.2 查詢說明基于菜單方式的查詢說明的例子2022/7/15646.4.3 上下文表現(xiàn)為了使得文檔集便于用戶的理解，以上下文方式放置（組織）當前文檔集稱為用戶接口中的上下文表現(xiàn) 常用的方式顯示出文檔集與查詢項（或關鍵詞）之間的關系；文檔集的梗概；描述性元數(shù)據(jù)；超鏈結構；文檔結構 2022/7/15656.4.3 上下文表現(xiàn)用條圖表示查詢項在文檔中出現(xiàn)的情況2022/7/15666.4.3 上下文表現(xiàn)Query terms:What roles do they play in retr

29、ieved documents?DBMS (Database Systems)ReliabilityMainly about both DBMS & reliabilityMainly about DBMS, discusses reliabilityMainly about, say, banking, with a subtopic discussion on DBMS/ReliabilityMainly about high-tech layoffs2022/7/15676.4.3 上下文表現(xiàn)文檔內(nèi)容中的查詢項提示文檔內(nèi)容中的查詢項提示就是在檢出文檔中，以突出顯示的方式，向用戶提示那些匹

30、配上的查詢項，引起用戶的注意 關鍵詞的上下文：把文檔中包含查詢項的句子抽取出來，與其它文檔代表項一起顯示 文檔之間的查詢項提示 表現(xiàn)出查詢項在多個檢出文檔之間的關系 示例：有A, B, C三個項，這種接口就可以用圖形的方式，顯示出在檢出文檔中，只包含A、B或C，同時包含A和B、A和C、B和C，全部包含A、B和C的文檔數(shù)分別有多少 2022/7/15686.4.3 上下文表現(xiàn)關鍵詞上下文KWIC (Keyword in Context）2022/7/15696.4.3 上下文表現(xiàn)文檔之間查詢項可視化的例子2022/7/15706.4.3 上下文表現(xiàn)用目錄表示上下文 把目錄顯示在左邊的窗口中，而全文顯示在右邊窗口 檢出的結果將以目錄層次的上下文方式顯示，即包含查詢項的章節(jié)將在目錄中放大顯示，而其它的章節(jié)的顯示被壓縮 分類層次表示上下文 采用分類層次，構造出文檔集的概圖，以上下文方式放置查詢的結果 2022/7/15716.4.3 上下文表現(xiàn)分類層次表示上下文 例如左邊窗口顯示的是檢出文檔的分類層次樹；右邊窗口顯示全部文