信息檢索系統(tǒng)的評價

1、第十一章信息檢索系統(tǒng)評價111評價研究概述1試解釋信息檢索系統(tǒng)的內涵。2什么是”評價？一、意義評價(Evaluation):發(fā)現(xiàn)和收集關于某種活動的數(shù)據(jù)， 從中判斷該項活動的質量及達到預期目標程度的行為。 簡單地說，評價就是對系統(tǒng)的價值和效率進行測評。信息檢索系統(tǒng)評價：根據(jù)給定的指標體系，采用一定的方 法和程序，對信息檢索系統(tǒng)的功能、特性和運營狀況進行評測，或對有關假設.預期效益、性能值進行驗證，以確定系統(tǒng)達到了何種水平.投入成本是否值得.是否可以改 進和如何改進，乃至系統(tǒng)是否應生存下去。一、意義信息檢索系統(tǒng)的評價研究，一直是信息檢索領域的一項 重要研究內容。多年來人們進行了大量的評價試驗和多

2、角度 的探索。原因在于，檢索系統(tǒng)評價工作在為研究者驗證檢索系統(tǒng) 效益.比較各種檢索技術的優(yōu)劣.改進現(xiàn)有檢索系統(tǒng).開發(fā) 新的應用領域等方面，都具有不可替代的作用。一、意義主要意義: 了解已有檢索系統(tǒng)的功能，找出缺陷并改進;比較各種檢索系統(tǒng)的優(yōu)劣；提高提高效率和效益；有助于新的檢索系統(tǒng)的設計;豐富信息檢索的理論。第十一章信息檢索系統(tǒng)評價11.1評價研究概述二、評價范圍與類型信息檢索系統(tǒng)是一個有眾多功能模塊組成的集合體。 評價可以從不同角度、基于不同目的和方法來進行。評價范圍：各種類型的檢索系統(tǒng)及組成要素。評價類型:宏觀評價：著眼于檢索系統(tǒng)的宏觀方面，如情報源類型、系統(tǒng) 結構、收錄范圍、利用率等。個

3、別評價：僅對系統(tǒng)的某一性能、功能進行評價。性能評價(performance evaluation)：面向用戶的評價，測定檢 索系統(tǒng)的廣量或服務效果。也稱為檢索效果評價(effectiveness evaluatio n)。第十一章信息檢索系統(tǒng)評價11.1評價研究概述二、評價范圍與類型 評價類型:效益評價（benefits evaluation）:測定系統(tǒng)或用戶獲得的的經(jīng)濟效益和社會效益。（有直接的.潛在的；難以直接計量）費用/效果評價(cost effectiveness evaluation):考察系統(tǒng)達到的性能與費用消耗之間的關系。（用戶.系統(tǒng)兩方面）費用/效益評價（cost benefi

4、ts evaluation）:考察系統(tǒng)的服務 效益與費用消耗間的關系。（計量難度較大）（詳見P2 07的解釋）第十一章信息檢索系統(tǒng)評價11-2評價指標一、評價指標體系要評價一個檢索系統(tǒng)，必須有一套科學的評價標準。 建立檢索系統(tǒng)評價指標體系應遵循的原則：各指標應定義單一、明確，具有可操作性。評價指標最好能夠量化或計量。IEI指標要完善、細致、全面。F面給出傳統(tǒng)檢索系統(tǒng)評價指標體系模型：（供參考）信息檢索系統(tǒng)評價第十一章11-2評價指標實驗費用學習費用 存貯空間開錨 可存取性 新穎性響應時間H 查準率 . 查全率 H 靈活性 檢索結果形式 使用方便性 ?？啃允珍浄秶?運行費用研制費用逐一評價這些指

5、標，可以判定檢索系統(tǒng)的優(yōu)劣。其中，比較重要的 是檢索性能指標。土評價指標問題：-什么是查全率、查準率?第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析1.查全率和查準率查全率(Recall ratio, R)：衡量一次檢索中與提問相關的 文獻有多少篇被檢出。(衡量檢出相關文獻的能力)檢出的相關文獻量-數(shù)據(jù)庫中的相關文獻瞳第十一章信息檢索系統(tǒng)評價112評價指標蘭主要性能指標及分析1.查全率和查準率查準率(Precision ratio, P)：衡量被檢出的文獻中有多少 篇與提問相關。(衡量檢索的精確度)檢出的木目關文獻量檢出文獻總量第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性

6、能指標及分析例：設某檢索系統(tǒng)的數(shù)據(jù)庫中共有相關文獻20篇。針對某一個提問，檢出文獻總數(shù)為30篇，其中相關文獻數(shù)為15篇。求查全率R、查準率P。151Sr% 礦50%第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析設某文獻庫所存儲的文獻總為便于分析，我們給出數(shù)學語言描述：量為L。對某一給定提問，a表示被檢出的與提問相關的文獻數(shù)；b表示被檢出的與提問無關的文獻數(shù)；（前例a=15）（誤檢，前例b=15）c一表示與提問相關，但未被檢出的文獻數(shù)（漏檢，前例c=5）第十一章信息檢索系統(tǒng)評價11-2評價指標第十一章信息檢索系統(tǒng)評價11-2評價指標查全率/?=a + c誤檢率E =-a+b顯然，

7、Q = 1 漏檢率Q =a + cE = 1 p第十一章信息檢索系統(tǒng)評價11-2評價指標蘭主要性能指標及分析1.查全率和查準率下面討論與查全率、査準率有關的幾個問題。(1) 查全率和查準率的相互關系 一個理想的檢索系統(tǒng)，應是R= 1 P = 1 o 但實際上是不可能的。般說來，二者之間存在著反變關系,即:若要提高查全率，查準率往往就會下降; 若要提高查準率，查全率又就會下降。(二者相互制約)第十一章信息檢索系統(tǒng)評價11-2評價指標:主要性能指標及分析(1)查全率和查準率的相互關系 R與P的關系可由下圖描述：(稱為R-P圖)蘭主要性能指標及分析二、主要性能指標及分析1.查全率和查準率(2 )影響

8、查全率、查準率的相關因素 文獻庫編制質量文獻收集是否齊全，索引體系是否完善，檢索途徑的多少, 都會影響到査全率。 對情報需求的理解要達到較高的查全率R和查準率P，應較好地理解情報需 求，制定好檢索策略。第十一章信息檢索系統(tǒng)評價112評價指標主要性能指標及分析(2) 影響查全率、查準率的相關因素 檢索語言的一致性檢索的實質就是提問標識與文獻標識的異同比較。為此，需要不同人員表達文獻主題的語言一致，更需要標識提問與 標識文獻的語言一致。即，標引語言和檢索語言的一致性，對查全和 查準起著支配祚用。 標引的網(wǎng)羅性對文獻主題分析得越透徹，抽出的檢索詞越多，檢索時可檢岀的相 關文獻就越多，即查全率越高。但

9、檢出的文獻并非全部適用，因而查 準率降低。反之，如果標引時只標出中心主題，檢出的文獻必然比較適用，即 查準率較高。但漏檢會增多，從而降低查全率。11.2評價指標1、主要性能指標及分析(2 )影響查全率、查準率的相關因素 檢索詞的專指性檢索詞選得詞意越狹窄、越具體、越專深，檢出的文獻就會越對口,查準率就越高。但命中文獻就越少，查全率就會降低。相反，如果檢索詞定得較籠統(tǒng)、較寬泛，檢出的文獻就會增多，査 全率會提高。但不相關的文獻也會增多，查準率會降低。 檢索策略和提問構造對檢索詞的選取，需恰當?shù)卮_定網(wǎng)羅度和專指度。當釆用布爾組配時，若使用AND較多，即限制嚴，則R下降，而P 上升；反乙 若使用OR

10、較多，則R上升，而P下降。第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析(2 )影響查全率、查準率的相關因素檢索軟件的功能檢索軟件功能是否完善，結構是否合理，影響到是否會漏檢 和誤施。檢索者的熟練程度檢索人員的專業(yè)知識水平、使用系統(tǒng)的熟練程度，對R和P影 響很大。往往是系統(tǒng)一方的檢索者自擬定檢索式時査準率高, 而檢索用戶編制檢索式時,因不熟悉系統(tǒng)和不善于使用系統(tǒng)， 就容易造成誤檢、漏檢。第十一章信息檢索系統(tǒng)評價112評價指標1主要性能指標及分析1. 查全率和查準率(3) 對查全率和查準率的要求作為一個檢索系統(tǒng)，應同時具備較強的查全能力和査準能力。但并不是每個用戶在任何時候都需要

11、高查全率和高查準率，不 同用戶有不同要求。通常，根據(jù)不同的情報需求，可分為四種要求:a. 要求查全率R= 1如申請專利、發(fā)明或評定某項成果，需要對世界范圍的有關 情報作全面了解，才能作出客觀的評價。此時往往要求R=1 的檢索。第十一章信息檢索系統(tǒng)評價11.2評價指標主要性能指標及分析(3)對查全率和查準率的要求b. 要求較高查全率例如編寫教材、綜述某學科或技術領域的發(fā)展，往往需要較 全面地獲得有關文獻或情報。此時對查全率有較高要求，但不 一定要求R = 1。c. 要求較高查準率例如要了解某種具體產品的有關信息，解決某一具體問題或 查新等，往往只需了解某一方面或某一時期的有關情報。此時 要求查準

12、率較高。1第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析(3)對查全率和查準率的要求d. 對查全率.查準率無具體要求有些情報需求，用戶本身不能作出確切表達。因此，用戶對 查全率和査準率也無法提出具體要求。從上面的討論可以看出，在分析和評價某一檢索的檢索質量 時，不能千篇一律地追求查全率和查準率，而應具體問題具體 分析。衛(wèi)、主要性能指標及分析2. 響應時間(response time)對任何計算機應用系統(tǒng)，響應時間都是一個重要指標。信息檢索的響應時間可分為兩種情形：(1) 委托檢索，表示從用戶送交提問到收到檢索結果所花的時間；(2) 非委托檢索，表示用戶實際的檢索時間。計算響應時

13、間一般都是針對某一個提問而言，不同的提問對應的響應 時間不同。(因提問式長短.復雜程度而不同)有時給出平均響應時間廠。瞰示對第冷提問的響應時間，妙提問個數(shù)第十一章信息檢索系統(tǒng)評價11-2評價指標問題:檢索響應時間與哪些因素有關?第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析2.響應時間通過對檢索響應時間的分析，我們可歸納出影響該指標的 因素：文獻庫規(guī)模規(guī)模越大，檢索時間越長，響應時間值也就越大。機器速度主機運行速度越快，響應時間越短。檢索軟件檢索軟件是關鍵，其性能越好，檢索時間就越短。第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析2.響應時間存儲設備類型和數(shù)據(jù)的

14、存貯結構存儲設備的訪問速度越快，數(shù)據(jù)的存貯結構（外存貯 ）越合理，檢索越容易，響應時間也就越短。提問組配形式檢索式的構造需要有一定的專業(yè)技能和檢索經(jīng)驗，是一個不斷修改和完善的過程。信息中心與檢索者的距離 通信傳輸時間與距離有關。第十一章信息檢索系統(tǒng)評價11-2評價指標二、主要性能指標及分析3. 存貯空間開銷包括系統(tǒng)所占用的內存空間和外存空間。對內存空間，當檢索系統(tǒng)釆用大、中型計算機時，一般不必考 慮；而當系統(tǒng)釆用小型、微型機時，因內存空間有限，就需合 理分配。對外存空間，不同的文檔結構所需存儲空間差別很大。例如, 順排文檔檢索和倒排文檔檢索所需空間不同；而對倒排檢索,系統(tǒng)僅提供布爾檢索功能與提供正文檢索功能相比,所需的空間也大不一樣。第十一章信息檢索系統(tǒng)評價11