信息檢索系統(tǒng)的評價

1、n提 問 1 1 試解釋試解釋信息檢索系統(tǒng)的內(nèi)涵。信息檢索系統(tǒng)的內(nèi)涵。 2 2 什么是什么是”評價評價”？第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.1 評價研究概述評價研究概述一、一、意義意義n評價評價（Evaluation）：發(fā)現(xiàn)和收集關(guān)于某種活動的數(shù)據(jù)，發(fā)現(xiàn)和收集關(guān)于某種活動的數(shù)據(jù)，從中判斷該項活動的質(zhì)量及達到預期目標程度的行為從中判斷該項活動的質(zhì)量及達到預期目標程度的行為。 簡單地說，評價就是對系統(tǒng)的價值和效率進行測評。簡單地說，評價就是對系統(tǒng)的價值和效率進行測評。n信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價：根據(jù)給定的根據(jù)給定的指標體系，采用一定的，采用一定的方法和程序，對信息檢

2、索系統(tǒng)的，對信息檢索系統(tǒng)的功能、特性和和運營狀況進行進行評測評測，或?qū)τ嘘P(guān)假設、預期效益、性能值進行，或?qū)τ嘘P(guān)假設、預期效益、性能值進行驗證驗證，以確，以確定系統(tǒng)達到了何種水平、投入成本是否值得、是否可以改定系統(tǒng)達到了何種水平、投入成本是否值得、是否可以改進和如何進和如何改進，乃至系統(tǒng)是否應生存下去。，乃至系統(tǒng)是否應生存下去。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.1 評價研究概述評價研究概述一、一、意義意義 信息檢索系統(tǒng)的評價研究，一直是信息檢索領(lǐng)域的一項重要研究內(nèi)容。多年來人們進行了大量的評價試驗和多角度。多年來人們進行了大量的評價試驗和多角度的探索。的探索。 原因在于，

3、檢索系統(tǒng)評價工作在為研究者驗證檢索系統(tǒng)原因在于，檢索系統(tǒng)評價工作在為研究者驗證檢索系統(tǒng)效益、比較各種檢索技術(shù)的優(yōu)劣、改進現(xiàn)有檢索系統(tǒng)、開發(fā)效益、比較各種檢索技術(shù)的優(yōu)劣、改進現(xiàn)有檢索系統(tǒng)、開發(fā)新的應用領(lǐng)域等方面，都具有不可替代的作用。新的應用領(lǐng)域等方面，都具有不可替代的作用。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.1 評價研究概述評價研究概述一、意義一、意義主要意義：n了解已有檢索系統(tǒng)的功能，找出缺陷并改進；了解已有檢索系統(tǒng)的功能，找出缺陷并改進；n比較各種檢索系統(tǒng)的優(yōu)劣；比較各種檢索系統(tǒng)的優(yōu)劣；n提高提高效率和效益；提高提高效率和效益；n有助于新的檢索系統(tǒng)的設計；有助于新的檢

4、索系統(tǒng)的設計；n豐富信息檢索的理論。豐富信息檢索的理論。 第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.1 評價研究概述評價研究概述二、評價范圍與類型二、評價范圍與類型 信息檢索系統(tǒng)是一個有眾多功能模塊組成的集合體。信息檢索系統(tǒng)是一個有眾多功能模塊組成的集合體。 評價可以從不同角度、基于不同目的和方法來進行。評價可以從不同角度、基于不同目的和方法來進行。 評價范圍評價范圍：各種類型的檢索系統(tǒng)及組成要素。：各種類型的檢索系統(tǒng)及組成要素。 評價評價類型類型： 宏觀評價宏觀評價：著眼于檢索系統(tǒng)的宏觀方面，如情報源類型、系統(tǒng)：著眼于檢索系統(tǒng)的宏觀方面，如情報源類型、系統(tǒng)結(jié)構(gòu)、收錄范圍、利用

5、率等。結(jié)構(gòu)、收錄范圍、利用率等。 個別評價個別評價：僅對系統(tǒng)的某一性能、功能進行評價。：僅對系統(tǒng)的某一性能、功能進行評價。 性能評價性能評價(performance evaluation)：面向用戶的評價，測定檢：面向用戶的評價，測定檢索系統(tǒng)的質(zhì)量或服務效果。也稱為檢索效果評價索系統(tǒng)的質(zhì)量或服務效果。也稱為檢索效果評價(effectiveness evaluation)。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.1 評價研究概述評價研究概述二、評價范圍與類型二、評價范圍與類型評價評價類型類型： 效益評價效益評價（benefits evaluation）：測定系統(tǒng)或用戶獲得的的經(jīng)

6、測定系統(tǒng)或用戶獲得的的經(jīng)濟效益和社會效益濟效益和社會效益。 ( (有直接的、潛在的；難以直接計量有直接的、潛在的；難以直接計量) ) 費用費用/ /效果評價效果評價（cost effectiveness evaluation）：考察系統(tǒng)考察系統(tǒng)達到的性能與費用消耗之間的關(guān)系達到的性能與費用消耗之間的關(guān)系。（用戶、系統(tǒng)兩方面）。（用戶、系統(tǒng)兩方面） 費用費用/ /效益評價效益評價（cost benefits evaluation）：考察系統(tǒng)的服務考察系統(tǒng)的服務效益與費用消耗間的關(guān)系效益與費用消耗間的關(guān)系。（計量難度較大）。（計量難度較大） ( (詳見詳見P207P207的解釋的解釋) )第十一章

7、第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標 一、評價指標體系一、評價指標體系 要評價一個檢索系統(tǒng)，必須有一套科學的評價標準。要評價一個檢索系統(tǒng)，必須有一套科學的評價標準。 建立檢索系統(tǒng)評價指標體系應遵循的原則：建立檢索系統(tǒng)評價指標體系應遵循的原則：n各指標應定義單一、明確，具有可操作性。各指標應定義單一、明確，具有可操作性。n評價指標最好能夠量化或計量。評價指標最好能夠量化或計量。n指標要完善、細致、全面。指標要完善、細致、全面。 下面給出傳統(tǒng)檢索系統(tǒng)評價指標體系模型：（下面給出傳統(tǒng)檢索系統(tǒng)評價指標體系模型：（供參考供參考）第十一章第十一章 信息檢索系統(tǒng)評價信息檢索

8、系統(tǒng)評價 11.2 評價指標評價指標綜合指標體系學習費用實驗費用收錄范圍使用方便性檢索結(jié)果形式查全率新穎性可存取性查準率存貯空間開銷研制費用運行費用靈活性檢索性能用戶費用數(shù)據(jù)質(zhì)量響應時間系統(tǒng)費用可靠性 逐一評價這些指標，可以判定檢索系統(tǒng)的優(yōu)劣。逐一評價這些指標，可以判定檢索系統(tǒng)的優(yōu)劣。 其中，比較重要的其中，比較重要的是檢索性能指標。是檢索性能指標。11.2 評價指標評價指標問 題:n什么是查全率、查準率什么是查全率、查準率? ?第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析1查全率和查準率查全率和查準率n查全率查全率

9、(Recall ratio，R)：衡量一次檢索中與提問相關(guān)的：衡量一次檢索中與提問相關(guān)的文獻有多少篇被檢出。文獻有多少篇被檢出。（衡量檢出相關(guān)文獻的能力衡量檢出相關(guān)文獻的能力） 量數(shù)據(jù)庫中的相關(guān)文獻總檢出的相關(guān)文獻量R第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析1查全率和查準率查全率和查準率n查準率查準率(Precision ratio，P)：衡量被檢出的文獻中有多少：衡量被檢出的文獻中有多少篇與提問相關(guān)。篇與提問相關(guān)。 （衡量檢索的精確度衡量檢索的精確度）檢出文獻總量檢出的相關(guān)文獻量P第十一章第十一章 信息檢索系統(tǒng)

10、評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析 例： 設某檢索系統(tǒng)的數(shù)據(jù)庫中共有相關(guān)文獻設某檢索系統(tǒng)的數(shù)據(jù)庫中共有相關(guān)文獻20篇。針對某篇。針對某一個提問，檢出文獻總數(shù)為一個提問，檢出文獻總數(shù)為30篇，其中相關(guān)文獻數(shù)為篇，其中相關(guān)文獻數(shù)為15篇。求查全率篇。求查全率R、查準率、查準率P。%752015R%503015P第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析 為便于分析，我們給出數(shù)學語言描述：設某文獻庫所存儲的文獻總為便于分析，我們給出數(shù)學語言描述：設某文獻庫所存儲的

11、文獻總量為量為L。對某一給定提問，。對某一給定提問， a表示被檢出的與提問相關(guān)的文獻數(shù)；（表示被檢出的與提問相關(guān)的文獻數(shù)；（前例前例 a=15） b表示被檢出的與提問無關(guān)的文獻數(shù)；（誤檢，表示被檢出的與提問無關(guān)的文獻數(shù)；（誤檢，前例前例 b=15） c表示與提問相關(guān)，但未被檢出的文獻數(shù)（漏檢，表示與提問相關(guān)，但未被檢出的文獻數(shù)（漏檢，前例前例 c=5）caaR查全率baap查準率babE誤檢率cacQ漏檢率顯然，顯然，p第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析1查全率和查準率查全率和查準率 下面討論與查全率、查準

12、率有關(guān)的幾個問題。下面討論與查全率、查準率有關(guān)的幾個問題。（）查全率和查準率的相互關(guān)系（）查全率和查準率的相互關(guān)系n一個理想的檢索系統(tǒng)，應是、。一個理想的檢索系統(tǒng)，應是、。 但實際上是不可能的。但實際上是不可能的。n一般說來，二者之間存在著一般說來，二者之間存在著反變關(guān)系反變關(guān)系，即：，即： 若要提高查全率，查準率往往就會下降；若要提高查全率，查準率往往就會下降； 若要提高查準率，查全率又就會下降。若要提高查準率，查全率又就會下降。 （二者相互制約）（二者相互制約）第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析（）查全

13、率和查準率的相互關(guān)系（）查全率和查準率的相互關(guān)系n與的關(guān)系可由下圖描述：（與的關(guān)系可由下圖描述：（稱為稱為圖圖）第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析1查全率和查準率查全率和查準率（）影響查全率、查準率的相關(guān)因素（）影響查全率、查準率的相關(guān)因素 文獻庫編制質(zhì)量文獻庫編制質(zhì)量 文獻收集是否齊全，索引體系是否完善，檢索途徑的多少，文獻收集是否齊全，索引體系是否完善，檢索途徑的多少，都會影響到查全率。都會影響到查全率。 對情報需求的理解對情報需求的理解 要達到較高的查全率和要達到較高的查全率和查準率查準率，應較好地理

14、解情報需，應較好地理解情報需求，制定好檢索策略。求，制定好檢索策略。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析（）影響查全率、查準率的相關(guān)因素（）影響查全率、查準率的相關(guān)因素 檢索語言的一致性檢索語言的一致性 檢索的實質(zhì)就是提問標識與文獻標識的異同比較。檢索的實質(zhì)就是提問標識與文獻標識的異同比較。 為此，需要不同人員表達文獻主題的語言一致，更需要標識提問與為此，需要不同人員表達文獻主題的語言一致，更需要標識提問與標識文獻的語言一致。標識文獻的語言一致。即，標引語言和檢索語言的一致性，對查全和即，標引語言和檢索語言的

15、一致性，對查全和查準起著支配作用。查準起著支配作用。 標引的網(wǎng)羅性標引的網(wǎng)羅性 對文獻主題分析得越透徹，抽出的檢索詞越多，檢索時可檢出的相對文獻主題分析得越透徹，抽出的檢索詞越多，檢索時可檢出的相關(guān)文獻就越多，即查全率越高。但檢出的文獻并非全部適用，因而查關(guān)文獻就越多，即查全率越高。但檢出的文獻并非全部適用，因而查準率降低。準率降低。 反之，如果標引時只標出中心主題，檢出的文獻必然比較適用，即反之，如果標引時只標出中心主題，檢出的文獻必然比較適用，即查準率較高。但漏檢會增多，從而降低查全率。查準率較高。但漏檢會增多，從而降低查全率。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2

16、評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析（）影響查全率、查準率的相關(guān)因素（）影響查全率、查準率的相關(guān)因素 檢索詞的專指性檢索詞的專指性 檢索詞選得詞意越狹窄、越具體、越專深，檢出的文獻就會越對口，檢索詞選得詞意越狹窄、越具體、越專深，檢出的文獻就會越對口，查準率就越高。但命中文獻就越少，查全率就會降低。查準率就越高。但命中文獻就越少，查全率就會降低。 相反，如果檢索詞定得較籠統(tǒng)、較寬泛，檢出的文獻就會增多，查相反，如果檢索詞定得較籠統(tǒng)、較寬泛，檢出的文獻就會增多，查全率會提高。但不相關(guān)的文獻也會增多，查準率會降低。全率會提高。但不相關(guān)的文獻也會增多，查準率會降低。 檢索策略

17、和提問構(gòu)造檢索策略和提問構(gòu)造 對檢索詞的選取，需恰當?shù)卮_定網(wǎng)羅度和專指度。對檢索詞的選取，需恰當?shù)卮_定網(wǎng)羅度和專指度。 當采用布爾組配時，若使用當采用布爾組配時，若使用AND較多，即限制嚴，則下降，而較多，即限制嚴，則下降，而上升；反之，若使用上升；反之，若使用OR較多，則上升，而下降。較多，則上升，而下降。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析（）影響查全率、查準率的相關(guān)因素（）影響查全率、查準率的相關(guān)因素 檢索軟件的功能檢索軟件的功能 檢索軟件功能是否完善，結(jié)構(gòu)是否合理，影響到是否會漏檢檢索軟件功能是否完善

18、，結(jié)構(gòu)是否合理，影響到是否會漏檢和誤檢。和誤檢。 檢索者的熟練程度檢索者的熟練程度 檢索人員的專業(yè)知識水平、使用系統(tǒng)的熟練程度，對檢索人員的專業(yè)知識水平、使用系統(tǒng)的熟練程度，對R和和P影影響很大。往往是響很大。往往是系統(tǒng)一方的檢索者系統(tǒng)一方的檢索者自擬定檢索式時查準率高，自擬定檢索式時查準率高，而而檢索用戶檢索用戶編制檢索式時，因不熟悉系統(tǒng)和不善于使用系統(tǒng)，編制檢索式時，因不熟悉系統(tǒng)和不善于使用系統(tǒng)，就容易造成誤檢、漏檢。就容易造成誤檢、漏檢。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析 1查全率和查準率查全率和查準

19、率（）對查全率和查準率的要求（）對查全率和查準率的要求 作為一個檢索系統(tǒng)，應同時具備較強的查全能力和查準能力。作為一個檢索系統(tǒng)，應同時具備較強的查全能力和查準能力。但并不是每個用戶在任何時候都需要高查全率和高查準率，不但并不是每個用戶在任何時候都需要高查全率和高查準率，不同用戶有不同要求。同用戶有不同要求。 通常，根據(jù)不同的情報需求，可分為四種要求：通常，根據(jù)不同的情報需求，可分為四種要求： a要求查全率要求查全率= 如申請專利、發(fā)明或評定某項成果，需要對世界范圍的有關(guān)如申請專利、發(fā)明或評定某項成果，需要對世界范圍的有關(guān)情報作全面了解，才能作出客觀的評價。此時往往要求情報作全面了解，才能作出客

20、觀的評價。此時往往要求=的檢索。的檢索。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析（）對查全率和查準率的要求（）對查全率和查準率的要求 b b要求較高查全率要求較高查全率 例如編寫教材、綜述某學科或技術(shù)領(lǐng)域的發(fā)展，往往需要較例如編寫教材、綜述某學科或技術(shù)領(lǐng)域的發(fā)展，往往需要較全面地獲得有關(guān)文獻或情報。此時對查全率有較高要求，但不全面地獲得有關(guān)文獻或情報。此時對查全率有較高要求，但不一定要求一定要求。 c c要求較高查準率要求較高查準率 例如要了解某種具體產(chǎn)品的有關(guān)信息，解決某一具體問題或例如要了解某種具體產(chǎn)品的有關(guān)

21、信息，解決某一具體問題或查新等，往往只需了解某一方面或某一時期的有關(guān)情報。此時查新等，往往只需了解某一方面或某一時期的有關(guān)情報。此時要求查準率較高要求查準率較高。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析（）對查全率和查準率的要求（）對查全率和查準率的要求 d d對查全率、查準率無具體要求對查全率、查準率無具體要求 有些情報需求，用戶本身不能作出確切表達。因此，用戶對有些情報需求，用戶本身不能作出確切表達。因此，用戶對查全率和查準率也無法提出具體要求。查全率和查準率也無法提出具體要求。 從上面的討論可以看出，從上面

22、的討論可以看出，在分析和評價某一檢索的檢索質(zhì)量在分析和評價某一檢索的檢索質(zhì)量時，不能千篇一律地追求查全率和查準率，而應具體問題具體時，不能千篇一律地追求查全率和查準率，而應具體問題具體分析。分析。二、主要性能指標及分析二、主要性能指標及分析2響應時間（響應時間（response time） 對任何計算機應用系統(tǒng)，響應時間都是一個重要指標。對任何計算機應用系統(tǒng)，響應時間都是一個重要指標。 信息檢索的響應時間可分為兩種情形：信息檢索的響應時間可分為兩種情形： （1）委托檢索委托檢索，表示從用戶送交提問到收到檢索結(jié)果所花的時間；，表示從用戶送交提問到收到檢索結(jié)果所花的時間； （2）非委托檢索非委托檢

23、索，表示用戶實際的檢索時間。，表示用戶實際的檢索時間。n計算響應時間一般都是針對某一個提問而言，不同的提問對應的響應計算響應時間一般都是針對某一個提問而言，不同的提問對應的響應時間不同。（時間不同。（因提問式長短、復雜程度而不同因提問式長短、復雜程度而不同） 有時給出平均響應時間有時給出平均響應時間T。ti表示對第表示對第i個提問的響應時間，個提問的響應時間，k為提問個數(shù)為提問個數(shù)kitikT11第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.2 評價指標評價指標問 題:n檢索響應時間與哪些因素有關(guān)檢索響應時間與哪些因素有關(guān)? ?第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 1

24、1.2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析 2響應時間響應時間 通過對檢索響應時間的分析，我們可歸納出影響該指標的通過對檢索響應時間的分析，我們可歸納出影響該指標的因素：因素： (1)(1)文獻庫規(guī)模文獻庫規(guī)模 規(guī)模越大，檢索時間越長，響應時間值也就越大。規(guī)模越大，檢索時間越長，響應時間值也就越大。 (2)(2)機器速度機器速度 主機運行速度越快，響應時間越短。主機運行速度越快，響應時間越短。 (3)(3)檢索軟件檢索軟件 檢索軟件是關(guān)鍵，其性能越好，檢索時間就越短。檢索軟件是關(guān)鍵，其性能越好，檢索時間就越短。第十一章第十一章 信息檢索系統(tǒng)評價信息檢索系統(tǒng)評價 11.

25、2 評價指標評價指標二、主要性能指標及分析二、主要性能指標及分析2響應時間響應時間(4)(4)存儲設備類型和數(shù)據(jù)的存貯結(jié)構(gòu)存儲設備類型和數(shù)據(jù)的存貯結(jié)構(gòu) 存儲設備的訪問速度越快，數(shù)據(jù)的存貯結(jié)構(gòu)（外存貯）存儲設備的訪問速度越快，數(shù)據(jù)的存貯結(jié)構(gòu)（外存貯）越合理，檢索越容易，響應時間也就越短。越合理，檢索越容易，響應時間也就越短。(5)(5)提問組配形式提問組配形式 檢索式的檢索式的構(gòu)造需要有一定的專業(yè)技能和檢索經(jīng)驗，是一需要有一定的專業(yè)技能和檢索經(jīng)驗，是一個不斷修改和完善的過程。個不斷修改和完善的過程。(6)(6)信息中心與檢索者的距離信息中心與檢索者的距離 通信傳輸時間與距離有關(guān)。通信傳輸時間與距離有關(guān)。第十一章第十一章 信息檢索系統(tǒng)評