國(guó)家科技創(chuàng)新平臺(tái)規(guī)劃課件

信息獲取技術(shù)的評(píng)估

（RetrievalEvaluation）李曉明，北京大學(xué)信息科學(xué)技術(shù)學(xué)院2004年12月2日1信息獲取技術(shù)的評(píng)估

（RetrievalEvaluatio提要引言常用的評(píng)估指標(biāo)評(píng)估的實(shí)踐（評(píng)測(cè)）2提要引言2引言關(guān)于IR領(lǐng)域文本技術(shù)系統(tǒng)用戶（普通，大量）文本語(yǔ)義的豐富性（以及文本集合本身的變化），用戶需求的多樣性，模型的簡(jiǎn)單化系統(tǒng)表現(xiàn)的終極評(píng)判在于它們所針對(duì)的用戶群的評(píng)價(jià)（大量，長(zhǎng)時(shí)間）對(duì)系統(tǒng)的評(píng)估常常是基于對(duì)所包含各項(xiàng)技術(shù)評(píng)估基礎(chǔ)上的無(wú)論是從研究方法還是工程實(shí)踐的角度，我們都需要能夠評(píng)估各個(gè)單項(xiàng)技術(shù)對(duì)系統(tǒng)行為可能的貢獻(xiàn)更進(jìn)一步地，若能將設(shè)計(jì)指標(biāo)和評(píng)價(jià)指標(biāo)結(jié)合起來(lái)則最好3引言關(guān)于IR領(lǐng)域3System=t1+t2+…+tl系統(tǒng)包含若干技術(shù)，t某人發(fā)明了一個(gè)新的t，評(píng)價(jià)它的方式:用它替換系統(tǒng)中的相應(yīng)技術(shù)，看對(duì)總的效果的貢獻(xiàn)單獨(dú)在一個(gè)評(píng)測(cè)環(huán)境中評(píng)價(jià)前者往往代價(jià)較高（時(shí)間，費(fèi)用）例如研究搜索引擎排序算法的不一定有機(jī)會(huì)擺弄真正的，有大規(guī)模用戶的搜索引擎后者可能和真實(shí)系統(tǒng)應(yīng)用有距離能對(duì)這距離有把握也行4System=t1+t2+…+tl系統(tǒng)包含若干技評(píng)估（技術(shù)，系統(tǒng)）用戶關(guān)心（系統(tǒng)的）：F={f1,f2,…,fn}相關(guān)性，新穎性，完整性，速度，…但代價(jià)等原因使完整的評(píng)估比較困難我們要確定（技術(shù)的）：G={g1,g2,…,gm}較小的代價(jià)能完成對(duì)它們的測(cè)試對(duì)它們測(cè)試的結(jié)果和f1,f2,…,fn有很好的對(duì)應(yīng)最好還能有一套設(shè)計(jì)指標(biāo)：P={p1,p2,…,pk}能使我們心里有數(shù)：它們實(shí)現(xiàn)的程度對(duì)g1,g2,…,gm貢獻(xiàn)的關(guān)系（防止“irrelevance”）5評(píng)估（技術(shù)，系統(tǒng)）用戶關(guān)心（系統(tǒng)的）：F={f1,f2,汽車用戶關(guān)心：速度，啟動(dòng)加速度，剎車距離，…發(fā)動(dòng)機(jī)測(cè)試：轉(zhuǎn)速，扭矩，馬力發(fā)動(dòng)機(jī)設(shè)計(jì)：排量，氣缸數(shù)，點(diǎn)火方式，…汽車工業(yè)的實(shí)踐已經(jīng)證明了它們之間對(duì)應(yīng)關(guān)系的有效性（盡管不是100%）6汽車用戶關(guān)心：速度，啟動(dòng)加速度，剎車距離，…6計(jì)算機(jī)用戶關(guān)心：速度性能測(cè)試：SPEC設(shè)計(jì)：主頻，CPI，字長(zhǎng)，Cache大小，…計(jì)算機(jī)工業(yè)的實(shí)踐也基本證明它們的對(duì)應(yīng)關(guān)系是有效的7計(jì)算機(jī)用戶關(guān)心：速度7大學(xué)用戶（社會(huì)）關(guān)心：培養(yǎng)能夠?yàn)槿祟惿鐣?huì)的進(jìn)步充分發(fā)揮潛能的人測(cè)試：政府高級(jí)官員的數(shù)量，大文豪、大科學(xué)家的數(shù)量，…設(shè)計(jì)的具體追求：得獎(jiǎng)數(shù)，發(fā)表論文數(shù)（影響因子），博士學(xué)位獲得者人數(shù)，科研經(jīng)費(fèi)數(shù)，…實(shí)踐證明如何？8大學(xué)用戶（社會(huì)）關(guān)心：培養(yǎng)能夠?yàn)槿祟惿鐣?huì)的進(jìn)步充分發(fā)揮潛能的評(píng)估不斷地對(duì)現(xiàn)有的F,G,P（及其相互關(guān)系）提出疑問(wèn)，提出改進(jìn)，是研究評(píng)估的人們應(yīng)該考慮的基本任務(wù)我們需要了解現(xiàn)在的F,G,P是些什么（如何定義的，如何能得到），但僅此不夠。事物都是在一個(gè)“目的”和“手段”鏈中發(fā)展的，這種鏈接關(guān)系的緊密程度就決定了達(dá)到目的的優(yōu)化程度（效果、效率）9評(píng)估不斷地對(duì)現(xiàn)有的F,G,P（及其相互關(guān)系）提出疑問(wèn)，提信息獲取技術(shù)評(píng)估的“森林”10信息獲取技術(shù)評(píng)估的“森林”10以批判的眼光看Pr,Re,F“Precisionandrecallhavebeenusedextensivelytoevaluatetheretrievalperformanceofretrievalalgorithms.However,amorecarefulreflectionrevealsproblemswiththesetwomeasures.”(page81,ModernInformationRetrieval)11以批判的眼光看Pr,Re,F“Precisionandr先回顧它們的定義和計(jì)算要評(píng)價(jià)技術(shù)T，對(duì)于給定的查詢，q，總體文檔集合D記R：D中和q相關(guān)文檔的集合，|R|：R的大小A：算法T獲取的文檔集合，|A|：A的大小|Ra|：R和A交集的大小12先回顧它們的定義和計(jì)算要評(píng)價(jià)技術(shù)T，對(duì)于給定的查詢，q，總體查準(zhǔn)率和召回率基礎(chǔ)定義圖示CollectionAnswerSet|A|RelevantDocs|R|RelevantDocsinAnswerSet|Ra|13查準(zhǔn)率和召回率基礎(chǔ)定義圖示CollectionAnswer需要考慮的幾個(gè)問(wèn)題定義了，不等于能算了如何算得針對(duì)（Q,D）的Pr,Re？另外，人們認(rèn)為在一定的排序意義上考察Pr,Re更有意義?！皉ankedA”，沿著這個(gè)rank，考察“查準(zhǔn)率（精度）隨召回率變化的情況”符合許多IR系統(tǒng)的實(shí)際情況，通常都會(huì)在結(jié)果集合上定義一個(gè)序14需要考慮的幾個(gè)問(wèn)題定義了，不等于能算了141515平均精度對(duì)recall增加時(shí)對(duì)應(yīng)的精度求平均值和“原始定義”的區(qū)別？這樣的“平均精度”有什么不好？16平均精度對(duì)recall增加時(shí)對(duì)應(yīng)的精度求平均值這樣的“平均精“針對(duì)11點(diǎn)標(biāo)準(zhǔn)召回率的精度”人們建議在一些特殊的點(diǎn)上給出Re和Pr的關(guān)系Re=0%,10%,…,100%，對(duì)應(yīng)的Pr于是就能很方便地講“召回率為20%的時(shí)候精度為X”之類的結(jié)論也還有“3點(diǎn)標(biāo)準(zhǔn)”的說(shuō)法：25%,50%,75%如果D中相關(guān)文檔的個(gè)數(shù)是10的倍數(shù)，且如果算法給出的“RankedA”包含了所有相關(guān)文檔，得到這些點(diǎn)就會(huì)很簡(jiǎn)單；否則要考慮如何插值的問(wèn)題17“針對(duì)11點(diǎn)標(biāo)準(zhǔn)召回率的精度”人們建議在一些特殊的點(diǎn)上給出R“省事的”例子D={d1,…,d1000}，對(duì)查詢q，所有相關(guān)文檔集合（共10個(gè)元素）：Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}查詢的返回結(jié)果序：d123*，d84，d56*，d6，d8，d9*，d511，d5*，d39*，d129，d187，d25*，d38，d44*，d57，d71*，d48，d250，d113，d3*，d200，d144，d11，d89*，d1Ranking:*^*^^*^**^^*^*^*^^^*^^^*^Recall:.1.1.2.2.2.3.3.4.5.5.5.6.6.7.7.8.8.8.8.9.9.9.911Precisio:1.5.67.5.4.5.43.5.55.5.45.5.46.5.46.5.47.5.42.45.43.41.39.42.418“省事的”例子D={d1,…,d1000}，對(duì)查詢q，所有相11standardrecalllevel其實(shí)只有10個(gè)點(diǎn)？？1911standardrecalllevel其實(shí)只有10但實(shí)際上經(jīng)常不是這樣得到的結(jié)果集合不包含所有的相關(guān)元素實(shí)踐上常常只是返回排序較高的若干元素因此不能得到需要的recall值D中相關(guān)元素的個(gè)數(shù)不是10的倍數(shù)于是能直接得到的recall值不一定包含0%,10%,20%,30%,…,100%20但實(shí)際上經(jīng)常不是這樣得到的結(jié)果集合不包含所有的相關(guān)元素20例子所有相關(guān)文檔集合（共10個(gè)元素）：Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}只能得到5個(gè)有效的recall值：10%，20%，30%，40%，50%對(duì)查詢q返回的結(jié)果序:d123*d84d56*d6d8d9*d511d129d187d25*d38d48d250d113d3*21例子所有相關(guān)文檔集合（共10個(gè)元素）：Rq={d3,d2222插值（interpolation）目標(biāo)是在11個(gè)標(biāo)準(zhǔn)召回率上都有精度值可以想出各種“合理的”方法（例如將已知的點(diǎn)連起來(lái)），不同的方法結(jié)果會(huì)不一樣（因此做比較時(shí)要講清楚）P(rj)=maxP(r),rj≤r≤rj+1取在下一個(gè)標(biāo)準(zhǔn)召回率之間的已知召回率對(duì)應(yīng)的最大精度值P(rj)=maxP(r),rj≤r取往后的已知召回率對(duì)應(yīng)的最大的精度值（這得到的是階梯函數(shù)，單調(diào)性。如何考慮返回的結(jié)果不包括所有相關(guān)文檔？23插值（interpolation）目標(biāo)是在11個(gè)標(biāo)準(zhǔn)召回率上我們最終關(guān)心對(duì)Q的總體情況ri取標(biāo)準(zhǔn)召回率，Nq是所考察Q的大小。這樣得到一個(gè)技術(shù)（算法）在（Q，D）上精度的宏觀表現(xiàn)24我們最終關(guān)心對(duì)Q的總體情況ri取標(biāo)準(zhǔn)召回率，Nq是所考察Q的F指數(shù)用一個(gè)量來(lái)表示precision和recall的綜合效果How？人們定義：為什么不是：25F指數(shù)用一個(gè)量來(lái)表示precision和recall的綜合效A(P,R)和H(P,R)并不一致例如：P1=0.1,R1=0.83:A(P1,R1)=0.42,H(P1,R1)=0.197;P2=0.3,R2=0.3:A(P2,R2)=0.3,H(P2,R2)=0.3也就是說(shuō)，A(P1,R1)>A(P2,R2)，但H(P1,R1)<H(P2,R2)（當(dāng)然也可以舉出它們一致的例子）26A(P,R)和H(P,R)并不一致例如：26指標(biāo)定義的傾向在P+R一定的情況下，希望它們接近。換句話說(shuō)，這個(gè)指標(biāo)不掩蓋P,R一個(gè)方面特別的不足27指標(biāo)定義的傾向在P+R一定的情況下，希望它們接近。換句話說(shuō)，召回不足分子小精度不夠分母大28召回不足分子小28基于P,R,F的評(píng)估小結(jié)給定包含一個(gè)新算法的IR系統(tǒng)（測(cè)試），一個(gè)測(cè)試文檔集合D，一個(gè)查詢集合Q={q}一個(gè)事先確定的相關(guān)集合的集合G(Q)我們確定這個(gè)算法的P-R圖和F值29基于P,R,F的評(píng)估小結(jié)給定29流程對(duì)于Q的每一個(gè)元素q：得到一個(gè)有序結(jié)果集s(q)=<d1,d2,…dq>與G(q)對(duì)比，依序計(jì)算s(q)中元素的r[i]和p[i]，i=1,2,…,q選擇一種合適的插值方式，得到p[i]在r=0,.1,.2,.3,.4,.5,.6,.7,.8,.9,1處的插值如果r[q]<>1，則令它其后的標(biāo)準(zhǔn)點(diǎn)上的p=0對(duì)Q的所有元素，在標(biāo)準(zhǔn)召回點(diǎn)上求p的平均值給出平均值的統(tǒng)計(jì)表和P-R圖30流程對(duì)于Q的每一個(gè)元素q：303131還要算F:得出一個(gè)數(shù)對(duì)每一個(gè)查詢q，得到標(biāo)準(zhǔn)召回點(diǎn)上的F，即Fq(i)=2*p[i]*r(i)/(p(i)+r(i)),i=0,.1,.2,.3,.4,.5,.6,.7,.8,.9,1在查詢內(nèi)求平均（micro-average）Fq=∑Fq(i),i=0,.1,.2,…,.9,1進(jìn)一步在查詢間求平均（macro-average）F=∑Fq,q∈Q32還要算F:得出一個(gè)數(shù)對(duì)每一個(gè)查詢q，32困難與不適有可能D和Q太大，得出G(Q)代價(jià)太高“相關(guān)”的含義因人而異如此定義的P,R,F適于“批處理”評(píng)估，沒(méi)有體現(xiàn)交互式信息檢索過(guò)程（現(xiàn)代IR系統(tǒng)的典型特征）如此定義的P,R,F依賴于返回結(jié)果的線性序，但有些系統(tǒng)不一定有這樣的序什么是評(píng)估搜索引擎排序算法最好的方法（如果你沒(méi)有搜索引擎的話）？33困難與不適有可能D和Q太大，得出G(Q)代價(jià)太高333434演講完畢，謝謝觀看！演講完畢，謝謝觀看！信息獲取技術(shù)的評(píng)估

（RetrievalEvaluation）李曉明，北京大學(xué)信息科學(xué)技術(shù)學(xué)院2004年12月2日36信息獲取技術(shù)的評(píng)估

（RetrievalEvaluatio提要引言常用的評(píng)估指標(biāo)評(píng)估的實(shí)踐（評(píng)測(cè)）37提要引言2引言關(guān)于IR領(lǐng)域文本技術(shù)系統(tǒng)用戶（普通，大量）文本語(yǔ)義的豐富性（以及文本集合本身的變化），用戶需求的多樣性，模型的簡(jiǎn)單化系統(tǒng)表現(xiàn)的終極評(píng)判在于它們所針對(duì)的用戶群的評(píng)價(jià)（大量，長(zhǎng)時(shí)間）對(duì)系統(tǒng)的評(píng)估常常是基于對(duì)所包含各項(xiàng)技術(shù)評(píng)估基礎(chǔ)上的無(wú)論是從研究方法還是工程實(shí)踐的角度，我們都需要能夠評(píng)估各個(gè)單項(xiàng)技術(shù)對(duì)系統(tǒng)行為可能的貢獻(xiàn)更進(jìn)一步地，若能將設(shè)計(jì)指標(biāo)和評(píng)價(jià)指標(biāo)結(jié)合起來(lái)則最好38引言關(guān)于IR領(lǐng)域3System=t1+t2+…+tl系統(tǒng)包含若干技術(shù)，t某人發(fā)明了一個(gè)新的t，評(píng)價(jià)它的方式:用它替換系統(tǒng)中的相應(yīng)技術(shù)，看對(duì)總的效果的貢獻(xiàn)單獨(dú)在一個(gè)評(píng)測(cè)環(huán)境中評(píng)價(jià)前者往往代價(jià)較高（時(shí)間，費(fèi)用）例如研究搜索引擎排序算法的不一定有機(jī)會(huì)擺弄真正的，有大規(guī)模用戶的搜索引擎后者可能和真實(shí)系統(tǒng)應(yīng)用有距離能對(duì)這距離有把握也行39System=t1+t2+…+tl系統(tǒng)包含若干技評(píng)估（技術(shù)，系統(tǒng)）用戶關(guān)心（系統(tǒng)的）：F={f1,f2,…,fn}相關(guān)性，新穎性，完整性，速度，…但代價(jià)等原因使完整的評(píng)估比較困難我們要確定（技術(shù)的）：G={g1,g2,…,gm}較小的代價(jià)能完成對(duì)它們的測(cè)試對(duì)它們測(cè)試的結(jié)果和f1,f2,…,fn有很好的對(duì)應(yīng)最好還能有一套設(shè)計(jì)指標(biāo)：P={p1,p2,…,pk}能使我們心里有數(shù)：它們實(shí)現(xiàn)的程度對(duì)g1,g2,…,gm貢獻(xiàn)的關(guān)系（防止“irrelevance”）40評(píng)估（技術(shù)，系統(tǒng)）用戶關(guān)心（系統(tǒng)的）：F={f1,f2,汽車用戶關(guān)心：速度，啟動(dòng)加速度，剎車距離，…發(fā)動(dòng)機(jī)測(cè)試：轉(zhuǎn)速，扭矩，馬力發(fā)動(dòng)機(jī)設(shè)計(jì)：排量，氣缸數(shù)，點(diǎn)火方式，…汽車工業(yè)的實(shí)踐已經(jīng)證明了它們之間對(duì)應(yīng)關(guān)系的有效性（盡管不是100%）41汽車用戶關(guān)心：速度，啟動(dòng)加速度，剎車距離，…6計(jì)算機(jī)用戶關(guān)心：速度性能測(cè)試：SPEC設(shè)計(jì)：主頻，CPI，字長(zhǎng)，Cache大小，…計(jì)算機(jī)工業(yè)的實(shí)踐也基本證明它們的對(duì)應(yīng)關(guān)系是有效的42計(jì)算機(jī)用戶關(guān)心：速度7大學(xué)用戶（社會(huì)）關(guān)心：培養(yǎng)能夠?yàn)槿祟惿鐣?huì)的進(jìn)步充分發(fā)揮潛能的人測(cè)試：政府高級(jí)官員的數(shù)量，大文豪、大科學(xué)家的數(shù)量，…設(shè)計(jì)的具體追求：得獎(jiǎng)數(shù)，發(fā)表論文數(shù)（影響因子），博士學(xué)位獲得者人數(shù)，科研經(jīng)費(fèi)數(shù)，…實(shí)踐證明如何？43大學(xué)用戶（社會(huì)）關(guān)心：培養(yǎng)能夠?yàn)槿祟惿鐣?huì)的進(jìn)步充分發(fā)揮潛能的評(píng)估不斷地對(duì)現(xiàn)有的F,G,P（及其相互關(guān)系）提出疑問(wèn)，提出改進(jìn)，是研究評(píng)估的人們應(yīng)該考慮的基本任務(wù)我們需要了解現(xiàn)在的F,G,P是些什么（如何定義的，如何能得到），但僅此不夠。事物都是在一個(gè)“目的”和“手段”鏈中發(fā)展的，這種鏈接關(guān)系的緊密程度就決定了達(dá)到目的的優(yōu)化程度（效果、效率）44評(píng)估不斷地對(duì)現(xiàn)有的F,G,P（及其相互關(guān)系）提出疑問(wèn)，提信息獲取技術(shù)評(píng)估的“森林”45信息獲取技術(shù)評(píng)估的“森林”10以批判的眼光看Pr,Re,F“Precisionandrecallhavebeenusedextensivelytoevaluatetheretrievalperformanceofretrievalalgorithms.However,amorecarefulreflectionrevealsproblemswiththesetwomeasures.”(page81,ModernInformationRetrieval)46以批判的眼光看Pr,Re,F“Precisionandr先回顧它們的定義和計(jì)算要評(píng)價(jià)技術(shù)T，對(duì)于給定的查詢，q，總體文檔集合D記R：D中和q相關(guān)文檔的集合，|R|：R的大小A：算法T獲取的文檔集合，|A|：A的大小|Ra|：R和A交集的大小47先回顧它們的定義和計(jì)算要評(píng)價(jià)技術(shù)T，對(duì)于給定的查詢，q，總體查準(zhǔn)率和召回率基礎(chǔ)定義圖示CollectionAnswerSet|A|RelevantDocs|R|RelevantDocsinAnswerSet|Ra|48查準(zhǔn)率和召回率基礎(chǔ)定義圖示CollectionAnswer需要考慮的幾個(gè)問(wèn)題定義了，不等于能算了如何算得針對(duì)（Q,D）的Pr,Re？另外，人們認(rèn)為在一定的排序意義上考察Pr,Re更有意義?！皉ankedA”，沿著這個(gè)rank，考察“查準(zhǔn)率（精度）隨召回率變化的情況”符合許多IR系統(tǒng)的實(shí)際情況，通常都會(huì)在結(jié)果集合上定義一個(gè)序49需要考慮的幾個(gè)問(wèn)題定義了，不等于能算了145015平均精度對(duì)recall增加時(shí)對(duì)應(yīng)的精度求平均值和“原始定義”的區(qū)別？這樣的“平均精度”有什么不好？51平均精度對(duì)recall增加時(shí)對(duì)應(yīng)的精度求平均值這樣的“平均精“針對(duì)11點(diǎn)標(biāo)準(zhǔn)召回率的精度”人們建議在一些特殊的點(diǎn)上給出Re和Pr的關(guān)系Re=0%,10%,…,100%，對(duì)應(yīng)的Pr于是就能很方便地講“召回率為20%的時(shí)候精度為X”之類的結(jié)論也還有“3點(diǎn)標(biāo)準(zhǔn)”的說(shuō)法：25%,50%,75%如果D中相關(guān)文檔的個(gè)數(shù)是10的倍數(shù)，且如果算法給出的“RankedA”包含了所有相關(guān)文檔，得到這些點(diǎn)就會(huì)很簡(jiǎn)單；否則要考慮如何插值的問(wèn)題52“針對(duì)11點(diǎn)標(biāo)準(zhǔn)召回率的精度”人們建議在一些特殊的點(diǎn)上給出R“省事的”例子D={d1,…,d1000}，對(duì)查詢q，所有相關(guān)文檔集合（共10個(gè)元素）：Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}查詢的返回結(jié)果序：d123*，d84，d56*，d6，d8，d9*，d511，d5*，d39*，d129，d187，d25*，d38，d44*，d57，d71*，d48，d250，d113，d3*，d200，d144，d11，d89*，d1Ranking:*^*^^*^**^^*^*^*^^^*^^^*^Recall:.1.1.2.2.2.3.3.4.5.5.5.6.6.7.7.8.8.8.8.9.9.9.911Precisio:1.5.67.5.4.5.43.5.55.5.45.5.46.5.46.5.47.5.42.45.43.41.39.42.453“省事的”例子D={d1,…,d1000}，對(duì)查詢q，所有相11standardrecalllevel其實(shí)只有10個(gè)點(diǎn)？？5411standardrecalllevel其實(shí)只有10但實(shí)際上經(jīng)常不是這樣得到的結(jié)果集合不包含所有的相關(guān)元素實(shí)踐上常常只是返回排序較高的若干元素因此不能得到需要的recall值D中相關(guān)元素的個(gè)數(shù)不是10的倍數(shù)于是能直接得到的recall值不一定包含0%,10%,20%,30%,…,100%55但實(shí)際上經(jīng)常不是這樣得到的結(jié)果集合不包含所有的相關(guān)元素20例子所有相關(guān)文檔集合（共10個(gè)元素）：Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}只能得到5個(gè)有效的recall值：10%，20%，30%，40%，50%對(duì)查詢q返回的結(jié)果序:d123*d84d56*d6d8d9*d511d129d187d25*d38d48d250d113d3*56例子所有相關(guān)文檔集合（共10個(gè)元素）：Rq={d3,d5722插值（interpolation）目標(biāo)是在11個(gè)標(biāo)準(zhǔn)召回率上都有精度值可以想出各種“合理的”方法（例如將已知的點(diǎn)連起來(lái)），不同的方法結(jié)果會(huì)不一樣（因此做比較時(shí)要講清楚）P(rj)=maxP(r),rj≤r≤rj+1取在下一個(gè)標(biāo)準(zhǔn)召回率之間的已知召回率對(duì)應(yīng)的最大精度值P(rj)=maxP(r),rj≤r取往后的已知召回率對(duì)應(yīng)的最大的精度值（這得到的是階梯函數(shù)，單調(diào)性。如何考慮返回的結(jié)果不包括所有相關(guān)文檔？58插值（interpolation）目標(biāo)是在11個(gè)標(biāo)準(zhǔn)召回率上我們最終關(guān)心對(duì)Q的總體情況ri取標(biāo)準(zhǔn)召回率，Nq是所考察Q的大小。這樣得到一個(gè)技術(shù)（算法）在（Q，D）上精度的宏觀表現(xiàn)59我們最終關(guān)心對(duì)Q的總體情況ri取標(biāo)準(zhǔn)召回率，Nq是所考察Q的F指數(shù)用一個(gè)量來(lái)表示precision和recall的綜合效果How？人們定義：為什么不是：60F指數(shù)用一個(gè)量來(lái)表示precision和recall的綜合效A(P,R)和H(P,R)并不一致例如：P1=0.1,R1=0.83:A(P1,R1)=0.42,H(P1,R1)=0.197;P2=0.3,R2=0.3:A(P2,