solr7月14日周末沙龍

1、Solr Community of Chinalucene評(píng)分機(jī)制分析風(fēng)雨 CopyrightSolr Community of China議題一.（預(yù)備知識(shí)）二.相似度算法介紹VSM 介紹三.VSM對(duì)應(yīng)lucene的打分公式推導(dǎo)四. Lucene評(píng)分公式的細(xì)化介紹五. 改變?cè)u(píng)分的一般策略六. 拍磚答疑時(shí)間預(yù)估時(shí)間：1小時(shí)Solr Community of China一.（預(yù)備知識(shí)）|產(chǎn)|產(chǎn)1.2.3.4.5.6.分詞:Token:倒排表最小Term:query的最小,即分詞中 詞,tilte:Tf:一個(gè)term在一個(gè)文檔中出現(xiàn)的次數(shù) Idf:一個(gè)term在多少個(gè)文檔中出現(xiàn)過向量運(yùn)算:Solr

2、 Community of China二.常見相似度算法介紹VSMSolr Community of China三.VSM對(duì)應(yīng)lucene的打分公式推導(dǎo)設(shè)：查詢向量為Vq = 文檔向量為Vd = W=tf*idf則:Vq*Vd = w(t1, q)*w(t1, d) + w(t2, q)*w(t2, d) + + w(tn ,q)*w(tn, d)=tf(t1, q)*idf(t1, q)*tf(t1, d)*idf(t1, d) + + tf(tn,q)*idf(tn, q)*tf(tn, d)*idf(tn, d)Tf(t,q)=1, idf(t,q)約等于idf(t,d)Solr Com

3、munity of China三.VSM對(duì)應(yīng)lucene的打分公式推導(dǎo)Lucene采用的Similarity，認(rèn)為在計(jì)算文檔的向量長(zhǎng)度的時(shí)候，每個(gè)Term的權(quán)重就丌再考慮在內(nèi)了，而是全部為一(如果按權(quán)重考慮會(huì)有問題)查詢語句中tf都為1，idf查詢語句這篇小文檔 即idf(t,q) = idf(t,d)，得到如下公式Solr Community of China三.VSM對(duì)應(yīng)lucene的打分公式推導(dǎo)代入余弦公式：加上lucene自己的各種boost和coordSolr Community of China四. Lucene評(píng)分公式的細(xì)化介紹1協(xié)調(diào)因子 coord(q,d)coord(q,d)

4、 = overlap/ maxOverlapoverlap(命中查詢個(gè)數(shù))maxOverlap(總查詢個(gè)數(shù))搜索語句為:名稱:”作者：|作者:”doc1:doc2:名稱：名稱:coord(q,d) = 1/2編委 coord(q,d) 2/2 (高)作者：Solr Community of China四. Lucene評(píng)分公式的細(xì)化介紹2. 查詢規(guī)范因子 queryNorm(q) （對(duì)排序無任何影響）queryNorm(q) = 1/(q.getBoost()2( idf(t)t.getBoost() )2)q.getBoost() 查詢語句總權(quán)重(query上設(shè)置的boost)t.getBo

5、ost() 子查詢權(quán)重（tilte：desc:)Solr Community of China3.文檔詞頻因子 tf(t in d)tf(t in d) = Math.sqrt(freq)例如 搜索名稱：名稱：名稱：文檔1：文檔2：tf=1tf=1.414 (高)簽名版Solr Community of China四. Lucene評(píng)分公式的細(xì)化介紹4. 文檔出現(xiàn)頻率因子 idf(t)idf(t) = 1.0 + log(numDocs/(docFreq+1)numDocs(總文檔數(shù))docFreq(有幾個(gè)文檔中出現(xiàn)了查詢的詞)例如搜索語句為:名稱：“名稱“” | 作者：“” 總文檔數(shù)為100

6、0如果名稱中包含”的文檔數(shù)為100 idf= 2.0作者名稱中包含作者“”的文檔數(shù)為10 idf= 3.0 (高)Solr Community of China四. Lucene評(píng)分公式的細(xì)化介紹5. 查詢權(quán)重t.getBoostiSolr Community of China四. Lucene評(píng)分公式的細(xì)化介紹6. 標(biāo)準(zhǔn)化因子 norm(t,d)norm(t,d) = doc.getBoost() lengthNorm f.getBoost() (注意：4.0以后沒有了 doc.getBoost() lengthNorm = 1.0 / Math.sqrt(numTerms)doc.getB

7、oost() (在每個(gè)文檔上設(shè)置的權(quán)重)f.getBoost() (在每個(gè)字段上設(shè)置的權(quán)重lengthNorm = 1.0 / Math.sqrt(numTerms)表示字段長(zhǎng)度對(duì)打分的影響例如:文檔1：名稱：名稱:lengthNorm = 1/1.7 (高)文檔2：新刊第28期 = 1/3Solr Community of China四. Lucene評(píng)分公式的細(xì)化介紹將上面1-6部分細(xì)化的部分代入上面公式得到score(q,d)=(overlap / maxOverlap )(1/(q.getBoost()2( idf(t)t.getBoost() )2) ) ( tf(t in d)idf(t)2t.getBoost() doc.getBoost() lengthNorm f.getBoost() )查詢時(shí)確定: 1、2、3、4、5索引時(shí)確定:6Solr Community of China五. 改變?cè)u(píng)分的一般策略API調(diào)用:索引時(shí)刻：filed boost設(shè)置, doc boost設(shè)置4.0之前:doc.setBoost(5.0f);查詢時(shí)刻:queryBoost設(shè)置Solr Community of China五. 改變?cè)u(píng)分的一般策略重寫:Similarity (繼承DefaultSimilarity或TFIDFSi