電商搜索和新聞推薦用戶畫像培訓(xùn)課件

1、電商搜索和新聞推薦用戶畫像-近實(shí)時更新王成光 2016-7-10電商搜索索和新聞聞推薦用用戶畫像像實(shí)時更新電商搜索索基本組成成相關(guān)實(shí)現(xiàn)現(xiàn)技術(shù)新聞推薦薦用戶畫畫像用戶畫像像組成用戶畫像像實(shí)時更更新流程程實(shí)時計算算: Storm/SparkStreaming/Light_drtc2016-7-10電商搜索索和新聞聞推薦2電商搜索索基本組成成搜索框自自動補(bǔ)全全提示導(dǎo)航篩選選器關(guān)鍵詞檢檢索相關(guān)實(shí)現(xiàn)現(xiàn)技術(shù)ES和Solr近年發(fā)展展情況ESvsSolr全方位比比較ES2.X新特性2016-7-10電商搜索索和新聞聞推薦3電商搜索索組成-搜索框自自動補(bǔ)全全提示2016-7-10電商搜索索和新聞聞推薦4亞馬遜淘

2、寶京東優(yōu)購電商搜索索組成-導(dǎo)航篩選選器2016-7-10電商搜索索和新聞聞推薦5天貓搜索索篩選器器電商搜索索組成-導(dǎo)航篩選選器2016-7-10電商搜索索和新聞聞推薦6優(yōu)購搜索索篩選器器電商搜索索組成-關(guān)鍵詞搜搜索2016-7-10電商搜索索和新聞聞推薦71.同音異形形搜索2.部分匹配配搜索3.缺失品牌牌建議搜搜索4.同義詞搜搜索品牌別名名品類別名名電商搜索索技術(shù)-當(dāng)前全文文檢索項(xiàng)項(xiàng)目2016-7-10電商搜索索和新聞聞推薦8項(xiàng)目介紹Lucene開發(fā)語言是Java，也是Java家族中最為出名的一個開源搜索引擎，在Java世界中已經(jīng)是標(biāo)準(zhǔn)的全文檢索程序，它提供了完整的查詢引擎和索引引擎，無中文分

3、詞引擎，不支持實(shí)時搜索。SolrSolrCloudSolr是一個用java開發(fā)的獨(dú)立的企業(yè)級搜索應(yīng)用服務(wù)器，它提供了類似于Web-service的API接口，它是基于Lucene的全文檢索服務(wù)器，也算是Lucene的一個變種，很多一線互聯(lián)網(wǎng)公司都在使用Solr，也算是一種成熟的解決方案. ESElasticsearch是一個采用java語言開發(fā)的，基于Lucene構(gòu)造的開源，分布式的搜索引擎. 設(shè)計用于云計算中，能夠達(dá)到實(shí)時搜索，穩(wěn)定可靠. Elasticsearch的數(shù)據(jù)模型是JSON.SphinxSphinx是一個用C+語言寫的開源搜索引擎，也是現(xiàn)在比較主流的搜索引擎之一，在建立索引的事件

4、方面比Lucene快50%，但是索引文件比Lucene要大一倍（以空間換取性能），在檢索速度和精準(zhǔn)度和中文分詞方面比lucene支持差。MysqlMysql全文索引，自4.0開始引入，最初只支持持MyISAM引擎, 自MySQL5.6起也同時支持InnoDB引擎 。對中文支持不好，性能也相對較差。 電商搜索索技術(shù)-ES集群2016-7-10電商搜索索和新聞聞推薦9電商搜索索技術(shù)-SolrCloud集群2016-7-10電商搜索索和新聞聞推薦10電商搜索索技術(shù)-ES和Solr綜合比較較2016-7-10電商搜索索和新聞聞推薦11特性ESSolr/SolrCloud索引1. 新插入10萬條耗時18

5、.8秒2.更新2萬新插入8萬耗時64秒3.索引文件相對較大(7612k)1. 新插入10萬條耗時7.2秒2. 更新2萬新插入8萬耗時24秒3.索引文件相對較小(5280K)shard中doc數(shù)差異大比較勻稱查詢返回10萬條數(shù)據(jù)大概15毫秒返回10萬條數(shù)據(jù)大概29毫秒健壯性比較強(qiáng)相對弱容錯性比較強(qiáng)相對弱中文分詞支持動態(tài)添加專有詞支持度不好無模式實(shí)時索引與生俱有后期增加電商搜索索技術(shù)-ES和Solr近年發(fā)展展2016-7-10電商搜索索和新聞聞推薦12電商搜索索技術(shù)-ES和Solr近年發(fā)展展2016-7-10電商搜索索和新聞聞推薦13電商搜索索技術(shù)ES2.x新特性2016-7-10電商搜索索和新聞

6、聞推薦14ES集群節(jié)點(diǎn)點(diǎn)新增部部落節(jié)點(diǎn)點(diǎn)API級顯示支支持文檔檔字段級級更新ES2.X已經(jīng)廢棄棄FacetES2.XAggregation功能增強(qiáng)強(qiáng)，支持持嵌套。ES2.X開始索引引類型index_analyzer更改為analyzerES2.2新增查詢詢分析器器：得到查詢詢的詳細(xì)分分析信息息，它可可以讓你你了解和和調(diào)試查查詢性能能。查詢詢的每一一部分都都獨(dú)立的記記錄了統(tǒng)統(tǒng)計時間間ES2.2增強(qiáng)地理理位置字段:幾乎重寫寫，增加50%的入庫效效率，提高20-50%的查詢效效率ES2.x中文分詞詞集成也也有所調(diào)調(diào)整新聞推薦薦用戶畫畫像實(shí)時時更新用戶畫像像基本組組成內(nèi)容體系系分類更新周期期分類用戶畫

7、像像實(shí)時更更新流程程流式分布布式實(shí)時時計算StromSparkStreamingLight_drtc (原創(chuàng)：https:/ T|/|S T|余弦定理理 修正余弦弦皮爾遜相相關(guān)系數(shù)數(shù)2016-7-10電商搜索索和新聞聞推薦18用戶畫像像計算相相關(guān)算法法關(guān)聯(lián)規(guī)則則支持度（Support），表示示項(xiàng)集X,Y在總項(xiàng)集集里出現(xiàn)現(xiàn)的概率率。公式為：Support(XY)= P(X,Y)/ P(I)=P(XY)/ P(I)=num(XUY)/ num(I)置信度（Confidence），置信信度表示示在先決決條件X發(fā)生的情情況下，由關(guān)聯(lián)聯(lián)規(guī)則“XY”推出Y的概率。即在含含有X的項(xiàng)集中中，含有有Y的可能性性

8、。公式為：Confidence(XY)= P(Y|X)=P(X,Y)/P(X) =P(XUY) /P(X)提升度（Lift），提升升度表示示含有X的條件下下，同時時含有Y的概率，與不含含X的條件下下卻含Y的概率之之比。公式為：Lift(XY)= P(Y|X)/ P(Y)強(qiáng)關(guān)聯(lián)規(guī)規(guī)則：滿足最小小支持度度和最小小置信度度的規(guī)則則。如果Lift(XY)1，則規(guī)則則“XY”是有效的的強(qiáng)關(guān)聯(lián)聯(lián)規(guī)則。如果Lift(XY)=1，則規(guī)則則“XY”是無效的的強(qiáng)關(guān)聯(lián)聯(lián)規(guī)則。特別地，如果Lift(XY)=1，則表示示X與Y相互獨(dú)立立。2016-7-10電商搜索索和新聞聞推薦19用戶畫像像計算相相關(guān)算法法協(xié)同過濾濾：

9、基于于user協(xié)同過濾濾和基于于item協(xié)同過濾濾2016-7-10電商搜索索和新聞聞推薦20用戶畫像像計算相相關(guān)算法法主題模型型邏輯回歸歸興趣時間間衰減牛頓冷卻卻定理：物體的冷卻速度度，與其其當(dāng)前溫溫度與室室溫之間間的溫差差成正比比。本期得分=上一期得得分x exp(-(冷卻系數(shù)數(shù)) x間隔的小小時數(shù))2016-7-10電商搜索索和新聞聞推薦21新聞推薦薦用戶畫畫像實(shí)時時更新流流程2016-7-10電商搜索索和新聞聞推薦22實(shí)時計算算框架Storm2016-7-10電商搜索索和新聞聞推薦23實(shí)時計算算框架Storm2016-7-10電商搜索索和新聞聞推薦24實(shí)時計算算框架SparkStreaming2016-7-10電商搜索索和新聞聞推薦25實(shí)時計算算框架SparkStreaming2016-7-10電商搜索索和新聞聞推薦26實(shí)時計算算框