電商搜索和新聞推薦用戶畫像培訓(xùn)課件

電商搜索和新聞推薦用戶畫像

--近實時更新

王成光

2016-7-10電商搜索和新聞推薦用戶畫像實時更新電商搜索基本組成相關(guān)實現(xiàn)技術(shù)新聞推薦用戶畫像用戶畫像組成用戶畫像實時更新流程實時計算:Storm/SparkStreaming/Light_drtc2016-7-102電商搜索基本組成搜索框自動補全提示導(dǎo)航篩選器關(guān)鍵詞檢索相關(guān)實現(xiàn)技術(shù)ES和Solr近年發(fā)展情況ESvsSolr全方位比較ES2.X新特性2016-7-103電商搜索組成--搜索框自動補全提示2016-7-104亞馬遜淘寶京東優(yōu)購電商搜索組成--導(dǎo)航篩選器2016-7-105天貓搜索篩選器電商搜索組成--導(dǎo)航篩選器2016-7-106優(yōu)購搜索篩選器電商搜索組成--關(guān)鍵詞搜索2016-7-1071.同音異形搜索2.部分匹配搜索3.缺失品牌建議搜索4.同義詞搜索品牌別名品類別名電商搜索技術(shù)--當前全文檢索項目2016-7-108項目介紹Lucene開發(fā)語言是Java，也是Java家族中最為出名的一個開源搜索引擎，在Java世界中已經(jīng)是標準的全文檢索程序，它提供了完整的查詢引擎和索引引擎，無中文分詞引擎，不支持實時搜索。Solr

SolrCloudSolr是一個用java開發(fā)的獨立的企業(yè)級搜索應(yīng)用服務(wù)器，它提供了類似于Web-service的API接口，它是基于Lucene的全文檢索服務(wù)器，也算是Lucene的一個變種，很多一線互聯(lián)網(wǎng)公司都在使用Solr，也算是一種成熟的解決方案.ESElasticsearch是一個采用java語言開發(fā)的，基于Lucene構(gòu)造的開源，分布式的搜索引擎.設(shè)計用于云計算中，能夠達到實時搜索，穩(wěn)定可靠.Elasticsearch的數(shù)據(jù)模型是JSON.SphinxSphinx是一個用C++語言寫的開源搜索引擎，也是現(xiàn)在比較主流的搜索引擎之一，在建立索引的事件方面比Lucene快50%，但是索引文件比Lucene要大一倍（以空間換取性能），在檢索速度和精準度和中文分詞方面比lucene支持差。MysqlMysql全文索引，自4.0開始引入，最初只支持持MyISAM引擎,自MySQL5.6起也同時支持InnoDB引擎。對中文支持不好，性能也相對較差。電商搜索技術(shù)--ES集群2016-7-109電商搜索技術(shù)--SolrCloud集群2016-7-1010電商搜索索技術(shù)--ES和Solr綜合比較較2016-7-1011特性ESSolr/SolrCloud索引1.新插入10萬條耗時18.8秒2.更新2萬新插入8萬耗時64秒3.索引文件相對較大(7612k)1.新插入10萬條耗時7.2秒2.更新2萬新插入8萬耗時24秒3.索引文件相對較小(5280K)shard中doc數(shù)差異大比較勻稱查詢返回10萬條數(shù)據(jù)大概15毫秒返回10萬條數(shù)據(jù)大概29毫秒健壯性比較強相對弱容錯性比較強相對弱中文分詞支持動態(tài)添加專有詞支持度不好無模式實時索引與生俱有后期增加電商搜索索技術(shù)--ES和Solr近年發(fā)展展2016-7-1012電商搜索索技術(shù)--ES和Solr近年發(fā)展展2016-7-1013電商搜搜索技技術(shù)——ES2.x新特性性2016-7-1014ES集群節(jié)節(jié)點新新增部部落節(jié)節(jié)點API級顯示示支持持文檔檔字段段級更更新ES2.X已經(jīng)廢廢棄FacetES2.XAggregation功能增增強，，支持持嵌套套。ES2.X開始索索引類類型index_analyzer更改為為analyzerES2.2新增查查詢分分析器器：得到查查詢的詳細細分析析信息息，它它可以以讓你你了解解和調(diào)調(diào)試查查詢性性能。。查詢詢的每每一部部分都都獨立的的記錄錄了統(tǒng)統(tǒng)計時時間ES2.2增強地地理位位置字段:幾乎重重寫，，增加50%的入庫效率率，提高20-50%的查詢效率率ES2.x中文分詞集集成也有所所調(diào)整新聞推薦用用戶畫像實實時更新用戶畫像基基本組成內(nèi)容體系分分類更新周期分分類用戶畫像實實時更新流流程流式分布式式實時計算算StromSparkStreamingLight_drtc(原創(chuàng)：/lrtdc/light_drtc)2016-7-1015用戶畫像基基本組成—內(nèi)容分類百度數(shù)據(jù)開開放平臺大數(shù)據(jù)據(jù)用戶畫像像標簽體系2016-7-1016用戶畫像基基本組成—更新周期分分類依據(jù)屬性變變化頻繁程程度：靜態(tài)標簽相對短時間間內(nèi)變化不大的信息息，主要指指地域、年年齡、性別別、文化、職業(yè)、收入、生活習(xí)慣、消費習(xí)慣慣等人口屬屬性和商業(yè)業(yè)屬性等動態(tài)標簽用戶不斷變變化的行為信息息，主要指指產(chǎn)品類別別、活躍頻頻率、產(chǎn)品喜好、、產(chǎn)品驅(qū)動、使用習(xí)慣慣、產(chǎn)品消消費等產(chǎn)品品行為，在在互聯(lián)網(wǎng)上上，用戶行為，，可以看作用用戶動態(tài)信息的唯一一數(shù)據(jù)來源等依據(jù)更新時時間長短：：長期興趣標標簽：更新新頻率一般般為數(shù)小時時或天短期興趣標標簽：更新新頻率一般般為分鐘級級或秒級2016-7-1017用戶畫像計計算相關(guān)算算法內(nèi)容相似Jaccard|S∩T|/|S∪T|余弦定理修正余弦皮爾遜相關(guān)關(guān)系數(shù)2016-7-1018用戶畫像計計算相關(guān)算算法關(guān)聯(lián)規(guī)則支持度（Support），表示項項集{X,Y}在總項集里里出現(xiàn)的概概率。公式為：Support(X→Y)=P(X,Y)/P(I)=P(X∪Y)/P(I)=num(XUY)/num(I)置信度（（Confidence），置信度度表示在先先決條件X發(fā)生的情況況下，由關(guān)關(guān)聯(lián)規(guī)則“X→Y”推出Y的概率。即即在含有X的項集中，，含有Y的可能性。。公式為：Confidence(X→Y)=P(Y|X)=P(X,Y)/P(X)=P(XUY)/P(X)提升度（Lift），提升度度表示含有有X的條件下，，同時含有有Y的概率，與與不含X的條件下卻卻含Y的概率之比比。公式為：Lift(X→Y)=P(Y|X)/P(Y)強關(guān)聯(lián)規(guī)則則：滿足最小支支持度和最最小置信度度的規(guī)則。。如果Lift(X→Y)>1，則規(guī)則“X→Y””是有效的強強關(guān)聯(lián)規(guī)則則。如果Lift(X→Y)<=1，則規(guī)則“X→Y””是無效的強強關(guān)聯(lián)規(guī)則則。特別地，如如果Lift(X→Y)=1，則表示X與Y相互獨立。。2016-7-1019用戶畫像計計算相關(guān)算算法協(xié)同過濾：：基于user協(xié)同過濾和和基于item協(xié)同過濾2016-7-1020用戶畫像計計算相關(guān)算算法主題模型邏輯回歸興趣時間衰減減牛頓冷卻定理理：物體的冷卻速度，與與其當前溫度度與室溫之間間的溫差成正正比。本期得分=上一期得分xexp(-(冷卻系數(shù))x間隔的小時數(shù)數(shù))2016-7-1021新聞推薦用戶戶畫像實時更更新流程2016-7-1022實時計算框架架Storm2016-7-1023實時計算框架架Storm2016-7-1024實時計算框架架SparkStream