移動搜索個性化演示文稿

移動搜索個性化演示文稿4/8/2023現(xiàn)在是1頁\一共有29頁\編輯于星期二4/8/2023（優(yōu)選）移動搜索個性化現(xiàn)在是2頁\一共有29頁\編輯于星期二移動搜索產(chǎn)品形態(tài)3現(xiàn)在是3頁\一共有29頁\編輯于星期二個性化搜索–挑戰(zhàn)大數(shù)據(jù)，稀疏，長尾，噪音淘寶上海量的商品，針對個體而言，發(fā)生行為的商品有限，稀疏度在百萬分之一，甚至更低用戶行為模式的挖掘和利用網(wǎng)購行為的復(fù)雜性如何準確的描述用戶的興趣和特色，包括長短期興趣等？Peoplechangeovertime冷啟動

新用戶

新商品多樣性與精確性的兩難困境Interestingnessv.relevanceNeedSerendipity用戶界面與用戶體驗個性化體驗的可解釋性系統(tǒng)的挑戰(zhàn)性評估的挑戰(zhàn)性4現(xiàn)在是4頁\一共有29頁\編輯于星期二個性化搜索誤區(qū)千人千面并非意味著去追求單純個體的個性化體驗個性化搜索是立足于提升整體用戶的個性化體驗Personalization

!=customization勿忘行為建模的基本假設(shè)

hypothesis：

接受商品接受他得所有屬性過度個性化搜索場景的個性化：“topersonalizeornottopersonalize“Explore&Exploitation主觀性vs.客觀性“datadriven”購物行為所表現(xiàn)的個性化特點！=用戶的物理個性化特征5現(xiàn)在是5頁\一共有29頁\編輯于星期二個性化技術(shù)的魅力6個性化技術(shù)機器學(xué)習(xí)計算經(jīng)濟學(xué)系統(tǒng)架構(gòu)大數(shù)據(jù)分析現(xiàn)在是6頁\一共有29頁\編輯于星期二目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化7現(xiàn)在是7頁\一共有29頁\編輯于星期二鳥瞰個性化體系用戶query商品個性化數(shù)據(jù)+模型用戶關(guān)系數(shù)據(jù)商品關(guān)系數(shù)據(jù)用戶-商品關(guān)系數(shù)據(jù)海選層精排層（長期個性化+實時個性化）Re-rank層Query/user意圖識別GraphSearch引擎?zhèn)€性化搜索結(jié)果展示8現(xiàn)在是8頁\一共有29頁\編輯于星期二個性化體系offline長期個性化模型建模實時個性化模型建?；趕ession的用戶點擊行為序列建立的實時userprofile建模實時人群-商品轉(zhuǎn)化率預(yù)估建模分布式數(shù)據(jù)處理

&并行機器學(xué)習(xí)（ODPS）Pv日志成交日志點擊日志SyncProcessor基于hbase的HqueueAucProcessorUserProcessorHbase(歷史表)iStreamonyarnredis實時<人群-商品>反饋特征抽取、計算，ID化用戶實時profile預(yù)測器Nearline實時增量數(shù)據(jù)TT推送的實時日志RealtimeLearner在線學(xué)習(xí)模塊User-profile實時模型（性別，購買力，品牌，店鋪，風(fēng)格。。）UPS商品引擎實時特征更新長期個性化模型海選層Re-rank層精排層長期個性化實時個性化onlineXW

YQuery意圖預(yù)測用戶引擎實時模型Nearline環(huán)節(jié)實時更新的模型更新商品端用戶行為累積特征模型更新實現(xiàn)用戶profile的實時更新輸出模型給

online輸出模型給nearline通過nearline實現(xiàn)Online計算模塊特征表現(xiàn)X

的變化9現(xiàn)在是9頁\一共有29頁\編輯于星期二個性化體系Offline離線模型訓(xùn)練數(shù)據(jù)收集，過濾,聚合，特征ID化利用batch-learning產(chǎn)出nearline環(huán)節(jié)，online環(huán)節(jié)所需要的模型Near-line構(gòu)建于流式計算體系的實時日志解析，行為特征抽取，聚合實時用戶profile預(yù)測，實時人群-商品累積行為特征計算，離散化處理更新在線排序計算依賴的實時字段，UPS中實時userprofile字段，引擎中的商品正排字段構(gòu)建基于mini-batch的在線學(xué)習(xí)模型，增強系統(tǒng)的適應(yīng)新數(shù)據(jù)的能力和explore能力實時反作弊Online各個排序維度模型的在線預(yù)測多個排序因素的在線融合EE策略10現(xiàn)在是10頁\一共有29頁\編輯于星期二移動元素@個性化體系查詢意圖

時間，地點，逛/搜

PullorPush用戶肖像移動端特色數(shù)據(jù)

跨屏行為建模，實時肖像特征P(滿意|query,用戶,商品)實時個性化E&EPULLPUSH11現(xiàn)在是11頁\一共有29頁\編輯于星期二目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化12現(xiàn)在是12頁\一共有29頁\編輯于星期二Query/User意圖識別User-context地點+時間13現(xiàn)在是13頁\一共有29頁\編輯于星期二Query/User意圖識別訓(xùn)練數(shù)據(jù)轉(zhuǎn)化型query瀏覽型queryQuery的個性化需求Query進行個性化標注地域性別購買力年齡段。。。顯式：query包含個性化tag隱示：query不包含個性化tag連衣裙，大褲衩

電影票骷髏頭T恤情侶裝蕾絲正版海外購官網(wǎng)高檔samsung三星galaxynotei92203g(gsm/wcdma)手機黑色彈力修身高腰小腳褲薄款eg.建立以query轉(zhuǎn)化率為目標；用戶session內(nèi)行為為特征的LR模型解決16%搜索意圖明確的

輪胎鐘點工移動端的場景時間+地點+狀態(tài)14現(xiàn)在是14頁\一共有29頁\編輯于星期二Query的隱含個性化需求15現(xiàn)在是15頁\一共有29頁\編輯于星期二目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化16現(xiàn)在是16頁\一共有29頁\編輯于星期二私有化/移動化/社交化跨屏行為、實時用戶肖像手機類型網(wǎng)絡(luò)類型GPS(經(jīng)緯度)天氣場景（移動，家，辦公）17現(xiàn)在是17頁\一共有29頁\編輯于星期二用戶DNA@個性化體系人口統(tǒng)計學(xué)性別，年齡段，職業(yè)，人生階段等行為偏好價格，店鋪，品牌等用戶DNA社會關(guān)系微博好友，手機通訊錄，轉(zhuǎn)賬等其他手機設(shè)備，網(wǎng)絡(luò)類型等場景(時間，地點，狀態(tài)等）興趣偏好風(fēng)格，款式，愛吃，愛美，愛旅游等數(shù)據(jù)數(shù)億月活躍用戶數(shù)十億日均用戶行為次數(shù)數(shù)千億+用戶-商品關(guān)系鏈數(shù)百億+用戶-店鋪關(guān)系鏈數(shù)百億+用戶-用戶關(guān)系鏈千萬

達人買家?guī)?8現(xiàn)在是18頁\一共有29頁\編輯于星期二實時用戶DNA@個性化體系行為4…………..N個采用滑窗方式抽取訓(xùn)練樣本，窗口內(nèi)的行為中前面n-1個提取特征，最后一個當作目標用戶48小時內(nèi)的行為序列N-1個行為序列個性化偏好先驗概率行為類型最后一個針對每個個性化偏好提取是否點擊或成交該個性化偏好+LR模型行為5行為6行為7行為N行為1行為2行為3Pc端行為移動端行為移動首次pvNophysicalsessionboundary19現(xiàn)在是19頁\一共有29頁\編輯于星期二目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化20現(xiàn)在是20頁\一共有29頁\編輯于星期二瀏覽和交互模式：自上而下的串行模型21現(xiàn)在是21頁\一共有29頁\編輯于星期二問題定義@個性化模型個性化模型目標是：如何考慮移動場景下瀏覽和交互模式下產(chǎn)生的bias串行瀏覽模式下：有效點擊量化模型（UCM）有效pv量化模型（UBM）22現(xiàn)在是22頁\一共有29頁\編輯于星期二UBM&UCM有效曝光量化模型（UBM）參考：AUserBrowsingModeltoPredictSearchEngineClickDatafromPastObservations，GeorgesE.Dupret，BenjaminPiwowarski，SIGIR’08有效點擊量化模型（UCM）參考：Modelingdwelltimetopredictclick-levelsatisfaction，YounghoKim,AhmedHassan,RyenW.White,andImedZitouni，WSDM201423現(xiàn)在是23頁\一共有29頁\編輯于星期二結(jié)果分析@UBM&UCMDwellTime點擊轉(zhuǎn)化率UBM訓(xùn)練結(jié)果UCM訓(xùn)練結(jié)果24現(xiàn)在是24頁\一共有29頁\編輯于星期二個性化模型UBMUCM修正修正【0】：q下商品u的滿意度Usermodelqueryuser人口統(tǒng)計學(xué)標簽購物偏好用戶簇標簽移動設(shè)備相關(guān)場景相關(guān)商品類目標簽商品標簽賣家/店鋪商品ID匹配類歷史反饋類線性模型：L1-LR

非線性：GBM，DNN25現(xiàn)在是25頁\一共有29頁\編輯于星期二目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化26現(xiàn)在是26頁\一共有29頁\編輯于星期二流量大，屏幕小行為特點：碎片化，隨時隨地Pc點擊分布@day移動點擊分布@day27現(xiàn)在是27頁\一共有29頁\編輯于星期二互聯(lián)網(wǎng)機器學(xué)習(xí)需要“上線”28引用：Tieyan

Liu阿里技術(shù)沙龍08/2013vs現(xiàn)在是28頁\一共有29頁\編輯于星期二實時計算@移動搜索TT日志實時日志解析實時user-profile預(yù)測實時