移動(dòng)搜索個(gè)性化演示文稿

移動(dòng)搜索個(gè)性化演示文稿11/24/2022第一頁(yè)，共二十九頁(yè)。11/24/2022（優(yōu)選）移動(dòng)搜索個(gè)性化第二頁(yè)，共二十九頁(yè)。移動(dòng)搜索產(chǎn)品形態(tài)3第三頁(yè)，共二十九頁(yè)。個(gè)性化搜索–挑戰(zhàn)大數(shù)據(jù)，稀疏，長(zhǎng)尾，噪音淘寶上海量的商品，針對(duì)個(gè)體而言，發(fā)生行為的商品有限，稀疏度在百萬(wàn)分之一，甚至更低用戶行為模式的挖掘和利用網(wǎng)購(gòu)行為的復(fù)雜性如何準(zhǔn)確的描述用戶的興趣和特色，包括長(zhǎng)短期興趣等？Peoplechangeovertime冷啟動(dòng)

新用戶

新商品多樣性與精確性的兩難困境Interestingnessv.relevanceNeedSerendipity用戶界面與用戶體驗(yàn)個(gè)性化體驗(yàn)的可解釋性系統(tǒng)的挑戰(zhàn)性評(píng)估的挑戰(zhàn)性4第四頁(yè)，共二十九頁(yè)。個(gè)性化搜索誤區(qū)千人千面并非意味著去追求單純個(gè)體的個(gè)性化體驗(yàn)個(gè)性化搜索是立足于提升整體用戶的個(gè)性化體驗(yàn)Personalization

!=customization勿忘行為建模的基本假設(shè)

hypothesis：

接受商品接受他得所有屬性過度個(gè)性化搜索場(chǎng)景的個(gè)性化：“topersonalizeornottopersonalize“Explore&Exploitation主觀性vs.客觀性“datadriven”購(gòu)物行為所表現(xiàn)的個(gè)性化特點(diǎn)！=用戶的物理個(gè)性化特征5第五頁(yè)，共二十九頁(yè)。個(gè)性化技術(shù)的魅力6個(gè)性化技術(shù)機(jī)器學(xué)習(xí)計(jì)算經(jīng)濟(jì)學(xué)系統(tǒng)架構(gòu)大數(shù)據(jù)分析第六頁(yè)，共二十九頁(yè)。目錄目錄1234個(gè)性化體系架構(gòu)Query/user意圖識(shí)別

個(gè)性化數(shù)據(jù)個(gè)性化模型6E&E5實(shí)時(shí)個(gè)性化7第七頁(yè)，共二十九頁(yè)。鳥瞰個(gè)性化體系用戶query商品個(gè)性化數(shù)據(jù)+模型用戶關(guān)系數(shù)據(jù)商品關(guān)系數(shù)據(jù)用戶-商品關(guān)系數(shù)據(jù)海選層精排層（長(zhǎng)期個(gè)性化+實(shí)時(shí)個(gè)性化）Re-rank層Query/user意圖識(shí)別GraphSearch引擎?zhèn)€性化搜索結(jié)果展示8第八頁(yè)，共二十九頁(yè)。個(gè)性化體系offline長(zhǎng)期個(gè)性化模型建模實(shí)時(shí)個(gè)性化模型建?；趕ession的用戶點(diǎn)擊行為序列建立的實(shí)時(shí)userprofile建模實(shí)時(shí)人群-商品轉(zhuǎn)化率預(yù)估建模分布式數(shù)據(jù)處理

&并行機(jī)器學(xué)習(xí)（ODPS）Pv日志成交日志點(diǎn)擊日志SyncProcessor基于hbase的HqueueAucProcessorUserProcessorHbase(歷史表)iStreamonyarnredis實(shí)時(shí)<人群-商品>反饋特征抽取、計(jì)算，ID化用戶實(shí)時(shí)profile預(yù)測(cè)器Nearline實(shí)時(shí)增量數(shù)據(jù)TT推送的實(shí)時(shí)日志RealtimeLearner在線學(xué)習(xí)模塊User-profile實(shí)時(shí)模型（性別，購(gòu)買力，品牌，店鋪，風(fēng)格。。）UPS商品引擎實(shí)時(shí)特征更新長(zhǎng)期個(gè)性化模型海選層Re-rank層精排層長(zhǎng)期個(gè)性化實(shí)時(shí)個(gè)性化onlineXW

YQuery意圖預(yù)測(cè)用戶引擎實(shí)時(shí)模型Nearline環(huán)節(jié)實(shí)時(shí)更新的模型更新商品端用戶行為累積特征模型更新實(shí)現(xiàn)用戶profile的實(shí)時(shí)更新輸出模型給

online輸出模型給nearline通過nearline實(shí)現(xiàn)Online計(jì)算模塊特征表現(xiàn)X

的變化9第九頁(yè)，共二十九頁(yè)。個(gè)性化體系Offline離線模型訓(xùn)練數(shù)據(jù)收集，過濾,聚合，特征ID化利用batch-learning產(chǎn)出nearline環(huán)節(jié)，online環(huán)節(jié)所需要的模型Near-line構(gòu)建于流式計(jì)算體系的實(shí)時(shí)日志解析，行為特征抽取，聚合實(shí)時(shí)用戶profile預(yù)測(cè)，實(shí)時(shí)人群-商品累積行為特征計(jì)算，離散化處理更新在線排序計(jì)算依賴的實(shí)時(shí)字段，UPS中實(shí)時(shí)userprofile字段，引擎中的商品正排字段構(gòu)建基于mini-batch的在線學(xué)習(xí)模型，增強(qiáng)系統(tǒng)的適應(yīng)新數(shù)據(jù)的能力和explore能力實(shí)時(shí)反作弊Online各個(gè)排序維度模型的在線預(yù)測(cè)多個(gè)排序因素的在線融合EE策略10第十頁(yè)，共二十九頁(yè)。移動(dòng)元素@個(gè)性化體系查詢意圖

時(shí)間，地點(diǎn)，逛/搜

PullorPush用戶肖像移動(dòng)端特色數(shù)據(jù)

跨屏行為建模，實(shí)時(shí)肖像特征P(滿意|query,用戶,商品)實(shí)時(shí)個(gè)性化E&EPULLPUSH11第十一頁(yè)，共二十九頁(yè)。目錄目錄1234個(gè)性化體系架構(gòu)Query/user意圖識(shí)別

個(gè)性化數(shù)據(jù)個(gè)性化模型6E&E5實(shí)時(shí)個(gè)性化12第十二頁(yè)，共二十九頁(yè)。Query/User意圖識(shí)別User-context地點(diǎn)+時(shí)間13第十三頁(yè)，共二十九頁(yè)。Query/User意圖識(shí)別訓(xùn)練數(shù)據(jù)轉(zhuǎn)化型query瀏覽型queryQuery的個(gè)性化需求Query進(jìn)行個(gè)性化標(biāo)注地域性別購(gòu)買力年齡段。。。顯式：query包含個(gè)性化tag隱示：query不包含個(gè)性化tag連衣裙，大褲衩

電影票骷髏頭T恤情侶裝蕾絲正版海外購(gòu)官網(wǎng)高檔samsung三星galaxynotei92203g(gsm/wcdma)手機(jī)黑色彈力修身高腰小腳褲薄款eg.建立以query轉(zhuǎn)化率為目標(biāo)；用戶session內(nèi)行為為特征的LR模型解決16%搜索意圖明確的

輪胎鐘點(diǎn)工移動(dòng)端的場(chǎng)景時(shí)間+地點(diǎn)+狀態(tài)14第十四頁(yè)，共二十九頁(yè)。Query的隱含個(gè)性化需求15第十五頁(yè)，共二十九頁(yè)。目錄目錄1234個(gè)性化體系架構(gòu)Query/user意圖識(shí)別

個(gè)性化數(shù)據(jù)個(gè)性化模型6E&E5實(shí)時(shí)個(gè)性化16第十六頁(yè)，共二十九頁(yè)。私有化/移動(dòng)化/社交化跨屏行為、實(shí)時(shí)用戶肖像手機(jī)類型網(wǎng)絡(luò)類型GPS(經(jīng)緯度)天氣場(chǎng)景（移動(dòng)，家，辦公）17第十七頁(yè)，共二十九頁(yè)。用戶DNA@個(gè)性化體系人口統(tǒng)計(jì)學(xué)性別，年齡段，職業(yè)，人生階段等行為偏好價(jià)格，店鋪，品牌等用戶DNA社會(huì)關(guān)系微博好友，手機(jī)通訊錄，轉(zhuǎn)賬等其他手機(jī)設(shè)備，網(wǎng)絡(luò)類型等場(chǎng)景(時(shí)間，地點(diǎn)，狀態(tài)等）興趣偏好風(fēng)格，款式，愛吃，愛美，愛旅游等數(shù)據(jù)數(shù)億月活躍用戶數(shù)十億日均用戶行為次數(shù)數(shù)千億+用戶-商品關(guān)系鏈數(shù)百億+用戶-店鋪關(guān)系鏈數(shù)百億+用戶-用戶關(guān)系鏈千萬(wàn)

達(dá)人買家?guī)?8第十八頁(yè)，共二十九頁(yè)。實(shí)時(shí)用戶DNA@個(gè)性化體系行為4…………..N個(gè)采用滑窗方式抽取訓(xùn)練樣本，窗口內(nèi)的行為中前面n-1個(gè)提取特征，最后一個(gè)當(dāng)作目標(biāo)用戶48小時(shí)內(nèi)的行為序列N-1個(gè)行為序列個(gè)性化偏好先驗(yàn)概率行為類型最后一個(gè)針對(duì)每個(gè)個(gè)性化偏好提取是否點(diǎn)擊或成交該個(gè)性化偏好+LR模型行為5行為6行為7行為N行為1行為2行為3Pc端行為移動(dòng)端行為移動(dòng)首次pvNophysicalsessionboundary19第十九頁(yè)，共二十九頁(yè)。目錄目錄1234個(gè)性化體系架構(gòu)Query/user意圖識(shí)別

個(gè)性化數(shù)據(jù)個(gè)性化模型6E&E5實(shí)時(shí)個(gè)性化20第二十頁(yè)，共二十九頁(yè)。瀏覽和交互模式：自上而下的串行模型21第二十一頁(yè)，共二十九頁(yè)。問題定義@個(gè)性化模型個(gè)性化模型目標(biāo)是：如何考慮移動(dòng)場(chǎng)景下瀏覽和交互模式下產(chǎn)生的bias串行瀏覽模式下：有效點(diǎn)擊量化模型（UCM）有效pv量化模型（UBM）22第二十二頁(yè)，共二十九頁(yè)。UBM&UCM有效曝光量化模型（UBM）參考：AUserBrowsingModeltoPredictSearchEngineClickDatafromPastObservations，GeorgesE.Dupret，BenjaminPiwowarski，SIGIR’08有效點(diǎn)擊量化模型（UCM）參考：Modelingdwelltimetopredictclick-levelsatisfaction，YounghoKim,AhmedHassan,RyenW.White,andImedZitouni，WSDM201423第二十三頁(yè)，共二十九頁(yè)。結(jié)果分析@UBM&UCMDwellTime點(diǎn)擊轉(zhuǎn)化率UBM訓(xùn)練結(jié)果UCM訓(xùn)練結(jié)果24第二十四頁(yè)，共二十九頁(yè)。個(gè)性化模型UBMUCM修正修正【0】：q下商品u的滿意度Usermodelqueryuser人口統(tǒng)計(jì)學(xué)標(biāo)簽購(gòu)物偏好用戶簇標(biāo)簽移動(dòng)設(shè)備相關(guān)場(chǎng)景相關(guān)商品類目標(biāo)簽商品標(biāo)簽賣家/店鋪商品ID匹配類歷史反饋類線性模型：L1-LR

非線性：GBM，DNN25第二十五頁(yè)，共二十九頁(yè)。目錄目錄1234個(gè)性化體系架構(gòu)Query/user意圖識(shí)別

個(gè)性化數(shù)據(jù)個(gè)性化模型6E&E5實(shí)時(shí)個(gè)性化26第二十六頁(yè)，共二十九頁(yè)。流量大，屏幕小行為特點(diǎn)：碎片化，隨時(shí)隨地Pc點(diǎn)擊分布@day移動(dòng)點(diǎn)擊分布@day27第二十七頁(yè)，共二十九頁(yè)?；ヂ?lián)網(wǎng)機(jī)器學(xué)習(xí)需要“上線”28引用：Tieyan

Liu阿里技術(shù)沙龍08/2013vs第二十八頁(yè)，共二十九頁(yè)。實(shí)時(shí)計(jì)算@移動(dòng)搜索TT日志實(shí)時(shí)日志解析實(shí)時(shí)user-profile預(yù)測(cè)實(shí)時(shí)商品po