阿里巴巴個(gè)性化實(shí)踐和技術(shù)技術(shù)

阿里巴巴的個(gè)性化實(shí)踐和技術(shù)基礎(chǔ)初敏Min.chum@1自我介紹2

初敏

阿里媽媽事業(yè)部總監(jiān)，負(fù)責(zé)全網(wǎng)大數(shù)據(jù)處理方向的研發(fā)工作

2009年加入阿里云計(jì)算，從事各種與數(shù)據(jù)相關(guān)的研發(fā)工作

之前，在微軟亞洲研究院做了近10年研究工作，研究方

向語(yǔ)音合成與識(shí)別、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖

掘、大數(shù)據(jù)處理和計(jì)算等

在中科院聲學(xué)所獲博士學(xué)位內(nèi)容提要3

淘寶平臺(tái)的責(zé)任和面臨的挑戰(zhàn)

個(gè)性化技術(shù)實(shí)踐

搜索中的個(gè)性化

廣告的個(gè)性化投放

用戶(hù)標(biāo)簽和用戶(hù)模型

大數(shù)據(jù)和云計(jì)算平臺(tái)

雙11：電商狂歡節(jié)

成交額350億，成交筆數(shù)1.71億筆

每秒成交近2000筆

相當(dāng)2013年9月中國(guó)消費(fèi)品零售日均成交額（688億元）的50%

相當(dāng)于王府井百貨前三個(gè)季度銷(xiāo)量的兩倍

相當(dāng)于沃爾瑪中國(guó)半年銷(xiāo)售額

相當(dāng)于國(guó)慶黃金周期間北京110家重點(diǎn)商業(yè)服務(wù)業(yè)企業(yè)銷(xiāo)售額4.5倍

4應(yīng)用PV最大QPS寶貝詳情1,243,667,272170,000搜索589,398,73069,000交易下單411,891,23041,525評(píng)價(jià)1,083,997,90846,550消息中心553,873,17335,241庫(kù)存1,463,414,80171,502總成交額（億元）

2012雙11數(shù)據(jù)

520092010201120122013

雙11：電商狂歡節(jié)

歷年雙11成交額對(duì)比350300250200150100

50

0淘寶平臺(tái)的規(guī)模6淘寶平臺(tái)的責(zé)任8

賣(mài)家的需求

把自己的產(chǎn)品和服務(wù)推送給需求、口味和消費(fèi)習(xí)慣相符的消費(fèi)者

運(yùn)營(yíng)已有客戶(hù)：了解他們的喜好、特性等各種信息

用較低的成本接觸到適合自己的新客戶(hù)

消費(fèi)者的苦惱

平臺(tái)上商品太多，找到自己心儀的商品難度越來(lái)越大

淘寶平臺(tái)的責(zé)任

在賣(mài)家與消費(fèi)者之間建起高效的橋梁

了解每個(gè)店鋪和消費(fèi)者的需求，利用個(gè)性化技術(shù)把互相需要的賣(mài)家和消費(fèi)者關(guān)聯(lián)起來(lái)

引導(dǎo)賣(mài)家更關(guān)注自身質(zhì)量以及用戶(hù)的個(gè)性化需求

提升消費(fèi)者的用戶(hù)體驗(yàn)淘寶平臺(tái)的責(zé)任

淘寶平臺(tái)的責(zé)任

解決問(wèn)題的關(guān)鍵

——

個(gè)性化技術(shù)10個(gè)性化應(yīng)用個(gè)性化信息抽取個(gè)性化搜索

消費(fèi)者信息個(gè)性化推薦

商家信息個(gè)性化廣告

商品信息……

……店鋪CRM

網(wǎng)站信息信息源消費(fèi)者的點(diǎn)擊、購(gòu)買(mǎi)、

收藏、加購(gòu)物車(chē)行為網(wǎng)民的搜索、

瀏覽行為微博行為位置行為……演講提綱11個(gè)性化應(yīng)用案例

個(gè)性化推薦個(gè)性化應(yīng)用案例

個(gè)性化關(guān)鍵詞導(dǎo)航個(gè)性化應(yīng)用案例

個(gè)性化商家選擇個(gè)性化應(yīng)用案例

買(mǎi)了又買(mǎi)，看了又看個(gè)性化應(yīng)用案例

站內(nèi)個(gè)性化廣告投放個(gè)性化應(yīng)用案例

站內(nèi)個(gè)性化廣告投放個(gè)性化應(yīng)用案例

全網(wǎng)個(gè)性化投放個(gè)性化應(yīng)用案例

個(gè)性化定制：先訂購(gòu)、再生產(chǎn)個(gè)性化對(duì)電商平臺(tái)的挑戰(zhàn)

用戶(hù)建模

建立行為和需求間的關(guān)聯(lián)

長(zhǎng)期興趣和即時(shí)需求建模

人生階段推斷

上學(xué)、剛工作、戀愛(ài)、結(jié)婚、生子

買(mǎi)車(chē)、買(mǎi)房、投資理財(cái)

建立興趣和具體產(chǎn)品間的關(guān)聯(lián)個(gè)性化對(duì)電商平臺(tái)的挑戰(zhàn)

從復(fù)雜的數(shù)據(jù)圖中抽取信息

從幾億用戶(hù)對(duì)幾十億商品（淘寶、天貓、聚劃算、

無(wú)線(xiàn)等來(lái)源）的各種行為（瀏覽、搜索、購(gòu)買(mǎi)、收

藏、支付等）數(shù)據(jù)中抽取有價(jià)值的信息

存在數(shù)據(jù)稀疏、不完整、虛假交易等各種缺陷

淘寶的類(lèi)目體系和產(chǎn)品庫(kù)在不斷的變更、建設(shè)中個(gè)性化對(duì)電商平臺(tái)的挑戰(zhàn)

大數(shù)據(jù)的處理和計(jì)算

每天新增幾十T的數(shù)據(jù)

多種異構(gòu)數(shù)據(jù)源

服務(wù)的實(shí)時(shí)性和穩(wěn)定性

支持雙11，

雙12這樣的大增量并發(fā)訪(fǎng)問(wèn)

質(zhì)量和效果的評(píng)估

建立線(xiàn)下評(píng)估模型

線(xiàn)上分桶測(cè)試內(nèi)容提要23

淘寶平臺(tái)的責(zé)任和面臨的挑戰(zhàn)

個(gè)性化技術(shù)實(shí)踐

搜索中的個(gè)性化

廣告的個(gè)性化投放

用戶(hù)標(biāo)簽和用戶(hù)模型

大數(shù)據(jù)和云計(jì)算平臺(tái)24搜索技術(shù)高效搜索引擎海量存儲(chǔ)和計(jì)

算體系搜索算法策略自然語(yǔ)言處理數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)質(zhì)量監(jiān)控/反作弊排序策略1.

世界上規(guī)模最大、應(yīng)用水平最高的

HBase存儲(chǔ)計(jì)算集群2.

高效引擎技術(shù)3.

基礎(chǔ)算法支撐

阿里知識(shí)圖譜構(gòu)筑

智能語(yǔ)義標(biāo)簽挖掘商品簇聚合排序策略?xún)?yōu)化個(gè)性化體系構(gòu)筑

搜索@淘寶

集團(tuán)業(yè)務(wù)線(xiàn)1.

數(shù)十億量級(jí)全網(wǎng)商品的檢索2.

引導(dǎo)全集團(tuán)的交易筆數(shù)接近

50%用戶(hù)query商品用戶(hù)關(guān)系數(shù)據(jù)商品關(guān)系數(shù)據(jù)用戶(hù)-商品

關(guān)系數(shù)據(jù)

Re-rank層

精排層（長(zhǎng)期+實(shí)時(shí)個(gè)性化

）

海選層

&

輪播

個(gè)性化數(shù)據(jù)

+

模型協(xié)同搜索引擎?zhèn)€性化體系@淘寶搜索

個(gè)性化搜索結(jié)果展示

綜合排序?qū)?/p>

Query/user意圖識(shí)別P

User-model@個(gè)性化搜索?

個(gè)性化搜索：

–

用戶(hù)屬性的挖掘和購(gòu)買(mǎi)興趣偏好預(yù)測(cè)

–

用戶(hù)和商品大規(guī)模數(shù)據(jù)建模

–

千人千面的個(gè)性化搜索體驗(yàn)風(fēng)格元素

購(gòu)買(mǎi)力

地域

性別風(fēng)格元素

價(jià)格

地域

B/C個(gè)性化管理平臺(tái)US引擎TCIFUser

model

特征可配置

樣本采樣配置算法運(yùn)營(yíng)…算法主搜索微市場(chǎng)

商品特征

類(lèi)目頻道

垂直化人的特征

年齡……用戶(hù)分群

管理模型特征

管理模型特征采樣管理數(shù)據(jù)源管

理運(yùn)營(yíng)IC…店鋪偏好

……品牌……個(gè)性化@淘寶搜索?

效果–

降低基尼系數(shù)，賣(mài)家流量發(fā)展均衡化–

賣(mài)家整體交易金額提升–

買(mǎi)家的用戶(hù)體驗(yàn)提升（點(diǎn)擊率提高，跳出率減少）?

意義–

搜索融合推薦元素?

用戶(hù)個(gè)體需求主導(dǎo)的

“pull”

式搜索?

平臺(tái)以數(shù)據(jù)驅(qū)動(dòng)的方式對(duì)用戶(hù)進(jìn)行“push”式相關(guān)信息推送–

長(zhǎng)尾需求得以更好的滿(mǎn)足27內(nèi)容提要28

淘寶平臺(tái)的責(zé)任和面臨的挑戰(zhàn)

個(gè)性化技術(shù)實(shí)踐

搜索中的個(gè)性化

廣告的個(gè)性化投放

用戶(hù)標(biāo)簽和用戶(hù)模型

大數(shù)據(jù)和云計(jì)算平臺(tái)廣告@淘寶29這就是阿里媽媽?zhuān)腔垲I(lǐng)先的全網(wǎng)營(yíng)銷(xiāo)平臺(tái)！阿里媽媽

–

搜索廣告位置：淘寶搜索結(jié)果頁(yè)右側(cè)核心技術(shù)：1.

Query查詢(xún)?cè)~分析、Query

擴(kuò)展、

Query相似度計(jì)算2.數(shù)億商品的內(nèi)容分析、數(shù)億用戶(hù)的Query及行為分析3.

搜索廣告的點(diǎn)擊率預(yù)估、轉(zhuǎn)化率預(yù)估阿里媽媽—定向/展示廣告展示位置：淘寶首頁(yè)、用戶(hù)意圖不明確時(shí)核心技術(shù)：1.

海量用戶(hù)歷史行為，興趣點(diǎn)預(yù)測(cè)2.

用戶(hù)user

profile屬性預(yù)測(cè)3.

商品和Query語(yǔ)義樹(shù)的構(gòu)建4.

個(gè)性化推薦技術(shù)愛(ài)美一族汽車(chē)一族

媒體收益

￥5000媒體廣告位

出價(jià)￥5000

出價(jià)

￥4000

服飾廣告主汽車(chē)廣告主傳統(tǒng)營(yíng)銷(xiāo)阿里媽媽—定向/展示廣告愛(ài)美一族汽車(chē)一族媒體廣告位媒體收益￥7500

↑

2500

出價(jià)￥4000服飾廣告主汽車(chē)廣告主↓

1000

出價(jià)￥3500↓

500RTB模式營(yíng)銷(xiāo)阿里媽媽—定向/展示廣告

ADExchangeDMP基于DMP的RTBDSP4DSP3DSP230歲，男性對(duì)手機(jī)感興趣30歲，男性，對(duì)手機(jī)感興趣10￥

DSP18￥6￥7￥廣告代碼網(wǎng)站SSP瀏覽Cookie？Cookie手機(jī)廣告

@DSP1投放<0.1秒阿里媽媽—定向/展示廣告阿里媽媽—定向/展示廣告

DMP—數(shù)據(jù)管理平臺(tái)

數(shù)據(jù)整合&標(biāo)準(zhǔn)化

用戶(hù)標(biāo)簽管理

用戶(hù)界面

渠道關(guān)聯(lián)

效果評(píng)估和反饋阿里媽媽—定向/展示廣告

DMP—數(shù)據(jù)管理平臺(tái)

數(shù)據(jù)整合&標(biāo)準(zhǔn)化

用戶(hù)標(biāo)簽管理

用戶(hù)界面

渠道關(guān)聯(lián)

效果評(píng)估和反饋

根據(jù)用戶(hù)行為細(xì)化商品類(lèi)目

用戶(hù)興趣樹(shù)（User

Intention

Tree)

通過(guò)分析對(duì)用戶(hù)query與商品間的關(guān)系，建立比商品分類(lèi)體系中的葉

子類(lèi)目還精細(xì)的分類(lèi)節(jié)點(diǎn)

這些節(jié)點(diǎn)能更好的反應(yīng)用戶(hù)對(duì)某類(lèi)商品的興趣點(diǎn)類(lèi)目UI

NodeItem/SPU根據(jù)用戶(hù)行為細(xì)化商品類(lèi)目

UIT面臨的技術(shù)挑戰(zhàn)

興趣節(jié)點(diǎn)的力度控制

太粗，人群刻畫(huà)不夠精確，如“所有買(mǎi)過(guò)裙子的人”

太細(xì)，不具備通用性，如“所有買(mǎi)過(guò)XX品牌XX款的裙子的人”

興趣節(jié)點(diǎn)層級(jí)的控制

興趣點(diǎn)向上的可回溯性

興趣點(diǎn)的匹配

將廣告掛載到興趣點(diǎn)：千萬(wàn)級(jí)廣告

百萬(wàn)級(jí)興趣點(diǎn)

將消費(fèi)者匹配到合適的興趣點(diǎn)：億級(jí)用戶(hù)

百萬(wàn)級(jí)興趣點(diǎn)

在興趣點(diǎn)之間關(guān)聯(lián)擴(kuò)展根據(jù)用戶(hù)行為細(xì)化商品類(lèi)目

UIT的應(yīng)用效果

對(duì)消費(fèi)者的影響

CTR提升22%；點(diǎn)擊用戶(hù)數(shù)提升20%；點(diǎn)擊數(shù)提升5%

對(duì)廣告主的影響

ROI提升15%

對(duì)廣告收入的影響

RPM提升6%內(nèi)容提要41

淘寶平臺(tái)的責(zé)任和面臨的挑戰(zhàn)

個(gè)性化技術(shù)實(shí)踐

搜索中的個(gè)性化

廣告的個(gè)性化投放

用戶(hù)標(biāo)簽和用戶(hù)模型

大數(shù)據(jù)和云計(jì)算平臺(tái)用戶(hù)標(biāo)簽體系達(dá)人淘寶知識(shí)圖譜人

商品

店鋪

屬性店鋪標(biāo)簽：小而美店鋪特色店鋪店鋪運(yùn)營(yíng)質(zhì)量店鋪服務(wù)質(zhì)量店鋪spam度

43

店鋪

買(mǎi)了又買(mǎi)

相似

看了又看

購(gòu)買(mǎi)關(guān)系

商品

相似關(guān)系

跳轉(zhuǎn)關(guān)系

屬性類(lèi)目屬性體系商品特色標(biāo)簽同款，產(chǎn)品節(jié)點(diǎn)庫(kù)商品質(zhì)量標(biāo)簽：

{人氣，點(diǎn)擊滿(mǎn)意度，文本質(zhì)量}虛假交易標(biāo)簽Spam標(biāo)簽

自己

地域

微群

人

淘?xún)?nèi)

SNS

關(guān)系

屬性

外部

關(guān)系

顯示：淘?xún)?nèi)/微博關(guān)注

隱式：同好;

近鄰;同小

區(qū);

同公司User

Profile構(gòu)筑

興趣圖譜User

活躍度分層User

spam

(批發(fā)商,代購(gòu),虛假買(mǎi)家)

點(diǎn)擊

購(gòu)買(mǎi)

收藏

加購(gòu)物車(chē)

評(píng)論

Follo

w

Lik

e

隱性計(jì)算

時(shí)序關(guān)系五大類(lèi)行為數(shù)據(jù)預(yù)測(cè)數(shù)據(jù):用戶(hù)對(duì)商品的點(diǎn)擊、購(gòu)買(mǎi)概率用戶(hù)對(duì)店鋪：購(gòu)買(mǎi)關(guān)系評(píng)價(jià)關(guān)系投訴關(guān)系賣(mài)家對(duì)用戶(hù)標(biāo)簽基于淘寶數(shù)據(jù)的各種信息預(yù)測(cè)

基于淘寶數(shù)據(jù)產(chǎn)生的用戶(hù)標(biāo)簽主要反映消費(fèi)者的購(gòu)物特征，并且受淘寶上的商品結(jié)構(gòu)的限制

用戶(hù)在互聯(lián)網(wǎng)上的其他行為（搜索、瀏覽、交友等）對(duì)了解用戶(hù)的興趣和需求也很重要全網(wǎng)用戶(hù)行為分析

實(shí)踐案例

將用戶(hù)需求分為兩層

關(guān)注的主題（母嬰、服裝、玩具、房產(chǎn)、金融、旅游……)

主題下的興趣點(diǎn)（尿布、奶粉、幼兒出行、嬰幼兒服裝、……）

附加屬性

孩子年齡段

品牌興趣全網(wǎng)用戶(hù)行為分析全網(wǎng)用戶(hù)行為分析Query分析

商業(yè)興趣

檢測(cè)頁(yè)面分析爬蟲(chóng)關(guān)鍵詞

抽取頁(yè)面分類(lèi)

/tagging用戶(hù)興趣聚合用戶(hù)興趣

檢測(cè)用戶(hù)興趣

集成用戶(hù)興趣

檢測(cè)用戶(hù)興趣標(biāo)簽網(wǎng)頁(yè)內(nèi)容淘寶產(chǎn)品庫(kù)和類(lèi)目體系

淘寶聯(lián)盟

日志全網(wǎng)瀏覽日志

全網(wǎng)用戶(hù)行為分析

頁(yè)面分類(lèi)：兩層布爾分類(lèi)器

需要處理的主題分類(lèi)器可以逐步增加

需要檢測(cè)出來(lái)的興趣點(diǎn)也可以局部增減和調(diào)整

類(lèi)別之間不要求排他

主要挑戰(zhàn)：

興趣點(diǎn)和業(yè)務(wù)細(xì)節(jié)之間的平衡與關(guān)聯(lián)

分類(lèi)器的訓(xùn)練數(shù)據(jù)采集（正樣本和負(fù)樣本、數(shù)據(jù)覆蓋面）

分類(lèi)器的測(cè)試數(shù)據(jù)集（改進(jìn)優(yōu)化效果的指南針）是否母嬰

主題？是否嬰幼

兒尿布是否嬰幼

兒奶粉是否嬰幼兒營(yíng)養(yǎng)品……

是否-1~0歲

是否0~1歲

是否1~3歲

是否3~6歲是否玩具

主題是否兒童

玩具是否益智

游戲……

是否服裝主題？是箱包學(xué)具主題？任意一個(gè)頁(yè)面通過(guò)搜索引擎爬取相關(guān)

URL爬蟲(chóng)訓(xùn)練數(shù)據(jù)存儲(chǔ)

和管理系統(tǒng)主題/興趣點(diǎn)相關(guān)host列表主題/興趣點(diǎn)

關(guān)鍵詞抽取

全網(wǎng)用戶(hù)行為分析

訓(xùn)練/測(cè)試數(shù)據(jù)采集和管理分類(lèi)主題/興趣點(diǎn)與淘寶類(lèi)目體系的對(duì)應(yīng)關(guān)系

淘寶產(chǎn)品庫(kù)主題/興趣點(diǎn)訓(xùn)練需求訓(xùn)練數(shù)據(jù)（包含正例和負(fù)例）分類(lèi)邊界樣

本抽樣

全結(jié)果集抽

樣每日分類(lèi)頁(yè)面集合開(kāi)發(fā)集測(cè)試集人工

標(biāo)注優(yōu)化模型測(cè)試效果Prefer????????

=

??????????????(??=1????????????

??????????)??=1θ??

全網(wǎng)用戶(hù)行為分析

頁(yè)面信息到用戶(hù)屬性的聚合

當(dāng)日信息聚合

綜合來(lái)自頁(yè)面內(nèi)容和搜索query的信息?

??–

一個(gè)用戶(hù)一天看100個(gè)母嬰頁(yè)面反映出對(duì)母嬰的興

趣強(qiáng)度跟看500個(gè)頁(yè)面的用戶(hù)是一樣強(qiáng)的–只看一兩個(gè)相關(guān)頁(yè)面不能表明有興趣???????????????????????

=

θ1

×

????????????

????????

+

θ2

×

????????????

??????????––????????????

????????:

來(lái)自于頁(yè)面分析的當(dāng)日用戶(hù)屬性????????????

??????????:

來(lái)自于query的當(dāng)日用戶(hù)屬性–??=1??=0

??

×???????????????????????????=0

??

全網(wǎng)用戶(hù)行為分析

用戶(hù)的長(zhǎng)期興趣和短期需求的判斷

一種簡(jiǎn)單的處理方法??

????

?????????????????????????????

=其中：

–

??

為時(shí)間衰減因子

–

?????????????????????????為前第i天的用戶(hù)屬性

更多的思考—不同類(lèi)型的標(biāo)簽需要不同的處理方法

長(zhǎng)期興趣、臨時(shí)需求、周期性需求

年齡、性別、孩子年齡

是否有車(chē)、有房

什么時(shí)候買(mǎi)車(chē)、買(mǎi)房?jī)?nèi)容提要52

淘寶平臺(tái)的責(zé)任和面臨的挑戰(zhàn)

個(gè)性化技術(shù)實(shí)踐

搜索中的個(gè)性化

廣告的個(gè)性化投放

用戶(hù)標(biāo)簽和用戶(hù)模型

大數(shù)據(jù)和云計(jì)算平臺(tái)分布式云計(jì)算平臺(tái)去IOE數(shù)據(jù)交阿里巴巴大數(shù)據(jù)路徑

數(shù)據(jù)管理平臺(tái)：換平臺(tái)：

DMPDXP數(shù)據(jù)管理平臺(tái)（DMP）CNZZ數(shù)據(jù)交換平臺(tái)（DXP）數(shù)據(jù)交換平臺(tái)

商

家淘寶信用金融物流聚劃算阿里云新浪微博友盟

企

業(yè)天貓

研

究

公

司一淘金融機(jī)構(gòu)大學(xué)開(kāi)發(fā)者

支

付

寶數(shù)據(jù)交換平臺(tái)（DXP）

離線(xiàn)存儲(chǔ)

與計(jì)算

任務(wù)調(diào)度

與管理元數(shù)據(jù)管理

算法庫(kù)

在線(xiàn)存儲(chǔ)

與計(jì)算數(shù)據(jù)開(kāi)發(fā)與可視

化界面

安全與審計(jì)

數(shù)據(jù)產(chǎn)品

實(shí)時(shí)計(jì)算

數(shù)據(jù)同步計(jì)