什么是用戶畫像

什么是用戶畫像用戶畫像是指根據(jù)用戶的屬性、用戶偏好、生活習(xí)慣、用戶行為等信息而抽象出來的標(biāo)簽化用戶模型。通俗說就是給用戶打標(biāo)簽，而標(biāo)簽是通過對用戶信息分析而來的高度精煉的特征標(biāo)識。通過打標(biāo)簽可以利用一些高度概括、容易理解的特征來描述用戶，可以讓人更容易理解用戶，并且可以方便計算機(jī)處理。用戶畫像是對現(xiàn)實世界中用戶的建模，用戶畫像應(yīng)該包含目標(biāo)，方式，組織，標(biāo)準(zhǔn)，驗證這5個方面。目標(biāo)：指的是描述人，認(rèn)識人，了解人，理解人。方式：又分為非形式化手段，如使用文字、語言、圖像、視頻等方式描述人；形式化手段，即使用數(shù)據(jù)的方式來刻畫人物的畫像。組織：指的是結(jié)構(gòu)化、非結(jié)構(gòu)化的組織形式。標(biāo)準(zhǔn)：指的是使用常識、共識、知識體系的漸進(jìn)過程來刻畫人物，認(rèn)識了解用戶。驗證：依據(jù)側(cè)重說明了用戶畫像應(yīng)該來源事實、經(jīng)得起推理和檢驗。在產(chǎn)品早期和發(fā)展期，會較多地借助用戶畫像，幫助產(chǎn)品人員理解用戶的需求，想象用戶使用的場景，產(chǎn)品設(shè)計從為所有人做產(chǎn)品變成為三四個人做產(chǎn)品，間接的降低復(fù)雜度。二、用戶畫像的作用在互聯(lián)網(wǎng)、電商領(lǐng)域用戶畫像常用來作為精準(zhǔn)營銷、推薦系統(tǒng)的基礎(chǔ)性工作，其作用總體包括：（1）精準(zhǔn)營銷：根據(jù)歷史用戶特征，分析產(chǎn)品的潛在用戶和用戶的潛在需求，針對特定群體，利用短信、郵件等方式進(jìn)行營銷。（2）用戶統(tǒng)計：根據(jù)用戶的屬性、行為特征對用戶進(jìn)行分類后，統(tǒng)計不同特征下的用戶數(shù)量、分布；分析不同用戶畫像群體的分布特征。（3）數(shù)據(jù)挖掘：以用戶畫像為基礎(chǔ)構(gòu)建推薦系統(tǒng)、搜索引擎、廣告投放系統(tǒng)，提升服務(wù)精準(zhǔn)度。（4）服務(wù)產(chǎn)品：對產(chǎn)品進(jìn)行用戶畫像，對產(chǎn)品進(jìn)行受眾分析，更透徹地理解用戶使用產(chǎn)品的心理動機(jī)和行為習(xí)慣，完善產(chǎn)品運營，提升服務(wù)質(zhì)量。（5）行業(yè)報告&用戶研究：通過用戶畫像分析可以了解行業(yè)動態(tài)，比如人群消費習(xí)慣、消費偏好分析、不同地域品類消費差異分析根據(jù)用戶畫像的作用可以看出，用戶畫像的使用場景較多，用戶畫像可以用來挖掘用戶興趣、偏好、人口統(tǒng)計學(xué)特征，主要目的是提升營銷精準(zhǔn)度、推薦匹配度，終極目的是提升產(chǎn)品服務(wù)，起到提升企業(yè)利潤。用戶畫像適合于各個產(chǎn)品周期：從新用戶的引流到潛在用戶的挖掘、從老用戶的培養(yǎng)到流失用戶的回流等?？偨Y(jié)來說，用戶畫像必須從實際業(yè)務(wù)場景出發(fā)，解決實際的業(yè)務(wù)問題，之所以進(jìn)行用戶畫像，要么是獲取新用戶，要么是提升用戶體驗、或者挽回流失用戶等具有明確的業(yè)務(wù)目標(biāo)。另外關(guān)于用戶畫像數(shù)據(jù)維度的問題，并不是說數(shù)據(jù)維度越豐富越好，總之，畫像維度的設(shè)計同樣需要緊跟業(yè)務(wù)實際情況進(jìn)行開展。三、

用戶畫像的分類從畫像方法來說，可以分為定性畫像、定性+定量畫像、定量畫像從應(yīng)用角度來看，可以分為行為畫像、健康畫像、企業(yè)信用畫像、個人信用畫像、靜態(tài)產(chǎn)品畫像、旋轉(zhuǎn)設(shè)備畫像、社會畫像和經(jīng)濟(jì)畫像等。四、用戶畫像需要用到哪些數(shù)據(jù)一般來說，根據(jù)具體的業(yè)務(wù)內(nèi)容，會有不同的數(shù)據(jù)，不同的業(yè)務(wù)目標(biāo)，也會使用不同的數(shù)據(jù)。在互聯(lián)網(wǎng)領(lǐng)域，用戶畫像數(shù)據(jù)可以包括以下內(nèi)容：（1）人口屬性：包括性別、年齡等人的基本信息（2）興趣特征：瀏覽內(nèi)容、收藏內(nèi)容、閱讀咨詢、購買物品偏好等（3）消費特征：與消費相關(guān)的特征（4）位置特征：用戶所處城市、所處居住區(qū)域、用戶移動軌跡等（5）設(shè)備屬性：使用的終端特征等（6）行為數(shù)據(jù)：訪問時間、瀏覽路徑等用戶在網(wǎng)站的行為日志數(shù)據(jù)（7）社交數(shù)據(jù)：用戶社交相關(guān)數(shù)據(jù)用戶畫像數(shù)據(jù)來源廣泛，這些數(shù)據(jù)是全方位了解用戶的基礎(chǔ)，這里以Qunar的畫像為例，其畫像數(shù)據(jù)主要維度如下所示，包括用戶RFM信息、航線信息等。Qunar的畫像數(shù)據(jù)倉庫構(gòu)建都是基于Qunar基礎(chǔ)數(shù)據(jù)倉庫構(gòu)建，然后按照維度進(jìn)行劃分。五、

用戶畫像主要應(yīng)用場景a)用戶屬性b)用戶標(biāo)簽畫像c)用戶偏好畫像d)用戶流失e)用戶行為f)產(chǎn)品設(shè)計g)

個性化推薦、廣告系統(tǒng)、活動營銷、內(nèi)容推薦、興趣偏好六、

用戶畫像使用的技術(shù)方法靜態(tài)和動態(tài)的劃分，其實是根據(jù)某個維度來定的，或者是在某個時間窗口內(nèi)的。靜態(tài)畫像一般是實時性弱更新慢；動態(tài)畫像變化相對更快一些，可以在時效性、空間上有差異。不同的行業(yè)，不同的業(yè)務(wù)，也會有不一樣的構(gòu)建目標(biāo)和方式。在這個過程中，通過業(yè)務(wù)應(yīng)用的要素分析，去驅(qū)動標(biāo)簽維度的擴(kuò)展，然后通過標(biāo)簽維度的擴(kuò)展。然后我又可以去驅(qū)動業(yè)務(wù)。七、用戶畫像標(biāo)簽體系的建立1、什么是標(biāo)簽體系用戶畫像是對現(xiàn)實用戶做的一個數(shù)學(xué)模型，在整個數(shù)學(xué)模型中，核心是怎么描述業(yè)務(wù)知識體系，而這個業(yè)務(wù)知識體系就是本體論，本體論很復(fù)雜，我們找到一個特別樸素的實現(xiàn)，就是標(biāo)簽。標(biāo)簽是某一種用戶特征的符號表示。是一種內(nèi)容組織方式，是一種關(guān)聯(lián)性很強(qiáng)的關(guān)鍵字，能方便的幫助我們找到合適的內(nèi)容及內(nèi)容分類。（注：簡單說，就是你把用戶分到多少個類別里面去，這些類是什么，彼此之間有什么關(guān)系，就構(gòu)成了標(biāo)簽體系）標(biāo)簽解決的是描述（或命名）問題，但在實際應(yīng)用中，還需要解決數(shù)據(jù)之間的關(guān)聯(lián)，所以通常將標(biāo)簽作為一個體系來設(shè)計，以解決數(shù)據(jù)之間的關(guān)聯(lián)問題。一般來說，將能關(guān)聯(lián)到具體用戶數(shù)據(jù)的標(biāo)簽，稱為葉子標(biāo)簽。對葉子標(biāo)簽進(jìn)行分類匯總的標(biāo)簽，稱為父標(biāo)簽。父標(biāo)簽和葉子標(biāo)簽共同構(gòu)成標(biāo)簽體系，但兩者是相對概念。例如：下表中，地市、型號在標(biāo)簽體系中相對于省份、品牌，是葉子標(biāo)簽。用戶畫像標(biāo)簽體系創(chuàng)建后一般要包含以下幾個方面的內(nèi)容（1）標(biāo)簽分類用戶畫像標(biāo)簽可以分為基礎(chǔ)屬性標(biāo)簽和行為屬性標(biāo)簽。由于基于一個目標(biāo)的畫像，其標(biāo)簽是在動態(tài)擴(kuò)展的，所以其標(biāo)簽體系也沒有統(tǒng)一的模板，在大分類上，與自身的業(yè)務(wù)特征有很大的關(guān)聯(lián)，在整體思路上可以從橫縱兩個維度展開思考：橫向是產(chǎn)品內(nèi)數(shù)據(jù)和產(chǎn)品外數(shù)據(jù)，縱向是線上數(shù)據(jù)和線下數(shù)據(jù)。而正中間則是永恒不變的“人物基礎(chǔ)屬性”。如果說其他的分類因企業(yè)特征而定，那么只有人物特征屬性（至于名字叫什么不重要，關(guān)鍵是內(nèi)涵）是各家企業(yè)不能缺失的板塊。所謂人物基礎(chǔ)屬性指的是：用戶客觀的屬性而非用戶自我表達(dá)的屬性，也就是描述用戶真實人口屬性的標(biāo)簽。所謂非“自我表達(dá)”，舉例來說，某產(chǎn)品內(nèi)個人信息有性別一項，用戶填寫為“女”，而通過用戶上傳的身份證號，以及用戶照片，用戶購買的產(chǎn)品，甚至用戶打來的客服電話，都發(fā)現(xiàn)該用戶性別是“男性”。那么在人物基礎(chǔ)屬性中的性別，應(yīng)該標(biāo)識的是“男性”，但是用戶信息標(biāo)簽部分，自我描述的性別則可能標(biāo)注為女性。（2）標(biāo)簽級別（標(biāo)簽的體系結(jié)構(gòu)）分級有兩個層面的含義，其一是：指標(biāo)到最低層級的涵蓋的層級；其二是指：指標(biāo)的運算層級。其一非常好理解，這里重點說運算層級。標(biāo)簽從運算層級角度可以分為三層：事實標(biāo)簽、模型標(biāo)簽、預(yù)測標(biāo)簽。事實標(biāo)簽：是通過對于原始數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行統(tǒng)計分析而來的，比如用戶投訴次數(shù)，是基于用戶一段時間內(nèi)實際投訴的行為做的統(tǒng)計。模型標(biāo)簽：模型標(biāo)簽是以事實標(biāo)簽為基礎(chǔ)，通過構(gòu)建事實標(biāo)簽與業(yè)務(wù)問題之間的模型，進(jìn)行模型分析得到。比如，結(jié)合用戶實際投訴次數(shù)、用戶購買品類、用戶支付的金額等，進(jìn)行用戶投訴傾向類型的識別，方便客服進(jìn)行分類處理。預(yù)測標(biāo)簽：則是在模型的基礎(chǔ)上做預(yù)測，比如針對投訴傾向類型結(jié)構(gòu)的變化，預(yù)測平臺輿情風(fēng)險指數(shù)。（3）標(biāo)簽命名&賦值我們用一張圖來說明一下命名和賦值的差別，只要在構(gòu)建用戶標(biāo)簽的過程種，有意識的區(qū)別標(biāo)簽命名和賦值足矣，不再贅述。（4）標(biāo)簽屬性標(biāo)簽屬性可以理解為針對標(biāo)簽進(jìn)行的再標(biāo)注，這一環(huán)節(jié)的工作主要目的是幫助內(nèi)部理解標(biāo)簽賦值的來源，進(jìn)而理解指標(biāo)的含義。如圖所示，可以總結(jié)為5種來源：1、固有屬性：是指這些指標(biāo)的賦值體現(xiàn)的是用戶生而有之或者事實存在的，不以外界條件或者自身認(rèn)知的改變而改變的屬性。比如：性別、年齡、是否生育等。2、推導(dǎo)屬性：由其他屬性推導(dǎo)而來的屬性，比如星座，我們可以通過用戶的生日推導(dǎo)，比如用戶的品類偏好，則可以通過日常購買來推導(dǎo)。3、行為屬性：產(chǎn)品內(nèi)外實際發(fā)生的行為被記錄后形成的賦值，比如用戶的登陸時間，頁面停留時長等。4、態(tài)度屬性：用戶自我表達(dá)的態(tài)度和意愿。比如說我們通過一份問卷向用戶詢問一些問題，并形成標(biāo)簽，如詢問用戶：是否愿意結(jié)婚，是否喜歡某個品牌等。當(dāng)然在大數(shù)據(jù)的需求背景下，利用問卷收集用戶標(biāo)簽的方法效率顯得過低，更多的是利用產(chǎn)品中相關(guān)的模塊做了用戶態(tài)度信息收集。5、測試屬性：測試屬性是指來自用戶的態(tài)度表達(dá)，但并不是用戶直接表達(dá)的內(nèi)容，而是通過分析用戶的表達(dá)，結(jié)構(gòu)化處理后，得出的測試結(jié)論。比如，用戶填答了一系列的態(tài)度問卷，推導(dǎo)出用戶的價值觀類型等。值得注意的是，一種標(biāo)簽的屬性可以是多重的，比如：個人星座這個標(biāo)簽，既是固有屬性，也是推導(dǎo)屬性，它首先不以個人的意志為轉(zhuǎn)移，同時可以通過身份證號推導(dǎo)而來。即便你成功了建立用戶畫像的標(biāo)簽體系，也不意味著你就開啟了用戶畫像的成功之路，因為有很大的可能是這些標(biāo)簽根本無法獲得，或者說無法賦值。標(biāo)簽無法賦值的原因有：數(shù)據(jù)無法采集（沒有有效的渠道和方法采集到準(zhǔn)確的數(shù)據(jù)，比如用戶身份證號）、數(shù)據(jù)庫不能打通、建模失?。A(yù)測指標(biāo)無法獲得賦值）等等。

2、標(biāo)簽體系結(jié)構(gòu)

標(biāo)簽體系可以歸納出如下的層級結(jié)構(gòu)。（1）原始輸入層主要指用戶的歷史數(shù)據(jù)信息，如會員信息、消費信息、網(wǎng)絡(luò)行為信息。經(jīng)過數(shù)據(jù)的清洗，從而達(dá)到用戶標(biāo)簽體系的事實層。（2）事實層事實層是用戶信息的準(zhǔn)確描述層，其最重要的特點是，可以從用戶身上得到確定與肯定的驗證。如用戶的人口屬性、性別、年齡、籍貫、會員信息等。（3）模型預(yù)測層通過利用統(tǒng)計建模，數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的思想，對事實層的數(shù)據(jù)進(jìn)行分析利用，從而得到描述用戶更為深刻的信息。如通過建模分析，可以對用戶的性別偏好進(jìn)行預(yù)測，從而能對沒有收集到性別數(shù)據(jù)的新用戶進(jìn)行預(yù)測。還可以通過建模與數(shù)據(jù)挖掘，使用聚類、關(guān)聯(lián)思想，發(fā)現(xiàn)人群的聚集特征。（4）營銷模型預(yù)測利用模型預(yù)測層結(jié)果，對不同用戶群體，相同需求的客戶，通過打標(biāo)簽，建立營銷模型，從而分析用戶的活躍度、忠誠度、流失度、影響力等可以用來進(jìn)行營銷的數(shù)據(jù)。（5）業(yè)務(wù)層業(yè)務(wù)層可以是展現(xiàn)層。它是業(yè)務(wù)邏輯的直接體現(xiàn)，如圖中所表示的，有車一族、有房一族等。3、標(biāo)簽體系結(jié)構(gòu)分類一般來說，設(shè)計一個標(biāo)簽體系有3種思路，分別是：（1）結(jié)構(gòu)化標(biāo)簽體系；（2）半結(jié)構(gòu)化標(biāo)簽體系；（3）非結(jié)構(gòu)化標(biāo)簽體系。（1）結(jié)構(gòu)化標(biāo)簽體系簡單地說，就是標(biāo)簽組織成比較規(guī)整的樹或森林，有明確的層級劃分和父子關(guān)系。結(jié)構(gòu)化標(biāo)簽體系看起來整潔，又比較好解釋，在面向品牌廣告井噴時比較好用。性別、年齡這類人口屬性標(biāo)簽，是最典型的結(jié)構(gòu)化體系。下圖就是Yahoo!受眾定向廣告平臺采用的結(jié)構(gòu)化標(biāo)簽體系。（2）半結(jié)構(gòu)化標(biāo)簽體系在用于效果廣告時，標(biāo)簽設(shè)計的靈活性大大提高了。標(biāo)簽體系是不是規(guī)整，就不那么重要了，只要有效果就行。在這種思路下，用戶標(biāo)簽往往是在行業(yè)上呈現(xiàn)出一定的并列體系，而各行業(yè)內(nèi)的標(biāo)簽設(shè)計則以“逮住老鼠就是好貓”為最高指導(dǎo)原則，切不可拘泥于形式。下圖是Bluekai聚合多家數(shù)據(jù)形成的半結(jié)構(gòu)化標(biāo)簽體系。（3）非結(jié)構(gòu)化標(biāo)簽體系非結(jié)構(gòu)化，就是各個標(biāo)簽就事論事，各自反應(yīng)各自的用戶興趣，彼此之間并無層級關(guān)系，也很難組織成規(guī)整的樹狀結(jié)構(gòu)。非結(jié)構(gòu)化標(biāo)簽的典型例子，是搜索廣告里用的關(guān)鍵詞。還有Facebook用的用戶興趣詞。

4、用戶畫像標(biāo)簽層級的建模方法用戶畫像的核心是標(biāo)簽的建立，用戶畫像標(biāo)簽建立的各個階段使用的模型和算法如下圖所示。原始數(shù)據(jù)層。對原始數(shù)據(jù)，我們主要使用文本挖掘的算法進(jìn)行分析如常見的TF-IDF、TopicModel主題模型、LDA等算法，主要是對原始數(shù)據(jù)的預(yù)處理和清洗，對用戶數(shù)據(jù)的匹配和標(biāo)識。事實標(biāo)簽層。通過文本挖掘的方法，我們從數(shù)據(jù)中盡可能多的提取事實數(shù)據(jù)信息，如人口屬性信息，用戶行為信息，消費信息等。其主要使用的算法是分類和聚類。分類主要用于預(yù)測新用戶，信息不全的用戶的信息，對用戶進(jìn)行預(yù)測分類。聚類主要用于分析挖掘出具有相同特征的群體信息，進(jìn)行受眾細(xì)分，市場細(xì)分。對于文本的特征數(shù)據(jù)，其主要使用相似度計算，如余弦夾角，歐式距離等。模型標(biāo)簽層。使用機(jī)器學(xué)習(xí)的方法，結(jié)合推薦算法。模型標(biāo)簽層完成對用戶的標(biāo)簽建模與用戶標(biāo)識。其主要可以采用的算法有回歸，決策樹，支持向量機(jī)等。通過建模分析，我們可以進(jìn)一步挖掘出用戶的群體特征和個性權(quán)重特征，從而完善用戶的價值衡量，服務(wù)滿意度衡量等。預(yù)測層。也是標(biāo)簽體系中的營銷模型預(yù)測層。這一層級利用預(yù)測算法，如機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)，計量經(jīng)濟(jì)學(xué)中的回歸預(yù)測，數(shù)學(xué)中的線性規(guī)劃等方法。實習(xí)對用戶的流失預(yù)測，忠實度預(yù)測，興趣程度預(yù)測等等，從而實現(xiàn)精準(zhǔn)營銷，個性化和定制化服務(wù)。不同的標(biāo)簽層級會考慮使用對其適用的建模方法，對一些具體的問題，有專門的文章對其進(jìn)行研究。八、用戶畫像基本步驟根據(jù)具體業(yè)務(wù)規(guī)則確定用戶畫像方向后，開展用戶畫像分析，總體來說，一個用戶畫像流程包括以下三步。（1）用戶畫像的基本方向；（2）用戶數(shù)據(jù)收集；（3）用戶標(biāo)簽建模。另外，需要注意的是用戶畫像的時效性，構(gòu)建畫像的數(shù)據(jù)多為歷史數(shù)據(jù)，但用戶的行為、偏好等特征多會隨著時間的推移而發(fā)生變化。九、用戶畫像驗證十、用戶畫像的實際例子注：此處涉及到工作中的項目內(nèi)容，由于保密，就不能分享了十一、

用戶畫像平臺&架構(gòu)用戶畫像平臺需要實現(xiàn)的功能。用戶畫像系統(tǒng)技術(shù)架構(gòu)（1）

數(shù)據(jù)處理a、數(shù)據(jù)指標(biāo)的梳理來源于各個系統(tǒng)日常積累的日志記錄系統(tǒng)，通過sqoop導(dǎo)入hdfs,也可以用代碼來實現(xiàn)，比如spark的jdbc連接傳統(tǒng)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的cache。還有一種方式，可以通過將數(shù)據(jù)寫入本地文件，然后通過sparksql的load或者h(yuǎn)ive的export等方式導(dǎo)入HDFS。b、通過hive編寫UDF或者h(yuǎn)iveql根據(jù)業(yè)務(wù)邏輯拼接ETL，使用戶對應(yīng)上不同的用戶標(biāo)簽數(shù)據(jù)（這里的指標(biāo)可以理解為每個用戶打上了相應(yīng)的標(biāo)簽），生成相應(yīng)的源表數(shù)據(jù),以便于后續(xù)用戶畫像系統(tǒng)，通過不同的規(guī)則進(jìn)行標(biāo)簽寬表的生成。（2）

數(shù)據(jù)平臺a、數(shù)據(jù)平臺應(yīng)用的分布式文件系統(tǒng)為Hadoop的HDFS，因為Hadoop2.0以后,任何的大數(shù)據(jù)應(yīng)用都可以通過ResoureManager申請資源，注冊服務(wù)。比如(sparksubmit、hive）等等。而基于內(nèi)存的計算框架的出現(xiàn)，就并不選用Hadoop的MapReduce了。當(dāng)然很多離線處理的業(yè)務(wù)，很多人還是傾向于使用Hadoop,但是Hadoop封裝的函數(shù)只有map和Reduce太過單一，而不像spark一類的計算框架有更多封裝的函數(shù)（可參考博客spark專欄）。可以大大提升開發(fā)效率。b、計算的框架選用Spark以及RHadoop,這里Spark的主要用途有兩種，一種是對于數(shù)據(jù)處理與上層應(yīng)用所指定的規(guī)則的數(shù)據(jù)篩選過濾，(通過Scala編寫spark代碼提交至sparksubmit)。一種是服務(wù)于上層應(yīng)用的SparkSQL（通過啟動sparkthriftserver與前臺應(yīng)用進(jìn)行連接）。RHadoop的應(yīng)用主要在于對于標(biāo)簽數(shù)據(jù)的打分，比如利用協(xié)同過濾算法等各種推薦算法對數(shù)據(jù)進(jìn)行各方面評分。c、MongoDB內(nèi)存數(shù)據(jù)的應(yīng)用主要在于對于單個用戶的實時的查詢，也是通過對spark數(shù)據(jù)梳理后的標(biāo)簽寬表進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換(json格式）導(dǎo)入mongodb,前臺應(yīng)用可通過連接mongodb進(jìn)行數(shù)據(jù)轉(zhuǎn)換，從而進(jìn)行單個標(biāo)簽的展現(xiàn)。（當(dāng)然也可將數(shù)據(jù)轉(zhuǎn)換為Redis中的keyvalue形式，導(dǎo)入Redis集群)d、mysql的作用在于針對上層應(yīng)用標(biāo)簽規(guī)則的存儲，以及頁面信息的展現(xiàn)。后臺的數(shù)據(jù)寬表是與spark相關(guān)聯(lián)，通過連接mysql隨后cache元數(shù)據(jù)進(jìn)行filter、select、map、reduce等對