大數(shù)據(jù)環(huán)境下移動用戶畫像的構(gòu)建方法研究

1、 大數(shù)據(jù)環(huán)境下移動用戶畫像的構(gòu)建方法研究 張宇 阮雪靈移動用戶在使用移動網(wǎng)絡(luò)過程中都會留下自己的痕跡，包括：靜態(tài)信息、動態(tài)信息以及它們之間關(guān)系的信息等，企業(yè)可以憑借用戶畫像來提取真實(shí)用戶的行為特征以及興趣特征，以便為群體劃分、廣告投放、產(chǎn)品營銷等工作提供依據(jù)。目前，用戶畫像已成為學(xué)術(shù)界、廣告界以及互聯(lián)網(wǎng)界的熱門話題，將大數(shù)據(jù)技術(shù)與用戶畫像構(gòu)建進(jìn)行有效結(jié)合，發(fā)揮大數(shù)據(jù)算法優(yōu)勢，不僅可以達(dá)到有效的內(nèi)容服務(wù)和產(chǎn)品營銷效果，還可以為產(chǎn)品研發(fā)帶來有效的技術(shù)參考。一、 大數(shù)據(jù)環(huán)境下移動用戶畫像的構(gòu)建過程（一）數(shù)據(jù)平臺整理數(shù)據(jù)指標(biāo)梳理一般來源于系統(tǒng)之前保存的日志記錄系統(tǒng)，可利用Sqoop將HDFS進(jìn)行導(dǎo)入。

2、如果Sqoop系統(tǒng)暫時無法導(dǎo)入，還可以利用代碼來實(shí)現(xiàn)導(dǎo)入，即利用Spark當(dāng)中的JDBC與數(shù)據(jù)庫當(dāng)中的Cache進(jìn)行有效連接，同樣可將HDFS進(jìn)行導(dǎo)入。在HDFS導(dǎo)入之后，就需要利用Hive進(jìn)行編寫，并依照業(yè)務(wù)邏輯將ETL進(jìn)行有效拼接，確保移動用戶能夠?qū)?yīng)上各種用戶標(biāo)簽數(shù)據(jù)，進(jìn)而生成對應(yīng)的源表數(shù)據(jù)，不僅能夠更好的操作用戶畫像系統(tǒng)，還有利于后續(xù)利用不同規(guī)則來生成標(biāo)簽寬表。（二）數(shù)據(jù)平臺計(jì)算目前，數(shù)據(jù)平臺應(yīng)用越來越方便，只要通過系統(tǒng)管理員就可以申請資源以及注冊服務(wù)。但是在處理離線業(yè)務(wù)時往往還是需要應(yīng)用到Hadoop，而Hadoop的實(shí)際封裝函數(shù)較為單一，只有Map以及Reduce，還欠缺其他的封裝

3、函數(shù)，仍需進(jìn)一步提高實(shí)際開發(fā)效率。首先，在計(jì)算框架的選擇過程中，可采用Spark以及Hadoop。其中，Spark的基本作用主要有兩點(diǎn)：一是能夠?qū)?shù)據(jù)處理以及規(guī)則數(shù)據(jù)進(jìn)行篩選過濾，并依靠Scala進(jìn)行編寫，使Spark代碼能夠有效提交至對應(yīng)的系統(tǒng)當(dāng)中，二是能夠?qū)parkSQL進(jìn)行有效服務(wù)，有效啟動Spark與前臺應(yīng)用進(jìn)行有效連接。Hadoop的基本作用則是對標(biāo)簽數(shù)據(jù)進(jìn)行合理打分，并根據(jù)過濾算法以及其他推薦算法對各種數(shù)據(jù)進(jìn)行綜合評分。其次，在計(jì)算框架完成之后，還要利用到MongoDB當(dāng)中的內(nèi)存數(shù)據(jù)，主要用來對單個用戶進(jìn)行有效的實(shí)時查詢。在此過程中，可對Spark數(shù)據(jù)進(jìn)行實(shí)時梳理，再將標(biāo)簽寬表進(jìn)

4、行有效的數(shù)據(jù)格式轉(zhuǎn)換，使標(biāo)簽寬表能夠順利導(dǎo)入到MongoDB當(dāng)中，接著將前臺應(yīng)用于MongoDB進(jìn)行有效連接，從而實(shí)現(xiàn)單個標(biāo)簽的有效展現(xiàn)。最后，在標(biāo)簽展現(xiàn)結(jié)束之后，可利用MySQL對應(yīng)用標(biāo)簽規(guī)則的具體存儲以及頁面信息的具體展現(xiàn)進(jìn)行優(yōu)化，再利用Cache元數(shù)據(jù)對其他數(shù)據(jù)進(jìn)行有效整合，從而與HDFS當(dāng)中的真實(shí)數(shù)據(jù)進(jìn)行有效處理。（三）數(shù)據(jù)平臺應(yīng)用經(jīng)過前期的數(shù)據(jù)平臺整理以及數(shù)據(jù)平臺計(jì)算之后，已經(jīng)生成了一個有效的標(biāo)簽大寬表。在此之后，前臺應(yīng)結(jié)合業(yè)務(wù)邏輯將各種標(biāo)簽進(jìn)行勾選，并有序完成標(biāo)簽求和以及標(biāo)簽剔出等操作。在此過程中，由于SQL當(dāng)中的聚合函數(shù)以及多表關(guān)聯(lián)類似于Hadoop中兩種內(nèi)容，分別是MapRed

5、uce以及Shuffle，這就容易出現(xiàn)內(nèi)存溢出的情況，反而有利于定位實(shí)際客戶數(shù)量，并能提高客戶標(biāo)簽分析效率，使產(chǎn)品營銷策略更為精準(zhǔn)。二、大數(shù)據(jù)環(huán)境下移動用戶畫像的構(gòu)建技術(shù)（一）分布式計(jì)算技術(shù)目前，移動用戶畫像構(gòu)建的主要平臺包括Spark以及Hadoop。其中Spark主要屬于基于內(nèi)存計(jì)算方法的分布式計(jì)算框架，可有效增強(qiáng)數(shù)據(jù)處理的有效性和實(shí)時性，并提高了容錯性以及可伸縮性，有利于將Spark充分部署在硬件當(dāng)中，以此構(gòu)成一個集群。借助分布式計(jì)算法可將分布式存儲數(shù)據(jù)進(jìn)行有效讀入，并將任務(wù)有效分發(fā)到關(guān)鍵節(jié)點(diǎn)當(dāng)中進(jìn)行快速計(jì)算，還可將磁盤數(shù)據(jù)充分讀入到內(nèi)存中，并將中間結(jié)果有效保存到內(nèi)存中，有利于快速進(jìn)行迭

6、代運(yùn)算。同時，Spark還具有處理速度快、易用性強(qiáng)、容錯率高、兼容性強(qiáng)以及計(jì)算范式多等諸多優(yōu)點(diǎn)，在移動用戶畫像構(gòu)建中使用較為廣泛。而Hadoop則是由HDFS以及Hive等元素組成，但實(shí)際運(yùn)用中HDFS系統(tǒng)作用最為顯著，可有效存儲集群內(nèi)部的所有存儲節(jié)點(diǎn)文件，以此有序執(zhí)行程序中的重要引擎。（二）樣本標(biāo)注技術(shù)移動用戶畫像構(gòu)建使用的數(shù)據(jù)樣本有著顯著的海量性，并且涉及到的數(shù)據(jù)領(lǐng)域和種類較多，通常將人工標(biāo)注以及自動標(biāo)注進(jìn)行有效結(jié)合。其中，自動標(biāo)注主要是依照樣本的具體特征值以及某個Key進(jìn)行的標(biāo)注，如：根據(jù)行業(yè)的顯著Key進(jìn)行標(biāo)注。自動標(biāo)注還可以通過半監(jiān)督方式對一些樣本進(jìn)行標(biāo)注，再對剩下未標(biāo)注的樣本進(jìn)行有

7、效地分類訓(xùn)練?，F(xiàn)階段，常見的自動標(biāo)注方法包括：自動訓(xùn)練法、多視角算法以及圖論方法等。而人工標(biāo)注則是通過專業(yè)技術(shù)人員自行對行業(yè)Key進(jìn)行的手工分類和標(biāo)注，標(biāo)注效率低，但是準(zhǔn)確性高，可以避免機(jī)器標(biāo)注帶來的領(lǐng)域歧義性、分詞不合理等問題，具體應(yīng)用通常是結(jié)合自動標(biāo)注共同進(jìn)行。此外，在樣本標(biāo)注之后，還會涉及到文本語義理解這一內(nèi)容。目前，自然語言理解屬于我國人工智能的難點(diǎn)，也是實(shí)現(xiàn)智能語音交互以及人機(jī)對話的關(guān)鍵核心，在用戶畫像處理過程中，某些應(yīng)用場景往往需要處理大量的文本，需要對這些自然語言進(jìn)行充分有效地理解。現(xiàn)階段，常見的文本語義理解方法包括RNN模型以及LSTM模型等。（三）機(jī)器學(xué)習(xí)技術(shù)機(jī)器學(xué)習(xí)技術(shù)可有

8、效對移動用戶進(jìn)行分類，如：貝葉斯網(wǎng)絡(luò)以及隨機(jī)森林等方法，本文以移動商務(wù)環(huán)境下“孕婦標(biāo)簽”為例，闡述基于大數(shù)據(jù)深度學(xué)習(xí)建模的具體過程。首先，將移動用戶在各個品類中的實(shí)際購買行為作為基本模型訓(xùn)練特征，并對這些品類進(jìn)行有效劃分，以此挑選出與孕婦標(biāo)簽顯著契合的品類，如：孕婦裝、營養(yǎng)品、高跟鞋以及彩妝等商品，并根據(jù)某些品類的實(shí)際購買行為進(jìn)行篩選，以此挑選出訓(xùn)練正負(fù)樣本。例如，根據(jù)移動用戶在各個品類中的實(shí)際購買次數(shù)進(jìn)行分析，如果跟孕婦標(biāo)簽相契合的品類購買次數(shù)達(dá)到3次以上，如孕婦裝以及營養(yǎng)品等，則標(biāo)識為正樣本；如果跟孕婦標(biāo)簽相違背的品類購買次數(shù)超過3次以上，如高跟鞋以及彩妝等，則標(biāo)識為負(fù)樣本。經(jīng)過有效標(biāo)識，

9、可提供模型訓(xùn)練必備的特征數(shù)據(jù)，從而構(gòu)造一個最為初始的網(wǎng)絡(luò)模型，以此觀察網(wǎng)絡(luò)模型是否能夠進(jìn)行自我學(xué)習(xí)。由于孕婦標(biāo)簽對于時間具有較強(qiáng)的敏感性，在構(gòu)造網(wǎng)絡(luò)模型過程中應(yīng)注意時間維度的影響。例如，在半年前有過購買孕婦類產(chǎn)品的移動用戶，如果在最近一到兩個月都沒有再買孕婦類產(chǎn)品，反而開始購買母嬰類產(chǎn)品，則表明這類移動用戶已經(jīng)不再是孕婦了，此時應(yīng)去除掉這類移動用戶的孕婦標(biāo)簽，而是加上寶媽標(biāo)簽，并將其歸納到寶媽標(biāo)簽中進(jìn)行觀察。三、大數(shù)據(jù)環(huán)境下移動用戶畫像構(gòu)建的實(shí)施（一）精準(zhǔn)識別移動用戶移動用戶識別作為畫像構(gòu)建的第一步，具有至關(guān)重要的意義。其主要目的是為了更好的區(qū)分移動用戶以及單點(diǎn)定位。目前，移動用戶的識別方式較

10、多，包括注冊ID、注冊手機(jī)號以及微博等途徑，但隨著移動用戶越來越趨向于使用手機(jī)APP，而手機(jī)號注冊的意愿越來越低，如今新浪微博、微信、QQ以及抖音快手等第三方登錄已成為當(dāng)代企業(yè)最佳的移動用戶識別選擇。（二）動態(tài)追蹤移動用戶的具體行為軌跡軌跡追蹤作為畫像構(gòu)建的第二步，能夠有效確認(rèn)移動用戶在各種情境下所產(chǎn)生的訪問軌跡，以便提供后期的各種優(yōu)質(zhì)服務(wù)。目前，移動用戶在網(wǎng)絡(luò)平臺中的行為動態(tài)追蹤可分為三個維度，分別是情境、媒體以及路徑。其中，情境主要涉及到訪問設(shè)備以及訪問時段，可有效掌握移動用戶的時間、位置等各種動態(tài)信息；媒體主要涉及到移動用戶在某個時間段實(shí)際訪問的媒體，包括：資訊類媒體、游戲類媒體、社交類

11、媒體、音樂類媒體、小說類媒體以及視頻類媒體等，可有效了解移動用戶的媒體喜好；路徑主要涉及到移動用戶進(jìn)入媒體的路徑以及離開媒體的路徑，如：搜索進(jìn)入、打開APP、直接關(guān)閉以及站內(nèi)跳轉(zhuǎn)等各種方式，可有效了解移動用戶的具體站內(nèi)行為以及具體站外行為。經(jīng)過軌跡追蹤這一環(huán)節(jié)，一方面可優(yōu)化流量運(yùn)營模式，減少媒體的流量運(yùn)營開支，另一方面可掌握不同頁面的投放頻次，減小對移動用戶服務(wù)的負(fù)面效應(yīng)。（三）根據(jù)靜態(tài)數(shù)據(jù)評估移動用戶價值評估價值作為畫像構(gòu)建的第三步，可為后續(xù)工作提供參考。在獲取相關(guān)的靜態(tài)數(shù)據(jù)之后，應(yīng)對移動用戶人群進(jìn)行因子分析以及聚類分析。例如，在產(chǎn)品設(shè)計(jì)過程中，通常都是根據(jù)移動用戶的使用動機(jī)以及使用行為進(jìn)行

12、相應(yīng)的劃分；在媒體營銷過程中，則通常都是根據(jù)移動用戶的消費(fèi)形態(tài)進(jìn)行相應(yīng)的分類。一般來講，靜態(tài)數(shù)據(jù)主要涉及到移動用戶的人口屬性、生活屬性、商業(yè)屬性以及消費(fèi)屬性四個方面。目前，靜態(tài)數(shù)據(jù)的獲取方式較多，但最為常見的獲取方式則是數(shù)據(jù)挖掘。如果數(shù)據(jù)十分有限，還應(yīng)結(jié)合定性分析以及定量分析加以處理。其中，定性分析主要涉及到小組座談、用戶深訪以及日志法等方式，基本策略就是根據(jù)開放性問題來了解移動用戶的實(shí)際心理需求，以此達(dá)到刻畫移動用戶特征的目的。定量分析主要涉及到問卷調(diào)研的方式，基本策略就是加強(qiáng)對后期定量數(shù)據(jù)的建模以及分析，并根據(jù)封閉性問題來掌握移動用戶的實(shí)際分布規(guī)律，以便更好的對定性假設(shè)進(jìn)行有效驗(yàn)證。（四）

13、移動用戶群體的優(yōu)先級排序優(yōu)先級排序作為畫像構(gòu)建的第五步，直接決定了畫像構(gòu)建的落地效果，其本質(zhì)上就是媒介的一種組合策略。一般來講，組合策略可根據(jù)頻率高低、市場規(guī)模、收益情況以及競爭優(yōu)勢進(jìn)行考慮，并結(jié)合移動服務(wù)領(lǐng)域的實(shí)際情況進(jìn)行相應(yīng)的排列組合。特殊情況下，畫像構(gòu)建流程通常在前面四個環(huán)節(jié)就已經(jīng)結(jié)束，但增加優(yōu)先級排序這一步驟可有效提高畫像構(gòu)建的實(shí)際質(zhì)量和效果，在畫像構(gòu)建過程中具有重要的領(lǐng)域?qū)嵱脙r值。四、大數(shù)據(jù)環(huán)境下移動用戶畫像的應(yīng)用（一）新浪微博移動用戶畫像的應(yīng)用新浪微博將每一位移動用戶都視為一個網(wǎng)絡(luò)節(jié)點(diǎn)，網(wǎng)絡(luò)節(jié)點(diǎn)具有發(fā)布、傳播及消費(fèi)信息等功能。其中，少數(shù)移動用戶側(cè)重于能力節(jié)點(diǎn)，有著發(fā)布優(yōu)質(zhì)原創(chuàng)消息的

14、作用，并能夠充分利用社交網(wǎng)絡(luò)將有效信息進(jìn)行快速傳播。大部分移動用戶則側(cè)重于消費(fèi)節(jié)點(diǎn)，主要作用就是消費(fèi)信息且傳播信息。從新浪微博平臺的傳播方式來看，可以充分發(fā)揮能力節(jié)點(diǎn)的作用，使其從原創(chuàng)信息傳播中有效提升自身對于網(wǎng)絡(luò)的實(shí)際影響力，有利于能力節(jié)點(diǎn)打造屬于自身獨(dú)特的品牌，以此促使其他節(jié)點(diǎn)去消費(fèi)能力節(jié)點(diǎn)的原創(chuàng)信息。這種傳播方式的優(yōu)勢就是引導(dǎo)消費(fèi)節(jié)點(diǎn)在消費(fèi)信息的基礎(chǔ)上開發(fā)其自身興趣，使其能夠?qū)ν愊⑦M(jìn)行消費(fèi)，以此增強(qiáng)能力節(jié)點(diǎn)的實(shí)際活躍度。由此可見，加快優(yōu)質(zhì)信息的傳播速度是未來發(fā)展的首要任務(wù)，充分挖掘具有發(fā)布原創(chuàng)信息作用的能力節(jié)點(diǎn)，并為這些能力節(jié)點(diǎn)貼上相應(yīng)的能力標(biāo)簽，可有效促進(jìn)后續(xù)工作的開展質(zhì)量。例如，

15、新浪微博在移動用戶注冊環(huán)節(jié)中，已將移動用戶的基礎(chǔ)信息轉(zhuǎn)化為靜態(tài)數(shù)據(jù)，包括移動用戶的實(shí)際年齡、具體地域、粉絲數(shù)、實(shí)際性別以及關(guān)注數(shù)等內(nèi)容，但由于這些數(shù)據(jù)信息關(guān)聯(lián)性較弱，還不足以明確定義特定群體的用戶畫像，為了進(jìn)一步精確用戶畫像，新浪微博開展興趣話題，將對同一類話題感興趣的移動用戶聚集到一起，并引導(dǎo)這些移動用戶針對興趣話題展開討論，以此獲取這類移動用戶群體的基礎(chǔ)信息。就可以有效提取這類移動用戶群體的標(biāo)簽，構(gòu)建這類移動用戶群體的用戶畫像，可為后期精準(zhǔn)化服務(wù)提供良好的支持作用。（二）數(shù)字圖書館移動用戶畫像的應(yīng)用目前，我國數(shù)字圖書館的移動用戶數(shù)據(jù)主要包括兩個部分：實(shí)名數(shù)據(jù)以及行為數(shù)據(jù)。其中，實(shí)名數(shù)據(jù)主要

16、涉及到圖書館管理系統(tǒng)中儲存的移動用戶注冊信息以及借閱信息等內(nèi)容，而行為數(shù)據(jù)主要涉及到APP平臺訪問、APP平臺借續(xù)、APP平臺咨詢、網(wǎng)站系統(tǒng)登錄、網(wǎng)站系統(tǒng)下載以及網(wǎng)站系統(tǒng)閱讀等內(nèi)容。然而，不論是實(shí)名數(shù)據(jù)還是行為數(shù)據(jù)主要都儲存在多個系統(tǒng)當(dāng)中，并且這些系統(tǒng)之間較為獨(dú)立，再加上這些數(shù)據(jù)之間也欠缺一定關(guān)聯(lián)性，這就需要在構(gòu)建用戶畫像之前做好各個系統(tǒng)之間的數(shù)據(jù)整合工作。例如，數(shù)字圖書館根據(jù)現(xiàn)有的服務(wù)內(nèi)容進(jìn)行設(shè)計(jì)，將圖書館APP、微信平臺以及一卡通等不同系統(tǒng)之間的數(shù)據(jù)進(jìn)行有效整合，針對注冊數(shù)據(jù)來判斷移動用戶的具體屬性特征，針對借閱數(shù)據(jù)、閱覽數(shù)據(jù)以及檢索數(shù)據(jù)來判斷移動用戶的具體行為特征，再通過用戶屬性特征以及用戶行為特征共同構(gòu)建出移動用戶畫像的基礎(chǔ)數(shù)據(jù)來源，以此提高數(shù)字圖書館的用戶管理和服務(wù)質(zhì)量。五、結(jié)語通過構(gòu)建移動用戶畫像的研究，內(nèi)容服務(wù)提供商可以給用戶提供動態(tài)、精準(zhǔn)的個性化服務(wù)，極大提高移動用戶的滿意度。因此，企業(yè)應(yīng)從精準(zhǔn)識別