大數(shù)據(jù)開發(fā)項目實戰(zhàn)-PPT課件第3章 廣電大數(shù)據(jù)用戶畫像-需求分析

廣電大數(shù)據(jù)用戶畫像——

需求分析1需求探索目錄項目需求2技術(shù)方案3隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和應(yīng)用擴(kuò)展，國家積極推進(jìn)并完成“三網(wǎng)融合”，三網(wǎng)融合是指電信網(wǎng)、廣播電視網(wǎng)、互聯(lián)網(wǎng)在向?qū)拵ㄐ啪W(wǎng)、數(shù)字電視網(wǎng)、下一代互聯(lián)網(wǎng)演進(jìn)過程中，三大網(wǎng)絡(luò)通過技術(shù)改造，使其技術(shù)功能趨于一致，業(yè)務(wù)范圍趨于相同，實現(xiàn)三網(wǎng)網(wǎng)絡(luò)互聯(lián)互通、資源共享，為用戶提供語音、數(shù)據(jù)和廣播電視等多種服務(wù)。隨著三網(wǎng)融合的深入推進(jìn)和互聯(lián)網(wǎng)電視（InternetProtocolTelevision，IPTV）的加速布局，OTT（OverTheTop，指通過互聯(lián)網(wǎng)向用戶提供各種應(yīng)用服務(wù)）風(fēng)起云涌，新媒體業(yè)務(wù)的飛速發(fā)展對傳統(tǒng)媒體造成了巨大沖擊。項目背景復(fù)雜激烈的競爭環(huán)境，使廣電的客戶流失問題變得異常突出。如何減少客戶流失、挽留客戶并挖掘客戶的潛在需求，是廣電公司目前急需解決的問題！在傳統(tǒng)媒體播送時代，廣電公司“不知道用戶在哪里，不知道用戶是誰，也不知道用戶想看什么”，因此難以精準(zhǔn)把握用戶需求，而隨著數(shù)字電視機頂盒等設(shè)備的普及，廣電公司具備了獲取用戶基本信息數(shù)據(jù)、實時收視數(shù)據(jù)的能力。項目背景現(xiàn)如今，廣電公司已經(jīng)積累了海量的用戶數(shù)據(jù)，包括用戶基本信息數(shù)據(jù)、用戶收視數(shù)據(jù)、用戶訂單數(shù)據(jù)、用戶賬單數(shù)據(jù)等。因此，廣電公司可以根據(jù)用戶的特點，從人群、時間、地點、產(chǎn)品和付費方式5個維度來挖掘分析用戶數(shù)據(jù)，對用戶進(jìn)行全面的畫像，從人群維度分析明確用戶的年齡段，如少兒、青少年、青年、中年或老年等，以及分析收視語言是外語還是漢語等；從時間維度分析用戶每天觀看電視的時長或者用戶觀看某一電視節(jié)目的時長；從地點維度分析明確用戶的收視常在地；從產(chǎn)品維度分析用戶喜歡觀看的電視頻道，如點播頻道、回看頻道或直播頻道等，以及用戶喜歡觀看的節(jié)目類型，如體育、電視劇、購物、少兒等；從付費方式維度分析用戶是收費用戶還是免費用戶。項目背景通過用戶畫像可以把握廣電用戶群體的特征和收視行為習(xí)慣，了解用戶的實際特征和實際需求，并提供個性化、精準(zhǔn)化和智能化的推薦服務(wù)，為用戶提供更直接、更方便、更個性化的用戶體驗，以此來挽留用戶，減少用戶的流失。項目背景實時統(tǒng)計廣電公司的訂單信息，以此觀察公司產(chǎn)品的銷售趨勢。挖掘分析用戶相關(guān)數(shù)據(jù)，對用戶數(shù)據(jù)進(jìn)行標(biāo)簽化，建立用戶畫像模型，可提供標(biāo)簽的增加和刪除功能。用戶畫像可視化，將挖掘出來的用戶標(biāo)簽在頁面中展現(xiàn)出來。利用支持向量機（SupportVectorMachine，SVM）算法建立分類模型，預(yù)測用戶是否值得挽留，并將預(yù)測結(jié)果作為用戶畫像的一個標(biāo)簽。提出的系統(tǒng)架構(gòu)能適應(yīng)用戶數(shù)據(jù)大量增長時不需要調(diào)整系統(tǒng)架構(gòu)的情況，即支持動態(tài)橫向擴(kuò)展。任務(wù)實現(xiàn)自動化，能對任務(wù)自定義定時、編輯、監(jiān)控任務(wù)狀態(tài)等，并且要求設(shè)置每個月更新一次標(biāo)簽。項目目標(biāo)1需求探索目錄項目需求2技術(shù)方案3用戶基本信息表記錄的是用戶最新狀態(tài)信息。用戶基本信息表對應(yīng)的CSV文件名為mediamatch_usermsg.csv，數(shù)據(jù)時間范圍為1991年1月至2018年6月。數(shù)據(jù)說明1．用戶基本信息表字段說明字段說明terminal_no用戶地址編號owner_code用戶等級編號phone_no用戶編號run_time狀態(tài)變更時間sm_name品牌名稱addressoj完整地址run_name狀態(tài)名稱estate_name街道或小區(qū)地址sm_code品牌編號open_time開戶時間owner_name用戶等級名稱force寬帶是否生效用戶狀態(tài)信息變更表記錄的是用戶所有時段的狀態(tài)信息。用戶狀態(tài)信息變更表對應(yīng)的CSV文件名為mediamatch_userevent.csv，數(shù)據(jù)時間范圍為1991年1月至2018年6月。數(shù)據(jù)說明2．用戶狀態(tài)信息變更表字段說明字段說明run_name狀態(tài)名稱sm_name品牌名稱run_time狀態(tài)變更時間open_time開戶時間owner_code用戶等級編號phone_no用戶編號owner_name用戶等級名稱——賬單信息表記錄的是用戶每月的賬單信息，這些賬單信息會在每月1日生成。賬單信息表對應(yīng)的CSV文件名為mmconsume_billevents.csv，數(shù)據(jù)時間范圍為2018年1月至2018年7月。數(shù)據(jù)說明3．賬單信息表字段說明fee_code費用類型phone_no用戶編號owner_code用戶等級編號owner_name用戶等級名稱sm_name品牌名稱year_month賬單時間terminal_no用戶地址編號favour_fee優(yōu)惠金額（+代表優(yōu)惠，-代表額外費用），單位為元should_pay應(yīng)付金額，單位為元訂單信息表記錄的是用戶訂購產(chǎn)品的信息。用戶每訂購一個產(chǎn)品，就會有相應(yīng)的記錄。訂單信息表對應(yīng)的CSV文件名為order_index_v3.csv，數(shù)據(jù)時間范圍為2010年1月至2018年5月。數(shù)據(jù)說明4．訂單信息表字段說明字段說明phone_no用戶編號prodprcname訂購產(chǎn)品名稱（帶價格）owner_name用戶等級名稱effdate產(chǎn)品生效時間optdate產(chǎn)品訂購狀態(tài)更新時間expdate產(chǎn)品失效時間prodname訂購產(chǎn)品名稱orderdate產(chǎn)品訂購時間sm_name品牌名稱cost訂購產(chǎn)品價格offerid訂購套餐編號mode_time產(chǎn)品標(biāo)識，輔助標(biāo)識電視主、附銷售品offername訂購套餐名稱prodstatus訂購產(chǎn)品狀態(tài)business_name訂購業(yè)務(wù)狀態(tài)run_name狀態(tài)名稱owner_code用戶等級編號orderno訂單編號prodprcid訂購產(chǎn)品名稱（帶價格）的編號offertype訂購套餐類別戶收視行為信息表記錄了用戶觀看電視的收視信息，其中，用戶觀看的媒體節(jié)目類型可分為直播、點播和回看，用戶每切換一個頻道就會生成一條新的記錄。用戶收視行為信息表對應(yīng)的CSV文件名是media_index_3m.csv，數(shù)據(jù)時間范圍為2018年5月至2018年7月。數(shù)據(jù)說明5．用戶收視行為信息表字段說明字段說明terminal_no用戶地址編號audio_lang點播節(jié)目的語言類別phone_no用戶編號region節(jié)目地區(qū)信息duration觀看時長，單位為msres_name設(shè)備名稱station_name直播頻道名稱res_type媒體節(jié)目類型：0表示直播，1表示點播或回看origin_time觀看行為開始時間vod_titleVOD節(jié)目名稱end_time觀看行為結(jié)束時間category_name節(jié)目所屬分類owner_code用戶等級program_title直播節(jié)目名稱owner_name用戶等級名稱sm_name品牌名稱vod_cat_tags視頻點播（VideoOnDemand，VOD）節(jié)目包相關(guān)信息（該字段的數(shù)據(jù)類型為嵌套對象類型，即nestedobject），按不同的節(jié)目包目錄組織first_show_time第一次收視的時間resolution點播節(jié)目的清晰度————（1）統(tǒng)計各表的記錄數(shù)和用戶基本信息表的用戶數(shù)基礎(chǔ)探索1．?dāng)?shù)據(jù)總體概述（2）統(tǒng)計用戶收視記錄中觀看時長的均值及最值基礎(chǔ)探索1．?dāng)?shù)據(jù)總體概述（3）統(tǒng)計用戶月均收視時長基礎(chǔ)探索1．?dāng)?shù)據(jù)總體概述（1）重復(fù)記錄的用戶基礎(chǔ)探索2．異常數(shù)據(jù)探索（1）重復(fù)記錄的用戶甲方的業(yè)務(wù)人員提出的解決方案如下：根據(jù)用戶編號分組保留狀態(tài)變更時間最大值的記錄來實現(xiàn)用戶去重。根據(jù)統(tǒng)計結(jié)果可以發(fā)現(xiàn)，雖然用戶基本信息表中只保留了每個用戶狀態(tài)變更時間最大的記錄，但是仍然還有200多個用戶有重復(fù)的記錄，查看其中某個用戶的記錄，發(fā)現(xiàn)其用戶狀態(tài)變更字段run_time的值是相同的。發(fā)現(xiàn)這個問題后，繼續(xù)與甲方業(yè)務(wù)人員溝通，甲方的業(yè)務(wù)人員指出這200多個用戶的品牌名稱（sm_name）都是模擬有線電視，品牌名稱為模擬有線電視的用戶都是需要刪除的，至于需要保留哪些品牌名稱的用戶數(shù)據(jù)，在后面將進(jìn)行說明。將品牌名稱是模擬有線電視的用戶刪除后，再根據(jù)用戶編號分組統(tǒng)計記錄數(shù)大于1的記錄，得到的統(tǒng)計結(jié)果為0。因此，通過保留每個用戶的狀態(tài)變更時間最大值的記錄的方式來實現(xiàn)用戶記錄去重是可行的。基礎(chǔ)探索（2）特殊線路的用戶基礎(chǔ)探索2．異常數(shù)據(jù)探索（3）政企用戶統(tǒng)計結(jié)果顯示，各表中owner_name字段的值為“EA級”“EB級”“EC級”“ED級”“EE級”的總記錄數(shù)相對較少，即政企用戶在各表中的數(shù)量較少，這也印證了甲方的用戶主要是家庭用戶。雖然政企用戶只出現(xiàn)了owner_name為“EA級”、“EB級”和“EE級”的記錄，但是后續(xù)的數(shù)據(jù)中可能會出現(xiàn)owner_name為“EC級”“ED級”的記錄，因此，在數(shù)據(jù)預(yù)處理時，需要清洗owner_name為“EA級”、“EB級”、“EC級”、“ED級”或“EE級”的政企用戶?；A(chǔ)探索2．異常數(shù)據(jù)探索甲方目前的業(yè)務(wù)類型主要是數(shù)字電視、互動電視、甜果電視和珠江寬頻這4種，品牌名稱可以通過sm_name字段標(biāo)識。統(tǒng)計用戶基本信息表中sm_name的所有業(yè)務(wù)類型及其每種業(yè)務(wù)類型的用戶數(shù)。根據(jù)甲方的業(yè)務(wù)要求，除了篩選指定品牌名稱的用戶數(shù)據(jù)，還要對用戶狀態(tài)名稱進(jìn)行過濾，只保留狀態(tài)名稱為正常、欠費暫停、主動暫停和主動銷戶的用戶數(shù)據(jù)，其余的不需要進(jìn)行分析處理。狀態(tài)名稱的字段標(biāo)識為run_name，對用戶基本信息表中的用戶狀態(tài)進(jìn)行探索。基礎(chǔ)探索3．篩選主要業(yè)務(wù)類型的數(shù)據(jù)用戶收視行為無效數(shù)據(jù)是指用戶觀看時長過短或過長的記錄，導(dǎo)致這種現(xiàn)象的原因可能是用戶頻繁切換頻道或者只關(guān)閉電視機而忘記關(guān)閉機頂盒。在用戶收視行為信息表中，duration字段記錄了用戶每次的觀看時長。因為每個用戶的觀看時長值的大小差異較大，所以需要把觀看時長以一小時為一個區(qū)間來劃分，統(tǒng)計各區(qū)間的記錄數(shù)。業(yè)務(wù)需求探索1．用戶收視行為無效數(shù)據(jù)觀看時長小于1h的記錄數(shù)占了絕大部分，需要將這部分記錄按每分鐘為一個時間間隔來劃分，分析落在每個區(qū)間的記錄數(shù)的分布情況。業(yè)務(wù)需求探索統(tǒng)計用戶觀看行為中觀看時長小于1min的各區(qū)間的記錄數(shù)。業(yè)務(wù)需求探索統(tǒng)計用戶觀看行為中觀看時長小于1min的各區(qū)間的記錄數(shù)。業(yè)務(wù)需求探索在用戶收視行為信息表中，還有一部分?jǐn)?shù)據(jù)是res_type=0時，origin_time和end_time的值結(jié)尾為為00的記錄，這些記錄是機頂盒自動返回的數(shù)據(jù)，并不是用戶真實的觀看記錄，屬于無效數(shù)據(jù)。因此，這一部分?jǐn)?shù)據(jù)是需要刪除的。查詢用戶收視行為信息表中的無效數(shù)據(jù)。業(yè)務(wù)需求探索賬單信息表反映了用戶每個月的消費情況，對該表的數(shù)據(jù)進(jìn)行分析探索能夠更好地了解用戶的消費行為，制訂消費水平標(biāo)簽的子標(biāo)簽及各子標(biāo)簽的判斷閾值，從而給每個用戶標(biāo)注合適的消費水平標(biāo)簽。因為電視用戶和寬帶用戶的業(yè)務(wù)及費用不同，所以需要單獨分析探索這兩種用戶的消費情況。在統(tǒng)計分析中，為了減小誤差，增強數(shù)據(jù)的穩(wěn)定性，選擇2018年1月至2018年7月的數(shù)據(jù)，計算用戶的月均消費金額，以此制訂消費水平標(biāo)簽的子標(biāo)簽及其標(biāo)簽閾值。業(yè)務(wù)需求探索2．消費水平標(biāo)簽閾值探索先對電視用戶的賬單數(shù)據(jù)進(jìn)行探索分析，分組統(tǒng)計每個用戶的月均消費金額，再對所有用戶的月均消費金額進(jìn)行基本的統(tǒng)計分析。統(tǒng)計消費金額的區(qū)間分布情況。業(yè)務(wù)需求探索依據(jù)電視用戶月均消費金額的分布情況，篩選電視用戶月均消費金額大于或等于-10元且小于或等于90元的用戶數(shù)據(jù)，統(tǒng)計這部分電視用戶數(shù)據(jù)中用戶月均消費金額的平均值和標(biāo)準(zhǔn)差。根據(jù)業(yè)務(wù)特點，結(jié)合月均消費金額的平均值和標(biāo)準(zhǔn)差，標(biāo)簽值以月均消費26.5元為基礎(chǔ)消費，以標(biāo)準(zhǔn)差的向上取整十?dāng)?shù)20作為浮動閾值，制訂4個電視消費水平子標(biāo)簽及規(guī)則，如下表。業(yè)務(wù)需求探索父級標(biāo)簽子標(biāo)簽標(biāo)簽規(guī)則備注電視消費水平電視超低消費-26.5<X<26.5X表示電視用戶月均消費金額，單位為元電視低消費26.5≤X＜26.5+20電視中等消費26.5+20≤X＜26.5+40電視高消費26.5+40≤X對寬帶用戶的賬單數(shù)據(jù)進(jìn)行探索分析。寬帶用戶月均消費金額分布情況如下圖。業(yè)務(wù)需求探索為了使寬帶用戶月均消費金額的均值和標(biāo)準(zhǔn)差更加穩(wěn)定，過濾消費金額小于0元且大于或等于90元的記錄后，再求寬帶用戶月均消費金額的均值、標(biāo)準(zhǔn)差和中位數(shù)。寬帶消費水平的子標(biāo)簽及規(guī)則業(yè)務(wù)需求探索父級標(biāo)簽子標(biāo)簽標(biāo)簽規(guī)則備注寬帶消費水平寬帶低消費Y≤25Y表示寬帶用戶月均消費金額，單位為元寬帶中消費25<Y≤45寬帶高消費Y>45在用戶基本信息表中，用戶的開戶時間（open_time）字段記錄了用戶的開戶時間，利用此字段信息可以給用戶貼上用戶入網(wǎng)程度標(biāo)簽（子標(biāo)簽包含老用戶、中等用戶和新用戶）。具體的入網(wǎng)程度子標(biāo)簽閾值需要通過對open_time字段的數(shù)據(jù)進(jìn)行分析統(tǒng)計才能確定。用戶分為電視用戶和寬帶用戶兩種，這兩種用戶的業(yè)務(wù)屬性不同，需要單獨分析這兩種用戶的入網(wǎng)時長的特征，從而確定子標(biāo)簽的閾值。業(yè)務(wù)需求探索3．入網(wǎng)程度標(biāo)簽閾值探索對用戶基本信息表中的電視用戶進(jìn)行探索分析。因為模擬有線電視的用戶不在分析范圍內(nèi)，所以在篩選電視用戶的過程中需要過濾模擬有線電視的用戶。在探索分析中，需要把open_time字段的值與當(dāng)前時間相減，把差值轉(zhuǎn)化為以年為單位的值，并統(tǒng)計所有用戶入網(wǎng)時長的最值、均值、30%分位數(shù)和中位數(shù)，最后分組統(tǒng)計各入網(wǎng)時長值的用戶數(shù)。業(yè)務(wù)需求探索根據(jù)統(tǒng)計結(jié)果并結(jié)合實際的業(yè)務(wù)場景，選擇以30%分位數(shù)4年為電視用戶的入網(wǎng)時長的最低臨界值，以標(biāo)準(zhǔn)差4年為浮動閾值，制訂3個電視用戶入網(wǎng)程度子標(biāo)簽及規(guī)則。業(yè)務(wù)需求探索父級標(biāo)簽子標(biāo)簽標(biāo)簽規(guī)則備注電視用戶入網(wǎng)程度新用戶T≤4T表示電視用戶入網(wǎng)時長，單位為年中等用戶4＜T≤8老用戶T>8在對寬帶用戶入網(wǎng)時長的統(tǒng)計分析中，主要統(tǒng)計分析寬帶用戶入網(wǎng)時長的最值、均值、標(biāo)準(zhǔn)差、中位數(shù)及其分布情況。業(yè)務(wù)需求探索根據(jù)統(tǒng)計結(jié)果并結(jié)合實際的業(yè)務(wù)場景，選擇以中位數(shù)2年作為入網(wǎng)時長的最低臨界值，以標(biāo)準(zhǔn)差4年作為浮動閾值，制訂3個寬帶用戶入網(wǎng)程度子標(biāo)簽及規(guī)則。業(yè)務(wù)需求探索父級標(biāo)簽子標(biāo)簽標(biāo)簽規(guī)則備注寬帶用戶入網(wǎng)程度新用戶T≤2T表示寬帶用戶入網(wǎng)時長，單位為年中等用戶2<T≤6老用戶T>61需求探索目錄項目需求2技術(shù)方案3項目團(tuán)隊成員如下：一名項目架構(gòu)師（兼任多個項目）、一名數(shù)據(jù)分析師、一名程序開發(fā)人員、若干測試和實施人員（測試和實施人員可以在需要的時候抽調(diào)）。項目團(tuán)隊成員主要以項目架構(gòu)師、數(shù)據(jù)分析師、程序開發(fā)人員為主。數(shù)據(jù)分析師對數(shù)據(jù)分析、數(shù)據(jù)挖掘建模比較熟悉，會進(jìn)行基礎(chǔ)的SQL代碼編寫。程序開發(fā)人員能使用Java技術(shù)，熟悉Spring相關(guān)JavaWeb開發(fā)，對大數(shù)據(jù)Hadoop、Spark有一定了解。技術(shù)選型廣電公司使用Elasticsearch來存儲廣電用戶數(shù)據(jù)，因此數(shù)據(jù)源沒有選型的需求，直接使用客戶（甲方）提供的數(shù)據(jù)存儲技術(shù)即可。技術(shù)選型1．業(yè)務(wù)數(shù)據(jù)存儲使用Elasticsearch后續(xù)的數(shù)據(jù)預(yù)處理、用戶畫像和SVM預(yù)測用戶是否挽留等操作都需要用到Elasticsearch中的數(shù)據(jù)，為了提升程序的執(zhí)行效率，需提前將Elasticsearch數(shù)據(jù)傳輸?shù)紿ive表中，后續(xù)操作直接使用SparkSQL讀取Hive表數(shù)據(jù)。Elasticsearch數(shù)據(jù)傳輸?shù)紿ive的方式有多種，例如，直接使用Hive讀取Elasticsearch數(shù)據(jù)；使用Spark讀取Elasticsearch數(shù)據(jù)得到RDD，并將RDD轉(zhuǎn)換成DataFrame，再把DataFrame保存到Hive中；使用SparkSQL直接讀取Elasticsearch數(shù)據(jù)為DataFrame并保存到Hive中?？紤]到使用Spark相關(guān)技術(shù)讀取Elasticsearch數(shù)據(jù)相比使用Hive讀取Elasticsearch數(shù)據(jù)效率更高，而SparkSQL可直接將Elasticsearch數(shù)據(jù)轉(zhuǎn)換為DataFrame，因此本項目采用SparkSQL技術(shù)將Elasticsearch數(shù)據(jù)傳輸?shù)紿ive中。技術(shù)選型2．Elasticsearch數(shù)據(jù)傳輸?shù)紿ive使用SparkSQL用戶畫像的核心工作就是給用戶標(biāo)注標(biāo)簽，挖掘用戶標(biāo)簽的工作側(cè)重于數(shù)據(jù)分析?？紤]到項目的數(shù)據(jù)分析師已經(jīng)具備SQL基礎(chǔ)，并且對SparkSQL有所了解，因此用戶畫像模塊采用SparkSQL技術(shù)。技術(shù)選型3．用戶畫像使用SparkSQL比較常用的流式大數(shù)據(jù)實時處理技術(shù)有Storm、SparkStreaming，因為本項目的開發(fā)人員對Storm技術(shù)了解較少，而對SparkStreaming比較熟悉，所以采用SparkStreaming實時統(tǒng)計訂單信息。SparkStreaming支持的外部數(shù)據(jù)源有Flume、Kafka、ZeroMQ、TCPSocket等。其中，Kafka是一個分布式的、高吞吐量的、易于擴(kuò)展的基于主題發(fā)布/訂閱的消息系統(tǒng)，常作為流計算系統(tǒng)的數(shù)據(jù)源，因此選擇SparkStreaming與Kafka結(jié)合。另外，因為Redis是一個基于內(nèi)存的高性能鍵值對數(shù)據(jù)庫，適用于少量數(shù)據(jù)的存儲與實時更新的場景，所以將數(shù)據(jù)的處理結(jié)果保存到Redis中。技術(shù)選型4．?dāng)?shù)據(jù)流實時統(tǒng)計采用Kafka+SparkStreaming+RedisSpark提供了機器學(xué)習(xí)算法庫，即MLlib，用戶可以直接調(diào)用MLlib提供的算法進(jìn)行建模。為方便后續(xù)程序開發(fā)人員對相關(guān)代碼進(jìn)行系統(tǒng)嵌入，本項目決定采用ScalaAPI的MLlib技術(shù)進(jìn)行數(shù)據(jù)挖掘建模。技術(shù)選型5．?dāng)?shù)據(jù)挖掘建模采用SparkMLlib這里的中間結(jié)果數(shù)據(jù)指的是數(shù)據(jù)預(yù)處理之后的數(shù)據(jù)。數(shù)據(jù)可以直接使用HDFS來存儲，但是考慮到后續(xù)的用戶畫像使用的是SparkSQL技術(shù)，即進(jìn)行用戶畫像之前需要使用SparkSQ