《大數(shù)據(jù)挖掘與統(tǒng)計(jì)機(jī)器學(xué)習(xí)（第3版）》 課件7-智能手機(jī)用戶監(jiān)測(cè)數(shù)據(jù)案例分析

第7章智能手機(jī)用戶監(jiān)測(cè)數(shù)據(jù)案例分析

本章應(yīng)用前面所學(xué)內(nèi)容對(duì)一個(gè)實(shí)際大數(shù)據(jù)進(jìn)行案例分析:智能手機(jī)用戶監(jiān)測(cè)數(shù)據(jù),數(shù)據(jù)量在10G左右。我們給出案例分析的兩個(gè)版本:一是單機(jī)操作,讀者可以在自己的個(gè)人機(jī)或者單臺(tái)服務(wù)器上完成數(shù)據(jù)分析任務(wù)。我們給出Python代碼。讀者可以嘗試寫出R

代碼。

對(duì)于10G左右的數(shù)據(jù)量,目前主流的臺(tái)式機(jī)、筆記本或者服務(wù)器是可以接受的。如果數(shù)據(jù)量繼續(xù)增大,這就不是好的解決方案了。因此,我們提供的第二個(gè)數(shù)據(jù)分析的版本是在分布式集群Hadoop

和Spark

上實(shí)現(xiàn)的,使用的計(jì)算機(jī)語(yǔ)言以及軟件包和工具包括HDFS文件存儲(chǔ)系統(tǒng)、Map-Reduce

技術(shù)、Python、Hive、Spark的MLlib等。17.1數(shù)據(jù)簡(jiǎn)介

該數(shù)據(jù)來自某公司某年連續(xù)30

天的4萬多智能手機(jī)用戶的監(jiān)測(cè)數(shù)據(jù)。每天的數(shù)據(jù)為1

個(gè)txt

文件,共10列,記錄了每個(gè)用戶(以u(píng)id為唯一標(biāo)識(shí))每天使用各款A(yù)PP(以appid為唯一標(biāo)識(shí))的起始時(shí)間、使用時(shí)長(zhǎng)、上下行流量等。此外,有一個(gè)輔助表格,app_class.csv,共兩列.第一列是appid,第二列給出4000

多個(gè)常用APP所屬類別(app_class),比如視頻類、游戲類、社交類等,用英文字母a-t

表示。其余APP不常用,所屬類別未知。數(shù)據(jù)可從中國(guó)人民大學(xué)出版社()下載。交類等,用英文字母a-t表示。其余APP不常用,所屬類別未知。23表7.1用戶和產(chǎn)品的數(shù)據(jù)7.2單機(jī)實(shí)現(xiàn)

7.2.1描述統(tǒng)計(jì)分析 1.用戶記錄的有效情況

如果一個(gè)用戶在一天中沒有任何APP

的使用記錄,則該用戶在該天記錄缺失，據(jù)此統(tǒng)計(jì)每位用戶在30天中的有效記錄天數(shù)。 2.各類APP

的使用強(qiáng)度和相關(guān)性 (1)對(duì)每天的每條數(shù)據(jù)記錄計(jì)算使用時(shí)長(zhǎng) (2)對(duì)每一天的數(shù)據(jù)進(jìn)行分類匯總,得到每人每天使用每

種類別

APP的總時(shí)長(zhǎng)。 (3)匯總30天的數(shù)據(jù),得到每人使用每種類別APP

的總

時(shí)長(zhǎng)(有效觀測(cè)天數(shù)內(nèi)的總時(shí)長(zhǎng))。

45圖7.1用戶缺失天數(shù)頻數(shù)分布直方圖6表7.2各類APP使用強(qiáng)度(對(duì)數(shù)變換)單位:秒7圖7.2各類APP間的相關(guān)系數(shù)7.2.2APP使用情況預(yù)測(cè)分析

本節(jié)對(duì)用戶使用APP

的情況進(jìn)行預(yù)測(cè)。我們要研究的問題是通過用戶的APP

使用記錄預(yù)測(cè)用戶未來是否使用APP(分類問題)及使用時(shí)長(zhǎng)(回歸問題)。分類。根據(jù)用戶第1-23天的某類APP

的使用情況,來預(yù)測(cè)用戶在第24～30天是否會(huì)使用該類APP。處理后的數(shù)據(jù)隨機(jī)選取80%作為訓(xùn)練集,20%作為測(cè)試集,模型選用隨機(jī)森林?；貧w。與上一部分分類不同的是,這里要預(yù)測(cè)的是第24～30天用戶使用某類APP的有效日均使用時(shí)長(zhǎng),24～30天是否會(huì)使用該類APP。案例的預(yù)測(cè)模型選取的是隨機(jī)森林。89表7.3因變量和自變量說明10圖7.3隨機(jī)森林變量重要性(分類)11圖7.4隨機(jī)森林變量重要性(回歸)7.2.3用戶行為聚類分析(1)用戶APP

使用差異情況聚類

對(duì)于在描述統(tǒng)計(jì)分析中得到的用戶對(duì)20類APP有效使用天數(shù)的日均使用強(qiáng)度數(shù)據(jù)(對(duì)數(shù)變換之后),我們選用K均值聚類。(2)RFM

聚類

基于原始數(shù)據(jù),借鑒度量消費(fèi)者行為的三個(gè)重要指標(biāo)RFM——最近一次消費(fèi)(Recency)、消費(fèi)頻率(Frequency)和消費(fèi)金額(Monetary),針對(duì)APP

數(shù)據(jù)構(gòu)造最近一次使用(最近一次使用距離最后一天的天數(shù))、使用頻率(使用天數(shù)除以有效觀測(cè)天數(shù))和有效使用時(shí)長(zhǎng)(使用總時(shí)長(zhǎng)除以使用天數(shù))三個(gè)指標(biāo),以標(biāo)準(zhǔn)化后的這三個(gè)變量作為特征對(duì)人群進(jìn)行聚類分析。121314圖7.5RFM聚類各類中心7.3分布式實(shí)現(xiàn)7.3.1數(shù)據(jù)預(yù)處理與描述分析

由于原始數(shù)據(jù)是結(jié)構(gòu)化的記錄數(shù)據(jù),因此可以利用Hive

進(jìn)行數(shù)據(jù)預(yù)處理。7.3.2基于Spark

的模型分析

數(shù)據(jù)準(zhǔn)備完畢之后,可以利用Spark

中的MLlib

對(duì)數(shù)據(jù)進(jìn)行模型分析。在此我們進(jìn)行7.2.2中單機(jī)版的i類