移動(dòng)互聯(lián)網(wǎng)的用戶行為數(shù)據(jù)分析

移動(dòng)互聯(lián)網(wǎng)的用戶行為數(shù)據(jù)分析摘要：本文首先對(duì)用戶行為分析及其相應(yīng)方法進(jìn)行了探討，并通過(guò)對(duì)各種數(shù)據(jù)挖掘算法和軟件的深入研究建立了分析用戶行為和業(yè)務(wù)匹配的相應(yīng)模型。然后理解了移動(dòng)互聯(lián)網(wǎng)上開(kāi)展數(shù)據(jù)分析的相應(yīng)知識(shí)之后，采集了相關(guān)數(shù)據(jù)，并按照ETL的思路，清理整合了7000萬(wàn)條數(shù)據(jù)，用于對(duì)數(shù)據(jù)庫(kù)開(kāi)展相應(yīng)構(gòu)建。充分發(fā)揮數(shù)據(jù)挖掘相應(yīng)工具的作用，從熱點(diǎn)時(shí)間、匹配業(yè)務(wù)以及用戶興趣等角度出發(fā)，使用聚類、關(guān)聯(lián)分析以及文本挖掘等相應(yīng)方法來(lái)挖掘用戶行為相關(guān)的知識(shí)，從統(tǒng)計(jì)數(shù)據(jù)中找出營(yíng)銷策略當(dāng)前存在的相應(yīng)問(wèn)題，這能夠?yàn)檫\(yùn)營(yíng)商在精準(zhǔn)營(yíng)銷上提供新的想法。關(guān)鍵詞：移動(dòng)互聯(lián)網(wǎng)，用戶行為分析，數(shù)據(jù)挖掘，業(yè)務(wù)推薦系統(tǒng)，精準(zhǔn)營(yíng)銷自二十世紀(jì)七十年代后，互聯(lián)網(wǎng)得到迅速發(fā)展了，給全球人類的生活都帶來(lái)了深刻影響。在21世紀(jì)，移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等的概念愈發(fā)得到深入發(fā)展，在這種情況下，互聯(lián)網(wǎng)的發(fā)展有了新的方向。從摩根士坦利的報(bào)告來(lái)看，在全球范圍內(nèi)，移動(dòng)互聯(lián)網(wǎng)用戶數(shù)量早就比桌面互聯(lián)網(wǎng)用戶要多得多。以“物+互聯(lián)網(wǎng)+移動(dòng)互聯(lián)網(wǎng)”為基礎(chǔ)的物聯(lián)網(wǎng)相應(yīng)模式在未來(lái)必然會(huì)成為一種主流趨勢(shì)。在這樣一個(gè)移動(dòng)互聯(lián)網(wǎng)交替互聯(lián)網(wǎng)的時(shí)代，產(chǎn)業(yè)鏈中的終端以及信息服務(wù)等供商都迫切需要重組。面對(duì)當(dāng)前的市場(chǎng)形勢(shì)，精準(zhǔn)營(yíng)銷的實(shí)施是戰(zhàn)略轉(zhuǎn)型的重點(diǎn)。精準(zhǔn)營(yíng)銷是一種尋找可能對(duì)產(chǎn)品以及業(yè)務(wù)等感興趣的潛在目標(biāo)用戶的過(guò)程。為了盡可能準(zhǔn)確地找到目標(biāo)用戶，就要深入分析目標(biāo)用戶在行為以及愛(ài)好上的相應(yīng)情況，并將之匹配要銷售的相應(yīng)產(chǎn)品以及業(yè)務(wù)等。故而，精確營(yíng)銷通常與用戶行為分析是密切相關(guān)的。移動(dòng)互聯(lián)網(wǎng)當(dāng)前早已成為人們?cè)谡９ぷ鲿r(shí)間之外溝通互聯(lián)網(wǎng)的重要橋梁?，F(xiàn)有用戶只展現(xiàn)了其冰山一角的價(jià)值，數(shù)據(jù)中隱藏的價(jià)值就如同冰山下的藍(lán)色海洋。對(duì)于大多數(shù)移動(dòng)領(lǐng)域而言，分析用戶行為有著不亞于開(kāi)發(fā)新產(chǎn)品的價(jià)值。在識(shí)別潛在客戶的階段，分析移動(dòng)互聯(lián)網(wǎng)用戶的相應(yīng)行為能夠更好地了解用戶的需求，以便成功獲得客戶。而在處于成熟期的時(shí)候，就能利用用戶行為分析來(lái)完善用戶體驗(yàn)，幫助提升客戶群。而用戶若是即將離開(kāi)網(wǎng)絡(luò)，有效的用戶行為分析還能幫助挽回客戶?？偠灾?，在精準(zhǔn)營(yíng)銷中，用戶行為分析對(duì)的強(qiáng)大作用是顯而易見(jiàn)的。一.用戶行為數(shù)據(jù)分析方法（一）用戶行為分析從營(yíng)銷角度來(lái)看，有多種因素會(huì)對(duì)用戶行為決策產(chǎn)生影響。針對(duì)用戶行為研究，很多專家構(gòu)建了多種理論模型，其中以EKB、Kotler以及Howard-Sheth等較為出名。從內(nèi)部和外部因素的角度來(lái)看，這些影響因素可被分成四種類型，其一是個(gè)人因素，其二是心理因素，其三是文化因素，其四是社會(huì)因素。個(gè)人因素指額是用戶的行為會(huì)受到個(gè)性、價(jià)值觀、年齡、職業(yè)、生活方式以及經(jīng)濟(jì)環(huán)境等多方面的影響。心理因素指的是用戶行為會(huì)受到感知、歸因、學(xué)習(xí)、信念以及態(tài)度等心理因素的影響。文化因素意味著用戶行為會(huì)深遠(yuǎn)而廣泛地受到文化的影響。而社會(huì)因素則意味著用戶行為受相關(guān)用戶群以及所處家庭和社會(huì)地位的影響。這些營(yíng)銷分析都是從用戶自身情況出發(fā)，分析用戶行為決策過(guò)程，而我們這里講的是用戶行為分析卻正好相反，主要是根據(jù)用戶的行為習(xí)慣來(lái)對(duì)其其它習(xí)慣、偏好以及側(cè)重點(diǎn)等進(jìn)行分析，全面表征用戶，為營(yíng)銷提供技術(shù)支持。這表明用戶行為分析與市場(chǎng)研究之間的關(guān)系也是密不可分的，用戶行為分析可以為市場(chǎng)研究解決很多問(wèn)題。在這個(gè)領(lǐng)域，用戶行為分析就是建立一個(gè)研究方向，用戶消費(fèi)一些行為數(shù)據(jù)，將用戶的信息收集和收集在一起;那么海量的信息整合，做一些有效的分析，指導(dǎo)其營(yíng)銷;然后運(yùn)營(yíng)商或產(chǎn)品提供商依靠分析數(shù)據(jù)來(lái)分析產(chǎn)品的可用性，模仿一些用戶的測(cè)試，將用戶收集的一些障礙信息收集回來(lái)以改進(jìn)產(chǎn)品并增強(qiáng)他們的用戶體驗(yàn)。對(duì)于用戶行為分析而言，這就是其研究的主要方法以及目的。（二）用戶行為分析工具與方法—數(shù)據(jù)挖掘在現(xiàn)代管理中，操作系統(tǒng)可以對(duì)用戶行為進(jìn)行詳細(xì)記錄，從而可以快速大量地積累歷史數(shù)據(jù)。當(dāng)前的實(shí)際情況是數(shù)據(jù)很是豐富，卻缺少相應(yīng)信息。立足于相應(yīng)目的，我們必須注重對(duì)用戶行為的相應(yīng)分析，而數(shù)據(jù)挖掘就是能夠進(jìn)行運(yùn)用的一種強(qiáng)大工具，也就是對(duì)用戶行為產(chǎn)生的相應(yīng)數(shù)據(jù)進(jìn)行獲取，并將其向有用的信息以及知識(shí)轉(zhuǎn)化。在人工智能的相關(guān)領(lǐng)域中，其通常也稱作是數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，即KDD，也就是從數(shù)據(jù)集中將相應(yīng)有用信息按照可以理解的模式識(shí)別出來(lái)的一種過(guò)程。知識(shí)發(fā)現(xiàn)能夠把信息向知識(shí)轉(zhuǎn)化，將其中蘊(yùn)含的知識(shí)金子從數(shù)據(jù)金礦中尋找出來(lái)，從而有助于創(chuàng)新科學(xué)技術(shù)、發(fā)現(xiàn)知識(shí)以及發(fā)展經(jīng)濟(jì)。在上述表達(dá)中，“數(shù)據(jù)集”實(shí)質(zhì)上就是一組事實(shí)。而“模式”則是用來(lái)對(duì)表達(dá)式進(jìn)行描述的一種語(yǔ)言，其主要作用就是用來(lái)對(duì)資料集的相應(yīng)子集進(jìn)行刻畫(huà)。與相應(yīng)數(shù)據(jù)集對(duì)應(yīng)的子集相比，模式在枚舉上應(yīng)該更為簡(jiǎn)單。在知識(shí)挖掘中，“過(guò)程”會(huì)涉及到多個(gè)階段相應(yīng)問(wèn)題的處理，其中最為常見(jiàn)的就有相關(guān)數(shù)據(jù)的采集與處理、相關(guān)模式的搜索、所得模式的評(píng)估以反復(fù)修改與優(yōu)化等過(guò)程。對(duì)于這個(gè)過(guò)程而言，其需要達(dá)到一定程度的智能化及自動(dòng)化。知識(shí)發(fā)現(xiàn)是來(lái)自各個(gè)領(lǐng)域的研究人員感興趣的跨學(xué)科主題，導(dǎo)致許多不同的術(shù)語(yǔ)名稱。除知識(shí)發(fā)現(xiàn)之外，還有許多其他概念：知識(shí)提取，探索性數(shù)據(jù)分析，信息發(fā)現(xiàn)，數(shù)據(jù)挖掘，信息收集，智能數(shù)據(jù)分析和數(shù)據(jù)考古學(xué)等等。數(shù)據(jù)挖掘和人工智能在Gartner集團(tuán)高級(jí)技術(shù)調(diào)查中名列第一，是在未來(lái)三到五年內(nèi)將對(duì)行業(yè)產(chǎn)生深遠(yuǎn)影響的五項(xiàng)關(guān)鍵技術(shù)中的第一項(xiàng)，并將并行處理系統(tǒng)和數(shù)據(jù)挖掘作為未來(lái)五年內(nèi)前五大關(guān)鍵投資中排名前兩位的新興技術(shù)。根據(jù)Gartner的HPC研究可知，隨著數(shù)據(jù)采集、傳輸以及存儲(chǔ)等相應(yīng)技術(shù)的迅速發(fā)展，大型系統(tǒng)用戶會(huì)更多地需要采用新技術(shù)，并挖掘其他更廣泛的并行處理系統(tǒng)的市場(chǎng)價(jià)值，從而創(chuàng)造出新的業(yè)務(wù)增長(zhǎng)。（三）數(shù)據(jù)挖掘的分類數(shù)據(jù)挖掘涉及許多主題領(lǐng)域和方法。從不同的角度有很多不同的分類方法。根據(jù)任務(wù)挖掘要點(diǎn)，可以分為幾類，其一是使用分類技術(shù)來(lái)挖掘已分類數(shù)據(jù)中的數(shù)據(jù)，構(gòu)建分類模型，分類未分類數(shù)據(jù)；其二是預(yù)測(cè)模型發(fā)現(xiàn)，也就是利用回歸方法根據(jù)歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)數(shù)據(jù)；其三是數(shù)據(jù)匯總，其四是聚類算法，其五是關(guān)聯(lián)規(guī)則發(fā)現(xiàn)，也就是查找來(lái)自高頻數(shù)據(jù)項(xiàng)目組中相互關(guān)聯(lián)規(guī)則；其六是序列模式發(fā)現(xiàn)，也就是從多個(gè)數(shù)據(jù)序列中查找異常，觀察和參考間的差異；其七是依賴或模型發(fā)現(xiàn)等。按照挖掘?qū)ο螅幸韵录蓄愋停好嫦驅(qū)ο蟮臄?shù)據(jù)庫(kù)，異構(gòu)數(shù)據(jù)庫(kù)，關(guān)系數(shù)據(jù)庫(kù)，文本數(shù)據(jù)庫(kù)，空間數(shù)據(jù)庫(kù)，時(shí)態(tài)數(shù)據(jù)庫(kù)以及多媒體數(shù)據(jù)庫(kù)等。從挖掘方法來(lái)看，大致可以分為四種類型，其一是統(tǒng)計(jì)方法，其二是神經(jīng)網(wǎng)絡(luò)方法，其三是機(jī)器學(xué)習(xí)方法，其四是數(shù)據(jù)庫(kù)方法。而機(jī)器學(xué)習(xí)方法則可以細(xì)分為多種類型，其一是歸納學(xué)習(xí)方法，其二是基于實(shí)例的學(xué)習(xí)方法，其三是遺傳算法等。（四）數(shù)據(jù)挖掘的流程對(duì)于每個(gè)數(shù)據(jù)挖掘項(xiàng)目而言，一系列復(fù)雜的挖掘步驟是必不可少的。1996年，F(xiàn)ayyad、Piatetsky-Shapiro以及Smyth共同發(fā)表了“從數(shù)據(jù)挖掘到知識(shí)發(fā)現(xiàn)”的文章，他們總結(jié)出了五個(gè)基本步驟，其具體情況如下：第一，選擇：在第一步中，我們傾向于首先知道我們的KDD項(xiàng)目應(yīng)該使用哪種數(shù)據(jù)。第二，預(yù)處理：收集數(shù)據(jù)時(shí)，接下來(lái)要做的是預(yù)處理數(shù)據(jù)，以消除數(shù)據(jù)錯(cuò)誤和信息丟失。第三，轉(zhuǎn)換：將處理的數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)挖掘工具所需的格式。通過(guò)這樣做，你可以使結(jié)果更加理想化。第四，數(shù)據(jù)挖掘：應(yīng)用數(shù)據(jù)挖掘工具分析目標(biāo)數(shù)據(jù)集，從中找出關(guān)聯(lián)模式。第五，解讀/評(píng)估：分析和評(píng)估數(shù)據(jù)挖掘的相應(yīng)結(jié)果。以此為基礎(chǔ)，各式各樣的數(shù)據(jù)挖掘模型得到了發(fā)展及完善?？偟膩?lái)說(shuō)，KDD模型包括兩種類型，一種是學(xué)術(shù)模型，另一種則是工業(yè)模型。在眾多模型中，較為常見(jiàn)的就有Fayyad等人提出的“9步模型”以及歐洲委員會(huì)于1999年起草的“CRISP-DM模型”。下圖就是近年來(lái)在各種KDD過(guò)程模型中占據(jù)領(lǐng)先地位且使用較多的CRISP-DM模型。二.構(gòu)建推薦系統(tǒng)這一部分主要是根據(jù)前面對(duì)數(shù)據(jù)的理解進(jìn)行用戶行為數(shù)據(jù)的分析、建模用戶喜好并與移動(dòng)互聯(lián)業(yè)務(wù)匹配，構(gòu)建一個(gè)移動(dòng)互聯(lián)業(yè)務(wù)的推薦系統(tǒng)。（一）數(shù)據(jù)庫(kù)的建立在進(jìn)行資料分析之前，我們首先要將原始資料加以處理以適用于建模。我們所使用的數(shù)據(jù)來(lái)源為運(yùn)營(yíng)商從GB口（采用幀中繼作為底層的傳輸協(xié)議）監(jiān)聽(tīng)下來(lái)的用戶使用移動(dòng)互聯(lián)網(wǎng)行為的數(shù)據(jù)，要求為監(jiān)聽(tīng)數(shù)據(jù)具有24小時(shí)不間斷性、日期的連續(xù)性、不包括節(jié)假日等非正常日期的數(shù)據(jù)等。這樣才能保證數(shù)據(jù)的穩(wěn)健性，更能反映用戶正常的行為趨向。依照數(shù)據(jù)挖掘的基本步驟，我們首先就是要將數(shù)據(jù)入庫(kù)并從中篩選出我們需要的信息。從上前面的資料源分析可以看出，我們已知的信息還是很豐富的，但比較雜亂，沒(méi)有條理，如果把所有的數(shù)據(jù)不進(jìn)行篩選，直接分析的話，將會(huì)浪費(fèi)人力和時(shí)間，所以我們按照ETL的思路，選擇較關(guān)鍵的信息加以分析，并且要充分考慮到信息缺失的問(wèn)題。ETL架構(gòu)模型，在環(huán)境SqlSever下，建立一個(gè)數(shù)據(jù)庫(kù)，利用ETL工具——Kettle可以安全輕松的從數(shù)據(jù)庫(kù)中下載數(shù)據(jù)，或者上傳新數(shù)據(jù)。配置端口為1433,主機(jī)名為L(zhǎng)OCALSYSTEM127.0.0.1。賬號(hào)為SA，密碼為sasasa。鏈接到名為database的數(shù)據(jù)庫(kù)上。數(shù)據(jù)庫(kù)database采用自增模式，設(shè)定初始大小為500MB，以后每次不夠增加50MB。如果想要避免打開(kāi)過(guò)大的文件速度緩慢，還可采用自組織模式，限制數(shù)據(jù)庫(kù)文件的大小上限為2GB，（源自ACCESS的標(biāo)準(zhǔn)），并利用文件索引，在主數(shù)據(jù)庫(kù)中將其余數(shù)據(jù)庫(kù)以超鏈接形式存在。（二）用戶上網(wǎng)時(shí)間分析我們分析的第一個(gè)目標(biāo)便是用戶的上網(wǎng)時(shí)間，由于手機(jī)上網(wǎng)具有流動(dòng)性和方便性，致使手機(jī)上網(wǎng)在廣大人民大眾之間越顯重要，逐漸成為現(xiàn)代生活中重要的上網(wǎng)方式之一。但是，并不是每一個(gè)時(shí)刻都是上網(wǎng)的高峰期，所以希望通過(guò)對(duì)客戶手機(jī)上網(wǎng)的時(shí)間分析，指出上網(wǎng)的忙時(shí)和閑時(shí)，從而對(duì)其他與上網(wǎng)相關(guān)的業(yè)務(wù)提供某程度上的指導(dǎo)，繼而提高相關(guān)業(yè)務(wù)的效率和效能。首先，選取需要的數(shù)據(jù)，上網(wǎng)時(shí)刻當(dāng)然是必不可少的?？紤]到我們是將一天時(shí)間按小時(shí)分為24個(gè)時(shí)段來(lái)分析的，并且由于通過(guò)統(tǒng)計(jì)資料表明上網(wǎng)時(shí)長(zhǎng)呈正態(tài)分布，每次連接的平均時(shí)長(zhǎng)為5分鐘，因此上網(wǎng)因素的直接使用對(duì)用戶上網(wǎng)時(shí)刻的反映上不會(huì)產(chǎn)生較大的累積影響，無(wú)需再次分解。此外，能反映用戶在各時(shí)段上網(wǎng)情況的因子還有上網(wǎng)人數(shù)、點(diǎn)擊次數(shù)、上傳流量、下載流量等。然后我們從數(shù)據(jù)庫(kù)中抽取對(duì)應(yīng)數(shù)據(jù)，分別加以聚類可得出不同時(shí)段各參數(shù)下的繁忙程度。以這5組繁忙程度為數(shù)據(jù)源再次進(jìn)行聚類（可進(jìn)行加權(quán)），即可得到反映出用戶上移動(dòng)互聯(lián)網(wǎng)的時(shí)間分布。這一過(guò)程還可以針對(duì)每天的資料進(jìn)行，然后將連續(xù)幾天的數(shù)據(jù)結(jié)果加以對(duì)比。（三）用戶上網(wǎng)興趣分析用戶上網(wǎng)越來(lái)越多，而如何留住用戶，就要投其所好，而用戶興趣何在？不能光靠調(diào)查，一則消耗巨大，二則并非每個(gè)人都愿意將自己的說(shuō)出喜好和需求。我們的任務(wù)就是從浩如煙海的上網(wǎng)數(shù)據(jù)中挖掘出用戶的觀點(diǎn)、傾向、或者興趣愛(ài)好，即給用戶打上“卷標(biāo)”；并將這些信息提供給業(yè)務(wù)分析人員與管理決策者，來(lái)幫助他們做出合理搭構(gòu)網(wǎng)站及合理鋪設(shè)服務(wù)器的決定，如建議在有高度相關(guān)性的站點(diǎn)之間鋪設(shè)高效的訪問(wèn)信道的辦法，來(lái)支持提升分布式網(wǎng)絡(luò)系統(tǒng)的性能；進(jìn)而輔助提升市場(chǎng)營(yíng)銷的決策，如把廣告投放在更為合適的信息載體上，如wab頁(yè)面或者彩信短信上，或更好地理解客戶的興趣，這樣的知識(shí)將有助于決策者制定營(yíng)銷策略。從我們獲取的原始數(shù)據(jù)分析篩選后，我們選擇url作為每次訪問(wèn)的內(nèi)容反映者，并不是因?yàn)槠湫畔⒌凝R全性，相反地url缺失率遠(yuǎn)大于目標(biāo)地址，但是由于同一ip包含很多不同的內(nèi)容與方向，其能提供的信息不具可辨識(shí)性，因此我們還是選用url分析作為我們興趣分析的信息源。現(xiàn)存利用web訪問(wèn)來(lái)分析用者興趣的模型有不少，但大多都是停留于理論試驗(yàn)階段。為此，我翻閱了很多WEB挖掘的相關(guān)文獻(xiàn)，發(fā)現(xiàn)現(xiàn)今流行并較為有效的一種算法就是文本分析，即讀入url對(duì)應(yīng)網(wǎng)頁(yè)的文本信息，同過(guò)詞頻統(tǒng)計(jì)，得出該網(wǎng)頁(yè)的核心內(nèi)容，然后再加以處理的方法。但由于現(xiàn)今網(wǎng)頁(yè)廣告、友情鏈接繁多，很有可能影響結(jié)果，最終選擇直接分析尋找已知對(duì)應(yīng)網(wǎng)頁(yè)內(nèi)容類型的模板（關(guān)鍵詞），并將它們與目標(biāo)url匹配，最終得出目標(biāo)url最接近的類型。這種方法的優(yōu)點(diǎn)就是簡(jiǎn)單易懂、便于操作實(shí)現(xiàn)，但范本的選取需要大量的經(jīng)驗(yàn)獲取或文本分析取得，并且隨著時(shí)間的推移，范本庫(kù)的素材要隨之更新。（四）用戶與移動(dòng)互聯(lián)業(yè)務(wù)的互匹配我們推薦系統(tǒng)的目標(biāo)是從客戶找業(yè)務(wù)，從業(yè)務(wù)找客戶。就是要從可知用戶信息分析出我們認(rèn)為的用戶適配的業(yè)務(wù)，并為特定業(yè)務(wù)尋找合適它的用戶群。由前面的用戶興趣點(diǎn)分析可以知道用戶網(wǎng)上沖浪過(guò)程中對(duì)哪些內(nèi)容更感興趣，但各個(gè)用戶與我們的業(yè)務(wù)之間有怎么樣的關(guān)系才是運(yùn)營(yíng)商感興趣的內(nèi)容，所以我們要進(jìn)一步從興趣點(diǎn)出發(fā)，將用戶興趣點(diǎn)與特色業(yè)務(wù)加以匹配。通過(guò)對(duì)抽樣樣本分析所得的興趣點(diǎn)與從運(yùn)營(yíng)商數(shù)據(jù)庫(kù)中抽取樣本所訂業(yè)務(wù)的信息進(jìn)行關(guān)聯(lián)分析，我們得到興趣點(diǎn)與目標(biāo)業(yè)務(wù)的相關(guān)性表，經(jīng)過(guò)正則化與調(diào)查不斷修正，得到一個(gè)較為穩(wěn)健的業(yè)務(wù)打分表。依照此表分