《Spark應(yīng)用開發(fā)技術(shù)》課件-03-探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)

Spark應(yīng)用開發(fā)技術(shù)本章主要講述SparkSQL的使用。本章主要講述SparkDataFrame基礎(chǔ)操作。通過學(xué)習(xí)本節(jié)將能夠?qū)W習(xí)SparkSQL、SparkDataFrame基礎(chǔ)操作。通過本節(jié)學(xué)習(xí)可以：理解SparkSQL的基本概念。掌握SparkSQL與Shell交互。掌握創(chuàng)建DataFrame對(duì)象的方法。掌握DataFrame查看數(shù)據(jù)的方法。掌握DataFrame的查詢及輸出操作。認(rèn)識(shí)SparkSQLSpark

SQL簡(jiǎn)介Spark

SQLCLI配置SparkSQL與Shell交互掌握DataFrame基礎(chǔ)操作創(chuàng)建DataFrame對(duì)象DataFrame查看數(shù)據(jù)DataFrame查詢操作DataFrame輸出操作探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)獲取數(shù)據(jù)、網(wǎng)頁類型分析、點(diǎn)擊次數(shù)分析、網(wǎng)頁排名分析背景某家電子商務(wù)類的大型法律資訊網(wǎng)站，致力于為用戶提供豐富的法律信息與專業(yè)咨詢服務(wù)，并為律師與律師事務(wù)所提供卓有成效的互聯(lián)網(wǎng)整合營(yíng)銷解決方案，隨著其網(wǎng)站訪問量增大，數(shù)據(jù)信息量也在大幅度增長(zhǎng)。用戶在面對(duì)大量信息時(shí)無法及時(shí)從中獲得自己需要的信息，對(duì)信息的使用效率越來越低。這種瀏覽大量無關(guān)信息的過程，使用戶需要花費(fèi)大量的時(shí)間才能找到自己需要的信息，從而使得用戶不斷流失，給企業(yè)造成巨大的損失。為了能夠更好地滿足用戶需求，依據(jù)其網(wǎng)站海量的數(shù)據(jù)，研究用戶的興趣偏好，分析用戶的需求和行為，發(fā)現(xiàn)用戶的興趣點(diǎn)，從而引導(dǎo)用戶發(fā)現(xiàn)自己的信息需求。為用戶提供個(gè)性化的服務(wù)，并且建立網(wǎng)站與用戶之間的密切關(guān)系，讓用戶對(duì)推薦系統(tǒng)產(chǎn)生依賴，從而建立穩(wěn)定的企業(yè)忠實(shí)客戶群，實(shí)現(xiàn)客戶鏈?zhǔn)椒磻?yīng)增值，提高消費(fèi)者滿意度。通過提高服務(wù)效率幫助消費(fèi)者節(jié)約交易成本等，制定有針對(duì)性的營(yíng)銷戰(zhàn)略方針，促進(jìn)企業(yè)長(zhǎng)期穩(wěn)定高速發(fā)展。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)背景當(dāng)用戶訪問網(wǎng)站頁面時(shí)，系統(tǒng)會(huì)記錄用戶訪問網(wǎng)站的日志，其中記錄了用戶IP、用戶訪問的時(shí)間、訪問內(nèi)容等多項(xiàng)屬性的信息，各個(gè)屬性的說明如表所示探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)背景探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)獲取數(shù)據(jù)探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)獲取數(shù)據(jù)在Hive中創(chuàng)建數(shù)據(jù)庫law在law數(shù)據(jù)庫下創(chuàng)建law表將數(shù)據(jù)導(dǎo)入到law表探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁類型分析探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁類型統(tǒng)計(jì)從中發(fā)現(xiàn)點(diǎn)擊與咨詢相關(guān)的網(wǎng)頁（網(wǎng)頁類型為101，http://www.*.cn/ask/）的記錄占比為49.16%，其次是其他類型網(wǎng)頁（網(wǎng)頁類型為199）占比24.05%，然后是知識(shí)相關(guān)網(wǎng)頁（網(wǎng)頁類型為107，http://www.*.com/info）占21.84%。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)通過觀察類別為199的網(wǎng)頁，發(fā)現(xiàn)其頁面信息多數(shù)與法律法規(guī)相關(guān)，所以統(tǒng)計(jì)類別為199，并且包含法律法規(guī)的記錄個(gè)數(shù)可以得到類別為199并且包含法律法規(guī)記錄個(gè)數(shù)為47407。綜合可得199的記錄數(shù)應(yīng)該為153992，而301的記錄數(shù)應(yīng)該為65837。因此可以得到用戶點(diǎn)擊頁面類型的排行榜為：咨詢相關(guān)、知識(shí)相關(guān)、其他方面的網(wǎng)頁、法規(guī)（類型為301）、律師相關(guān)（類型為102）?？梢猿醪降贸觯合鄬?duì)于長(zhǎng)篇的知識(shí)，用戶更加偏向于查看咨詢或者進(jìn)行咨詢。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)咨詢類別內(nèi)部統(tǒng)計(jì)進(jìn)一步針對(duì)咨詢類別內(nèi)部進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)內(nèi)容為101網(wǎng)頁類型的子類型、記錄數(shù)及其所占101網(wǎng)頁類型總記錄百分比探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)咨詢類別內(nèi)部統(tǒng)計(jì)瀏覽咨詢內(nèi)容頁（101003）記錄最多，其次是咨詢列表頁（101002）和咨詢首頁（101001）。結(jié)合上述初步結(jié)論，可以得出用戶都喜歡通過瀏覽問題的方式找到自己需要的信息，而不是以提問的方式或者查看長(zhǎng)篇知識(shí)的方式。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁中帶有“?”記錄統(tǒng)計(jì)統(tǒng)計(jì)所有訪問網(wǎng)頁中帶有“？”的總記錄數(shù)。統(tǒng)計(jì)分析訪問網(wǎng)頁中帶有“？”的所有記錄中，各網(wǎng)頁類型、記錄數(shù)、占訪問網(wǎng)頁中帶有“？”的記錄數(shù)的百分比探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁中帶有“?”記錄統(tǒng)計(jì)包含“？”總記錄數(shù)為65477，特別在其他網(wǎng)頁這一類型中占了98%左右，比重較大，因此需要進(jìn)一步分析該類型網(wǎng)頁的內(nèi)部規(guī)律，但在知識(shí)相關(guān)與法規(guī)專題中的占比僅為1%左右。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)進(jìn)行數(shù)據(jù)查看后，發(fā)現(xiàn)大部分網(wǎng)址以如下形式存在http://www.XXX.cn/guangzhou/p2lawfirm地區(qū)律師事務(wù)所http://www.XXX.cn/guangzhou地區(qū)網(wǎng)址http://www.XXX.cn/ask/ask.php咨詢網(wǎng)頁http://www.XXX.cn/ask/midques_10549897.html中間類型網(wǎng)頁http://www.XXX.cn/ask/exp/4317.html咨詢經(jīng)驗(yàn)http://www.XXX.cn/ask/online/138.html在線咨詢頁探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)分析其他類型網(wǎng)頁的內(nèi)部規(guī)律探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)分析其他類型網(wǎng)頁的內(nèi)部規(guī)律探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)在1999001類型中，標(biāo)題為法律快車-律師助手的這類信息占比77%，通過對(duì)業(yè)務(wù)了解，這是律師的一個(gè)登錄頁面。標(biāo)題為咨詢發(fā)布成功頁面時(shí)自動(dòng)跳轉(zhuǎn)頁面。帶有“？”的頁面記錄，如“http://www.XXX.cn/ask/question_9152354.html?&from=androidqq”，代表該網(wǎng)頁曾被分享過，因此可以通過截取“？”前面的網(wǎng)址對(duì)其進(jìn)行處理，還原其原類型。統(tǒng)計(jì)“瞎逛用戶”點(diǎn)擊的網(wǎng)頁類型在查看數(shù)據(jù)的過程中，發(fā)現(xiàn)存在一部分這樣的用戶，他們沒有點(diǎn)擊具體的網(wǎng)頁（以.html后綴結(jié)尾），他們點(diǎn)擊的大部分是目錄網(wǎng)頁，這樣的用戶可定義為“瞎逛用戶”，統(tǒng)計(jì)“瞎逛用戶”點(diǎn)擊的網(wǎng)頁類型探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)“瞎逛用戶”點(diǎn)擊的網(wǎng)頁類型探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)從統(tǒng)計(jì)結(jié)果中看出，小部分是與知識(shí)、咨詢相關(guān)，大部分是與地區(qū)、律師和事務(wù)所相關(guān)的。這部分用戶有可能是找律師服務(wù)的，或者是瞎逛的。通過上述網(wǎng)址類型分布分析，可以發(fā)現(xiàn)與分析目標(biāo)無關(guān)的數(shù)據(jù)清洗規(guī)則無點(diǎn)擊.html行為及URL中的用戶記錄。中間類型網(wǎng)頁（帶有midques_關(guān)鍵字）。網(wǎng)址中帶有“？”類型，無法還原其本身類型的快搜頁面與發(fā)布咨詢網(wǎng)頁。法律快車-律師助手記錄，頁面標(biāo)題包含“法律快車-律師助手”關(guān)鍵字。篩選模型所需記錄（咨詢、知識(shí)、法規(guī)專題頁面數(shù)據(jù)）。重復(fù)數(shù)據(jù)（同一時(shí)間同一用戶，訪問相同網(wǎng)頁）。記錄這些規(guī)則，有利于在數(shù)據(jù)清洗階段對(duì)數(shù)據(jù)進(jìn)行清洗操作。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)點(diǎn)擊次數(shù)分析統(tǒng)計(jì)分析原始數(shù)據(jù)用戶瀏覽網(wǎng)頁次數(shù)的情況，統(tǒng)計(jì)內(nèi)容為點(diǎn)擊次數(shù)、用戶數(shù)、用戶百分比、記錄百分比探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)點(diǎn)擊次數(shù)分析探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)從統(tǒng)計(jì)結(jié)果中發(fā)現(xiàn)用戶總數(shù)為350090，總記錄數(shù)為837450?？梢园l(fā)現(xiàn)瀏覽一次的用戶占66%左右，大約84%的用戶只提供了約42%的瀏覽頁，即瀏覽網(wǎng)頁1~2次的用戶占了大部分。瀏覽一次用戶行為分析針對(duì)瀏覽次數(shù)為一次的用戶進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)內(nèi)容為網(wǎng)頁類型、記錄個(gè)數(shù)、記錄占瀏覽一次的的用戶百分比探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)瀏覽一次用戶行為分析探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)結(jié)果如表所說，問題咨詢頁占比為75%左右，知識(shí)頁占比為16%左右，而且這些訪問基本上都是通過搜索引擎進(jìn)入。針對(duì)瀏覽次數(shù)為一次的用戶分析結(jié)果，可以對(duì)該類用戶情況做出兩種猜測(cè)。用戶為流失用戶，在問題咨詢與知識(shí)頁面上沒有找到相關(guān)的信息。用戶找到其需要的信息，因此直接退出。綜合這些情況，可將這些點(diǎn)擊一次的用戶行為定義為網(wǎng)頁的跳出行為，用于計(jì)算網(wǎng)頁跳出率。統(tǒng)計(jì)點(diǎn)擊一次用戶訪問URL排名為了降低網(wǎng)頁的跳出率，需要對(duì)這些網(wǎng)頁進(jìn)行針對(duì)用戶的個(gè)性化推薦，幫助用戶發(fā)現(xiàn)其感興趣或者需要的網(wǎng)頁。針對(duì)點(diǎn)擊一次的用戶瀏覽的網(wǎng)頁進(jìn)行統(tǒng)計(jì)分析探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)點(diǎn)擊一次用戶訪問URL排名統(tǒng)計(jì)結(jié)果如表所示，可以看出排名靠前的頁面均為知識(shí)與咨詢頁面，因此可以猜測(cè)大量用戶的關(guān)注點(diǎn)為法律知識(shí)或咨詢。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁排名分析個(gè)性化推薦主要針對(duì).html后綴的網(wǎng)頁。從原始數(shù)據(jù)中統(tǒng)計(jì).html后綴的網(wǎng)頁的點(diǎn)擊率探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁排名分析探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)網(wǎng)頁排名分析點(diǎn)擊率排名結(jié)果如上表所示，從中可以看出，點(diǎn)擊次數(shù)排名前10名的項(xiàng)目中，法規(guī)專題占了大部分，其次是知識(shí)。但是從前面分析的結(jié)果中可知，原始數(shù)據(jù)中與咨詢主題相關(guān)的記錄占了大部分，但是在其.html后綴的網(wǎng)頁排名中，專題與知識(shí)的占了大部分。通過業(yè)務(wù)了解，專題是屬于知識(shí)大類里的一個(gè)小類。在統(tǒng)計(jì).html后綴的網(wǎng)頁點(diǎn)擊排名時(shí)出現(xiàn)這種現(xiàn)象的原因是知識(shí)頁面相比咨詢的頁面要少很多，當(dāng)大量的用戶在瀏覽咨詢頁面時(shí)，呈現(xiàn)一種比較分散的瀏覽次數(shù)，即其各個(gè)頁面點(diǎn)擊率不高，但是其總的瀏覽量高于知識(shí)類，所以造成網(wǎng)頁排名中咨詢方面的排名比較低。探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)翻頁的網(wǎng)頁從原始html的點(diǎn)擊率排行榜中可以發(fā)現(xiàn)如下情況，排行榜中存在這樣兩種類似的網(wǎng)址："http://www.XXX.cn/info/hunyin/lhlawlhxy/20110707137693.html”和“http://www.XXX.cn/info/hunyin/lhlawlhxy/20110707137693_2.html”。通過簡(jiǎn)單訪問網(wǎng)址，發(fā)現(xiàn)其本身屬于同一網(wǎng)頁，但由于系統(tǒng)在記錄用戶訪問網(wǎng)址的信息時(shí)會(huì)同時(shí)記錄翻頁信息，因此在用戶訪問網(wǎng)址的數(shù)據(jù)中存在翻頁的情況。針對(duì)這些翻頁的網(wǎng)頁進(jìn)行統(tǒng)計(jì)探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)統(tǒng)計(jì)翻頁的網(wǎng)頁探索分析法律服務(wù)網(wǎng)站數(shù)據(jù)通過業(yè)務(wù)了解，登錄次數(shù)最多的頁面基本為可從外部搜索引擎直接搜索到的頁面。對(duì)其中瀏覽翻頁的情況進(jìn)行分析，平均60%~80%的人會(huì)選擇看下一頁，基本每一頁都會(huì)丟失20%~40%的點(diǎn)擊率，點(diǎn)擊率會(huì)出現(xiàn)衰減的情況。同時(shí)對(duì)知識(shí)類網(wǎng)頁進(jìn)行檢查，可以發(fā)現(xiàn)頁面上并無全頁顯示功能，但是知識(shí)頁面中大部分都存在翻頁的情況。這樣就造成了