網(wǎng)絡(luò)日志流量分析-第一部分

一、課程計 二、流量日志數(shù)據(jù)分析系 2.1．流量分析模型舉 三、整體技術(shù)流程及架 四、模塊開發(fā)需 Flume日志系 Flume 五、模塊開發(fā)數(shù)據(jù)預(yù)處 點擊流模型pageviews 點擊流模型visit信息 六、工作流調(diào)度 Azkaban調(diào)度 Azkaban介 Azkaban安裝部 Azkaban實 點擊流（ClickStream）是指用戶在上持續(xù)的軌跡。這個概念更注重用戶瀏覽的整個流程用戶對的每次包含了一系列的點擊動作行Data戶瀏覽的整個流程。點擊流和日志是兩個不同的概念，點擊流是從用戶的角度出發(fā)，注重用戶瀏覽的整個流程；而日志是面向整個站點，它包含了用戶行為數(shù)據(jù)、 順序,當(dāng)然也可以通過時間來標(biāo)識的次序。其次，用戶對的每次，（SessionVisits表(信息強調(diào)的是一 session內(nèi)的起始與結(jié)束時間點的情況PageviewsvisitsIP-sessionsessionIP2012-01-0112012-01-0112012-01-0122012-01-0132012-01-011進(jìn)離頁13-13如何進(jìn)行流量分金字塔的頂部 （ROIX軸代表量，指獲得的量。Y軸代表質(zhì)，指可以促進(jìn)目標(biāo)的件次數(shù)（比如商品瀏覽、、等行為。圓圈大小表示獲得流量的成本BD流量是指商務(wù)拓展流量。一般指的是互聯(lián)網(wǎng)經(jīng)過運營或者競價等方BD流量的一部分。對于所有來說，頁面都可以被劃分為三個類別：導(dǎo)航頁的目的是引導(dǎo)者找到信息功能頁的目的是幫助者完成特定任務(wù)，內(nèi)容頁的目的是向者展示信息并幫助者進(jìn)行決策。站內(nèi)搜索頁面、表單頁面和購物車頁面都是典型的功能頁，而產(chǎn)品詳情頁、和文章頁都是典型的內(nèi)容頁。比如從內(nèi)容導(dǎo)航分析中，以下兩類行為就 運營者不希望看到的行為：第一個問題者從導(dǎo)航頁（首頁）還沒有看到內(nèi)容頁面之前就從導(dǎo)航頁離開，需要分析導(dǎo)航頁造成者中途離開的原因。：：第二個問題者從導(dǎo)航頁進(jìn)入內(nèi)容頁后，又返回到導(dǎo)航頁，說明需要分：業(yè)務(wù)目標(biāo)（比如商品；而漏斗模型則是指進(jìn)入的用戶在各環(huán)節(jié)遞進(jìn)過對于轉(zhuǎn)化，主要進(jìn)行兩部分的分析：造成迷失的主要原因是轉(zhuǎn)化流量設(shè)計不合理者在特定階段得不到需要到支付也沒看到選座的提示，這時候就很可能會產(chǎn)生迷失，返回查看，總之?dāng)?shù)據(jù)分析是一門內(nèi)容非常豐富的學(xué)科本課主要關(guān)注流量分析過的技術(shù)運用，關(guān)于數(shù)據(jù)分析的業(yè)務(wù)知識可學(xué)習(xí)文檔首頁，指標(biāo)是分析的基礎(chǔ)，用來記錄和衡量者在自的各種行為。比如我們經(jīng)常說的流量就是一個指標(biāo)，它是用來衡量獲得的量。在進(jìn)行，IP：1天之內(nèi)的不重復(fù)IP數(shù)。一天內(nèi)相同IP地址多次只被計算1次。曾經(jīng)IP指標(biāo)可以用來表示用戶，目前則的用來獲取，PageView瀏覽量:即通常說的PV值，用戶每打開1個頁面，記錄1PVPVUniquePageView:1天之內(nèi)，的不重復(fù)用戶數(shù)（以瀏覽器 依據(jù)，一天內(nèi)同一訪客多次只被計算1次。 到離 的一系列活動記為一 話(session),1次(會話)可能包含多個PV 者在上花費的時間 頁面停留時間：者在某個特定頁面或某組網(wǎng)頁上所花費的時間 ：提供當(dāng)前時刻站點上的訪客量，以及最近15分鐘流量、來源、受訪、訪客 明細(xì)：提供最近7日的訪客記錄，可按每個PV或每次行為（訪客的每次會話）顯示，并可按照來源、搜索詞等條件進(jìn)行篩選。通過明細(xì)，用戶可以詳細(xì)了搜索引擎：、征和分布。幫助用戶了解各搜索詞引入流量的質(zhì)量，進(jìn)而了解訪客的關(guān)注點與訪、來路提供具體來路引入流量的分布情況并可“社會化“搜索引擎、“郵箱”等類型對來源進(jìn)行分類。幫助用戶了解哪類推廣產(chǎn)生的流量多、效來路頁面：提供具體來路頁面引入流量的分布情況。尤其對于通過流量置換、包情況，并按照變化的劇烈程度提供榜。用戶可通過此功能快速找到哪些來路對流 ：提供訪客對中各個的情況。一般情況下，不同提供的產(chǎn)品內(nèi)容各有差異通過此功能用戶可以了解不同內(nèi)容的受歡迎程度以及運營成效受訪頁面：提供訪客對中各個頁面的情況。站內(nèi)頁面為訪客進(jìn)入時問的最后一個頁面，對于離開率較高的頁面需要關(guān)注并優(yōu)化。變化的劇烈程度提供榜?？赏ㄟ^此功能驗證經(jīng)過的頁面是否有流量提升或哪些頁將一組頁面設(shè)置為"關(guān)注范圍"，并可按來路細(xì)分點擊熱度。通過訪客在頁面上的點擊量統(tǒng)計，可以了解頁面設(shè)計是否合理、位的安排能否獲取傭金等。高低繪制熱度圖，與熱點圖不同的是，所有記錄都是實際打開了下一頁面產(chǎn)生了 哪里。通過上游頁面列表比較出不同流量引入的效果；通過下游頁面列表了解用戶地區(qū)運營商：提供各地區(qū)訪客、各網(wǎng)絡(luò)運營商訪客的情況分布。地方終端詳情：提供訪客所使用的瀏覽終端的配置情況。參考此數(shù)據(jù)進(jìn)行網(wǎng)頁設(shè)計、開發(fā)，可更好地提高兼容性，以達(dá)到良好的用戶交互體驗。過該的訪客記為老訪客。新訪客與老訪客進(jìn)入的途徑和瀏覽行為往往存在差角度，分析訪客對的粘性、忠誠度、吸引程度。由于提升內(nèi)容的更新頻率、增強用戶體驗與用戶價值可以有更高的忠誠度因此該功能在內(nèi)容更新及用戶體驗方面程度。由于提升內(nèi)容的質(zhì)量與數(shù)量可以獲得更高的活躍度，因此該功能是內(nèi)容分訪客在您的完成了某項您期望的活動，記為一次轉(zhuǎn)化，如、、·獲得用戶目標(biāo)：、創(chuàng)建賬號等·咨詢目標(biāo)：咨詢、留言 等·互動目標(biāo)：、加入購物車、等·收入目標(biāo)：訂單、付款等如流程，流程等。 用Flume等工具把到指定位置的這個過程叫做。HIVE項目的內(nèi)容，即根據(jù)需求開發(fā)ETL分析語句，得出各種統(tǒng)計結(jié)果以流各環(huán)節(jié)所使用的技術(shù)則跟傳統(tǒng)BI完全不同：：定制開發(fā)程序，或使用開源框架hadoopHiveweb(echarts)整個過程的流程調(diào)度：hadoopazkaban要求通常不會非常嚴(yán)苛，因此使用通用的flume日志框架完全可以滿足需Flume日志系FlumeFlume系統(tǒng)的搭建相對簡單1agent2、啟動agent節(jié)點，將到的數(shù)據(jù)匯聚到指定的 nginxflume（1.6）SpoolingDirectory 一 a1.sources=r1a1.sources.r1.type=TAILDIRa1.sources.r1.channels=c1a1.sources.r1.positionFile=a1.sources=r1a1.sources.r1.type=TAILDIRa1.sources.r1.channels=c1a1.sources.r1.positionFile=/var/log/flume/taildir_position.jsona1.sources.r1.filegroups=f1f2a1.sources.r1.filegroups.f1=a1.sources.r1.filegroups.f2=tail多 中的文件positionFile:jsontailtail。58.215.204.11858.215.204.118--]"GET/wp-includes/js/jquery/jquery.js?ver=1.10.23040""Mozilla/5.0(WindowsNT5.1;rv:23.0) 2、訪客用戶信息： 710、訪客所用瀏覽器：Mozilla/5.0(WindowsNT5.1;rv:23.0)Gecko/ 根據(jù)后續(xù)的統(tǒng)計需求，過濾分離出各種不同(不同欄目path)的基礎(chǔ)數(shù)據(jù)publicpublicclassWeblogPreProcessstaticclassWeblogPreProcessMapperextendsMapper<LongWritable,Text,Text,NullWritable>{Textk=newText();NullWritablev=NullWritable.get();protectedvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{Stringline=WebLogBeanwebLogBean=WebLogBeanproductWebLog=WebLogBeanbbsWebLog=WebLogBeancuxiaoBean= }}publicstaticvoidmain(String[]args)throwsExceptionConfigu