大數(shù)據(jù)離線分析項(xiàng)目(Hadoop)

1、一、 項(xiàng)目總體需求、具體設(shè)計(jì)1、 總體需求：捕獲用戶每天的行為數(shù)據(jù)，生成業(yè)務(wù)日志文件，根據(jù)日志文件清洗、分析、提取出需要的價(jià)值信息（pv：頁面瀏覽量 uv：獨(dú)立訪客數(shù) 獨(dú)立IP 會(huì)話時(shí)長等），對(duì)網(wǎng)站的良好運(yùn)營提供有價(jià)值的指標(biāo)。2、 具體設(shè)計(jì)2.1捕獲（JsSDK）用戶行為數(shù)據(jù)（launch事件、pageView事件、event事件、chargerequet事件）2.2將捕獲的數(shù)據(jù)發(fā)送給web服務(wù)器，生成日志文件（Nginx）2.3將日志文件上傳至文件存儲(chǔ)系統(tǒng)中（Shell腳本、Flume）2.4在文件存儲(chǔ)系統(tǒng)中對(duì)日志文件進(jìn)行清洗，過濾掉臟數(shù)據(jù)和不需要的字段（MapReuce job任務(wù)）2.5

2、將過濾后的日志文件導(dǎo)入到數(shù)據(jù)庫中（HBase）2.6通過MapReduce程序或Hive進(jìn)行統(tǒng)計(jì)分析（Hive）2.7將統(tǒng)計(jì)分析后的結(jié)果導(dǎo)入到本地?cái)?shù)據(jù)庫中進(jìn)行永久儲(chǔ)存（Mysql）2.8在前端進(jìn)行展示（SpringMVC+Highcharts）二、 項(xiàng)目架構(gòu)（畫圖）具體分為三個(gè)部分（如下圖所示）：數(shù)據(jù)收集層 hadoop、hive、flume、kafka、shell數(shù)據(jù)分析層 hive、MapReduce、spark數(shù)據(jù)展示層 springmvc + highcharts三、 技術(shù)選型、特點(diǎn)、為什么1. JsSDK捕獲前端頁面數(shù)據(jù)。Javascript 編寫頁面日志生成與發(fā)送工具（原則： 保持

3、對(duì)業(yè)務(wù)代碼最小影響）特點(diǎn)：采用原生的JavaScript編寫，以js文件嵌入到前端，頁面觸發(fā)業(yè)務(wù)所關(guān)注的事件（按照收集數(shù)據(jù)的不同分為不同的事件）時(shí)調(diào)用相關(guān)方法。2. Java sdk 后臺(tái)服務(wù)日志生成與發(fā)送工具JavaSDK代碼很簡(jiǎn)單，可以打成jar包或者直接拷貝類到具體的項(xiàng)目中，正常邏輯處理到JavaSDK所關(guān)注的事件后，調(diào)用JavaSDK提供的api即可。3.Nginx web服務(wù)器，產(chǎn)生日志文件 特點(diǎn)：Nginx是一個(gè)小巧而高效的Linux下的web服務(wù)器軟件，相比較Apache它不僅有穩(wěn)定性、豐富的功能集、示例配置文件，更重要的是Nginx是基于事件的，它的內(nèi)存使用很低，系統(tǒng)資源消耗小

4、很多。3. shell腳本上傳日志文件（數(shù)據(jù)量一般比較小的場(chǎng)景，不會(huì)立即進(jìn)行分析）分割日志，每天定時(shí)分割成昨天的日志文件。（vi split.sh）上傳到HDFS。（vi put2hdfs.sh）flume上傳（數(shù)據(jù)量一般比較大的場(chǎng)景，需要實(shí)時(shí)處理。）5. HBase數(shù)據(jù)庫 數(shù)據(jù)解析以后，我們把它存入HBase表。因?yàn)椋翰煌氖录?，最后上傳到HDFS里面每行數(shù)據(jù)的字段數(shù)量是不一樣的；而且HBase中，單表數(shù)據(jù)量相對(duì)比較大6.MySql 最終結(jié)果存儲(chǔ)Mysql是關(guān)系型數(shù)據(jù)庫，結(jié)構(gòu)十分清晰，能夠與JavaWeb中的SpringMVC進(jìn)行很好的對(duì)接；而且SQL語句是結(jié)構(gòu)化的查詢語言，方便運(yùn)營頁面查詢

5、數(shù)據(jù)7.SpringMVC+Highcharts 進(jìn)行報(bào)表顯示四、 具體實(shí)現(xiàn)需求（分析了哪些功能pv、uv）主要實(shí)現(xiàn)需求：Pv：頁面的瀏覽次數(shù)，衡量網(wǎng)站用戶訪問的網(wǎng)頁數(shù)量；用戶每打開一個(gè)頁面就記錄一次，多次打開同一個(gè)頁面則瀏覽量累計(jì)。描述用戶訪問網(wǎng)站信息，應(yīng)用于基本的各個(gè)不同計(jì)算任務(wù)Uv：獨(dú)立訪客數(shù)1天內(nèi)訪問某站點(diǎn)的人數(shù)（以cookie為依據(jù)）1天內(nèi)同一訪客的多次訪問只計(jì)為1個(gè)訪客S_time：會(huì)話時(shí)長詳細(xì)需求：五、 項(xiàng)目中遇到了哪些問題，怎么解決1、日志格式有點(diǎn)混亂，以至于給后面的數(shù)據(jù)清洗帶來困擾辦法：最后調(diào)整數(shù)據(jù)格式，并重新定義了分隔符2、對(duì)日志文件進(jìn)行分析時(shí)，建立Hive外部表與Hbase表的鏈接字段搞錯(cuò)，以至于HBase與Hive整合不成功辦法： 查看數(shù)據(jù)字典，查找字段，并將hive外部表的字段名和HBase表的列名一樣。六、 項(xiàng)目總結(jié)通過本次項(xiàng)目搭建，我對(duì)大數(shù)據(jù)的實(shí)際應(yīng)用，以及客戶需求的具體實(shí)現(xiàn)有了更為清晰的認(rèn)識(shí)，同時(shí)也對(duì)之前所學(xué)到的知識(shí)進(jìn)行了溫故與整合。同時(shí)看到了自己的很多不足，究其原因，是對(duì)Hadoop以及諸多協(xié)作