金融大數(shù)據(jù)日志分析基本設(shè)計(jì)說明書

金融大數(shù)據(jù)日志分析項(xiàng)目基本設(shè)計(jì)說明書XX科技股份有限公司編制目錄金融大數(shù)據(jù)日志分析分析項(xiàng)目 2(一) 金融大數(shù)據(jù)日志分析分析項(xiàng)目中心架構(gòu) 2(二) 數(shù)據(jù)處理流程 3(三) 網(wǎng)絡(luò)拓?fù)鋱D 4數(shù)據(jù)生產(chǎn)展示 5數(shù)據(jù)采集展示 5數(shù)據(jù)分析展示 7數(shù)據(jù)可視化展示 71. 權(quán)限管理： 72. 金融大數(shù)據(jù)日志分析： 9項(xiàng)目安排 11

金融大數(shù)據(jù)日志分析分析項(xiàng)目金融大數(shù)據(jù)日志分析分析項(xiàng)目中心架構(gòu)圖1金融大數(shù)據(jù)日志分析分析架構(gòu)圖數(shù)據(jù)生產(chǎn)模塊：dataSource金融大數(shù)據(jù)日志分析數(shù)據(jù)源。數(shù)據(jù)采集/存儲(chǔ)模塊：通過Flume采集數(shù)據(jù)到Kafka集群，然后由HBASE消費(fèi)Kafka集群中的數(shù)據(jù)。數(shù)據(jù)離線分析模塊：將數(shù)據(jù)經(jīng)過清洗轉(zhuǎn)換后存儲(chǔ)到Hive數(shù)據(jù)倉庫中，然后提取其中需要展示的數(shù)據(jù)到MySQL數(shù)據(jù)庫。系統(tǒng)展示模塊：通過前端技術(shù)jquery、ajax、echarts進(jìn)行數(shù)據(jù)展示。數(shù)據(jù)處理流程數(shù)據(jù)導(dǎo)入處理數(shù)據(jù)采集系統(tǒng)獲取原始數(shù)據(jù)數(shù)據(jù)導(dǎo)入處理數(shù)據(jù)采集系統(tǒng)獲取原始數(shù)據(jù)數(shù)據(jù)獲取數(shù)據(jù)獲取數(shù)據(jù)展示數(shù)據(jù)展示金融大金融大數(shù)據(jù)日志分析數(shù)據(jù)分析系統(tǒng)展示數(shù)據(jù)展示數(shù)據(jù)圖2金融大數(shù)據(jù)日志分析分析項(xiàng)目數(shù)據(jù)處理流程圖網(wǎng)絡(luò)拓?fù)鋱D圖3金融大數(shù)據(jù)日志分析分析項(xiàng)目網(wǎng)絡(luò)拓?fù)鋱D數(shù)據(jù)生產(chǎn)展示圖4獲取數(shù)據(jù)并去掉敏感詞通過函數(shù)生成金融大數(shù)據(jù)日志分析數(shù)據(jù)，需配置生成文件名和生成路徑。數(shù)據(jù)采集展示圖5flume采集圖6kafka集群待消費(fèi)數(shù)據(jù) 圖7HBASE存儲(chǔ)數(shù)據(jù)1圖8HBASE存儲(chǔ)數(shù)據(jù)2通過flume將客戶數(shù)據(jù)采集到kafka集群，然后使用Hbase消費(fèi)kafka集群數(shù)據(jù)。數(shù)據(jù)分析展示圖9Mysql分析數(shù)據(jù)使用MapReduce將HBASE中的數(shù)據(jù)，經(jīng)過清洗、分析之后存儲(chǔ)到MySQL數(shù)據(jù)庫中。數(shù)據(jù)可視化展示權(quán)限管理：資源管理：對系統(tǒng)菜單進(jìn)行管理，可資源進(jìn)行添加、修改等操作。圖10資源管理界面截圖角色管理：是系統(tǒng)角色信息管理地方，在此可對系統(tǒng)的角色進(jìn)行添加、刪除、修改等操作，以及可以修改角色的查看權(quán)限。圖11角色管理界面截圖用戶管理：對系統(tǒng)用戶進(jìn)行管理。圖12用戶管理界面截圖金融大數(shù)據(jù)日志分析：業(yè)務(wù)分析功能包括：使用圖形展示各種金融業(yè)務(wù)種類占比情況。資金分析功能包括：使用圖形展示各家機(jī)構(gòu)在不同時(shí)間資金金額趨勢情況。渠道分析功能包括：使用圖形展示各家渠道在不同時(shí)間渠道金額趨勢情況。金額分析功能包括：使用圖形展示各家機(jī)構(gòu)在今日、累計(jì)投放金額趨勢情況。地區(qū)業(yè)務(wù)分析功能包括：使用圖形展示各個(gè)地區(qū)業(yè)務(wù)數(shù)量情況。申贖分析功能包括：使用圖形展示各個(gè)申贖類型種類占比情況。銷售分析功能包括：使用圖形展示各個(gè)銷售平臺(tái)占比情況。項(xiàng)目安排階段步驟內(nèi)容時(shí)間備注需求分析初步調(diào)研根據(jù)商業(yè)需求確定網(wǎng)站平臺(tái)需求功能第一周詳細(xì)需求分析根據(jù)初步調(diào)研完成具體需求文檔第2-4周項(xiàng)目開發(fā)項(xiàng)目研發(fā)根據(jù)需求文檔進(jìn)行項(xiàng)目的設(shè)計(jì)以及開發(fā)工作第4-14周測試項(xiàng)目測試根據(jù)測試文檔進(jìn)