煤礦大數(shù)據(jù)基本設(shè)計說明書

煤礦大數(shù)據(jù)項目基本設(shè)計說明書XX科技股份有限公司編制目錄一、 煤礦大數(shù)據(jù)分析項目 3(一) 煤礦大數(shù)據(jù)項目中心架構(gòu) 3(二) 數(shù)據(jù)處理流程 3(三) 網(wǎng)絡(luò)拓?fù)鋱D 4二、 數(shù)據(jù)生產(chǎn)展示 4三、 數(shù)據(jù)采集展示 5四、 數(shù)據(jù)分析展示 6五、 數(shù)據(jù)可視化展示 61. 權(quán)限管理 62. 煤礦大數(shù)據(jù) 7六、 項目安排 10

煤礦大數(shù)據(jù)分析項目煤礦大數(shù)據(jù)項目中心架構(gòu)圖1煤礦大數(shù)據(jù)平臺架構(gòu)圖數(shù)據(jù)處理流程數(shù)據(jù)導(dǎo)入處理數(shù)據(jù)采集系統(tǒng)獲取原始數(shù)據(jù)數(shù)據(jù)導(dǎo)入處理數(shù)據(jù)采集系統(tǒng)獲取原始數(shù)據(jù)數(shù)據(jù)獲取數(shù)據(jù)獲取數(shù)據(jù)展示數(shù)據(jù)展示展示數(shù)據(jù)煤礦展示數(shù)據(jù)煤礦大數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)圖2煤礦大數(shù)據(jù)項目數(shù)據(jù)處理流程圖網(wǎng)絡(luò)拓?fù)鋱D圖3煤礦大數(shù)據(jù)項目網(wǎng)絡(luò)拓?fù)鋱D網(wǎng)絡(luò)劃分為：用戶子網(wǎng)、大數(shù)據(jù)集群子網(wǎng)、web服務(wù)器子網(wǎng)、數(shù)據(jù)庫服務(wù)器子網(wǎng)。數(shù)據(jù)生產(chǎn)展示圖4獲取數(shù)據(jù)并去掉敏感詞通過函數(shù)生成煤礦大數(shù)據(jù)數(shù)據(jù)，需配置生成文件名和生成路徑。數(shù)據(jù)采集展示圖5flume采集圖6kafka集群待消費數(shù)據(jù) 圖7HBASE存儲數(shù)據(jù)1圖8HBASE存儲數(shù)據(jù)2通過flume將客戶數(shù)據(jù)采集到kafka集群，然后使用Hbase消費kafka集群數(shù)據(jù)。數(shù)據(jù)分析展示圖9Mysql分析數(shù)據(jù)使用MapReduce將HBASE中的數(shù)據(jù)，經(jīng)過清洗、分析之后存儲到MySQL數(shù)據(jù)庫中。數(shù)據(jù)可視化展示權(quán)限管理資源管理：對系統(tǒng)菜單進(jìn)行管理，可資源進(jìn)行添加、修改等操作。圖10資源管理界面截圖角色管理：是系統(tǒng)角色信息管理地方，在此可對系統(tǒng)的角色進(jìn)行添加、刪除、修改等操作，以及可以修改角色的查看權(quán)限。圖11角色管理界面截圖用戶管理：對系統(tǒng)用戶進(jìn)行管理。圖12用戶管理界面截圖煤礦大數(shù)據(jù)鐵路發(fā)運量分析功能包括：使用餅形圖和柱形圖展示鐵路發(fā)運量情況銷售情況分析功能包括：使用地圖圖展示全國各地銷售情況全國比重情況分析功能包括：使用折線圖和柱形圖展示歷年來全國煤炭比重進(jìn)口量分析功能包括：使用條形和柱形圖展示各地煤炭進(jìn)口量進(jìn)出口情況分析功能包括：使用柱形圖和折線圖展示歷年煤炭進(jìn)出口情況煤炭產(chǎn)量分析功能包括：使用地圖展示全國各地煤炭產(chǎn)量庫存情況分析功能包括：使用條形圖和柱形圖展示每月庫存情況項目安排階段步驟內(nèi)容時間備注需求分析初步調(diào)研根據(jù)商業(yè)需求確定網(wǎng)站平臺需求功能第1周詳細(xì)需求分析根據(jù)初步調(diào)研完成具體需求文檔第2-4周項目開發(fā)項目研發(fā)根據(jù)需求文檔進(jìn)行項目的設(shè)計以及開發(fā)工作第4-14周測試項目測試根據(jù)測試文檔進(jìn)行項目測試第15-