智慧礦山數(shù)字化工業(yè)大數(shù)據(jù)平臺建設(shè)方案

智慧（煤礦）礦山建設(shè)指南煤礦企業(yè)數(shù)字化進程中遇到的問題煤礦智能化（數(shù)字礦山/智慧礦山）是煤礦綜合自動化發(fā)展的新階段，是煤炭工業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐。建設(shè)智能化煤礦是新時期煤炭企業(yè)面臨的重要任務(wù)，是煤礦企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)，已成為不可逆轉(zhuǎn)的發(fā)展趨勢。企業(yè)業(yè)務(wù)系統(tǒng)多，系統(tǒng)煙囪式建設(shè)，數(shù)據(jù)接入困難，數(shù)據(jù)標準不統(tǒng)一，數(shù)據(jù)孤島問題嚴重。數(shù)據(jù)獲取難數(shù)據(jù)獲取難數(shù)據(jù)時效性差數(shù)據(jù)時效性差目前從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù)到進行精準決策數(shù)據(jù)分析需要T+N天，并且數(shù)據(jù)指標維度不全面。數(shù)據(jù)無法共享數(shù)據(jù)無法共享數(shù)據(jù)缺乏標準數(shù)據(jù)缺乏標準煤炭企業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）價值數(shù)據(jù)應(yīng)用數(shù)據(jù)資源數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)中臺后臺……n煤炭企業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)業(yè)務(wù)系統(tǒng)數(shù)據(jù)BI數(shù)據(jù)中臺業(yè)務(wù)系統(tǒng)能力煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研（1）煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研（2）煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研（3）基本情況：5個領(lǐng)導(dǎo)中心、47個業(yè)務(wù)系統(tǒng)當(dāng)前煤炭企業(yè)業(yè)務(wù)系統(tǒng)由于沒有進行相互集成，系統(tǒng)之間數(shù)據(jù)沒有交互關(guān)系，所以本次調(diào)研根據(jù)所屬中心部門進行劃分為：“生產(chǎn)技術(shù)中心”，“機電運輸中心”，“調(diào)度指揮中心”，“后勤保障中心”，“安全中心”5個中心領(lǐng)導(dǎo)數(shù)據(jù)情況：主要以下五種1、SQLServer數(shù)據(jù)庫（安全監(jiān)測系統(tǒng)、束管防滅火監(jiān)測等）2、OPC協(xié)議（清洗泵房、空壓機監(jiān)控系統(tǒng)）3、Access（電力計量系統(tǒng)、ZKAcess人員刷卡系統(tǒng)）4、MySQL（汽車裝車系統(tǒng)、雙重預(yù)防信息系統(tǒng)等）5、接口對接（非數(shù)據(jù)庫類型、數(shù)據(jù)獲取難）煤炭企業(yè)數(shù)據(jù)中臺業(yè)務(wù)系統(tǒng)情況\煤炭企業(yè)數(shù)據(jù)中臺業(yè)務(wù)系統(tǒng)情況\門心門門門煤炭企業(yè)數(shù)據(jù)中臺業(yè)務(wù)系統(tǒng)情況統(tǒng)統(tǒng)錄統(tǒng)煤炭企業(yè)數(shù)據(jù)中臺業(yè)務(wù)系統(tǒng)情況接煤炭企業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）建設(shè)目標構(gòu)建統(tǒng)一、融合、智能、高效的煤礦大腦，助力用戶逐步建設(shè)具有主動感知、自動分析、深度學(xué)習(xí)、智能決策、科學(xué)指揮的智慧型礦山。致力于為煤炭企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型，打通底層系統(tǒng)之間數(shù)據(jù)壁壘，加強公司整體管理和安全生產(chǎn)系數(shù)，為運營提供數(shù)據(jù)統(tǒng)籌模型，實現(xiàn)重點數(shù)據(jù)實時監(jiān)控和數(shù)據(jù)共享開放服務(wù)。打通原有業(yè)務(wù)系統(tǒng)統(tǒng)一煤炭企業(yè)統(tǒng)一數(shù)據(jù)標準數(shù)據(jù)申請與審核統(tǒng)一數(shù)據(jù)報表支撐綜合管控數(shù)據(jù)統(tǒng)一治理數(shù)據(jù)資產(chǎn)管理形成數(shù)據(jù)字典數(shù)據(jù)發(fā)布直觀掌握數(shù)據(jù)支撐決策分析數(shù)據(jù)血緣提供決策依據(jù)支撐創(chuàng)新應(yīng)用等煤炭企業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）大圖數(shù)字孿生領(lǐng)導(dǎo)駕駛艙煤礦運營指標體系數(shù)字孿生領(lǐng)導(dǎo)駕駛艙煤礦運營指標體系煤礦高風(fēng)險預(yù)警煤礦高風(fēng)險預(yù)警煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺/大數(shù)據(jù)平臺業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)資產(chǎn)數(shù)據(jù)標準數(shù)據(jù)模型數(shù)據(jù)整合質(zhì)量監(jiān)控數(shù)據(jù)血緣數(shù)據(jù)安全煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺/大數(shù)據(jù)平臺數(shù)據(jù)共享交換平臺數(shù)據(jù)共享交換平臺數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)服務(wù)總線數(shù)據(jù)服務(wù)總線+業(yè)務(wù)能力業(yè)務(wù)數(shù)據(jù)拿業(yè)務(wù)數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)開發(fā)平臺大數(shù)據(jù)計算平臺數(shù)據(jù)倉庫外部數(shù)據(jù)數(shù)據(jù)開發(fā)平臺大數(shù)據(jù)計算平臺數(shù)據(jù)倉庫拿數(shù)據(jù)治理平臺數(shù)據(jù)治理平臺煤礦企業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）實現(xiàn)目標根據(jù)智能化煤礦(井工)分類、分級技術(shù)條件與評價標準，切實提升煤礦行業(yè)數(shù)字化指標，實現(xiàn)智能化煤礦建設(shè)。煤礦企業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）實現(xiàn)目標根據(jù)智能化煤礦(井工)分類、分級技術(shù)條件與評價標準，切實提升煤礦行業(yè)數(shù)字化指標，實現(xiàn)智能化煤礦建設(shè)。大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)功能及健全程度評價分項分數(shù)=a1+a2+a3大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)功能及健全程度評價分項分數(shù)=a1+a2+a3協(xié)議,得0~40分；智慧（數(shù)字）礦山，煤礦企業(yè)的發(fā)展方向四、數(shù)據(jù)分析四、數(shù)據(jù)分析/數(shù)據(jù)使用智能化一、數(shù)據(jù)采集管理自動化一、數(shù)據(jù)采集管理自動化三、數(shù)據(jù)標準統(tǒng)一化/模型開發(fā)簡單化二、數(shù)據(jù)治理/數(shù)據(jù)整合加工流程化一、全域數(shù)據(jù)中心建設(shè)--數(shù)據(jù)集成數(shù)據(jù)倉庫數(shù)據(jù)庫對象存儲其他格式數(shù)據(jù)沖突行覆蓋數(shù)據(jù)接入系統(tǒng)晶采用統(tǒng)一的數(shù)據(jù)接入模式，以標準化、模塊化的方式進行多源異構(gòu)數(shù)據(jù)資源的接入，解決應(yīng)急管理信息資源在集中匯聚時面臨的分散孤立、源頭多樣、跨網(wǎng)傳輸?shù)葐栴}，為應(yīng)急數(shù)據(jù)資源的匯聚集中、統(tǒng)一標準化數(shù)據(jù)倉庫數(shù)據(jù)庫對象存儲其他格式數(shù)據(jù)沖突行覆蓋數(shù)據(jù)接入系統(tǒng)晶采用統(tǒng)一的數(shù)據(jù)接入模式，以標準化、模塊化的方式進行多源異構(gòu)數(shù)據(jù)資源的接入，解決應(yīng)急管理信息資源在集中匯聚時面臨的分散孤立、源頭多樣、跨網(wǎng)傳輸?shù)葐栴}，為應(yīng)急數(shù)據(jù)資源的匯聚集中、統(tǒng)一標準化處理和信息資源池構(gòu)建提供源數(shù)據(jù)支撐。關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫新型NoSQL數(shù)據(jù)庫文件系統(tǒng)開源大數(shù)據(jù)平臺其他類型數(shù)據(jù)源其他類型數(shù)據(jù)源完全基于B/S用戶界面、簡單易用晶國產(chǎn)數(shù)據(jù)庫支持--數(shù)據(jù)集成國產(chǎn)化大數(shù)據(jù)平臺與數(shù)據(jù)庫引擎、消息中間件對接：nHW：HDFS、HBASE、HIVE、OBS、Elasticsearch、gaussDB100、gaussDB200、gn阿里：MaxCompute(ODPS)、ADS、RDS、OTS、OSS、Datahub、DRDS、HibridDn金碟/中興/華為消息中間件：AMQ消息中間件ApusicV9.0、中興kafka、華為kafka、多源異構(gòu)數(shù)據(jù)采集轉(zhuǎn)換--數(shù)據(jù)集成n支持主流數(shù)據(jù)庫和大數(shù)據(jù)平臺，如Oracle、MySQL、SQLServer、Db2、Sybase、PostgreSQTeraData、Redis、MongoDB、REST、達夢、南大通用GBase8t、HDFS、HBase、Hive、GreenPlum、華為Hive、華為LibrA等；n阿里云的RDS、DRDS、MaxCompute、AnalyticDB、DataHub、OTS、OSS等組件的數(shù)據(jù)互通；n支持文件搬移與文件解析，F(xiàn)ileServer協(xié)議支持SFTP、SMB、FTP、OBS、OSS等，文件解析支持諸如xml、txt、csv和Excel等格式，支持zip包；n支持全量高速同步以及增量同步，文件同步；n支持Oracledmp文件導(dǎo)入；支持數(shù)據(jù)加密傳輸，保證數(shù)據(jù)傳輸過程中不泄密。二、數(shù)據(jù)交換共享系統(tǒng)數(shù)據(jù)/服務(wù)資源目錄、數(shù)據(jù)交換中數(shù)據(jù)/服務(wù)資源目錄、數(shù)據(jù)交換中控、數(shù)據(jù)交換總線、數(shù)據(jù)交換網(wǎng)關(guān)、API服務(wù)中控、API服務(wù)網(wǎng)關(guān)、數(shù)據(jù)ETL工具。高性能?單節(jié)點120MB/S、30萬條/秒?支持集群數(shù)據(jù)資源目錄/服務(wù)資源目錄數(shù)據(jù)資源目錄/服務(wù)資源目錄API服務(wù)中控API服務(wù)中控數(shù)據(jù)交換中控或或高可靠?支持自動斷點續(xù)傳?支持斷開網(wǎng)絡(luò)或系統(tǒng)重啟后數(shù)據(jù)不丟失 前置庫開放服務(wù) 前置庫開放服務(wù) 前置庫開放服務(wù)前置庫開放服務(wù)?專利技術(shù)實現(xiàn)非侵入式增量數(shù)據(jù)提取?基于大數(shù)據(jù)平臺支持安全交換 高易用業(yè)務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng)。。業(yè)務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng)。。。?多源異構(gòu)數(shù)據(jù)的匯聚、交換?庫級交換、匯聚三、數(shù)據(jù)治理建設(shè)內(nèi)容數(shù)據(jù)標識數(shù)據(jù)標識數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)比對數(shù)據(jù)探查數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)比對數(shù)據(jù)探查結(jié)構(gòu)化數(shù)據(jù)比對非結(jié)構(gòu)化數(shù)結(jié)構(gòu)化數(shù)據(jù)比對非結(jié)構(gòu)化數(shù)據(jù)比對結(jié)構(gòu)與非結(jié)構(gòu)化融合比對數(shù)據(jù)標簽數(shù)據(jù)過濾結(jié)構(gòu)化數(shù)數(shù)據(jù)過濾結(jié)構(gòu)化數(shù)據(jù)提取表級探查數(shù)據(jù)去重非結(jié)構(gòu)化數(shù)據(jù)去重非結(jié)構(gòu)化數(shù)據(jù)提取字段級探查數(shù)據(jù)格轉(zhuǎn)數(shù)據(jù)格轉(zhuǎn)數(shù)據(jù)校驗文本數(shù)據(jù)數(shù)據(jù)校驗文本數(shù)據(jù)提取音頻數(shù)據(jù)音頻數(shù)據(jù)提取視頻、視頻、圖像數(shù)據(jù)提取數(shù)據(jù)治理數(shù)據(jù)清洗數(shù)據(jù)清洗即可實現(xiàn)對結(jié)構(gòu)化和半結(jié)構(gòu)化清數(shù)據(jù)清洗即可實現(xiàn)對結(jié)構(gòu)化和半結(jié)構(gòu)化清洗，如對原始庫中的數(shù)據(jù)靜態(tài)數(shù)據(jù)清洗，也可以對流數(shù)據(jù)進行清洗。原始庫消息隊列離線數(shù)據(jù)實時消息資源庫離線數(shù)據(jù)清洗消息隊列流式數(shù)據(jù)清洗過濾去重格式轉(zhuǎn)換校驗原始庫消息隊列離線數(shù)據(jù)實時消息資源庫離線數(shù)據(jù)清洗消息隊列流式數(shù)據(jù)清洗過濾去重格式轉(zhuǎn)換校驗編碼轉(zhuǎn)換編碼核驗日期值清洗字段長度清洗時間值清洗值域清洗數(shù)據(jù)清洗組件數(shù)據(jù)治理數(shù)據(jù)標識數(shù)據(jù)標識是利用標簽庫中已經(jīng)建設(shè)好的規(guī)則，對數(shù)據(jù)進行比對分析和模型計算，將符合規(guī)則的數(shù)據(jù)進行標識，為進一步條目標識。表標識待標識數(shù)據(jù)條目標識列標識標簽引擎規(guī)則獲取表標識待標識數(shù)據(jù)條目標識列標識標簽引擎規(guī)則獲取規(guī)則解析規(guī)則執(zhí)行結(jié)果輸出標簽庫標簽庫1、創(chuàng)建標簽類目3、配置標簽打標規(guī)則2、標簽類目中創(chuàng)建標簽4、配置引用數(shù)據(jù)兩級可視化數(shù)據(jù)清洗與挖掘任務(wù)工作流清洗任務(wù)配置兩級可視化數(shù)據(jù)治理數(shù)據(jù)管控系統(tǒng)數(shù)據(jù)管控要實現(xiàn)對數(shù)據(jù)資源池數(shù)據(jù)的管理和控制，功能主要有數(shù)據(jù)標準（數(shù)據(jù)元）管理、數(shù)據(jù)字典管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)血緣等?？磾?shù)據(jù)在數(shù)據(jù)源庫、原始庫、資源庫、主題看數(shù)據(jù)在數(shù)據(jù)源庫、原始庫、資源庫、主題數(shù)據(jù)治理數(shù)據(jù)標準建設(shè)數(shù)據(jù)拍標準(勘據(jù)元)規(guī)范,是對數(shù)據(jù)類型，通過定義、標識、表示以及允許值等一系列屬性數(shù)據(jù)治理建設(shè)過程中要對數(shù)據(jù)元素進行標準制定、對數(shù)據(jù)字典進行數(shù)據(jù)標準體系數(shù)據(jù)標準體系數(shù)據(jù)治理數(shù)據(jù)血緣管理數(shù)據(jù)治理建設(shè)要求實現(xiàn)對數(shù)據(jù)血緣的管理，數(shù)據(jù)血緣管理了數(shù)據(jù)從哪里來到哪里去的完整鏈路，如下圖所示數(shù)據(jù)治理建設(shè)要求實現(xiàn)對數(shù)據(jù)血緣的管理，數(shù)據(jù)血緣管理了數(shù)據(jù)從哪里來到哪里去的完整鏈路，如下圖所示,通過數(shù)據(jù)血緣查詢可獲取主題庫“事件事故基本表”從哪些系統(tǒng)融合了數(shù)據(jù)，又被哪些業(yè)務(wù)系統(tǒng)所使用數(shù)據(jù)治理“全鏈路”數(shù)據(jù)血緣l一張圖看清每個數(shù)據(jù)的來龍去脈l基于血緣圖進行數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全問題溯源、影響分析數(shù)據(jù)治理數(shù)據(jù)質(zhì)量管理體系完整性：主要包括屬性缺失、記錄缺失、字段缺失幾個方面完整性：主要包括屬性缺失、記錄缺失、字段缺失幾個方面合效性：主要包括格式、類型、值域、和業(yè)務(wù)規(guī)則的有效性及時性：指數(shù)據(jù)刷新、修改和提取等的及時和快速性一致性：數(shù)據(jù)含義一致性、數(shù)據(jù)格式一致性、數(shù)據(jù)傳輸不丟失，指統(tǒng)一數(shù)據(jù)來源、冗余存儲和統(tǒng)一口徑的一致性唯一性：指主鍵唯一和候選鍵唯一兩個方面，主鍵重復(fù)數(shù)據(jù)檢核，主外鍵是否缺失檢核準確性：指計量誤差、度量單位等方面的精確度量序號表名稱表中文名稱字段名稱字段類型字段注釋檢查類型檢查概述檢查概述檢查檢查sql有無質(zhì)量問題問題分類問題記錄數(shù)表總記錄數(shù)備注備注1t_yj_tfsj_sb_r突發(fā)事件表varchar(64)ID(主鍵)一致性統(tǒng)計信貸系統(tǒng)和核心系統(tǒng)證件號一致,客戶統(tǒng)計信貸系統(tǒng)和核心系統(tǒng)證件號一致,客戶號不一致的記錄數(shù)。selectcount(*)fromselectcount(*)fromind_infoajoinCUSVDDbona.certid=trim(substr(b.id1,1,32))wherea.customerid<>substr(b.cust_no,8,9)Y一致性:數(shù)據(jù)不一致217932t_yj_tfsj_sb_r突發(fā)事件表TITLEvarchar(64)標題完整性對客戶名稱進行完整性檢查，檢查客戶名對客戶名稱進行完整性檢查，檢查客戶名稱是否存在空值。selectcount(*)fromCUselectcount(*)fromCUSVAAajoinCUSMbona.cust_no=b.cust_acct_nowhereb.CUSTOMER_TYPEin('02','03')andtrim(a.NAME)isnull;Y完整性:空值完整性:空值13518對公客戶及金融機構(gòu)客戶共13518對公客戶及金融機構(gòu)客戶共135183t_yj_tfsj_sb_r突發(fā)事件表TYPETYPEvarchar(64)災(zāi)害類型完整性對客戶名稱進行完整性檢查，檢查客戶名對客戶名稱進行完整性檢查，檢查客戶名稱是否存在空值。selectcount(*)fromselectcount(*)fromMICMajoinCUSMbona.customer_no=b.prim_acctwhereb.CUSTOMER_TYPE='01'andtrim(a.NAME_2)isnull;Y完整性:空值627743對私證件及姓名記錄數(shù)627743對私證件及姓名記錄數(shù)6277434t_yj_tfsj_sb_r突發(fā)事件表REPORT_MANvarchar(64)報送人完整性對開戶日期進行完整性檢查，檢查數(shù)據(jù)的對開戶日期進行完整性檢查，檢查數(shù)據(jù)的缺失情況selectcount(*)fromCUSselectcount(*)fromCUSMwhereCREATE_DTisnullorCREATE_DT=0;Y完整性:空值141970320314025t_yj_tfsj_sb_r突發(fā)事件表REPORT_TIMEdatetime報送時間完整性對開戶日期進行完整性檢查，檢查數(shù)據(jù)的對開戶日期進行完整性檢查，檢查數(shù)據(jù)的缺失情況selectcount(*)fromselectcount(*)fromCUSVCCwhereOPEN_DATE_01isnullorOPEN_DATE_01=0;Y完整性:值658988659004檢核的表檢核的字段及規(guī)則檢核的表檢核的字段及規(guī)則檢核的結(jié)果說明及問題歸類數(shù)據(jù)質(zhì)量統(tǒng)計報告，全局分析數(shù)據(jù)治理質(zhì)量情況，了解資源池整體數(shù)據(jù)質(zhì)量情況四、大數(shù)據(jù)計算平臺軟件大數(shù)據(jù)計算平臺（以下簡稱采用內(nèi)存迭代計算技術(shù)，集SQL、MR、Graph、ML多種計算能力于一體，可以提供TB/PB級別以上的數(shù)據(jù)存儲和數(shù)據(jù)分析處理能力。數(shù)據(jù)倉庫大數(shù)據(jù)應(yīng)用數(shù)據(jù)挖掘和機器學(xué)習(xí)數(shù)據(jù)開發(fā)(Studio)全可視化數(shù)據(jù)/算法開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)能力共享平臺：以信息目錄的形式提供數(shù)據(jù)及能力展示的窗能力共享平臺：以信息目錄的形式提供數(shù)據(jù)及能力展示的窗口，并提供服務(wù)檢索能力；管理、運維、統(tǒng)計的能力；API服務(wù)網(wǎng)關(guān)：提供轉(zhuǎn)發(fā)能力，具備服務(wù)路由，協(xié)議轉(zhuǎn)換，服務(wù)流控，插件熱加載等機制。......數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫開放服務(wù)開放服務(wù)開放服務(wù)能力共享平臺服務(wù)共享中控......數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫開放服務(wù)開放服務(wù)開放服務(wù)能力共享平臺服務(wù)共享中控對服務(wù)的全生命周期進行有效管理對服務(wù)的全生命周期進行有效管理服務(wù)可重用、服務(wù)透明性及服務(wù)可發(fā)現(xiàn)通過對服務(wù)質(zhì)量的管控，進而實現(xiàn)對進行量化管理以用戶服務(wù)的安全為首要任務(wù)，提供多種有以RESTfulAPI的方式對外提供間接的數(shù)API服務(wù)網(wǎng)關(guān)限速器說明：服務(wù)級限速：服務(wù)創(chuàng)建時，對外整個服務(wù)的閾值限制應(yīng)用級限速：應(yīng)用申請服務(wù)時，該服務(wù)對該應(yīng)用的閾值限制/catalog /pa