數(shù)據(jù)治理與大數(shù)據(jù)平臺(tái)設(shè)計(jì)相關(guān)兩份資料

數(shù)據(jù)治理大數(shù)據(jù)平臺(tái)設(shè)計(jì)??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)1

數(shù)據(jù)治理背景大數(shù)據(jù)時(shí)代凸現(xiàn)數(shù)據(jù)重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)2信息孤島現(xiàn)象嚴(yán)重?cái)?shù)據(jù)質(zhì)量問題嚴(yán)重

345數(shù)據(jù)應(yīng)用未得到有效管理6數(shù)據(jù)安全問題日益嚴(yán)峻數(shù)據(jù)治理意識(shí)到了問題的嚴(yán)重1數(shù)據(jù)治理現(xiàn)狀2

“維持”代替“管理”3

歷史“包袱”沉重4

相關(guān)方利益交織，協(xié)調(diào)困難5

方案規(guī)劃容易，落地困難6

過度依賴技術(shù)工具7

對(duì)于數(shù)據(jù)沒有明確區(qū)分??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)組織Organization流程、活動(dòng)與機(jī)制Process&Activities&Mechanism計(jì)劃、制度與標(biāo)準(zhǔn)規(guī)范Plan&Rule&Standards技術(shù)平臺(tái)與工具Platform&Tools數(shù)據(jù)治理要素?cái)?shù)據(jù)治理策略獲得支持引入外援找到“痛點(diǎn)”確定“起點(diǎn)”責(zé)任到人持之以恒績效評(píng)估實(shí)事求是確定方法做好績效標(biāo)準(zhǔn)先行使用工具獎(jiǎng)懲機(jī)制經(jīng)驗(yàn)總結(jié)

數(shù)據(jù)

治理實(shí)施建議

*數(shù)據(jù)質(zhì)量提升是目標(biāo)*主數(shù)據(jù)管理是關(guān)鍵*元數(shù)據(jù)管理是基礎(chǔ)??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)什么是元數(shù)據(jù)?

元數(shù)據(jù)的定義–

技術(shù)元數(shù)據(jù)–

業(yè)務(wù)元數(shù)據(jù)–

操作元數(shù)據(jù)為什么要進(jìn)行元數(shù)據(jù)管理Why?123456數(shù)據(jù)的參考框架解決數(shù)據(jù)模糊性可視化數(shù)據(jù)流動(dòng)影響和血緣分析推進(jìn)標(biāo)準(zhǔn)化建設(shè)規(guī)范化數(shù)據(jù)審計(jì)

1.2.3.4.5.6.經(jīng)驗(yàn)分享

標(biāo)準(zhǔn)先行

全局治理

盡快見效

高層支持

業(yè)務(wù)參與

獎(jiǎng)懲機(jī)制數(shù)據(jù)定義標(biāo)準(zhǔn)化數(shù)量月銷售量月銷售量＋＋標(biāo)準(zhǔn)單詞對(duì)象詞素詞素詞素詞素分析原屬性名(標(biāo)準(zhǔn)化對(duì)象)

標(biāo)準(zhǔn)域數(shù)量類型：

數(shù)字型長度：

19，0

分類詞＋

標(biāo)準(zhǔn)用語月度銷售數(shù)量類型：

數(shù)字型長度：

19，0

修飾詞標(biāo)準(zhǔn)單詞

月度標(biāo)準(zhǔn)單詞

銷售標(biāo)準(zhǔn)單詞

數(shù)量標(biāo)準(zhǔn)單詞

月度

銷售

數(shù)量

分類詞(域)標(biāo)準(zhǔn)體系數(shù)據(jù)定義標(biāo)準(zhǔn)體系

標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)域標(biāo)準(zhǔn)用語數(shù)據(jù)模型標(biāo)準(zhǔn)化結(jié)構(gòu)

實(shí)體、屬性、關(guān)系、主鍵，范式化等

命名規(guī)則、用語詞典、標(biāo)準(zhǔn)域等管理

數(shù)據(jù)管理政策、方針等

配置管理、版本管理等質(zhì)量

準(zhǔn)確性

、完整性、實(shí)時(shí)性、一致性應(yīng)用

查詢結(jié)果的準(zhǔn)確性、使用便利性、查詢結(jié)果的迅速性模型設(shè)計(jì)

標(biāo)準(zhǔn)實(shí)施路線模型優(yōu)化模型診斷設(shè)計(jì)規(guī)范設(shè)計(jì)指南按照模型設(shè)計(jì)規(guī)范和指南統(tǒng)一設(shè)計(jì)企業(yè)數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)可使用可管理可控制模型要素關(guān)系定義規(guī)則應(yīng)用系統(tǒng)注冊元數(shù)據(jù)庫腳本同步指導(dǎo)數(shù)據(jù)庫設(shè)計(jì)審核、評(píng)估、發(fā)布提交反饋元數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計(jì)）

制定

完善引用???????

元數(shù)據(jù)管理工具的選擇元模型易于擴(kuò)展界面友好安全和系統(tǒng)管理配置管理發(fā)布、查詢、報(bào)表功能平臺(tái)開放提前試用??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)什么是主數(shù)據(jù)?

企業(yè)主數(shù)據(jù)分散存儲(chǔ)在企業(yè)各系統(tǒng)內(nèi)，對(duì)企業(yè)至關(guān)重要的核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，比如客戶、合作伙伴、員工等–

關(guān)鍵–

分散–

緩慢–

共享主數(shù)據(jù)類型

當(dāng)事人事物地域財(cái)務(wù)和組織主數(shù)據(jù)與參考數(shù)據(jù)?

參考數(shù)據(jù)可以是主數(shù)據(jù)，但不一定是主數(shù)據(jù)為什么要作主數(shù)據(jù)管理數(shù)據(jù)冗余難亍應(yīng)變阻礙業(yè)務(wù)數(shù)據(jù)沖突Why?如何做好主數(shù)據(jù)管理經(jīng)常遇到的問題如何做好主數(shù)據(jù)管理識(shí)別并管理主數(shù)據(jù)相關(guān)方整理并分析主數(shù)據(jù)的生命周期識(shí)別主數(shù)據(jù)含義、上下文、類型主數(shù)據(jù)實(shí)施流程運(yùn)行維護(hù)項(xiàng)目實(shí)施主數(shù)據(jù)

識(shí)別數(shù)據(jù)梳理

項(xiàng)目實(shí)施要點(diǎn)?選擇工具?定制開發(fā)?制定標(biāo)準(zhǔn)規(guī)范?確定組織架構(gòu)

申請(qǐng)維護(hù)

主數(shù)據(jù)管理系統(tǒng)注冊

準(zhǔn)入

審批訪問服務(wù)查詢安全管理匹配查重

CRM

數(shù)據(jù)校驗(yàn)人事管理流程組織機(jī)構(gòu)統(tǒng)一數(shù)據(jù)共享

標(biāo)準(zhǔn)規(guī)范強(qiáng)化決策支持主數(shù)據(jù)

管理體系

提升數(shù)據(jù)質(zhì)量數(shù)據(jù)導(dǎo)入

ERP

數(shù)

據(jù)

分

發(fā)……

版本管理財(cái)務(wù)通知

廢棄??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)數(shù)據(jù)質(zhì)量問題

數(shù)據(jù)質(zhì)量1、數(shù)據(jù)的值域

3、數(shù)據(jù)的完整性

5、業(yè)務(wù)規(guī)則

7、數(shù)據(jù)轉(zhuǎn)換

2、數(shù)據(jù)的定義

4、數(shù)據(jù)的有效性6、結(jié)構(gòu)完整性8、數(shù)據(jù)流

業(yè)務(wù)部門統(tǒng)計(jì)部門（業(yè)務(wù)部門）負(fù)責(zé)業(yè)務(wù)規(guī)則的制定，在業(yè)務(wù)層面統(tǒng)管數(shù)據(jù)質(zhì)量和安全。

技術(shù)主管部門技術(shù)部門負(fù)責(zé)數(shù)據(jù)集成、使用等過程中的數(shù)據(jù)質(zhì)量，并對(duì)數(shù)據(jù)質(zhì)量報(bào)告進(jìn)行定期發(fā)布。

評(píng)審委員會(huì)技術(shù)部門設(shè)置評(píng)審委員會(huì)，對(duì)數(shù)據(jù)方面的變更進(jìn)行管控，具備技術(shù)方案否決權(quán)。

組織架構(gòu)設(shè)計(jì)●

業(yè)務(wù)與技術(shù)部門各司其職，共同做好數(shù)據(jù)質(zhì)量管理工作應(yīng)用服務(wù)《數(shù)據(jù)質(zhì)量管理規(guī)范

二級(jí)檢控?cái)?shù)據(jù)質(zhì)量治理流程數(shù)據(jù)錄入/質(zhì)量檢查生產(chǎn)庫

后臺(tái)庫一級(jí)檢控復(fù)制數(shù)據(jù)倉庫ETL短信通知短信通知錄入修改確認(rèn)技術(shù)主管部門》業(yè)務(wù)部門管理員策略Description

of

the

contents方法策略和方法

反面影響和

正面的效果

征得了領(lǐng)導(dǎo)

層關(guān)注

改進(jìn)工作分布實(shí)施，

循序漸進(jìn)數(shù)據(jù)質(zhì)量報(bào)告定期

發(fā)布應(yīng)用系統(tǒng)需求和架構(gòu)經(jīng)過嚴(yán)

格評(píng)審系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)變更需要進(jìn)行嚴(yán)格

評(píng)估數(shù)據(jù)發(fā)生變更時(shí)，通報(bào)所有

相關(guān)方Description

of

the

contents技術(shù)手段

從源頭改起，形

成良性循環(huán)24小時(shí)監(jiān)控，及時(shí)按照預(yù)案處理問題

多環(huán)節(jié)設(shè)置數(shù)據(jù)

質(zhì)量監(jiān)控功能短信及時(shí)通知相關(guān)業(yè)務(wù)人員核對(duì)問題

BI系統(tǒng)不斷整合不斷改進(jìn)工具軟件最佳實(shí)踐從數(shù)據(jù)剖析（Profiling）開始盡量使用工具進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)剖析工作需要持續(xù)開展數(shù)據(jù)集成過程也需要進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)質(zhì)量評(píng)估和改進(jìn)需要被動(dòng)和主動(dòng)兩種方式最佳實(shí)踐得到高層的支持關(guān)鍵數(shù)據(jù)先行，漸進(jìn)開展在數(shù)據(jù)的“上游”解決質(zhì)量問題“防患于未然”優(yōu)于“后期治療”數(shù)據(jù)質(zhì)量報(bào)告要大范圍發(fā)布??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)關(guān)于大數(shù)據(jù)的幾個(gè)問題?

什么是大數(shù)據(jù)?

大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)倉庫是什么關(guān)系?

Hadoop與MPP數(shù)據(jù)庫數(shù)據(jù)采集傳統(tǒng)數(shù)據(jù)倉庫

數(shù)據(jù)存儲(chǔ)計(jì)算數(shù)據(jù)展現(xiàn)ERPCRM財(cái)務(wù)人事數(shù)據(jù)挖掘報(bào)表展現(xiàn)數(shù)據(jù)集市多維分析EDW抽取轉(zhuǎn)換清洗加載分析人員管理員源數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)倉庫業(yè)務(wù)用戶數(shù)據(jù)展示ODS為貫徹落實(shí)國家發(fā)展改革委等八部委聯(lián)合印發(fā)的《關(guān)于加快煤礦智能化發(fā)

展的指導(dǎo)意見》（以下簡稱“指導(dǎo)意見

”）、《我國煤炭行業(yè)高質(zhì)量發(fā)展總

體思路、

目標(biāo)方向、量化標(biāo)準(zhǔn)和重點(diǎn)舉

措研究》等國家相關(guān)政策，加快我國煤

礦智能化建設(shè)，推動(dòng)煤炭行業(yè)高質(zhì)量發(fā)

展，特制定本指南。本指南是促進(jìn)智能

化煤礦建設(shè)、行業(yè)技術(shù)進(jìn)步和規(guī)范發(fā)展

的指導(dǎo)性文件。

智慧

（煤礦）

礦山建設(shè)指南2（1

）子系統(tǒng)煙囪式建設(shè)

，數(shù)據(jù)獲取難。管理層需要業(yè)務(wù)數(shù)據(jù)時(shí)

，經(jīng)常需要軟件商配合

，用戶無法及時(shí)獲取并提供數(shù)據(jù)。二是數(shù)據(jù)無法按照集團(tuán)管控要求和時(shí)間及時(shí)提供。（2

）數(shù)據(jù)時(shí)效性差。目前從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù)到進(jìn)行精準(zhǔn)決策數(shù)據(jù)分析需要T+N天

，并且數(shù)據(jù)指標(biāo)維度不全面。當(dāng)前最新設(shè)備狀態(tài)參數(shù)數(shù)據(jù)、系統(tǒng)運(yùn)行數(shù)據(jù)無法及時(shí)獲取。（3

）缺乏平臺(tái)化“數(shù)據(jù)打通”，各個(gè)數(shù)據(jù)平臺(tái)煙囪式關(guān)系

，沒有統(tǒng)一的共享和管控體系

，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一

，部門間無法有效共

享使用。（4

）缺乏全集團(tuán)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)?！巴煌x、

同義不同名”。各業(yè)務(wù)系統(tǒng)數(shù)據(jù)以自家接口文檔形式提供輸出

，有的則手動(dòng)根據(jù)多個(gè)指標(biāo)庫內(nèi)抓數(shù)據(jù)分別提供

，無法做到企業(yè)全流程安全把控和規(guī)則制定。煤礦智能化（數(shù)字礦山/智慧礦山）

是煤礦綜合自動(dòng)化發(fā)展的新階段

，是煤炭工業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐。建設(shè)智能化煤礦是新時(shí)期煤炭企業(yè)面臨的重要任務(wù)

，是煤礦企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)

，

已成為不可逆轉(zhuǎn)的發(fā)展趨勢。企業(yè)業(yè)務(wù)系統(tǒng)多

，系統(tǒng)煙囪式建設(shè)

，數(shù)據(jù)接入困難

，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一

，數(shù)據(jù)孤島問題嚴(yán)重。

煤礦企業(yè)數(shù)字化進(jìn)程中遇到的問題數(shù)據(jù)時(shí)效性差數(shù)據(jù)無法共享數(shù)據(jù)獲取難數(shù)據(jù)缺乏標(biāo)準(zhǔn)31

2

3

4

5

…

…

n數(shù)據(jù)應(yīng)用數(shù)據(jù)資源數(shù)據(jù)應(yīng)用數(shù)據(jù)中臺(tái)全域數(shù)據(jù)資源（OneData）后臺(tái)?

子系統(tǒng)“煙囪”式建設(shè)

，數(shù)據(jù)不共享

，業(yè)務(wù)不聯(lián)動(dòng)

，管理改進(jìn)難?不同業(yè)務(wù)對(duì)接同一功能子系統(tǒng)，異構(gòu)重復(fù)建設(shè)

，成本高?業(yè)務(wù)創(chuàng)新需調(diào)用多子系統(tǒng)數(shù)據(jù)

，應(yīng)用構(gòu)建難

，開發(fā)周期長?新的數(shù)據(jù)架構(gòu)下

，打破數(shù)據(jù)壁壘

，滿足未來運(yùn)營發(fā)展需求

煤炭企業(yè)大數(shù)據(jù)平臺(tái)

（數(shù)據(jù)中臺(tái)）

價(jià)值數(shù)據(jù)應(yīng)用開發(fā)：

月/年

數(shù)據(jù)資源：

不可復(fù)用數(shù)據(jù)應(yīng)用開發(fā)：

天/周數(shù)據(jù)資源：

可復(fù)用1

2…

…

n4數(shù)據(jù)資產(chǎn)

，技術(shù)

，組織

，業(yè)務(wù)流程多要素協(xié)同

，驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新和業(yè)務(wù)升級(jí)業(yè)務(wù)導(dǎo)向建設(shè)數(shù)據(jù)模型強(qiáng)調(diào)數(shù)據(jù)時(shí)效性

，提供實(shí)時(shí)數(shù)據(jù)分析能

力面向數(shù)據(jù)價(jià)值

，為業(yè)務(wù)應(yīng)用提供統(tǒng)一數(shù)

據(jù)服務(wù)主要服務(wù)于一線業(yè)務(wù)人員核心功能為業(yè)務(wù)流程支撐提供基礎(chǔ)的統(tǒng)計(jì)、報(bào)表和數(shù)據(jù)分析功

能不同業(yè)務(wù)系統(tǒng)之間形成數(shù)據(jù)煙囪數(shù)據(jù)BI

數(shù)據(jù)中臺(tái)2

3強(qiáng)調(diào)數(shù)據(jù)集成

，整合多業(yè)務(wù)數(shù)據(jù)面向數(shù)據(jù)應(yīng)用、

BI報(bào)表、即席查

詢、交互探索數(shù)據(jù)支撐強(qiáng)調(diào)數(shù)據(jù)治理及數(shù)據(jù)管理組織、制度、流程

煤炭企業(yè)大數(shù)據(jù)平臺(tái)

（數(shù)據(jù)中臺(tái)）

企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)業(yè)務(wù)系統(tǒng)1數(shù)據(jù)價(jià)值：高數(shù)據(jù)價(jià)值：低6

煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研

（1）7

煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研

（

2）8基本情況：

5個(gè)領(lǐng)導(dǎo)中心、

47個(gè)業(yè)務(wù)系統(tǒng)當(dāng)前煤炭企業(yè)業(yè)務(wù)系統(tǒng)由于沒有進(jìn)行相互集成

，系統(tǒng)之間數(shù)據(jù)沒有交互關(guān)系，所以本次調(diào)研根據(jù)所屬中心部門進(jìn)行劃分為：

“生產(chǎn)技術(shù)中心”

，

“機(jī)電運(yùn)輸

中心”

，

“調(diào)度指揮中心”

，

“后勤保障中心”

，

“安全中心”5個(gè)中心領(lǐng)導(dǎo)

部門

，其中梳理底層業(yè)務(wù)系統(tǒng)47個(gè)

，

計(jì)劃上線9個(gè)

，

目前正常使用38個(gè)。數(shù)據(jù)情況：

主要以下五種1、

SQL

Server

數(shù)據(jù)庫（安全監(jiān)測系統(tǒng)、

束管防滅火監(jiān)測等）2、

OPC協(xié)議（清洗泵房、

空壓機(jī)監(jiān)控系統(tǒng)）3、Access（電力計(jì)量系統(tǒng)、

ZKAcess人員刷卡系統(tǒng)）4、

My

SQL

（汽車裝車系統(tǒng)、

雙重預(yù)防信息系統(tǒng)等）5、接口對(duì)接（非數(shù)據(jù)庫類型、

數(shù)據(jù)獲取難）

煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研

（

3）9主要中心主要部門系統(tǒng)名稱具體區(qū)域當(dāng)前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對(duì)接方式10生產(chǎn)技術(shù)中心通防部通風(fēng)機(jī)管理系統(tǒng)未上線方案待定智能通風(fēng)管控系統(tǒng)未上線方案待定災(zāi)害智能融合分析與可

視化分析未上線方案待定瓦檢巡檢管理系統(tǒng)未上線方案待定安全監(jiān)測系統(tǒng)已上線粉塵、設(shè)備、

甲烷、一氧化碳、風(fēng)機(jī)開停

監(jiān)控sqlserver

2008數(shù)據(jù)庫對(duì)接束管防滅火監(jiān)測已上線采空區(qū)氣體情況、識(shí)別氣燃發(fā)火氣體sqlserver

2009數(shù)據(jù)庫對(duì)接采空區(qū)光纖測溫系統(tǒng)已上線采空區(qū)溫度sqlserver

2010數(shù)據(jù)庫對(duì)接生產(chǎn)部總采頂板檢測系統(tǒng)已上線山東科技大學(xué)sql

server數(shù)據(jù)庫對(duì)接掘進(jìn)頂板檢測系統(tǒng)已上線山東光安sql

server數(shù)據(jù)庫對(duì)接地測部水文系統(tǒng)已上線地下水位觀測西安中煤可控集

團(tuán)西安研究院sqlserver

2008數(shù)據(jù)庫對(duì)接龍軟GIS已上線礦井地質(zhì)

，通風(fēng)參數(shù)

，地質(zhì)信息、錄入、

展示及分析北京龍軟sqlserver

2016數(shù)據(jù)庫對(duì)接智能地質(zhì)保障系統(tǒng)未上線地質(zhì)建模

，地質(zhì)推演

，地址數(shù)據(jù)可視化

，礦井地質(zhì)基礎(chǔ)信息、關(guān)聯(lián)信息、預(yù)測信息等能夠用可視化的方式直觀的展示出來。方案待定

煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況主要中心主要部門系統(tǒng)名稱具體區(qū)域當(dāng)前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對(duì)接方式11機(jī)電運(yùn)輸中

心機(jī)電部門供排水系統(tǒng)中央泵房已上線流量壓力

，水泵負(fù)壓

，水泵入口

負(fù)壓，

出口正壓

，流量監(jiān)控、北京富力通winCC西門子OPC協(xié)議清洗泵房已上線流量壓力

，水泵負(fù)壓

，水泵入口

負(fù)壓，

出口正壓

，流量監(jiān)控、天地常州西門子300PLCOPC協(xié)議二盤區(qū)泵房已上線流量壓力

，水泵負(fù)壓

，水泵入口

負(fù)壓，

出口正壓

，流量監(jiān)控、淮南萬泰西門子1500PLCOPC協(xié)議掘進(jìn)系統(tǒng)已上線目前沒有系統(tǒng)

，只有PLC智能設(shè)備通過上位機(jī)獲取PLC數(shù)據(jù)然后經(jīng)過OPC協(xié)議進(jìn)行數(shù)據(jù)傳輸電力安全監(jiān)控系統(tǒng)已上線監(jiān)控及控制變電所高壓柜及部分低壓柜西瑞sqlserver

2003數(shù)據(jù)庫對(duì)接主通風(fēng)機(jī)監(jiān)控系統(tǒng)已上線監(jiān)控主通風(fēng)機(jī)運(yùn)行及相關(guān)參數(shù)西安宇田一百立方供水已上線生活供水系統(tǒng)

，參數(shù)及狀態(tài)西安重裝kepserverOPC協(xié)議或kepserver電力計(jì)量系統(tǒng)已上線計(jì)量各個(gè)變電所高壓柜用電情況山東山大電力

設(shè)備access本身自帶系統(tǒng)

，可以提供賬號(hào)密碼

，同時(shí)提供傳輸點(diǎn)空壓機(jī)監(jiān)控系統(tǒng)一號(hào)壓風(fēng)機(jī)已上線監(jiān)控空壓機(jī)運(yùn)行參數(shù)西門子PLC315-2DT上位機(jī)走OPC協(xié)議二號(hào)壓風(fēng)機(jī)已上線監(jiān)控空壓機(jī)運(yùn)行參數(shù)ABPLC1769上位機(jī)rsslinx洗選部門設(shè)備自動(dòng)化控制系統(tǒng)已上線洗煤及選煤自動(dòng)化設(shè)備控制北京華宇sqlserver

expressOPC協(xié)議火車裝車系統(tǒng)已上線火車裝料北京華宇sqlserver數(shù)據(jù)庫對(duì)接汽車裝車系統(tǒng)已上線汽車裝料北京華宇mysql5.7數(shù)據(jù)庫對(duì)接運(yùn)輸部門主運(yùn)輸系統(tǒng)已上線皮帶參數(shù)

，運(yùn)行狀況南京北路sqlsever2008數(shù)據(jù)庫對(duì)接\接口輔助運(yùn)輸系統(tǒng)已上線車輛運(yùn)輸、運(yùn)料深圳翌日sql

server數(shù)據(jù)庫對(duì)接

接口

煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況\主要中心主要部門系統(tǒng)名稱具體區(qū)域當(dāng)前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對(duì)接方式12后勤保障中心后勤部安防視頻監(jiān)控系統(tǒng)已上線礦區(qū)井上監(jiān)控視頻神州數(shù)碼視頻文件廠區(qū)內(nèi)一卡通門禁

系統(tǒng)已上線門禁識(shí)別系統(tǒng)

，主要針對(duì)培訓(xùn)中心

，文體中心

，5號(hào)公寓樓建設(shè)

，數(shù)據(jù)不互通

，單獨(dú)進(jìn)行授權(quán)皮克sqlserver

2005數(shù)據(jù)庫對(duì)接南大門-車牌識(shí)別系

統(tǒng)已上線南大門車輛進(jìn)出信息記錄

，車輛信息存儲(chǔ)，

由部分照片數(shù)據(jù)西安鼎眾設(shè)

備科技sql

server數(shù)據(jù)庫對(duì)接南大門-ZKAcess人

員刷卡系統(tǒng)已上線南大門人員進(jìn)出刷卡系統(tǒng)

，存儲(chǔ)個(gè)人信息

及進(jìn)出記錄西安鼎眾設(shè)

備科技accesss本身自帶系統(tǒng)

，可以

提供數(shù)據(jù)庫賬密南大門-人臉識(shí)別系

統(tǒng)已上線南大門人臉識(shí)別系統(tǒng)

，存儲(chǔ)個(gè)人信息及照

片信息數(shù)據(jù)及進(jìn)出記錄西安鼎眾設(shè)

備科技sql

server數(shù)據(jù)庫對(duì)接\接口保安巡邏系統(tǒng)已上線保安巡邏信息記錄

，點(diǎn)位信息數(shù)據(jù)藍(lán)卡軟件自帶數(shù)據(jù)庫數(shù)據(jù)庫對(duì)接\接口停車管理系統(tǒng)已上線針對(duì)培訓(xùn)中心

，辦公樓

，地下車庫三個(gè)地

下停車場門禁管理

，數(shù)據(jù)信息管理藍(lán)卡sql

sever數(shù)據(jù)庫對(duì)接消防報(bào)警系統(tǒng)已上線主要針對(duì)辦公樓消防信息數(shù)據(jù)管理控制，根據(jù)反饋數(shù)據(jù)進(jìn)行報(bào)警西安萊科思OPC協(xié)議虹膜管理考勤系統(tǒng)已上線利用虹膜信息進(jìn)行打卡

，實(shí)現(xiàn)員工考勤記

錄凱宏電子sqlserver

2008數(shù)據(jù)庫對(duì)接一卡人臉收費(fèi)卡系

統(tǒng)已上線買飯購物刷卡陜西春垚SecurityDBBock軟件自帶系統(tǒng)

，需要

和軟件開發(fā)商溝通

煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況主要中心主要部門系統(tǒng)名稱具體區(qū)域當(dāng)前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對(duì)接方式13調(diào)度指揮中心智能部人員定位系統(tǒng)已上線人員礦井定位深圳翌日sql

server數(shù)據(jù)庫對(duì)接調(diào)度通訊系統(tǒng)已上線礦井通訊信息數(shù)據(jù)北方聯(lián)創(chuàng)sql

server數(shù)據(jù)庫對(duì)接應(yīng)急廣播已上線礦井應(yīng)急廣播信息數(shù)據(jù)南京北路sql

server數(shù)據(jù)庫對(duì)接井下視頻系統(tǒng)已上線井下錄像視頻數(shù)據(jù)?？低曇曨l數(shù)據(jù)接口智能工作面25211工作面已上線智能化工作面觸電信息數(shù)據(jù)天瑪sql

server建議OPC協(xié)議對(duì)接44204工作面

和15215已上線智能化工作面觸電信息數(shù)據(jù)瑪珂OPC協(xié)議OPC協(xié)議設(shè)備管理系統(tǒng)已上線管理礦區(qū)設(shè)備情況宇通集團(tuán)數(shù)據(jù)難獲取非集團(tuán)建設(shè)部署OA辦公系統(tǒng)煤炭企業(yè)OA辦

公系統(tǒng)已上線數(shù)據(jù)陜煤集團(tuán)公司OA系統(tǒng)與釘釘已做對(duì)接陜煤股份數(shù)據(jù)難獲取非集團(tuán)建設(shè)部署安全中心

·安全部雙重預(yù)防信息系統(tǒng)已上線人工上傳安全隱患信息

，對(duì)礦廠安全隱

患事故進(jìn)行記錄處理中國礦大mysql

1.7+數(shù)據(jù)庫對(duì)接\接口安全檢查系統(tǒng)未上線徒步檢測

，定期檢查

，發(fā)放檢查任務(wù)，

發(fā)放檢查通知方案待定智能推送系統(tǒng)未上線需要與隱患系統(tǒng)、雙重預(yù)防信息系統(tǒng)及消防安全系統(tǒng)進(jìn)行聯(lián)調(diào)

，推送接受安全隱患信息方案待定智能信息系統(tǒng)未上線針對(duì)安全隱患現(xiàn)場進(jìn)行拍照上傳

，與推送系統(tǒng)進(jìn)行聯(lián)調(diào)

，通知到具體負(fù)責(zé)人進(jìn)行改良方案待定智慧園區(qū)系統(tǒng)未上線統(tǒng)一管理園區(qū)消防設(shè)備

，消防報(bào)警

，信

息報(bào)警

，培訓(xùn)中心

，行政中心

，5號(hào)公

寓樓

，救護(hù)隊(duì)

，視頻資源數(shù)據(jù)信息情況方案待定智能應(yīng)急管理系統(tǒng)未上線管理井下應(yīng)急事故及計(jì)劃預(yù)案

，同時(shí)與

通信呼叫心態(tài)

，人員定位系統(tǒng)進(jìn)行聯(lián)調(diào)，

井上針對(duì)救護(hù)中隊(duì)

，醫(yī)療室，應(yīng)急物資進(jìn)行統(tǒng)一管理

，對(duì)接調(diào)度中心方案待定

煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況構(gòu)建統(tǒng)一、

融合、

智能、

高效的煤礦大腦，

助力用戶逐步建設(shè)具有主動(dòng)感知、自動(dòng)分析、

深度學(xué)習(xí)、

智能決策、

科學(xué)指揮的智慧型礦山。

致力于為煤炭企業(yè)

構(gòu)建“全”、“統(tǒng)”、“通”、

”智”的

（大數(shù)據(jù)平臺(tái)/數(shù)據(jù)中臺(tái)）

體系，

基于“數(shù)字新基

建”時(shí)代的數(shù)據(jù)價(jià)值思考，

構(gòu)建全域數(shù)字化礦區(qū)共享能力中心，

助力煤炭企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，

打通底層系統(tǒng)之間數(shù)據(jù)壁壘，

加強(qiáng)公司整體管理和安全生產(chǎn)

系數(shù)，

為運(yùn)營提供數(shù)據(jù)統(tǒng)籌模型，

實(shí)現(xiàn)重點(diǎn)數(shù)據(jù)實(shí)時(shí)監(jiān)控和數(shù)據(jù)共享開放服務(wù)。全域分析智能決策打通原有業(yè)務(wù)系統(tǒng)統(tǒng)一煤炭企業(yè)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)申請(qǐng)與審核統(tǒng)一數(shù)據(jù)報(bào)表支撐綜合管控?cái)?shù)據(jù)統(tǒng)一治理數(shù)據(jù)資產(chǎn)管理形成數(shù)據(jù)字典數(shù)據(jù)發(fā)布直觀掌握數(shù)據(jù)支撐決策分析（約47個(gè)）數(shù)據(jù)血緣提供決策依據(jù)支撐創(chuàng)新應(yīng)用等

煤炭企業(yè)大數(shù)據(jù)平臺(tái)

（數(shù)據(jù)中臺(tái)）

建設(shè)目標(biāo)統(tǒng)一資產(chǎn)統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)管控打通數(shù)據(jù)14智慧礦山（數(shù)字礦山）綜合管控平臺(tái)后勤保障中心一卡通門禁車牌識(shí)別系統(tǒng)人臉識(shí)別系統(tǒng)保安巡邏系統(tǒng)消防報(bào)警系統(tǒng)安全中心雙重預(yù)防信息安全檢查系統(tǒng)智能推送系統(tǒng)智能信息系統(tǒng)智慧園區(qū)系統(tǒng)調(diào)度指揮中心機(jī)電運(yùn)輸中心

煤炭企業(yè)大數(shù)據(jù)平臺(tái)

（數(shù)據(jù)中臺(tái)）

大圖數(shù)字孿生

領(lǐng)導(dǎo)駕駛艙煤礦數(shù)字孿生煤炭企業(yè)當(dāng)前存在系統(tǒng)較多

，調(diào)研共計(jì)47個(gè)

，其中計(jì)劃上線9個(gè)

，當(dāng)前在使用系統(tǒng)38個(gè)。煤炭工業(yè)大數(shù)據(jù)平臺(tái)（數(shù)據(jù)中臺(tái)）煤礦高風(fēng)險(xiǎn)預(yù)警工業(yè)態(tài)勢感知不安全行為分析智慧園區(qū)管控綜合管控中心智能指揮調(diào)度3D可視化煤礦一張圖煤礦運(yùn)營指標(biāo)體系安全生產(chǎn)監(jiān)測智能掘進(jìn)開采束管防滅火空壓機(jī)監(jiān)控安全監(jiān)測系統(tǒng)瓦檢巡檢管理通風(fēng)機(jī)管理掘進(jìn)系統(tǒng)供排水系統(tǒng)主通風(fēng)機(jī)監(jiān)控調(diào)度通訊系統(tǒng)應(yīng)急廣播設(shè)備管理系統(tǒng)人員定位系統(tǒng)數(shù)據(jù)字典數(shù)據(jù)挖掘數(shù)據(jù)集市數(shù)據(jù)模型算法開發(fā)標(biāo)簽中心數(shù)據(jù)血緣數(shù)據(jù)清洗數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)開發(fā)數(shù)據(jù)治理智能通風(fēng)管控電力安全監(jiān)控智能工作面數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量數(shù)據(jù)采集中臺(tái)支持

·數(shù)據(jù)互通中臺(tái)支持

·數(shù)據(jù)互通中臺(tái)支持

·數(shù)據(jù)支撐中臺(tái)支持

·數(shù)據(jù)支撐15煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺(tái)/大數(shù)據(jù)平臺(tái)大數(shù)據(jù)應(yīng)用領(lǐng)導(dǎo)駕駛艙高風(fēng)險(xiǎn)預(yù)警工業(yè)態(tài)勢感知應(yīng)急指揮調(diào)度智能開采掘進(jìn)業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)集成數(shù)據(jù)開發(fā)平臺(tái)SQLETLShellSpark

appMLAB數(shù)據(jù)集市數(shù)據(jù)資產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)模型數(shù)據(jù)整合質(zhì)量監(jiān)控?cái)?shù)據(jù)血緣數(shù)據(jù)安全元數(shù)據(jù)管理數(shù)據(jù)服務(wù)

化能力共

享統(tǒng)一標(biāo)準(zhǔn)清洗融合建模挖掘大數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)倉庫ODSSTDDWDDM數(shù)據(jù)同步數(shù)據(jù)同步數(shù)據(jù)治理平臺(tái)關(guān)系型數(shù)據(jù)庫拿拿煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺(tái)/大數(shù)據(jù)平臺(tái)數(shù)據(jù)應(yīng)用數(shù)據(jù)開發(fā)平臺(tái)大數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)倉庫數(shù)據(jù)集成業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)治理平臺(tái)數(shù)據(jù)服務(wù)總線

+業(yè)務(wù)能力拿拿數(shù)據(jù)共享交換平臺(tái)數(shù)據(jù)同步拿拿外部數(shù)據(jù)關(guān)系型數(shù)據(jù)庫分析型數(shù)據(jù)庫業(yè)務(wù)庫n業(yè)務(wù)庫1前置庫

前置庫拿拿ETL

ETL

數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)根據(jù)智能化煤礦(井工)分類、分級(jí)技術(shù)條件與評(píng)價(jià)標(biāo)準(zhǔn)，切實(shí)提升煤礦行業(yè)數(shù)字化指標(biāo)，實(shí)現(xiàn)智能化煤礦建設(shè)。

煤礦企業(yè)大數(shù)據(jù)平臺(tái)

（數(shù)據(jù)中臺(tái)）

實(shí)現(xiàn)目標(biāo)18指標(biāo)名稱計(jì)算方法數(shù)據(jù)服務(wù)分項(xiàng)分?jǐn)?shù)=a1+a2+a3a1.礦井地質(zhì)、工程等資料實(shí)現(xiàn)了數(shù)字化

，且數(shù)據(jù)進(jìn)行了合理的分類與存儲(chǔ)

，數(shù)據(jù)見交互方式合理,得0~40分；a2.文件類數(shù)據(jù)采用FTP進(jìn)行交互

，音頻數(shù)據(jù)采用SIP,RIP和RTSP協(xié)議實(shí)現(xiàn)

，非標(biāo)準(zhǔn)工控類設(shè)備數(shù)據(jù)采用OPC/OPC

UA

標(biāo)準(zhǔn)實(shí)現(xiàn)

，對(duì)于環(huán)境類數(shù)據(jù)

，井下人員數(shù)據(jù)、非標(biāo)準(zhǔn)機(jī)電設(shè)備檢測控制類數(shù)據(jù)采用行業(yè)統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn)規(guī)范

協(xié)議,得0~40分；a3.具有合理的數(shù)據(jù)源分析屬性、產(chǎn)生層級(jí)及交互層次規(guī)范

，得0~20分；

大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)功能及健全程度評(píng)價(jià)指標(biāo)見表7所示。表28數(shù)據(jù)中心指標(biāo)評(píng)價(jià)方法指標(biāo)名稱計(jì)算方法數(shù)據(jù)服務(wù)分項(xiàng)分?jǐn)?shù)=a1+a2+a3a1.礦井各類資料均實(shí)現(xiàn)了數(shù)字化

，且數(shù)據(jù)進(jìn)行了合理的分類與存儲(chǔ)

，數(shù)據(jù)間交互方式合理,得0~40分；

a2.采用行業(yè)統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn)規(guī)范協(xié)議

，得0~40分；a3.具有全面的數(shù)據(jù)分類屬性、產(chǎn)生層級(jí)及交互層次規(guī)范

，得0~20分；

大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)功能及健全程度評(píng)價(jià)指標(biāo)見表7所示。表7數(shù)據(jù)中心指標(biāo)評(píng)價(jià)方法根據(jù)智能化煤礦(井工)分類、分級(jí)技術(shù)條件與評(píng)價(jià)標(biāo)準(zhǔn)，切實(shí)提升煤礦行業(yè)數(shù)字化指標(biāo)，實(shí)現(xiàn)智能化煤礦建設(shè)。

煤礦企業(yè)大數(shù)據(jù)平臺(tái)

（數(shù)據(jù)中臺(tái)）

實(shí)現(xiàn)目標(biāo)19

智慧

（數(shù)字）

礦山

，

煤礦企業(yè)的發(fā)展方向煤礦企業(yè)大數(shù)據(jù)平臺(tái)/數(shù)據(jù)中臺(tái)建設(shè)四維度：實(shí)現(xiàn)海量數(shù)據(jù)治理

整合

，對(duì)數(shù)據(jù)進(jìn)行

清洗比對(duì)加工、存

儲(chǔ)和交互

，確保大

數(shù)據(jù)應(yīng)用分析的準(zhǔn)

確性數(shù)據(jù)采集管理自動(dòng)

化

，實(shí)現(xiàn)生產(chǎn)數(shù)據(jù)、

業(yè)務(wù)數(shù)據(jù)、管理數(shù)

據(jù)的全面、實(shí)時(shí)、多結(jié)構(gòu)自動(dòng)采集降低數(shù)據(jù)使用門檻、

提升數(shù)據(jù)使用效率，

打破數(shù)據(jù)孤島

，全

面支持高層決策分

析和創(chuàng)新業(yè)務(wù)應(yīng)用四、數(shù)據(jù)分析/數(shù)據(jù)

使用智能化統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)

，快

速建立分析模型

，

挖掘有用價(jià)值

，推

動(dòng)管理升級(jí)

，預(yù)測

未來發(fā)展趨勢三、數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一

化/模型開發(fā)簡單化二、數(shù)據(jù)治理/數(shù)

據(jù)整合加工流程化一、數(shù)據(jù)采集管

理自動(dòng)化采用統(tǒng)一的數(shù)據(jù)接入模式

，

以標(biāo)準(zhǔn)化、

模塊化的方式進(jìn)行多源異構(gòu)數(shù)據(jù)資源的接入

，解決應(yīng)急管理信息資

源在集中匯聚時(shí)面臨的分散孤立、

源頭多樣、

跨網(wǎng)傳輸?shù)葐栴}

，為應(yīng)急數(shù)據(jù)資源的匯聚集中、

統(tǒng)一標(biāo)準(zhǔn)化

處理和信息資源池構(gòu)建提供源數(shù)據(jù)支撐。新型NoSQL數(shù)據(jù)庫文件系統(tǒng)開源大數(shù)據(jù)平臺(tái)一、

全域數(shù)據(jù)中心建設(shè)--數(shù)據(jù)集成全量抽取實(shí)時(shí)增量抽取時(shí)間戳增量抽取實(shí)時(shí)日志增量抽取全量覆蓋追加Append寫入沖突行覆蓋忽略沖突行關(guān)系型數(shù)據(jù)庫其他類型數(shù)據(jù)源其他格式數(shù)據(jù)數(shù)據(jù)接入系統(tǒng)晶數(shù)據(jù)倉庫對(duì)象存儲(chǔ)數(shù)據(jù)庫直觀易用的B/S用戶界面是DataBridge區(qū)別于其它同類產(chǎn)品的重要特色。

DataBridge屏蔽了復(fù)雜的數(shù)據(jù)操作過程，無需高級(jí)DBA或技術(shù)人員提供咨詢或編寫不透明的定制腳本代碼

，通過簡單的界面操作

，就可實(shí)現(xiàn)大部分?jǐn)?shù)據(jù)轉(zhuǎn)

換整合的應(yīng)用場景。

同時(shí)可根據(jù)業(yè)務(wù)需要周期性的對(duì)作業(yè)進(jìn)行自動(dòng)調(diào)度

，無需人工干預(yù)。完全基于B/S用戶界面、

簡單易用晶國產(chǎn)數(shù)據(jù)庫支持--數(shù)據(jù)集成國產(chǎn)化大數(shù)據(jù)平臺(tái)與數(shù)據(jù)庫引擎、

消息中間件對(duì)接：n

HW：

HDFS、

HBASE、

HIVE、

OBS、

Elasticsearch、

gaussDB100、

gaussDB200、

gaussDB300n

阿里：

MaxCompute(ODPS)、ADS、

RDS、

OTS、

OSS、

Datahub、

DRDS、

HibridDB(PetaData)n

中興：

HDFS、

HBASE、

HIVEn

南大通用：

GBase8a/8s/8tn

達(dá)夢：

DM7n

人大金倉：

KingbaseES

V8n

金碟/中興/H為消息中間件

：AMQ消息中間件Apusi

c

V9.0、

中興kafka、

H為kafka、多源異構(gòu)數(shù)據(jù)采集轉(zhuǎn)換--數(shù)據(jù)集成n

支持主流數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái)

，如Oracle、

MySQL、

SQLServer、

Db2、

Sybase、

PostgreSQL、TeraData、

Redis、

MongoDB、

REST、

達(dá)夢、

南大通用GBase8t、

HDFS、

HBase、

Hive、GreenPlum、

H為Hive、

H為LibrA等；n

阿里云的RDS、

DRDS、

MaxCompute、

AnalyticDB、

DataHub、

OTS、

OSS等組件的數(shù)據(jù)互通；n

支持文件搬移與文件解析

，

FileServer協(xié)議支持SFTP、

SMB、

FTP、

OBS、

OSS等

，

文件解析支持諸如xml、

txt、

csv和Excel等格式

，

支持zip包；n

支持全量高速同步以及增量同步

，

文件同步；n

支持Oracle

dmp文件導(dǎo)入；

支持?jǐn)?shù)據(jù)加密傳輸

，保證數(shù)據(jù)傳輸過程中不泄密。七大組件數(shù)據(jù)/服務(wù)資源目錄、

數(shù)據(jù)交換中

控、數(shù)據(jù)交換總線、

數(shù)據(jù)交換網(wǎng)關(guān)

、API服務(wù)中控、

API服務(wù)網(wǎng)關(guān)、

數(shù)

據(jù)ETL工具。高性能?

單節(jié)點(diǎn)120MB/S、

30萬條/秒

（工信部下屬第三方測試結(jié)果）?

支持集群高可靠?

支持自動(dòng)斷點(diǎn)續(xù)傳?

支持?jǐn)嚅_網(wǎng)絡(luò)或系統(tǒng)重啟后數(shù)據(jù)不丟失高安全?

支持?jǐn)?shù)據(jù)傳輸過程加解密?

專利技術(shù)實(shí)現(xiàn)非侵入式增量數(shù)據(jù)提取?

基于大數(shù)據(jù)平臺(tái)支持安全交換高易用?

目錄驅(qū)動(dòng)的交換?

多源異構(gòu)數(shù)據(jù)的匯聚、

交換?

庫級(jí)交換、

匯聚

交換網(wǎng)關(guān)API網(wǎng)關(guān)

前置庫

開放服務(wù)

ETL

業(yè)務(wù)系統(tǒng)

部門2

交換網(wǎng)關(guān)API網(wǎng)關(guān)

前置庫

開放服務(wù)

ETL

業(yè)務(wù)系統(tǒng)

部門N數(shù)據(jù)資源目錄/服務(wù)資源目錄二、

數(shù)據(jù)交換共享系統(tǒng)

交換網(wǎng)關(guān)API網(wǎng)關(guān)前置庫

開放服務(wù)

ETL

數(shù)據(jù)交換中控API服務(wù)中控?cái)?shù)據(jù)交換總線中心數(shù)據(jù)庫業(yè)務(wù)系統(tǒng)部門1。

。

?；驍?shù)據(jù)標(biāo)簽結(jié)構(gòu)化數(shù)據(jù)比對(duì)非結(jié)構(gòu)化數(shù)據(jù)比對(duì)結(jié)構(gòu)與非結(jié)構(gòu)化融合比對(duì)三、

數(shù)據(jù)治理建設(shè)內(nèi)容數(shù)據(jù)標(biāo)識(shí)數(shù)據(jù)探查數(shù)據(jù)比對(duì)數(shù)據(jù)提取數(shù)據(jù)清洗表級(jí)探查字段級(jí)探查非結(jié)構(gòu)化

數(shù)據(jù)提取視頻、

圖

像數(shù)據(jù)提文本數(shù)據(jù)

提取音頻數(shù)據(jù)

提取結(jié)構(gòu)化數(shù)

據(jù)提取數(shù)據(jù)格轉(zhuǎn)數(shù)據(jù)校驗(yàn)數(shù)據(jù)過濾數(shù)據(jù)去重取26過濾日期值清洗數(shù)據(jù)清洗即可實(shí)現(xiàn)對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化清洗

，

如對(duì)原始庫中的數(shù)據(jù)靜態(tài)數(shù)據(jù)清洗

，

也可以對(duì)流數(shù)據(jù)進(jìn)行清洗。數(shù)據(jù)治理數(shù)據(jù)清洗原始庫消息隊(duì)列資源庫消息隊(duì)列離線數(shù)據(jù)實(shí)時(shí)消息流式數(shù)據(jù)清洗離線數(shù)據(jù)清洗編碼轉(zhuǎn)換去重校驗(yàn)格式轉(zhuǎn)換編碼核驗(yàn)字段長度清洗值域清洗時(shí)間值清洗多表處理多表合并實(shí)時(shí)業(yè)務(wù)表表級(jí)處理分區(qū)標(biāo)準(zhǔn)化多列合并波動(dòng)監(jiān)控表大小波動(dòng)檢測表行數(shù)波動(dòng)檢測值監(jiān)控布爾分析完整性分析字符串處理去除空白字符去除特定字符值清洗數(shù)據(jù)脫敏同義詞替換數(shù)據(jù)清洗組件唯一性分析數(shù)值分布分析外鍵檢查分析日期分析日期范圍分析數(shù)據(jù)分組合并空值填充列均值波動(dòng)監(jiān)測列值和波動(dòng)檢測枚舉值分析數(shù)值分析漢語轉(zhuǎn)拼音字符串截取身份證信息提取日期拆分長度過濾正則過濾標(biāo)準(zhǔn)值域過濾空值過濾轉(zhuǎn)為Unix時(shí)間戳日期標(biāo)準(zhǔn)化電話號(hào)碼清洗JavaScript清洗歷史拉鏈表轉(zhuǎn)換為字符串全角半角轉(zhuǎn)換身份證校驗(yàn)轉(zhuǎn)換列最值波動(dòng)檢測標(biāo)準(zhǔn)值域分析大小寫轉(zhuǎn)換SQL清洗拆分列數(shù)據(jù)標(biāo)識(shí)是利用標(biāo)簽庫中已經(jīng)建設(shè)好的規(guī)則

，對(duì)數(shù)據(jù)進(jìn)行比對(duì)分析和模型計(jì)算

，將符合規(guī)則的數(shù)據(jù)進(jìn)行標(biāo)識(shí)

，

為進(jìn)一步

的數(shù)據(jù)使用提供支撐

，數(shù)據(jù)標(biāo)識(shí)支持表標(biāo)識(shí)

，列標(biāo)識(shí)

，數(shù)據(jù)規(guī)則獲取規(guī)則解析規(guī)則執(zhí)行結(jié)果輸出1、創(chuàng)建標(biāo)簽類目3、

配置標(biāo)簽打標(biāo)規(guī)則2、標(biāo)簽類目中創(chuàng)建標(biāo)簽4、

配置引用數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)標(biāo)識(shí)列標(biāo)識(shí)待標(biāo)識(shí)數(shù)據(jù)標(biāo)簽庫表標(biāo)識(shí)條目標(biāo)識(shí)條目標(biāo)識(shí)。標(biāo)簽引擎兩級(jí)可視化數(shù)據(jù)清洗與挖掘任務(wù)工作流

清洗任務(wù)配置兩級(jí)可視化數(shù)據(jù)治理數(shù)據(jù)管控系統(tǒng)數(shù)據(jù)管控要實(shí)現(xiàn)對(duì)數(shù)據(jù)資源池?cái)?shù)據(jù)的管理和控制

，功能主要有數(shù)據(jù)標(biāo)準(zhǔn)（數(shù)據(jù)元）

管理、

數(shù)據(jù)字典管理、

數(shù)據(jù)質(zhì)量管理、

數(shù)據(jù)血緣等。創(chuàng)建并維護(hù)數(shù)據(jù)模型中使用的數(shù)據(jù)字典

，制定并管理平臺(tái)遵循的統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)

，幫助平臺(tái)管理者和數(shù)據(jù)管理者管控治理后數(shù)據(jù)的一致性和數(shù)據(jù)質(zhì)量。建立系統(tǒng)數(shù)據(jù)質(zhì)量評(píng)估標(biāo)準(zhǔn)

，從完整性、一致性、準(zhǔn)確性、及時(shí)性、唯一性等方面評(píng)估數(shù)據(jù)是否達(dá)到預(yù)期設(shè)定的質(zhì)量要求。全鏈的數(shù)據(jù)血緣分析和展示

，通過數(shù)據(jù)血緣清晰的查看數(shù)據(jù)在數(shù)據(jù)源庫、原始庫、資源庫、主題庫和專題庫之間的總體流向。對(duì)數(shù)據(jù)標(biāo)準(zhǔn)定義、維度定義、維值代碼定義、公共統(tǒng)計(jì)規(guī)則的管理和維護(hù)

，為用戶制定后續(xù)的標(biāo)準(zhǔn)化和歸一化的清洗規(guī)則提供強(qiáng)有力的參考依據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)字典管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)血緣管理數(shù)據(jù)治理數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)標(biāo)準(zhǔn):數(shù)據(jù)拍標(biāo)準(zhǔn)

(勘據(jù)元)規(guī)范,

是對(duì)數(shù)據(jù)類型

，通過定義、標(biāo)識(shí)、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元。

它是數(shù)據(jù)資源池?cái)?shù)據(jù)清洗、標(biāo)準(zhǔn)化、以及數(shù)據(jù)質(zhì)量監(jiān)控的基礎(chǔ)依據(jù)數(shù)據(jù)治理建設(shè)過程中要對(duì)數(shù)據(jù)元素進(jìn)行標(biāo)準(zhǔn)制定、對(duì)數(shù)據(jù)字典進(jìn)行標(biāo)準(zhǔn)制定數(shù)據(jù)標(biāo)準(zhǔn)體系數(shù)據(jù)字典標(biāo)準(zhǔn)數(shù)據(jù)元素標(biāo)準(zhǔn)數(shù)據(jù)治理建設(shè)要求實(shí)現(xiàn)對(duì)數(shù)據(jù)血緣的管理

，數(shù)據(jù)血緣管理了數(shù)據(jù)從哪里來到哪里去的完整鏈路

，如下圖所示

,通過數(shù)據(jù)血緣查詢可獲取主題庫“事件事故基本表”從哪些系統(tǒng)融合了數(shù)據(jù)

，

又被哪些業(yè)務(wù)系統(tǒng)所使用數(shù)據(jù)治理數(shù)據(jù)血緣管理l

一張圖看清每個(gè)數(shù)據(jù)的來龍去脈l

基于血緣圖進(jìn)行數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全問題溯源、

影響分析數(shù)據(jù)治理

“

全鏈路

”數(shù)據(jù)血緣建立數(shù)據(jù)質(zhì)量管理體系

，實(shí)現(xiàn)數(shù)據(jù)治理平臺(tái)數(shù)據(jù)質(zhì)量的

有效管控

，管理維度包括：

完整性：

主要包括屬性缺失、

記錄缺失、

字段缺失幾個(gè)方面

合效性：

主要包括格式、

類型、

值域、

和業(yè)務(wù)規(guī)則的有效性

及時(shí)性

：指數(shù)據(jù)刷新、

修改和提取等的及時(shí)和快速性

一致性

：數(shù)據(jù)含義一致性、

數(shù)據(jù)格式一致性、

數(shù)據(jù)傳輸不丟失

，指

統(tǒng)一數(shù)據(jù)來源、

冗余存儲(chǔ)和統(tǒng)一口徑的一致性

唯一性

：指主鍵唯一和候選鍵唯一兩個(gè)方面

，

主鍵重復(fù)數(shù)據(jù)檢核

，

主外鍵是否缺失檢核

準(zhǔn)確性

：指計(jì)量誤差、

度量單位等方面的精確度數(shù)據(jù)治理數(shù)據(jù)質(zhì)量管理體系數(shù)據(jù)質(zhì)

量準(zhǔn)確性合規(guī)性唯一性及時(shí)性完整性一致性序號(hào)表名稱表中文名稱字段名稱字段類型字段注釋檢查類

型有無質(zhì)量

問題問題分類問題記錄

數(shù)表總記錄

數(shù)1t_yj_tfsj_sb_r突發(fā)事件表IDvarchar(64)ID(主鍵)一致性Y一致性:數(shù)據(jù)不一

致9584217932t_yj_tfsj_sb_r突發(fā)事件表TITLEvarchar(64)標(biāo)題完整性Y123135183t_yj_tfsj_sb_r突發(fā)事件表varchar(64)災(zāi)害類型完整性Y完整性:空值1366277434t_yj_tfsj_sb_r突發(fā)事件表REPORT_MANvarchar(64)報(bào)送人完整性Y完整性:空值141970320314025t_yj_tfsj_sb_r突發(fā)事件表REPORT_TIMEdatetime報(bào)送時(shí)間完整性Y完整性:

值658988659004檢核的表檢核的字段及規(guī)則檢核的結(jié)果說明及問題歸類樣例：基于數(shù)據(jù)質(zhì)量檢核表或字段進(jìn)行概況統(tǒng)計(jì)的報(bào)表

，展現(xiàn)全局資源池資料狀態(tài)數(shù)據(jù)質(zhì)量統(tǒng)計(jì)報(bào)告，全局分析數(shù)據(jù)治理質(zhì)量情況，了解資源池整體數(shù)據(jù)質(zhì)量情況數(shù)據(jù)治理數(shù)據(jù)質(zhì)量報(bào)告對(duì)開戶日期進(jìn)行完整性檢查

，檢查數(shù)據(jù)的

缺失情況統(tǒng)計(jì)信貸系統(tǒng)和核心系統(tǒng)證件號(hào)一致,客戶

號(hào)不一致的記錄數(shù)。對(duì)客戶名稱進(jìn)行完整性檢查

，檢查客戶名

稱是否存在空值。對(duì)客戶名稱進(jìn)行完整性檢查

，檢查客戶名

稱是否存在空值。對(duì)開戶日期進(jìn)行完整性檢查

，檢查數(shù)據(jù)的

缺失情況樣例：基于突發(fā)事件表五個(gè)字段進(jìn)行一致性和完整性的質(zhì)量檢查及表級(jí)數(shù)據(jù)質(zhì)量明細(xì)報(bào)告selectcount(*)fromCUSVAA

a

join

CUSM

b

ona.cust_no

=b.cust_acct_nowhereb.CUSTOMER_TYPE

in

('02','03')andtrim(a.

NAME)

is

null;selectcount(*)from

MICMajoin

CUSM

b

ona.customer_no

=b.prim_acctwhereb.CUSTOMER_TYPE='01'and

trim(a.NAME_2)

is

null;selectcount(*)from

ind_infoa

join

CUSVDD

b

ona.certid

=trim(substr(b.id1,

1,32))wherea.customerid<>substr(b.cust_no,8,9)selectcount(*)fromCUSMwhereCREATE_DT

is

nullor

CREATE_DT

=0;selectcount(*)from

CUSVCCwhereOPEN_DATE_01

is

nullorOPEN_DATE_01

=0;對(duì)公客戶及金融機(jī)構(gòu)客戶共13518對(duì)私證件及姓名記錄數(shù)627743完整性:空值檢查sql檢查概述TYPE備注四、

大數(shù)據(jù)計(jì)算平臺(tái)軟件大數(shù)據(jù)計(jì)算平臺(tái)（以下簡稱）

，采用內(nèi)存迭代計(jì)算技術(shù)

，集SQL、

MR、

Graph、

ML多種計(jì)算

能力于一體

，

可以提供TB/PB級(jí)別以上的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析處理能力。數(shù)據(jù)倉庫

大數(shù)據(jù)應(yīng)用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)SQL

、海量數(shù)據(jù)存儲(chǔ)MapReduce

、

Graph

MLLIBl0編程基礎(chǔ)大數(shù)據(jù)算法開發(fā)l算法開發(fā)整體效率提升2倍以上l一站式數(shù)據(jù)開發(fā)、測試、生產(chǎn)、運(yùn)維環(huán)境數(shù)據(jù)開發(fā)(Studio)全可視化數(shù)據(jù)/算法開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)服務(wù)共享中控能力共享平臺(tái)

能力共享平臺(tái)

：

以信息目錄的

形式提供數(shù)據(jù)及能力展示的窗

口

，

并提供服務(wù)檢索能力；

服務(wù)共享中控：

提供服務(wù)開發(fā)、

管理、

運(yùn)維、

統(tǒng)計(jì)的能力；

API服務(wù)網(wǎng)關(guān)：

提供轉(zhuǎn)發(fā)能力

，

具備服務(wù)路由

，

協(xié)議轉(zhuǎn)換

，

服

務(wù)流控

，插件熱加載等機(jī)制。開放服務(wù)

六、

數(shù)據(jù)服務(wù)總線開發(fā)與運(yùn)維人員服務(wù)開發(fā)服務(wù)調(diào)用運(yùn)維監(jiān)控權(quán)限控制DataMallCSP

Gate

API服務(wù)網(wǎng)關(guān)DataMallCSP

Gate

API服務(wù)網(wǎng)關(guān)DataMallCSP

Gate

API服務(wù)網(wǎng)關(guān)業(yè)務(wù)用戶服務(wù)發(fā)布

服務(wù)申請(qǐng)

服務(wù)授權(quán)...

...

數(shù)據(jù)庫開放服務(wù)開放服務(wù)數(shù)據(jù)庫數(shù)據(jù)庫

對(duì)服務(wù)的全生命周期進(jìn)行有效管理

管控目標(biāo)：

服務(wù)標(biāo)準(zhǔn)化、

服務(wù)松耦合、

服務(wù)可重用、

服務(wù)透明性及服務(wù)可發(fā)

現(xiàn)

通過對(duì)服務(wù)質(zhì)量的管控

，進(jìn)而實(shí)現(xiàn)對(duì)

開發(fā)商（服務(wù)提供者和服務(wù)消費(fèi)者）

進(jìn)行量化管理服務(wù)開發(fā)、服務(wù)發(fā)布服務(wù)生命周期管理服務(wù)訂閱、服務(wù)調(diào)用解決管理難：

服務(wù)全生命周期管理服務(wù)生命周期管理審計(jì)、優(yōu)化提升運(yùn)行質(zhì)量監(jiān)控以用戶服務(wù)的安全為首要任務(wù)

，提供多種有效防護(hù)來保障用戶服務(wù)的安全：

以RESTful

API的方式對(duì)外提供間接的數(shù)

據(jù)訪問服務(wù)，

隱藏服務(wù)的真實(shí)地址，

降低服務(wù)開放風(fēng)險(xiǎn)；

提供服務(wù)訪問身份鑒權(quán)機(jī)制

，具有防偽造和防重放功能，

防止對(duì)服務(wù)的非法訪問；

提供服務(wù)申請(qǐng)審批機(jī)制，

防止未經(jīng)授權(quán)的

非法訪問；

提供服務(wù)調(diào)用限速機(jī)制

，抵抗對(duì)服務(wù)的高并發(fā)沖擊