2023智能化礦山數(shù)據(jù)融合共享數(shù)據(jù)質(zhì)量管理規(guī)范

智能化礦山數(shù)據(jù)融合共享數(shù)據(jù)質(zhì)量管理規(guī)范IntelligentminedatafusionandsharingSpecificationsfordataqualitymanagement20236月目次前言 II范圍 1規(guī)范性引用文件 1術(shù)語和定義 1數(shù)據(jù)data 1數(shù)據(jù)質(zhì)量dataquality 1數(shù)據(jù)質(zhì)量度量指標(biāo)dataqualitymeasurementindicator 2數(shù)據(jù)質(zhì)量規(guī)則dataqualityrule 2異常數(shù)據(jù)abnormaldata 2設(shè)計質(zhì)量designquality 2執(zhí)行質(zhì)量executivequality 2指標(biāo)度量值measurementvalue 2總體要求 2數(shù)據(jù)質(zhì)量管理框架 2數(shù)據(jù)質(zhì)量的基本要求 3數(shù)據(jù)質(zhì)量管理開展原則 4數(shù)據(jù)生命周期質(zhì)量管理原則 5數(shù)據(jù)質(zhì)量管理活動 5數(shù)據(jù)質(zhì)量稽核控制 5數(shù)據(jù)質(zhì)量評估度量 6數(shù)據(jù)質(zhì)量改進(jìn) 8數(shù)據(jù)質(zhì)量管理組織與職責(zé) 9數(shù)據(jù)管理組織 9數(shù)據(jù)管理責(zé)任人職責(zé) 9數(shù)據(jù)工程技術(shù)人員職責(zé) 10附錄A（資料性）數(shù)據(jù)質(zhì)量模板 11數(shù)據(jù)質(zhì)量控制規(guī)則類型表 11設(shè)計質(zhì)量打分模板 13數(shù)據(jù)質(zhì)量度量指標(biāo)字典模板 14執(zhí)行數(shù)據(jù)質(zhì)量五分衡量標(biāo)準(zhǔn) 15I智能化礦山數(shù)據(jù)融合共享數(shù)據(jù)質(zhì)量管理規(guī)范范圍數(shù)據(jù)質(zhì)量管理規(guī)范部分內(nèi)容主要規(guī)定智能化礦山數(shù)據(jù)融合共享的過程中的數(shù)據(jù)質(zhì)量規(guī)則和質(zhì)量要求，為智能化礦山數(shù)據(jù)真實有效提供支撐和保障。規(guī)范性引用文件用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.18-2008信息技術(shù)詞匯第18部分：分布式數(shù)據(jù)處理GB/T7027-2002信息分類和編碼的基本原則與方法GB/T10113—2003分類與編碼通用術(shù)語GB/T15259—2008煤礦安全術(shù)語GB/T18725-2008制造業(yè)信息化技術(shù)術(shù)語GB/T20529.1-2006企業(yè)信息分類編碼導(dǎo)則第1部分：原則與方法GB/T20529.2-2010企業(yè)信息分類編碼導(dǎo)則第2部分：分類編碼體系GB/T32400-2015信息技術(shù)云計算概覽與詞匯GB/T35295-2017信息技術(shù)詞匯第2部分：大數(shù)據(jù)及其應(yīng)用領(lǐng)域術(shù)語GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型GB/T37700-2019信息技術(shù)工業(yè)云參考模型術(shù)語和定義data信息的可再解釋的形式化表示，以適用于通信、解釋或處理。注：可通過人工或自動手段處理數(shù)據(jù)。[GB/T5271.1-2000，定義01.01.02]dataquality數(shù)據(jù)質(zhì)量指數(shù)據(jù)滿足應(yīng)用的可信程度，主要包括：完整性、及時性、準(zhǔn)確性、1一致性、唯一性、有效性。dataqualitymeasurementindicator用途等以及該指標(biāo)對應(yīng)的數(shù)據(jù)用戶的滿意度感知標(biāo)準(zhǔn)。dataqualityrule不符合業(yè)務(wù)實質(zhì)、不滿足數(shù)據(jù)應(yīng)用要求的數(shù)據(jù)判斷邏輯。abnormaldata不滿足數(shù)據(jù)標(biāo)準(zhǔn)，不符合業(yè)務(wù)實質(zhì)的數(shù)據(jù)。designquality數(shù)據(jù)架構(gòu)落地情況，含有數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)分布4個方面。executivequality數(shù)據(jù)執(zhí)行結(jié)果質(zhì)量，根據(jù)數(shù)據(jù)質(zhì)量度量指標(biāo)的結(jié)果評估其質(zhì)量情況。measurementvalue根據(jù)數(shù)據(jù)質(zhì)量度量指標(biāo)取數(shù)規(guī)則及公式，計算的結(jié)果?？傮w要求數(shù)據(jù)質(zhì)量管理框架數(shù)據(jù)質(zhì)量框架數(shù)據(jù)質(zhì)量管理框架圖如圖1所示：2圖1數(shù)據(jù)質(zhì)量管理框架數(shù)據(jù)質(zhì)量領(lǐng)導(dǎo)力意識。數(shù)據(jù)質(zhì)量持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量管理應(yīng)是動態(tài)、持續(xù)的循環(huán)過程以滿足不斷變化的業(yè)務(wù)需求。數(shù)據(jù)質(zhì)量能力保障管理水平、改善數(shù)據(jù)質(zhì)量工具平臺，使企業(yè)數(shù)據(jù)質(zhì)量持續(xù)提高。數(shù)據(jù)質(zhì)量的基本要求智能化礦山數(shù)據(jù)質(zhì)量包含以下六個方面的基本要求：性完整、記錄完整和字段值完整四個方面。示例：掘進(jìn)進(jìn)度統(tǒng)計中，全部統(tǒng)計有效進(jìn)尺數(shù)據(jù)。數(shù)據(jù)交付要及時，采集要及時，應(yīng)用要及時。3示例：例如某礦的產(chǎn)量、進(jìn)尺數(shù)據(jù)及時上報。確反映其所建模的“真實世界”實體，數(shù)據(jù)記錄信息與業(yè)務(wù)實際相符。示例：掘進(jìn)進(jìn)度統(tǒng)計中，生產(chǎn)進(jìn)尺數(shù)據(jù)與生產(chǎn)實際一致。記錄應(yīng)規(guī)范，數(shù)據(jù)應(yīng)符合邏輯。示例1：班組上報的產(chǎn)量與皮帶秤采集的產(chǎn)量數(shù)據(jù)一致。示例2：財務(wù)統(tǒng)計的年度采購總金額和各單位每月上報的采購金額匯總值一致。唯一性的字段，在發(fā)布前應(yīng)進(jìn)行全量校驗，確保唯一性的要求。示例：某類物料在主數(shù)據(jù)系統(tǒng)已經(jīng)有編碼，物料使用單位不用申請新編碼，直接使用主數(shù)據(jù)系統(tǒng)存在的編碼，確保一物一碼。各數(shù)據(jù)源單位在提供數(shù)據(jù)時，應(yīng)在發(fā)布前對其字段進(jìn)行分析，保證字段值具有有效格式，并且其值在有效范圍之內(nèi)和符合邏輯要求。示例：沖擊地壓計量單位為MPa，某煤礦測量數(shù)據(jù)按照MPa單位計算。數(shù)據(jù)質(zhì)量管理開展原則智能化礦山數(shù)據(jù)質(zhì)量管理工作應(yīng)遵循以下原則開展：全面的過程質(zhì)量管理；統(tǒng)一制定和發(fā)布數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理策略及管理規(guī)范；多方參與：數(shù)據(jù)質(zhì)量管理是系統(tǒng)性的工作，需要多方的共同參與。各級應(yīng)把數(shù)據(jù)質(zhì)量管理列為長期工作持續(xù)改善，建立常態(tài)化的工作支撐。4數(shù)據(jù)生命周期質(zhì)量管理原則下要求：維環(huán)節(jié)；意；審批人員應(yīng)掌握數(shù)據(jù)質(zhì)量要求；對影響關(guān)鍵經(jīng)營指標(biāo)真實性事件應(yīng)采取零容忍態(tài)度；數(shù)據(jù)；數(shù)據(jù)問題。數(shù)據(jù)質(zhì)量管理活動質(zhì)量持續(xù)改進(jìn)三個部分組成。數(shù)據(jù)質(zhì)量稽核控制識別控制對象將數(shù)據(jù)質(zhì)量控制規(guī)則落地?；谥匾栽瓌t，數(shù)據(jù)質(zhì)量稽核控制對象主要有：關(guān)鍵主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)：如產(chǎn)品、客戶、供應(yīng)商、組織、人員、物料等；礦山企業(yè)管理重點關(guān)注的數(shù)據(jù)和管理人員分析決策的數(shù)據(jù)；重點業(yè)務(wù)高頻次、廣泛應(yīng)用的數(shù)據(jù)，如安全生產(chǎn)、生產(chǎn)輔助、安全管理、生產(chǎn)技術(shù)等涉及的數(shù)據(jù)。5基于成本效應(yīng)原則數(shù)據(jù)質(zhì)量稽核控制對象主要有：運(yùn)作成熟且質(zhì)量較高的數(shù)據(jù)，或度量成本很高但預(yù)期的改進(jìn)很少的數(shù)據(jù)，可不優(yōu)先考慮；應(yīng)通過收集業(yè)務(wù)需求、數(shù)據(jù)質(zhì)量問題等其他途徑從中篩選當(dāng)前需監(jiān)控的數(shù)據(jù)。確定控制規(guī)則數(shù)據(jù)質(zhì)量控制規(guī)則：輯判斷；跨列數(shù)據(jù)質(zhì)量規(guī)則，關(guān)注數(shù)據(jù)屬性間關(guān)聯(lián)關(guān)系的邏輯判斷；跨行數(shù)據(jù)質(zhì)量規(guī)則，關(guān)注數(shù)據(jù)記錄之間關(guān)聯(lián)關(guān)系的邏輯判斷；跨表數(shù)據(jù)質(zhì)量規(guī)則，關(guān)注數(shù)據(jù)集關(guān)聯(lián)關(guān)系的邏輯判斷。在四類數(shù)據(jù)質(zhì)量分類框架下，圍繞數(shù)據(jù)質(zhì)量六大特性共設(shè)計了15類數(shù)據(jù)質(zhì)量規(guī)則，參考《附錄A.1數(shù)據(jù)質(zhì)量控制規(guī)則類型表》。促進(jìn)規(guī)則落實礦山企業(yè)應(yīng)促進(jìn)數(shù)據(jù)質(zhì)量控制規(guī)則，提升數(shù)據(jù)質(zhì)量：實現(xiàn)日常質(zhì)量監(jiān)控；直方圖等；糾正；據(jù)質(zhì)量監(jiān)控。數(shù)據(jù)質(zhì)量評估度量數(shù)據(jù)質(zhì)量度量的角度數(shù)據(jù)質(zhì)量評估度量旨在規(guī)范礦山各級單位的過程，確保度量結(jié)果可信。數(shù)據(jù)6平，揭示數(shù)據(jù)質(zhì)量問題。設(shè)計質(zhì)量度量為確保設(shè)計質(zhì)量標(biāo)準(zhǔn)穩(wěn)定，從數(shù)據(jù)架構(gòu)的四個角度進(jìn)行綜合評估。數(shù)據(jù)資產(chǎn)目錄業(yè)務(wù)對象應(yīng)有明確唯一的數(shù)據(jù)管理責(zé)任人，并對該業(yè)務(wù)對象全流程端到端質(zhì)量負(fù)責(zé)；業(yè)務(wù)對象的元數(shù)據(jù)質(zhì)量，如數(shù)據(jù)分類是否完整、業(yè)務(wù)定義是否準(zhǔn)確等；資產(chǎn)目錄完整性。數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)質(zhì)量，如數(shù)據(jù)標(biāo)準(zhǔn)是否唯一、業(yè)務(wù)用途及定義是否準(zhǔn)確等；所有業(yè)務(wù)對象應(yīng)準(zhǔn)確關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)；數(shù)據(jù)標(biāo)準(zhǔn)在IT系統(tǒng)及其對應(yīng)的業(yè)務(wù)流程中應(yīng)得到應(yīng)用和遵從。數(shù)據(jù)模型開發(fā)概念模型和邏輯模型，并通過礦山企業(yè)數(shù)據(jù)管理組織評審；物理數(shù)據(jù)模型設(shè)計應(yīng)遵從邏輯數(shù)據(jù)模型設(shè)計，數(shù)據(jù)庫中物理表的落地應(yīng)遵循物理模型。數(shù)據(jù)分布已認(rèn)證數(shù)據(jù)源，并通過礦山企業(yè)數(shù)據(jù)管理組織評審；交易側(cè)應(yīng)具備完整的信息鏈和數(shù)據(jù)流，并通過礦山企業(yè)數(shù)據(jù)管理組織評審；交易側(cè)業(yè)務(wù)資產(chǎn)、數(shù)據(jù)湖、主題聯(lián)接、數(shù)據(jù)服務(wù)、自助分析之間應(yīng)具備完整準(zhǔn)確的血緣關(guān)系。設(shè)計質(zhì)量打分模型A.2行設(shè)計。設(shè)計質(zhì)量度量執(zhí)行質(zhì)量度量宜考慮完整性、及時性、準(zhǔn)確性、一致性、唯一性、有效性67內(nèi)容的清潔度，業(yè)務(wù)領(lǐng)域可根據(jù)階段性的管理重點和訴求調(diào)整評估的要素。數(shù)據(jù)質(zhì)量度量過程管理制定數(shù)據(jù)質(zhì)量目標(biāo)礦山企業(yè)依據(jù)當(dāng)前存在的數(shù)據(jù)質(zhì)量問題制定數(shù)據(jù)質(zhì)量目標(biāo)。確定數(shù)據(jù)質(zhì)量度量范圍礦山企業(yè)審視數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)數(shù)據(jù)質(zhì)量目標(biāo)確定數(shù)據(jù)質(zhì)量度量范圍。設(shè)計數(shù)據(jù)質(zhì)量度量指標(biāo)IT、流程多方面視角分析，設(shè)計數(shù)據(jù)質(zhì)量度量指標(biāo)。A.3合礦山企業(yè)實際情況進(jìn)行設(shè)計。確定執(zhí)行數(shù)據(jù)質(zhì)量衡量標(biāo)準(zhǔn)礦山企業(yè)根據(jù)統(tǒng)一的5分制，對新建數(shù)據(jù)質(zhì)量度量指標(biāo)確定“差、中、良、優(yōu)、滿分”的達(dá)標(biāo)標(biāo)準(zhǔn)，確定相應(yīng)的檔次區(qū)間水平。數(shù)據(jù)質(zhì)量五分衡量標(biāo)準(zhǔn)詳見附錄A.4。實施數(shù)據(jù)質(zhì)量度量礦山企業(yè)應(yīng)針對指標(biāo)度量值，根據(jù)5分制對應(yīng)關(guān)系進(jìn)行各指標(biāo)度量打分。發(fā)布數(shù)據(jù)質(zhì)量度量報告礦山企業(yè)根據(jù)質(zhì)量度量結(jié)果，擬制年度數(shù)據(jù)質(zhì)量度量報告。數(shù)據(jù)質(zhì)量改進(jìn)數(shù)據(jù)質(zhì)量改進(jìn)專項工作礦山企業(yè)數(shù)據(jù)質(zhì)量改進(jìn)專項工作包括：信息系統(tǒng)改進(jìn)：確認(rèn)有信息系統(tǒng)改進(jìn)的需求，應(yīng)實施信息系統(tǒng)改進(jìn)；專項工作落實：應(yīng)確保數(shù)據(jù)質(zhì)量問題解決方案得到落實。數(shù)據(jù)質(zhì)量改進(jìn)日常工作礦山企業(yè)數(shù)據(jù)質(zhì)量改進(jìn)日常工作包括：8業(yè)務(wù)負(fù)責(zé)人、信息中心人員等共同制定數(shù)據(jù)質(zhì)量改進(jìn)措施，改進(jìn)措施應(yīng)明確到具體改進(jìn)責(zé)任人、改進(jìn)目標(biāo)及完成時間；量問題改進(jìn)和閉環(huán)情況；制定新的年度度量目標(biāo)，刷新目標(biāo)基線。數(shù)據(jù)質(zhì)量管理組織與職責(zé)數(shù)據(jù)管理組織的數(shù)據(jù)管理責(zé)任人和數(shù)據(jù)工程技術(shù)人員。礦山企業(yè)信息化管理部門：應(yīng)貫徹落實礦山企業(yè)制定的數(shù)據(jù)質(zhì)量管理規(guī)章制度，制定信息系統(tǒng)數(shù)據(jù)質(zhì)量管理要求，并適時配合數(shù)據(jù)工程技術(shù)人負(fù)責(zé)數(shù)據(jù)質(zhì)量管理在信息化建設(shè)方面的支撐和保障；入的準(zhǔn)確率。按照規(guī)定進(jìn)行數(shù)據(jù)質(zhì)量考核、督査等工作；進(jìn)舉措并實施。數(shù)據(jù)管理責(zé)任人職責(zé)對企業(yè)數(shù)據(jù)質(zhì)量結(jié)果獎勵或問責(zé)。9銷毀的全生命周期，實現(xiàn)數(shù)據(jù)質(zhì)量持續(xù)提升。數(shù)據(jù)工程技術(shù)人員職責(zé)進(jìn)行全面質(zhì)量管理。具體職責(zé)如下：分解落實數(shù)據(jù)質(zhì)量目標(biāo)，制定數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)；建立數(shù)據(jù)質(zhì)量控制，負(fù)責(zé)分工及職責(zé)劃分，指導(dǎo)數(shù)據(jù)質(zhì)量工作開展；設(shè)計質(zhì)量指標(biāo)，執(zhí)行數(shù)據(jù)質(zhì)量度量，編制數(shù)據(jù)質(zhì)量年度度量報告；推動跨單位數(shù)據(jù)質(zhì)量問題解決，驗收數(shù)據(jù)質(zhì)量問題閉環(huán)。10附 錄 A（資料性）數(shù)據(jù)質(zhì)量模板數(shù)據(jù)質(zhì)量控制規(guī)則類型表表A.1數(shù)據(jù)質(zhì)量控制規(guī)則類型表序號規(guī)則類型質(zhì)量特性類型描述示例1不可為空類單列完整性屬性不允許或在滿足某種條件下不允許出現(xiàn)空值如工作面名稱不可為空2語法約束類有效性屬性值滿足數(shù)據(jù)語法規(guī)范取值約束如身份證號滿足國家標(biāo)準(zhǔn)3格式規(guī)范類有效性屬性值必須滿足展現(xiàn)格式約束如日期有多重格式，對于同一屬性指定同一類格式4長度約束類有效性屬性值須滿足約定的長度范圍如密碼的長度至少816位5值域約束類有效性屬性值必須存在于已定義的枚舉值列的約束煤質(zhì)類別必須在煤質(zhì)分類列表中存在6事實參照標(biāo)準(zhǔn)類準(zhǔn)確性存在事實數(shù)據(jù)或者事實參考標(biāo)準(zhǔn)數(shù)據(jù)，與該事實或事實參照標(biāo)準(zhǔn)對比一致的約束材料申購所使用的物料編碼需和主數(shù)據(jù)平臺物料編碼相對應(yīng)7應(yīng)為空值類跨列完整性屬性滿足某種條件下不能維護(hù)值如礦山企業(yè)要求銷售數(shù)據(jù)在某些系統(tǒng)不展示8單表等值一致約束類一致性某一屬性值與本實體其他屬性計算值相等的約束如集團(tuán)企業(yè)已匯總產(chǎn)量與各礦業(yè)公司上報詳細(xì)產(chǎn)量的再匯總保持一致9單表邏輯一致約束類一致性某一屬性值與本實體其他屬性滿足邏輯關(guān)系約束（大于或小于）如項目的關(guān)閉日期不能早于立項日期10入庫及時類及時性數(shù)據(jù)進(jìn)入系統(tǒng)的及時性約束，通常要包括數(shù)據(jù)原材料獲取時間和入庫時間才能進(jìn)行規(guī)則設(shè)計如通過內(nèi)部大市場系統(tǒng)庫存信息應(yīng)及時根據(jù)出入庫信息進(jìn)行更新11外關(guān)聯(lián)約束類跨表一致性引用其他業(yè)務(wù)對象屬性時，所維護(hù)的屬性值必如合同的簽約客戶必須為客戶主數(shù)據(jù)11序號規(guī)則類型質(zhì)量特性類型描述示例須在其他業(yè)務(wù)對象中存在的約束中定義的法人客戶12跨表等值一致約束類一致性某一屬性值與其他實體的一個或多個屬性值的函數(shù)計算結(jié)果相等的約束如某煤礦當(dāng)日產(chǎn)量與調(diào)度部門皮帶秤匯總一致13跨表邏輯一致約束類一致性某一屬性值滿足其他實體的一個或多個屬性值的函數(shù)關(guān)系的約束（大于或小于）當(dāng)日煤礦生產(chǎn)用電量小于變電所計量的用電量14記錄唯一類跨行唯一性記錄不重復(fù)，存在可識別的業(yè)務(wù)主鍵進(jìn)行唯一性判斷，是對數(shù)據(jù)集內(nèi)部是否存在相似或重復(fù)記錄的約束規(guī)則如某礦業(yè)上報產(chǎn)量只能有唯一一行記錄15層級結(jié)構(gòu)一致約束類一致性存在層級結(jié)構(gòu)的屬性，同層級屬性結(jié)構(gòu)一致如物資類型分為大物資管理時需按照此規(guī)則多層級進(jìn)行選擇12設(shè)計質(zhì)量打分模板表A.2設(shè)計質(zhì)量打分模板對象得分得分要素打分標(biāo)準(zhǔn)分值分配評估對象得分1數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)對象沒有明確的管理責(zé)任人，無法對該數(shù)據(jù)對象全流程端到端質(zhì)量負(fù)責(zé)12數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)對象有明確管理責(zé)任人，對該數(shù)據(jù)對象全流程端到端質(zhì)量負(fù)責(zé)0.25數(shù)據(jù)標(biāo)準(zhǔn)開發(fā)完整的數(shù)據(jù)字典，并通過礦山企業(yè)數(shù)據(jù)管理組織評審0.25數(shù)據(jù)模型及時上傳評審后的概念模型文件至相關(guān)IT系統(tǒng)0.25數(shù)據(jù)分布數(shù)據(jù)源認(rèn)證通過礦山企業(yè)數(shù)據(jù)管理組織評審0.253數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)通過礦山企業(yè)數(shù)據(jù)管理組織簽發(fā)0.25數(shù)據(jù)標(biāo)準(zhǔn)IT流程中得到應(yīng)用和遵從0.25數(shù)據(jù)模型及時上傳評審后的邏輯模型文件至相關(guān)IT系統(tǒng)0.25數(shù)據(jù)分布完整的數(shù)據(jù)血緣關(guān)系0.254數(shù)據(jù)模型物理表/物理模型中包含邏輯實體中的所有屬性0.5數(shù)據(jù)分布完成數(shù)據(jù)血緣信息鏈治理0.55領(lǐng)域管理面向未來3-5年的數(shù)據(jù)架構(gòu)藍(lán)圖0.3領(lǐng)域0.4領(lǐng)域數(shù)據(jù)資產(chǎn)成為礦山企業(yè)戰(zhàn)略核心競爭力0.313數(shù)據(jù)質(zhì)量度量指標(biāo)字典模板表A.3數(shù)據(jù)質(zhì)量度量指標(biāo)