2023智能化礦山數(shù)據(jù)融合共享數(shù)據(jù)質(zhì)量管理規(guī)范

智能化礦山數(shù)據(jù)融合共享數(shù)據(jù)質(zhì)量管理規(guī)范IntelligentminedatafusionandsharingSpecificationsfordataqualitymanagement20236月目次前言 II范圍 1規(guī)范性引用文件 1術語和定義 1數(shù)據(jù)data 1數(shù)據(jù)質(zhì)量dataquality 1數(shù)據(jù)質(zhì)量度量指標dataqualitymeasurementindicator 2數(shù)據(jù)質(zhì)量規(guī)則dataqualityrule 2異常數(shù)據(jù)abnormaldata 2設計質(zhì)量designquality 2執(zhí)行質(zhì)量executivequality 2指標度量值measurementvalue 2總體要求 2數(shù)據(jù)質(zhì)量管理框架 2數(shù)據(jù)質(zhì)量的基本要求 3數(shù)據(jù)質(zhì)量管理開展原則 4數(shù)據(jù)生命周期質(zhì)量管理原則 5數(shù)據(jù)質(zhì)量管理活動 5數(shù)據(jù)質(zhì)量稽核控制 5數(shù)據(jù)質(zhì)量評估度量 6數(shù)據(jù)質(zhì)量改進 8數(shù)據(jù)質(zhì)量管理組織與職責 9數(shù)據(jù)管理組織 9數(shù)據(jù)管理責任人職責 9數(shù)據(jù)工程技術人員職責 10附錄A（資料性）數(shù)據(jù)質(zhì)量模板 11數(shù)據(jù)質(zhì)量控制規(guī)則類型表 11設計質(zhì)量打分模板 13數(shù)據(jù)質(zhì)量度量指標字典模板 14執(zhí)行數(shù)據(jù)質(zhì)量五分衡量標準 15I智能化礦山數(shù)據(jù)融合共享數(shù)據(jù)質(zhì)量管理規(guī)范范圍數(shù)據(jù)質(zhì)量管理規(guī)范部分內(nèi)容主要規(guī)定智能化礦山數(shù)據(jù)融合共享的過程中的數(shù)據(jù)質(zhì)量規(guī)則和質(zhì)量要求，為智能化礦山數(shù)據(jù)真實有效提供支撐和保障。規(guī)范性引用文件用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.18-2008信息技術詞匯第18部分：分布式數(shù)據(jù)處理GB/T7027-2002信息分類和編碼的基本原則與方法GB/T10113—2003分類與編碼通用術語GB/T15259—2008煤礦安全術語GB/T18725-2008制造業(yè)信息化技術術語GB/T20529.1-2006企業(yè)信息分類編碼導則第1部分：原則與方法GB/T20529.2-2010企業(yè)信息分類編碼導則第2部分：分類編碼體系GB/T32400-2015信息技術云計算概覽與詞匯GB/T35295-2017信息技術詞匯第2部分：大數(shù)據(jù)及其應用領域術語GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型GB/T37700-2019信息技術工業(yè)云參考模型術語和定義data信息的可再解釋的形式化表示，以適用于通信、解釋或處理。注：可通過人工或自動手段處理數(shù)據(jù)。[GB/T5271.1-2000，定義01.01.02]dataquality數(shù)據(jù)質(zhì)量指數(shù)據(jù)滿足應用的可信程度，主要包括：完整性、及時性、準確性、1一致性、唯一性、有效性。dataqualitymeasurementindicator用途等以及該指標對應的數(shù)據(jù)用戶的滿意度感知標準。dataqualityrule不符合業(yè)務實質(zhì)、不滿足數(shù)據(jù)應用要求的數(shù)據(jù)判斷邏輯。abnormaldata不滿足數(shù)據(jù)標準，不符合業(yè)務實質(zhì)的數(shù)據(jù)。designquality數(shù)據(jù)架構落地情況，含有數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標準、數(shù)據(jù)模型、數(shù)據(jù)分布4個方面。executivequality數(shù)據(jù)執(zhí)行結果質(zhì)量，根據(jù)數(shù)據(jù)質(zhì)量度量指標的結果評估其質(zhì)量情況。measurementvalue根據(jù)數(shù)據(jù)質(zhì)量度量指標取數(shù)規(guī)則及公式，計算的結果。總體要求數(shù)據(jù)質(zhì)量管理框架數(shù)據(jù)質(zhì)量框架數(shù)據(jù)質(zhì)量管理框架圖如圖1所示：2圖1數(shù)據(jù)質(zhì)量管理框架數(shù)據(jù)質(zhì)量領導力意識。數(shù)據(jù)質(zhì)量持續(xù)改進數(shù)據(jù)質(zhì)量管理應是動態(tài)、持續(xù)的循環(huán)過程以滿足不斷變化的業(yè)務需求。數(shù)據(jù)質(zhì)量能力保障管理水平、改善數(shù)據(jù)質(zhì)量工具平臺，使企業(yè)數(shù)據(jù)質(zhì)量持續(xù)提高。數(shù)據(jù)質(zhì)量的基本要求智能化礦山數(shù)據(jù)質(zhì)量包含以下六個方面的基本要求：性完整、記錄完整和字段值完整四個方面。示例：掘進進度統(tǒng)計中，全部統(tǒng)計有效進尺數(shù)據(jù)。數(shù)據(jù)交付要及時，采集要及時，應用要及時。3示例：例如某礦的產(chǎn)量、進尺數(shù)據(jù)及時上報。確反映其所建模的“真實世界”實體，數(shù)據(jù)記錄信息與業(yè)務實際相符。示例：掘進進度統(tǒng)計中，生產(chǎn)進尺數(shù)據(jù)與生產(chǎn)實際一致。記錄應規(guī)范，數(shù)據(jù)應符合邏輯。示例1：班組上報的產(chǎn)量與皮帶秤采集的產(chǎn)量數(shù)據(jù)一致。示例2：財務統(tǒng)計的年度采購總金額和各單位每月上報的采購金額匯總值一致。唯一性的字段，在發(fā)布前應進行全量校驗，確保唯一性的要求。示例：某類物料在主數(shù)據(jù)系統(tǒng)已經(jīng)有編碼，物料使用單位不用申請新編碼，直接使用主數(shù)據(jù)系統(tǒng)存在的編碼，確保一物一碼。各數(shù)據(jù)源單位在提供數(shù)據(jù)時，應在發(fā)布前對其字段進行分析，保證字段值具有有效格式，并且其值在有效范圍之內(nèi)和符合邏輯要求。示例：沖擊地壓計量單位為MPa，某煤礦測量數(shù)據(jù)按照MPa單位計算。數(shù)據(jù)質(zhì)量管理開展原則智能化礦山數(shù)據(jù)質(zhì)量管理工作應遵循以下原則開展：全面的過程質(zhì)量管理；統(tǒng)一制定和發(fā)布數(shù)據(jù)質(zhì)量標準、數(shù)據(jù)質(zhì)量管理策略及管理規(guī)范；多方參與：數(shù)據(jù)質(zhì)量管理是系統(tǒng)性的工作，需要多方的共同參與。各級應把數(shù)據(jù)質(zhì)量管理列為長期工作持續(xù)改善，建立常態(tài)化的工作支撐。4數(shù)據(jù)生命周期質(zhì)量管理原則下要求：維環(huán)節(jié)；意；審批人員應掌握數(shù)據(jù)質(zhì)量要求；對影響關鍵經(jīng)營指標真實性事件應采取零容忍態(tài)度；數(shù)據(jù)；數(shù)據(jù)問題。數(shù)據(jù)質(zhì)量管理活動質(zhì)量持續(xù)改進三個部分組成。數(shù)據(jù)質(zhì)量稽核控制識別控制對象將數(shù)據(jù)質(zhì)量控制規(guī)則落地?；谥匾栽瓌t，數(shù)據(jù)質(zhì)量稽核控制對象主要有：關鍵主數(shù)據(jù)和基礎數(shù)據(jù)：如產(chǎn)品、客戶、供應商、組織、人員、物料等；礦山企業(yè)管理重點關注的數(shù)據(jù)和管理人員分析決策的數(shù)據(jù)；重點業(yè)務高頻次、廣泛應用的數(shù)據(jù)，如安全生產(chǎn)、生產(chǎn)輔助、安全管理、生產(chǎn)技術等涉及的數(shù)據(jù)。5基于成本效應原則數(shù)據(jù)質(zhì)量稽核控制對象主要有：運作成熟且質(zhì)量較高的數(shù)據(jù)，或度量成本很高但預期的改進很少的數(shù)據(jù)，可不優(yōu)先考慮；應通過收集業(yè)務需求、數(shù)據(jù)質(zhì)量問題等其他途徑從中篩選當前需監(jiān)控的數(shù)據(jù)。確定控制規(guī)則數(shù)據(jù)質(zhì)量控制規(guī)則：輯判斷；跨列數(shù)據(jù)質(zhì)量規(guī)則，關注數(shù)據(jù)屬性間關聯(lián)關系的邏輯判斷；跨行數(shù)據(jù)質(zhì)量規(guī)則，關注數(shù)據(jù)記錄之間關聯(lián)關系的邏輯判斷；跨表數(shù)據(jù)質(zhì)量規(guī)則，關注數(shù)據(jù)集關聯(lián)關系的邏輯判斷。在四類數(shù)據(jù)質(zhì)量分類框架下，圍繞數(shù)據(jù)質(zhì)量六大特性共設計了15類數(shù)據(jù)質(zhì)量規(guī)則，參考《附錄A.1數(shù)據(jù)質(zhì)量控制規(guī)則類型表》。促進規(guī)則落實礦山企業(yè)應促進數(shù)據(jù)質(zhì)量控制規(guī)則，提升數(shù)據(jù)質(zhì)量：實現(xiàn)日常質(zhì)量監(jiān)控；直方圖等；糾正；據(jù)質(zhì)量監(jiān)控。數(shù)據(jù)質(zhì)量評估度量數(shù)據(jù)質(zhì)量度量的角度數(shù)據(jù)質(zhì)量評估度量旨在規(guī)范礦山各級單位的過程，確保度量結果可信。數(shù)據(jù)6平，揭示數(shù)據(jù)質(zhì)量問題。設計質(zhì)量度量為確保設計質(zhì)量標準穩(wěn)定，從數(shù)據(jù)架構的四個角度進行綜合評估。數(shù)據(jù)資產(chǎn)目錄業(yè)務對象應有明確唯一的數(shù)據(jù)管理責任人，并對該業(yè)務對象全流程端到端質(zhì)量負責；業(yè)務對象的元數(shù)據(jù)質(zhì)量，如數(shù)據(jù)分類是否完整、業(yè)務定義是否準確等；資產(chǎn)目錄完整性。數(shù)據(jù)標準數(shù)據(jù)標準元數(shù)據(jù)質(zhì)量，如數(shù)據(jù)標準是否唯一、業(yè)務用途及定義是否準確等；所有業(yè)務對象應準確關聯(lián)數(shù)據(jù)標準；數(shù)據(jù)標準在IT系統(tǒng)及其對應的業(yè)務流程中應得到應用和遵從。數(shù)據(jù)模型開發(fā)概念模型和邏輯模型，并通過礦山企業(yè)數(shù)據(jù)管理組織評審；物理數(shù)據(jù)模型設計應遵從邏輯數(shù)據(jù)模型設計，數(shù)據(jù)庫中物理表的落地應遵循物理模型。數(shù)據(jù)分布已認證數(shù)據(jù)源，并通過礦山企業(yè)數(shù)據(jù)管理組織評審；交易側應具備完整的信息鏈和數(shù)據(jù)流，并通過礦山企業(yè)數(shù)據(jù)管理組織評審；交易側業(yè)務資產(chǎn)、數(shù)據(jù)湖、主題聯(lián)接、數(shù)據(jù)服務、自助分析之間應具備完整準確的血緣關系。設計質(zhì)量打分模型A.2行設計。設計質(zhì)量度量執(zhí)行質(zhì)量度量宜考慮完整性、及時性、準確性、一致性、唯一性、有效性67內(nèi)容的清潔度，業(yè)務領域可根據(jù)階段性的管理重點和訴求調(diào)整評估的要素。數(shù)據(jù)質(zhì)量度量過程管理制定數(shù)據(jù)質(zhì)量目標礦山企業(yè)依據(jù)當前存在的數(shù)據(jù)質(zhì)量問題制定數(shù)據(jù)質(zhì)量目標。確定數(shù)據(jù)質(zhì)量度量范圍礦山企業(yè)審視數(shù)據(jù)標準，根據(jù)數(shù)據(jù)質(zhì)量目標確定數(shù)據(jù)質(zhì)量度量范圍。設計數(shù)據(jù)質(zhì)量度量指標IT、流程多方面視角分析，設計數(shù)據(jù)質(zhì)量度量指標。A.3合礦山企業(yè)實際情況進行設計。確定執(zhí)行數(shù)據(jù)質(zhì)量衡量標準礦山企業(yè)根據(jù)統(tǒng)一的5分制，對新建數(shù)據(jù)質(zhì)量度量指標確定“差、中、良、優(yōu)、滿分”的達標標準，確定相應的檔次區(qū)間水平。數(shù)據(jù)質(zhì)量五分衡量標準詳見附錄A.4。實施數(shù)據(jù)質(zhì)量度量礦山企業(yè)應針對指標度量值，根據(jù)5分制對應關系進行各指標度量打分。發(fā)布數(shù)據(jù)質(zhì)量度量報告礦山企業(yè)根據(jù)質(zhì)量度量結果，擬制年度數(shù)據(jù)質(zhì)量度量報告。數(shù)據(jù)質(zhì)量改進數(shù)據(jù)質(zhì)量改進專項工作礦山企業(yè)數(shù)據(jù)質(zhì)量改進專項工作包括：信息系統(tǒng)改進：確認有信息系統(tǒng)改進的需求，應實施信息系統(tǒng)改進；專項工作落實：應確保數(shù)據(jù)質(zhì)量問題解決方案得到落實。數(shù)據(jù)質(zhì)量改進日常工作礦山企業(yè)數(shù)據(jù)質(zhì)量改進日常工作包括：8業(yè)務負責人、信息中心人員等共同制定數(shù)據(jù)質(zhì)量改進措施，改進措施應明確到具體改進責任人、改進目標及完成時間；量問題改進和閉環(huán)情況；制定新的年度度量目標，刷新目標基線。數(shù)據(jù)質(zhì)量管理組織與職責數(shù)據(jù)管理組織的數(shù)據(jù)管理責任人和數(shù)據(jù)工程技術人員。礦山企業(yè)信息化管理部門：應貫徹落實礦山企業(yè)制定的數(shù)據(jù)質(zhì)量管理規(guī)章制度，制定信息系統(tǒng)數(shù)據(jù)質(zhì)量管理要求，并適時配合數(shù)據(jù)工程技術人負責數(shù)據(jù)質(zhì)量管理在信息化建設方面的支撐和保障；入的準確率。按照規(guī)定進行數(shù)據(jù)質(zhì)量考核、督査等工作；進舉措并實施。數(shù)據(jù)管理責任人職責對企業(yè)數(shù)據(jù)質(zhì)量結果獎勵或問責。9銷毀的全生命周期，實現(xiàn)數(shù)據(jù)質(zhì)量持續(xù)提升。數(shù)據(jù)工程技術人員職責進行全面質(zhì)量管理。具體職責如下：分解落實數(shù)據(jù)質(zhì)量目標，制定數(shù)據(jù)質(zhì)量標準；建立數(shù)據(jù)質(zhì)量控制，負責分工及職責劃分，指導數(shù)據(jù)質(zhì)量工作開展；設計質(zhì)量指標，執(zhí)行數(shù)據(jù)質(zhì)量度量，編制數(shù)據(jù)質(zhì)量年度度量報告；推動跨單位數(shù)據(jù)質(zhì)量問題解決，驗收數(shù)據(jù)質(zhì)量問題閉環(huán)。10附 錄 A（資料性）數(shù)據(jù)質(zhì)量模板數(shù)據(jù)質(zhì)量控制規(guī)則類型表表A.1數(shù)據(jù)質(zhì)量控制規(guī)則類型表序號規(guī)則類型質(zhì)量特性類型描述示例1不可為空類單列完整性屬性不允許或在滿足某種條件下不允許出現(xiàn)空值如工作面名稱不可為空2語法約束類有效性屬性值滿足數(shù)據(jù)語法規(guī)范取值約束如身份證號滿足國家標準3格式規(guī)范類有效性屬性值必須滿足展現(xiàn)格式約束如日期有多重格式，對于同一屬性指定同一類格式4長度約束類有效性屬性值須滿足約定的長度范圍如密碼的長度至少816位5值域約束類有效性屬性值必須存在于已定義的枚舉值列的約束煤質(zhì)類別必須在煤質(zhì)分類列表中存在6事實參照標準類準確性存在事實數(shù)據(jù)或者事實參考標準數(shù)據(jù)，與該事實或事實參照標準對比一致的約束材料申購所使用的物料編碼需和主數(shù)據(jù)平臺物料編碼相對應7應為空值類跨列完整性屬性滿足某種條件下不能維護值如礦山企業(yè)要求銷售數(shù)據(jù)在某些系統(tǒng)不展示8單表等值一致約束類一致性某一屬性值與本實體其他屬性計算值相等的約束如集團企業(yè)已匯總產(chǎn)量與各礦業(yè)公司上報詳細產(chǎn)量的再匯總保持一致9單表邏輯一致約束類一致性某一屬性值與本實體其他屬性滿足邏輯關系約束（大于或小于）如項目的關閉日期不能早于立項日期10入庫及時類及時性數(shù)據(jù)進入系統(tǒng)的及時性約束，通常要包括數(shù)據(jù)原材料獲取時間和入庫時間才能進行規(guī)則設計如通過內(nèi)部大市場系統(tǒng)庫存信息應及時根據(jù)出入庫信息進行更新11外關聯(lián)約束類跨表一致性引用其他業(yè)務對象屬性時，所維護的屬性值必如合同的簽約客戶必須為客戶主數(shù)據(jù)11序號規(guī)則類型質(zhì)量特性類型描述示例須在其他業(yè)務對象中存在的約束中定義的法人客戶12跨表等值一致約束類一致性某一屬性值與其他實體的一個或多個屬性值的函數(shù)計算結果相等的約束如某煤礦當日產(chǎn)量與調(diào)度部門皮帶秤匯總一致13跨表邏輯一致約束類一致性某一屬性值滿足其他實體的一個或多個屬性值的函數(shù)關系的約束（大于或小于）當日煤礦生產(chǎn)用電量小于變電所計量的用電量14記錄唯一類跨行唯一性記錄不重復，存在可識別的業(yè)務主鍵進行唯一性判斷，是對數(shù)據(jù)集內(nèi)部是否存在相似或重復記錄的約束規(guī)則如某礦業(yè)上報產(chǎn)量只能有唯一一行記錄15層級結構一致約束類一致性存在層級結構的屬性，同層級屬性結構一致如物資類型分為大物資管理時需按照此規(guī)則多層級進行選擇12設計質(zhì)量打分模板表A.2設計質(zhì)量打分模板對象得分得分要素打分標準分值分配評估對象得分1數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)對象沒有明確的管理責任人，無法對該數(shù)據(jù)對象全流程端到端質(zhì)量負責12數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)對象有明確管理責任人，對該數(shù)據(jù)對象全流程端到端質(zhì)量負責0.25數(shù)據(jù)標準開發(fā)完整的數(shù)據(jù)字典，并通過礦山企業(yè)數(shù)據(jù)管理組織評審0.25數(shù)據(jù)模型及時上傳評審后的概念模型文件至相關IT系統(tǒng)0.25數(shù)據(jù)分布數(shù)據(jù)源認證通過礦山企業(yè)數(shù)據(jù)管理組織評審0.253數(shù)據(jù)標準數(shù)據(jù)標準通過礦山企業(yè)數(shù)據(jù)管理組織簽發(fā)0.25數(shù)據(jù)標準IT流程中得到應用和遵從0.25數(shù)據(jù)模型及時上傳評審后的邏輯模型文件至相關IT系統(tǒng)0.25數(shù)據(jù)分布完整的數(shù)據(jù)血緣關系0.254數(shù)據(jù)模型物理表/物理模型中包含邏輯實體中的所有屬性0.5數(shù)據(jù)分布完成數(shù)據(jù)血緣信息鏈治理0.55領域管理面向未來3-5年的數(shù)據(jù)架構藍圖0.3領域0.4領域數(shù)據(jù)資產(chǎn)成為礦山企業(yè)戰(zhàn)略核心競爭力0.313數(shù)據(jù)質(zhì)量度量指標字典模板表A.3數(shù)據(jù)質(zhì)量度量指標