DB11T 2317-2024 政務數(shù)據(jù)質量評估規(guī)范

ICS35.240.99CCSA00

DB11北 京 市 地 方 標 準DB11/T2317—2024政務數(shù)據(jù)質量評估規(guī)范Specificationforgovernmentdataqualityevaluation2024-09-23發(fā)布 2025-01-01實施北京市市場監(jiān)督管理局 發(fā)布DB11/T2317—2024目 次前言 II范圍 1規(guī)性用1術和1數(shù)質六評估 2數(shù)質五評級 5數(shù)質評程序 7參考9IDB11/T2317—2024前 言本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。本文件由北京市經濟和信息化局提出。本文件由北京市政務服務和數(shù)據(jù)管理局歸口并組織實施。IIDB11/T2317—2024政務數(shù)據(jù)質量評估規(guī)范范圍本文件規(guī)定了政務數(shù)據(jù)質量“五級六性”評估模型、評估指標、評級方法、評估程序等內容。本文件適用于政務數(shù)據(jù)匯聚、治理、共享過程中對數(shù)據(jù)質量的評估管理。本文件沒有規(guī)范性引用文件。下列術語和定義適用于本文件。3.1政務據(jù) governmentdata數(shù)據(jù)各級政務部門及其支撐單位在履行職責過程中依法采集、生成、存儲、管理的各類數(shù)據(jù)資源。[來源：GB/T38664.1—2020,3.1，有修改]3.2據(jù)量 dataquality基于對數(shù)據(jù)使用的預期，在指定條件下使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。[來源：GB/T36344-2018,2.3，有修改]3.3核表 auditfrom通過數(shù)據(jù)質量稽核后存儲的數(shù)據(jù)庫表，表中有數(shù)據(jù)質量稽核的結果。數(shù)據(jù)質量六性評估模型主要從數(shù)據(jù)規(guī)范性、完整性、準確性、一致性、及時性和可用性6個維度進行了定義，評估模型見圖1。1DB11/T2317—2024圖1 數(shù)據(jù)量性估數(shù)據(jù)質量評估管理，包括數(shù)據(jù)規(guī)范性、完整性、準確性、一致性、及時性和可用性6個維度。數(shù)據(jù)規(guī)范性：描述數(shù)據(jù)內容、值域、格式等符合標準數(shù)據(jù)元的情況，衡量數(shù)據(jù)標準、規(guī)范程度。數(shù)據(jù)完整性：描述數(shù)據(jù)的描述性要素、要素屬性及要素關系的完整情況，衡量數(shù)據(jù)在存儲、傳輸和處理過程中的完整程度。數(shù)據(jù)準確性：描述數(shù)據(jù)與其對應的客觀實體的特征相一致的情況，衡量數(shù)據(jù)符合實際情況的程度。指標編碼是政務數(shù)據(jù)質量評估的唯一性編碼，由一級指標、二級指標共4位數(shù)字組成，編碼規(guī)則見圖2。圖2 數(shù)據(jù)量性估標碼規(guī)則一級指標由2位數(shù)字組成，01代表數(shù)據(jù)規(guī)范性指標、02代表數(shù)據(jù)完整性指標、03代表數(shù)據(jù)準確性指標、04代表數(shù)據(jù)一致性指標、05代表數(shù)據(jù)及時性指標、06代表數(shù)據(jù)可用性指標。二級指標由2位數(shù)字組成順序碼，范圍為01-99。數(shù)據(jù)規(guī)范性指標定義及評分方式見表1。2DB11/T2317—2024表1 數(shù)據(jù)量性估據(jù)范性指標編號指標名稱指標描述示例評分方式評分標準0101格式校驗數(shù)據(jù)屬性值應滿足數(shù)據(jù)標準或數(shù)據(jù)字典中定義的展現(xiàn)格式約束示例：日期字段定義為日期類的格式定量評分稽核表指定稽核列在限定范圍內的不符合格式的數(shù)據(jù)數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X（1-B/A）×100。0102參照性校校驗稽核數(shù)據(jù)與參照數(shù)據(jù)進行比較校驗，判斷指定稽核列中不符合參照列內數(shù)據(jù)的情況示例：在人口登記信息表中，稽核數(shù)據(jù)是人口登記性別數(shù)據(jù)，參照數(shù)據(jù)是性別碼表，性別為：未知的性別0、男性1、女性2、未說明的性別9，參照性校驗，即人口登記數(shù)據(jù)的性別必須為0、1、2、9，不應出現(xiàn)其他代碼。定量評分稽核表指定稽核列在限定范圍內的不符合參照數(shù)據(jù)的數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X（1-B/A）×100。0103參照性校驗-雙向校驗稽核數(shù)據(jù)與參照數(shù)據(jù)進行比較校驗，判斷指定稽核列中不符合參照列內數(shù)據(jù)的情況示例：在人口登記信息表中，稽核數(shù)據(jù)是人口登記性別數(shù)據(jù)，參照數(shù)據(jù)是性別碼表，性別為：未知的性別0、男性1、女性2、未說明的性別9，要求人口登記數(shù)據(jù)的性別既有男性又有女性，若性別中只有1或只有2是錯誤的。定性評分1、結果正確，則該資源得分X=100；2、結果錯誤，則該數(shù)據(jù)資源得分X=0。0104業(yè)務規(guī)則校驗稽核數(shù)據(jù)符合業(yè)務規(guī)則的程度示例：身份證號字段要符合身份證的編碼規(guī)則。定量評分稽核表指定稽核列在限定范圍內的不符合業(yè)務規(guī)則的數(shù)據(jù)質量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100。數(shù)據(jù)完整性指標定義及評分方式見表2。表2 數(shù)據(jù)量性估據(jù)整性指標編號指標名稱指標描述示例評分方式評分標準0201字段完整性描述實際匯聚數(shù)據(jù)資源的字段是否與資源目錄注冊的字段數(shù)量、描述保持一致。定性評分1、若保持一致，則該資源得分X=100；2、若不一致，則該數(shù)據(jù)資源得分X=0。0202空值校驗業(yè)務主鍵或重要字段等必填項的數(shù)據(jù)值不能為空值。示例：涉人數(shù)據(jù)資源的姓名、身份證號等重要字段數(shù)據(jù)值不能為空。定量評分稽核表指定稽核列在限定范圍內的空值數(shù)量為B，該稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100。3DB11/T2317—2024表2 數(shù)質六評數(shù)據(jù)整指（）指標編號指標名稱指標描述示例評分方式評分標準0203數(shù)據(jù)記錄完按照業(yè)務規(guī)則要求，示例：某數(shù)據(jù)資源定性評分1、若滿足，則該資源得分整性校驗驗證當前稽核表中滿實際業(yè)務產生時間X=100；足過濾條件的數(shù)據(jù)記為1966年，而實際2、若不滿足，則該數(shù)據(jù)資源得錄數(shù)范圍是否滿足預匯聚數(shù)據(jù)只有2000分X=0。先設定規(guī)則，包括時年后的數(shù)據(jù)，那此間維度和空間維度。數(shù)據(jù)資源不滿足數(shù)據(jù)記錄完整性要求0204核心字段完數(shù)據(jù)的核心關鍵字段示例：涉人數(shù)據(jù)中定量評分稽核表中指定稽核列在限定范整性內容應完整有效。證件號碼、涉企數(shù)圍內核心字段內容缺失的數(shù)據(jù)據(jù)中統(tǒng)一社會信用數(shù)量為B，稽核表限定范圍內總代碼等唯一標識字條數(shù)為A，則該資源得分X=（1-段數(shù)據(jù)內容應完B/A）×100。整。數(shù)據(jù)準確性指標定義及評分方式見表3。表3 數(shù)據(jù)量性估據(jù)確性指標編號指標名稱指標描述示例評分方式評分標準0301重復校驗檢查單列或者多列數(shù)據(jù)組合是否存在重復記錄。示例：一個身份證號碼只能對應唯一的一個自然人。定量評分稽核表指定稽核列在限定范圍內的重復數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100。0302值域校驗描述數(shù)據(jù)是否與其對應的客觀實示例：年齡的取值范圍應該在0-200歲之間。定量評分稽核表指定稽核列在限定范圍內的不符合值域范圍數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分X=（1-B/A）×100。0303數(shù)據(jù)內容可靠性校驗描述數(shù)據(jù)內容是否真實可靠，是否為無效的數(shù)據(jù)。示例：企業(yè)注冊資金為-100萬，因注冊資金不能為負值，此項數(shù)據(jù)內容無效。定量評分稽核表指定稽核列在限定范圍內的數(shù)據(jù)內容為無效的數(shù)量為B，稽核表限定范AB/A）×100。數(shù)據(jù)一致性指標定義及評分方式見表4。表4 數(shù)據(jù)量性估據(jù)致性指標編號指標名稱指標描述示例評分方式評分標準0401邏輯校驗檢驗稽核表中數(shù)據(jù)的邏輯性或邏輯關系。示例：入學時間應當早于畢業(yè)時間。定量評分稽核表指定稽核列中不符合邏輯關系的數(shù)量為B，稽核表限定范圍內總條數(shù)為A，則該資源得分為X=（1-B/A）×100。0402一致性?；吮韮葦?shù)示例1：單表單行，身份證定量評分稽核表指定稽核列中不符合一致驗據(jù)，或表間數(shù)號碼的7—14位要與出生日性約束記錄數(shù)量為B，稽核表限據(jù)是否相等。期一致；定范圍內總條數(shù)為A，則該資源示例2：雙表單行，同一個得分X=（1-B/A）×100。身份證號碼在多個表中對應的姓名要一致。4DB11/T2317—2024數(shù)據(jù)及時性指標定義及評分方式見表5。表5 數(shù)據(jù)量性估據(jù)時性指標編號指標名稱指標描述示例評分方式評分標準0501更新周期描述數(shù)據(jù)資源的更示例：門診定性評分根據(jù)數(shù)據(jù)的業(yè)務屬性來判定數(shù)據(jù)更新周期是合理性新周期是否符合數(shù)就診記錄數(shù)否合理。據(jù)實際產生周期情據(jù)更新周期1、若數(shù)據(jù)更新周期合理，該數(shù)據(jù)資源得分況。規(guī)范政務部門為1天。年為X=100；把數(shù)據(jù)更新周期設報類數(shù)據(jù)的2、若數(shù)據(jù)更新周期不合理，該數(shù)據(jù)資源得置在合理的范圍。更新周期應分X=0。為1年。0502更新及時描述數(shù)據(jù)資源是否示例：政務定性評分根據(jù)數(shù)據(jù)是否及時按照更新周期合理，來判率按照業(yè)務上數(shù)據(jù)實部門設置資斷數(shù)據(jù)是否及時更新。際產生的更新周期源數(shù)據(jù)更新1、若數(shù)據(jù)是按時更新或未到更新時間，該進行更新。規(guī)范政為1月，則數(shù)據(jù)資源得分X=100；務部門能夠按時進需要每月更2、若數(shù)據(jù)未按時更新或無法判斷是否更行數(shù)據(jù)的更新。新數(shù)據(jù)新，該數(shù)據(jù)資源得分X=0。數(shù)據(jù)可用性指標定義及評分方式見表6。表6 數(shù)據(jù)量性估據(jù)用性指標編號指標名稱指標描述示例評分方式評分標準0601可直接利描述數(shù)據(jù)資源的示例：源端是數(shù)據(jù)定性評分1、若原始數(shù)據(jù)為庫表格式的結構化數(shù)用性可直接使用程庫表直接通過數(shù)據(jù)據(jù)，則該數(shù)據(jù)資源得分X=100；度。如果源端是庫表對接實現(xiàn)。2、若原始數(shù)據(jù)為非結構化數(shù)據(jù)或者未入數(shù)據(jù)庫類型，可庫的數(shù)據(jù)，則該數(shù)據(jù)資源得分X=0。直接通過數(shù)據(jù)庫表的方式共享，增強數(shù)據(jù)的可用性。0602數(shù)據(jù)可理指數(shù)據(jù)庫表中的示例：通過數(shù)據(jù)碼定量評分數(shù)據(jù)庫表中字段對應的描述不準確或缺解性（數(shù)字段應有對應的表，將數(shù)據(jù)庫表字失的數(shù)量為B，數(shù)據(jù)庫表中字段總數(shù)為據(jù)描述文描述文檔（如數(shù)段CSRQ與“出生日A，則該資源得分X=（1-B/A）×100。檔）期”相對應。等），描述需準確，便于更好的理解數(shù)據(jù)。：15%；：20%；：20%；5DB11/T2317—2024：15%；：15%；：15%。1) 30%；：20%；20%；30%。1) ：25%；2) 25%；：20%；：30%。1) 2) 3) ：30%。1) ：50%；2) 50%。：50%；：50%。：50%；（）：50%。100展。.......................................（1）式中：X——數(shù)據(jù)一級指標得分；xi——數(shù)據(jù)二級指標得分；wi——數(shù)據(jù)二級指標權重。注1：不同數(shù)據(jù)資源適用評估指標不同，各部門根據(jù)業(yè)務數(shù)據(jù)實際使用場景設定數(shù)據(jù)指標權重。同的權重。數(shù)據(jù)是否準確、完整，能否被有效使用，是數(shù)據(jù)應用的基礎，因此，數(shù)據(jù)的準確性評分和6DB11/T2317—2024完整性評分需配置較高的權重。如若在某些特定場景需求下對數(shù)據(jù)時效性要求高，則應當將數(shù)據(jù)及時性評分配置較高的權重。............... （2）.式中：X1——數(shù)據(jù)規(guī)范性得分；X2——數(shù)據(jù)完整性得分；X3——數(shù)據(jù)準確性得分；X4——數(shù)據(jù)一致性得分；X5——數(shù)據(jù)及時性得分；X6——數(shù)據(jù)可用性得分；W1——數(shù)據(jù)規(guī)范性權重；W2——數(shù)據(jù)完整性權重；W3——數(shù)據(jù)準確性權重；W4——數(shù)據(jù)一致性權重；W5——數(shù)據(jù)及時性權重；W6——數(shù)據(jù)可用性權重。A、BC、、EABCDE7。表7 數(shù)據(jù)量級級級述及應情況質量等級數(shù)據(jù)質量等級描述及可應用情況分值參考范圍A數(shù)據(jù)質量高，可直接使用數(shù)據(jù)S＞85B數(shù)據(jù)質量較高，經過基礎處理后可使用80＜S≤85C數(shù)據(jù)質量存在輕微問題，經過數(shù)據(jù)共性清洗后可使用75＜S≤80D數(shù)據(jù)質量存在一般問題，進行針對性的數(shù)據(jù)清洗后可使用60＜S≤75E數(shù)據(jù)質量存在重大問題，須從源頭進行數(shù)據(jù)整改S