DB31-T 1523-2024 公共數(shù)據(jù)質量評價要求

公共數(shù)據(jù)質量評價要求發(fā)出布版2024-11-29發(fā)布發(fā)出布版上海市市場監(jiān)督管理局I Ⅲ 1 1 1 2 2 2 35.3評價指標 4 9 7.1評價準備 7.3評價實施 附錄A(資料性)公共數(shù)據(jù)質量評價示例 Ⅲ本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由上海市數(shù)據(jù)局提出并組織實施。本文件由上海市數(shù)據(jù)標準化技術委員會歸口。本文件起草單位：上海計算機軟件技術開發(fā)中心、上海市大數(shù)據(jù)中心、上海數(shù)據(jù)集團有限公司、亞信科技(中國)有限公司、星環(huán)信息科技(上海)股份有限公司、杭州數(shù)夢工場科技有限公司、云賽智聯(lián)股份有限公司、上海德拓信息技術股份有限公司、普元信息技術股份有限公司、上海市信息安全測評認證中心、上海軟中智鏈數(shù)字科技有限公司、華東師范大學。本文件主要起草人：楊琳、劉迎風、李小山、司萌萌、劉辰昀、劉波、禹芳、念燦華、章建兵、陳默、1本文件規(guī)定了公共數(shù)據(jù)質量評價的總體要求、評價指標體系、評價方法和評價流程。本文件適用于上海市公共數(shù)據(jù)的質量評價與改進。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB11643—1999公民身份號碼GB/T36344—2018信息技術數(shù)據(jù)質量評價指標3術語和定義GB/T35295—2017、GB/T36344—2018界定的以及下列術語和定義適用于本文件。信息的可再解釋的形式化表示，以適用于通信、解釋或處理。公共數(shù)據(jù)publicdata本市國家機關、事業(yè)單位，經(jīng)依法授權具有管理公共事務職能的組織，以及供水通等提供公共服務的組織，在履行公共管理和服務職責過程中收集和產(chǎn)生的數(shù)據(jù)。公共數(shù)據(jù)質量publicdataquality公共數(shù)據(jù)在使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。對分析的圖像和文本表述，該分析識別了組織為完成其使命、功能、目標、目的和價組織所需要的數(shù)據(jù)。24總體要求4.1公共數(shù)據(jù)質量評價應在物理設備、網(wǎng)絡連接、系統(tǒng)權限等正常的情況下進行，并遵循客觀公正原則。4.2公共數(shù)據(jù)質量評價指標的設計應以融入業(yè)務、聚焦關鍵、遵循標準為原則，并符合可度量、可接受、可管控、可跟蹤的要求。4.3公共數(shù)據(jù)質量評價相關方包括公共數(shù)據(jù)管理方、公共數(shù)據(jù)提供方、公共數(shù)據(jù)使用方和公共數(shù)據(jù)評價方，具體如下：a)公共數(shù)據(jù)管理方應結合公共數(shù)據(jù)使用方業(yè)務需求，評審公共數(shù)據(jù)質量評價方案；b)公共數(shù)據(jù)提供方應根據(jù)管理方和使用方要求，制定公共數(shù)據(jù)質量管理目標，確認公共數(shù)據(jù)質量評價指標與方案，并提供被評價的公共數(shù)據(jù)及相關材料，包括但不限于公共數(shù)據(jù)質量業(yè)務需求、技術需求、數(shù)據(jù)標準等；c)公共數(shù)據(jù)使用方可提出公共數(shù)據(jù)質量要求，對公共數(shù)據(jù)質量水平進行反饋；d)公共數(shù)據(jù)評價方應結合公共數(shù)據(jù)提供方和使用方業(yè)務需求，設計公共數(shù)據(jù)質量評價方案，并根據(jù)評價方案組織實施公共數(shù)據(jù)質量評價活動。5評價指標體系5.1指標體系框架公共數(shù)據(jù)質量評價指標體系應按照GB/T36344—2018的指標框架，由若干個能夠反映公共數(shù)據(jù)質量特性、相互獨立又相互聯(lián)系的指標組成，見圖1。公共數(shù)據(jù)可訪問性公共數(shù)據(jù)可訪問性公共數(shù)據(jù)時效性公共數(shù)據(jù)一致性公共數(shù)據(jù)準確性公共數(shù)據(jù)完整性公共數(shù)據(jù)規(guī)范性公共數(shù)據(jù)質量評價指標體系圖1公共數(shù)據(jù)質量評價指標體系框架公共數(shù)據(jù)質量評價指標體系包括但不限于公共數(shù)據(jù)的規(guī)范性、完整性、準確性、一致性、時效性和可訪問性：a)公共數(shù)據(jù)規(guī)范性：數(shù)據(jù)符合數(shù)據(jù)標準(包括數(shù)據(jù)類型約束規(guī)范性、數(shù)據(jù)格式約束規(guī)范性、數(shù)據(jù)長度約束規(guī)范性)、數(shù)據(jù)模型、元數(shù)據(jù)、業(yè)務規(guī)則、權威參考數(shù)據(jù)和安全規(guī)范的程度；b)公共數(shù)據(jù)完整性：按照業(yè)務規(guī)則要求，數(shù)據(jù)集中數(shù)據(jù)元素完整性和數(shù)據(jù)記錄完整性；c)公共數(shù)據(jù)準確性：數(shù)據(jù)準確性表示其所描述的實體真實值的程度，包括數(shù)據(jù)內(nèi)容正確性、數(shù)據(jù)格式合規(guī)性、數(shù)據(jù)重復率、數(shù)據(jù)唯一性、臟數(shù)據(jù)出現(xiàn)率、數(shù)據(jù)標準參照準確性等；d)公共數(shù)據(jù)一致性：數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾的程度，包括相同數(shù)據(jù)一致性、關聯(lián)數(shù)據(jù)一致性(包括表內(nèi)等值一致性、表內(nèi)邏輯一致性、跨表等值一致性、跨表邏輯一致性)、內(nèi)3容數(shù)據(jù)記錄數(shù)據(jù)項與元數(shù)據(jù)一致性等；e)公共數(shù)據(jù)時效性：數(shù)據(jù)在時間變化中的正確程度，包括基于時間段的正確性、基于時間點的及時f)公共數(shù)據(jù)可訪問性：數(shù)據(jù)能被訪問的程度，包括可訪問和可用性等。各指標及其內(nèi)容應結合公共數(shù)據(jù)業(yè)務預期進行設計。5.2指標編碼指標代碼是評價指標的唯一性代碼，采用層次編碼方法，編碼位數(shù)為6位，按照一級指標、二級指標和三級指標的從屬關系順序編碼。每一級指標代碼分別用2位阿拉伯數(shù)字表示。編碼規(guī)則如圖2所示。圖2指標編碼規(guī)則5.2.2一級指標代碼第1位和第2位一級指標代碼由2位阿拉伯數(shù)字組成。一級指標代碼及含義見表1。表1一級指標代碼及含義5.2.3二級指標代碼第3位和第4位二級指標代碼由2位阿拉伯數(shù)字組成，編碼范圍為01~99。其中，91~99表示其他類。第5位和第6位三級指標代碼由2位阿拉伯數(shù)字組成，編碼范圍為00~99。其中，00表示沿用二級指標，91~99表示其他類。4公共數(shù)據(jù)規(guī)范性評價指標見表2。指標示例“公民身份號碼”應符合體碼和1位數(shù)字校驗碼組成；數(shù)據(jù)長度應是18位X表示數(shù)據(jù)標準指標的得分；標的得分；標的得分；數(shù)據(jù)類型約“報銷金額”數(shù)據(jù)類型應為數(shù)標的得分；素的個數(shù)；數(shù)據(jù)格式約“郵箱地址”應滿足有效郵箱標的得分；素的個數(shù)；數(shù)據(jù)長度約化數(shù)據(jù)“手機號”數(shù)據(jù)長度應為11位標的得分；素的個數(shù)；數(shù)據(jù)模型數(shù)據(jù)集中數(shù)據(jù)符合數(shù)據(jù)模型的度量，適用于結構化數(shù)據(jù)學生所屬系的模型，學生表中空值。當修改系表中ID時，應關聯(lián)更新所有學生表中屬于X表示數(shù)據(jù)模型指標的得分；A表示滿足數(shù)據(jù)模型要求的元素的個數(shù)；型值域等內(nèi)容的數(shù)據(jù)字典等X表示元數(shù)據(jù)指標的得分；的個數(shù)；5表2公共數(shù)據(jù)規(guī)范性評價指標(續(xù))指標示例業(yè)務規(guī)則服務業(yè)務規(guī)則的度量，適用于結構化數(shù)據(jù)齡，男性年齡應大于22周歲，女性年齡應大于20周歲X表示業(yè)務規(guī)則指標的得分；考源)源)指標的得分；素的個數(shù)；安全規(guī)范X表示安全規(guī)范指標的得分；公共數(shù)據(jù)完整性評價指標見表3。指標示例數(shù)據(jù)元素的賦值程度A表示被賦值的元素的個數(shù)；數(shù)據(jù)記錄的賦值程度整的A表示被賦值的元素的個數(shù)；公共數(shù)據(jù)準確性評價指標見表4。6指標示例預期數(shù)據(jù)，適用于結構化元素的個數(shù)；度、精度等)是否滿足預期要求如“國土面積”保留小數(shù)點后素的個數(shù)；數(shù)據(jù)集中特定字段、記錄、文件或數(shù)據(jù)集意外重復的在本市第一批優(yōu)秀歷史建筑名單表中存在兩條關于“×××全一致，表明出現(xiàn)了不必要的A表示重復的元素的個數(shù)；數(shù)據(jù)集中特定字段、記錄、的都是唯一的，沒有重復的身的個數(shù)；臟數(shù)據(jù)出數(shù)據(jù)集中正確字段、記錄、臨時值產(chǎn)生的臟數(shù)據(jù)與政府法人庫的“統(tǒng)一社會信標的得分；的情況下，與該參照保持一致的元素的個數(shù)；公共數(shù)據(jù)一致性評價指標見表5。7指標示例數(shù)據(jù)集中同一數(shù)據(jù)在不同戶使用時，數(shù)據(jù)的一致性；同位置的同一數(shù)據(jù)被同步據(jù)個數(shù)；關聯(lián)數(shù)據(jù)規(guī)則檢查關聯(lián)數(shù)據(jù)的一資產(chǎn)負債表與利潤表的一致性的得分；跨列的元素值的關系是否資產(chǎn)負債表中，“資產(chǎn)=負債+性的數(shù)據(jù)個數(shù)；跨列的元素值的邏輯關系是否保持一致，適用于結構"出生年月","出生年月"應與“身份證號”的第7位～第14位性的數(shù)據(jù)個數(shù)；元素值的關系是否保持一的所有員工工資之和一致的得分；數(shù)據(jù)個數(shù)；言，元素值的邏輯是否保持一致，適用于結構化數(shù)據(jù)晚于學生入學表中的“入學日期”數(shù)據(jù)個數(shù)；8表5公共數(shù)據(jù)一致性評價指標(續(xù))指標示例內(nèi)容數(shù)據(jù)X表示內(nèi)容數(shù)據(jù)記錄數(shù)據(jù)項與元數(shù)據(jù)一致性指標的得分；項與元數(shù)據(jù)一致的數(shù)據(jù)個數(shù)；5.3.5公共數(shù)據(jù)時效性公共數(shù)據(jù)時效性評價指標見表6。表6公共數(shù)據(jù)時效性評價指標指標示例的正確性頻率分布符合業(yè)務需求的以本市每日天氣信息為例，為實現(xiàn)提示市民應對天氣變化的標的得分；的個數(shù)；基于時間點的及時性具有時效性的數(shù)據(jù)應及時公開或提供，公開的數(shù)據(jù)在有效期限內(nèi)以本市高校專業(yè)設置情況及對標的得分；時序性適用于結構化數(shù)據(jù)以股票交易數(shù)據(jù)為例，抽取某股票的若干交易數(shù)據(jù)，確認以X表示時序性指標的得分；供數(shù)據(jù)的使用以個人健康數(shù)據(jù)為例。A醫(yī)院可以調(diào)取和存儲B醫(yī)院的個人健康信息，但僅在治療期間有效。治療結束后，A醫(yī)院存儲的B醫(yī)院獲取的健康信息自動標的得分；元素個數(shù)；5.3.6公共數(shù)據(jù)可訪問性公共數(shù)據(jù)可訪問性評價指標見表7。9指標示例可訪問以婚姻核驗為例，在調(diào)用婚姻核驗數(shù)據(jù)時可調(diào)用成功X表示可訪問指標的得分；素個數(shù)；以本市失業(yè)登記信息為例，提供持續(xù)適配應用場景、可用的失業(yè)登記信息X表示可用性指標的得分；P——評估對象最終得分；量管理目標。質量評價指標宜完整覆蓋第5章規(guī)定的指標體系，公共數(shù)據(jù)評價方可結合實際需求，增加公共數(shù)據(jù)評價方按照數(shù)據(jù)質量評價方案對評價對象組織實施公共數(shù)據(jù)質量評價活動。各項質量指標通過評分方式進行量化評定，結合指標權重，綜合計算得出最終數(shù)據(jù)質量評分。評價實施案例見附錄A。(資料性)公共數(shù)據(jù)質量評價示例以某市婚姻相關數(shù)據(jù)集為例，開展公共數(shù)據(jù)質量評價工作。評價準備工作如下：a)明確評價對象是婚姻相關公共數(shù)據(jù)集；b)公共數(shù)據(jù)管理方通過制定《婚姻相關數(shù)據(jù)質量評價體系》《數(shù)據(jù)標準中心操作流程》《數(shù)據(jù)質量服務能力評估檢查表》《自然人婚姻相關數(shù)據(jù)規(guī)范》《數(shù)據(jù)質量管理制度》等系列規(guī)范文件，明確婚姻相關數(shù)據(jù)質量要求；c)在婚姻相關數(shù)據(jù)不可篡改的場景下，公共數(shù)據(jù)評價方明確了評價的目的、范圍、時間、內(nèi)容、方法，覆蓋公共數(shù)據(jù)采集、歸集、整合、共享、開放等各個環(huán)節(jié)，以保障公共數(shù)據(jù)全鏈路的質量評價工作順利開展；d)采用數(shù)據(jù)可用性評估工具、多源數(shù)據(jù)采集工具、數(shù)據(jù)探查工具、數(shù)據(jù)剖析工具、數(shù)據(jù)質量平臺、標準中心、質量規(guī)則庫、質量問題工單、質量大盤等工具，開展比對報告、重跑驗證、復檢審核、問題審核、規(guī)則審核、質量告警等方法進行數(shù)據(jù)質量評價；e)評價頻率采用日常評價與每月階段性評價相結合。結合公共數(shù)據(jù)提供方提交的具體業(yè)務特征、相關規(guī)范文件等基本要求，公共數(shù)據(jù)評價方從公共數(shù)據(jù)質量評價指標體系中選取評價指標進行數(shù)據(jù)質量評價，詳細內(nèi)容見表A.1。公共數(shù)據(jù)評價方根據(jù)婚姻數(shù)據(jù)質量評價的實際需求，基于數(shù)據(jù)質量問題影響程度設定各級指標權重。比如將“時效性”設定為高權重(0.2),旨在強調(diào)在婚姻數(shù)據(jù)質量評價中及時更新數(shù)據(jù)的重要性，確保最新的婚姻數(shù)據(jù)能夠準確反映社會現(xiàn)狀。見表A.1。公共數(shù)據(jù)評價方根據(jù)選定的評估指標、評估對象確定數(shù)據(jù)質量規(guī)則。A.3.4方案編制和確認公共數(shù)據(jù)評價方編制公共數(shù)據(jù)質量評價方案，方案編制完成后，公共數(shù)據(jù)管理方和公共數(shù)據(jù)提供方根據(jù)業(yè)務需求，評審確認評價方案。A.4評價實施為100分。通過日常評價和階段性評價，婚姻相關數(shù)據(jù)質量總分和一級一級X二級指YZ評價規(guī)則T二級指S一級RP11公民身份號碼格式為18位；婚姻事項代碼遵循GA/T543.1—20111一一一一一時間相符一唯一性一一公民身份號碼數(shù)據(jù)唯一一關聯(lián)數(shù)據(jù)1出生日期與公民身份號碼中的出生年月日在涉及雙方的記錄中，名、證件號碼等信息相時效性基于時間點及時性1一一數(shù)據(jù)更新時間符合一定的頻率標準，如每日的值一問性可訪問1一一時可調(diào)用成功一A.4.2報告編制(部分)可訪問