DB3704T 0041-2024一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚治理規(guī)范

ICS35.020CCSL80DB37044IDB3704/T0041-2024 一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚治理規(guī)范 1 12規(guī)范性引用文件 13術(shù)語(yǔ)和定義 14總體要求 25總體架構(gòu) 26匯聚治理流程 37數(shù)據(jù)匯聚要求 48數(shù)據(jù)治理要求 69數(shù)據(jù)安全保護(hù)要求 8附錄A（資料性） 9DB3704/T0041-2024本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。1DB3704/T0041-2024一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚治理規(guī)范本文件規(guī)定了一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚和治理的總體架構(gòu)、總體要求、匯聚治理流程、數(shù)據(jù)匯聚要求、數(shù)據(jù)治理要求和數(shù)據(jù)安全保護(hù)要求。本文件適用政務(wù)數(shù)據(jù)、公共數(shù)據(jù)以及社會(huì)數(shù)據(jù)通過(guò)棗莊市一體化大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)匯聚治理的實(shí)施和管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件,僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T18391.1-2009信息技術(shù)元數(shù)據(jù)注冊(cè)系統(tǒng)(MDR)第1部分：框架GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T35273-2020信息安全技術(shù)個(gè)人信息安全規(guī)范GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)GB/T38664.1-2020信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開(kāi)放共享第1部分：總則GB/T38664.2-2020信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開(kāi)放共享第2部分：基本要求GB/T39477-2020信息安全技術(shù)政務(wù)信息共享數(shù)據(jù)安全技術(shù)要求DB37/T4646.1-2023公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第1部分：數(shù)據(jù)歸集3術(shù)語(yǔ)和定義GB/T35295-2017界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1政務(wù)數(shù)據(jù)各級(jí)政務(wù)部門(mén)及其技術(shù)支撐單位在履行職責(zé)過(guò)程中依法采集、生成、存儲(chǔ)、管理的各類(lèi)數(shù)據(jù)資源。注:根據(jù)可傳播范圍,政務(wù)數(shù)據(jù)一般包括可共享政務(wù)數(shù)據(jù)、可開(kāi)放公共數(shù)據(jù)及不宜開(kāi)放共享政務(wù)數(shù)據(jù)。[來(lái)源:GB/T38664.1-2020，3.1]3.2數(shù)據(jù)匯聚大數(shù)據(jù)業(yè)務(wù)主管部門(mén)根據(jù)數(shù)據(jù)管理和共享服務(wù)需求采集各類(lèi)數(shù)據(jù)資源的活動(dòng)。3.3數(shù)據(jù)治理數(shù)據(jù)資源及其應(yīng)用過(guò)程中相關(guān)管控活動(dòng)、績(jī)效和風(fēng)險(xiǎn)管理的集合。2DB3704/T0041-2024[來(lái)源:GB/T34960.5-2018，3.1]3.4數(shù)據(jù)管理數(shù)據(jù)資源獲取、控制、價(jià)值提升等活動(dòng)的集合。[來(lái)源:GB/T34960.5-2018，3.2]3.5元數(shù)據(jù)定義和描述其他數(shù)據(jù)的數(shù)據(jù)。[來(lái)源:GB/T18391.1-2009，3.2.16]3.6數(shù)據(jù)生命周期數(shù)據(jù)獲取、存儲(chǔ)、治理、整合、分析、應(yīng)用、歸檔和銷(xiāo)毀等各種生存形態(tài)變化的過(guò)程。3.7數(shù)據(jù)提供方在數(shù)據(jù)資源匯聚、治理、應(yīng)用過(guò)程中，提供數(shù)據(jù)資源的數(shù)據(jù)權(quán)屬單位。3.8數(shù)據(jù)需求方在數(shù)據(jù)資源共享開(kāi)放和應(yīng)用過(guò)程中，提出使用需求或者申請(qǐng)使用數(shù)據(jù)的單位。4總體要求本標(biāo)準(zhǔn)針對(duì)一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚治理提出要求，總體上應(yīng)滿足以下要求：a)數(shù)據(jù)匯聚治理安全應(yīng)符合GB/T38664.2-2020的要求。b)應(yīng)根據(jù)數(shù)據(jù)不同的業(yè)務(wù)更新周期建立高速及時(shí)的匯聚通道，確保數(shù)據(jù)的及時(shí)性。c)應(yīng)記錄并保留匯聚治理過(guò)程中歷史數(shù)據(jù)的變化和移動(dòng)情況，確保數(shù)據(jù)生命周期的可追溯性。d)數(shù)據(jù)匯聚治理過(guò)程中不應(yīng)造成數(shù)據(jù)的缺失和遺漏，確保數(shù)據(jù)的完整性。e)應(yīng)如實(shí)準(zhǔn)確的處理數(shù)據(jù)，不應(yīng)虛構(gòu)或篡改數(shù)據(jù)，應(yīng)準(zhǔn)確記錄數(shù)據(jù)不應(yīng)存在異?；蝈e(cuò)誤數(shù)據(jù)，確保數(shù)據(jù)的準(zhǔn)確性。f)應(yīng)依據(jù)國(guó)家、行業(yè)或地方數(shù)據(jù)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行治理，確保數(shù)據(jù)治理的規(guī)范性。5總體架構(gòu)棗莊市數(shù)據(jù)匯聚治理的總體架構(gòu)分為三層，分為數(shù)源層、市級(jí)平臺(tái)層和省級(jí)樞紐層，數(shù)源層由各區(qū)縣節(jié)點(diǎn)和市直各部門(mén)提供政務(wù)數(shù)據(jù)資源，同時(shí)接入公共數(shù)據(jù)和社會(huì)數(shù)據(jù)，市級(jí)平臺(tái)依托棗莊市一體化大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)各類(lèi)數(shù)據(jù)資源的匯聚、通過(guò)數(shù)據(jù)治理實(shí)現(xiàn)數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量檢測(cè)形成數(shù)據(jù)資源庫(kù)，省級(jí)樞紐為上級(jí)平臺(tái)，市級(jí)平臺(tái)按照省級(jí)要求實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)的互聯(lián)互通。（總體框架見(jiàn)圖1）3DB3704/T0041-2024圖1數(shù)據(jù)匯聚治理總體構(gòu)圖6匯聚治理流程數(shù)據(jù)匯聚治理總體流程見(jiàn)圖2，流程包含以下內(nèi)容：a)將原始數(shù)據(jù)進(jìn)行數(shù)據(jù)匯聚并存放在一體化大數(shù)據(jù)平臺(tái)原始庫(kù)中；b)對(duì)原始庫(kù)數(shù)據(jù)進(jìn)行數(shù)據(jù)治理包括數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量檢測(cè)等，使其統(tǒng)一標(biāo)準(zhǔn)規(guī)范并且能夠滿足數(shù)據(jù)共享應(yīng)用的質(zhì)量要求，治理后的數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺(tái)標(biāo)準(zhǔn)庫(kù)中，對(duì)于數(shù)據(jù)治理過(guò)程中發(fā)現(xiàn)的問(wèn)題數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺(tái)問(wèn)題庫(kù)中，其中明確數(shù)據(jù)來(lái)源單位的問(wèn)題數(shù)據(jù)反饋回?cái)?shù)據(jù)源端，無(wú)法反饋的問(wèn)題數(shù)據(jù)根據(jù)業(yè)務(wù)要求進(jìn)行存儲(chǔ)或者銷(xiāo)毀；c)基于數(shù)據(jù)資源庫(kù)建設(shè)和數(shù)據(jù)創(chuàng)新應(yīng)用需求，從業(yè)務(wù)維度對(duì)標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，融合后的數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺(tái)主題庫(kù)中；d)當(dāng)原始數(shù)據(jù)發(fā)生更新時(shí)，應(yīng)依照數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)融合的步驟進(jìn)行數(shù)據(jù)處理；e)數(shù)據(jù)流轉(zhuǎn)各個(gè)環(huán)節(jié)能夠?qū)?shù)據(jù)進(jìn)行溯源。4DB3704/T0041-2024圖2數(shù)據(jù)匯聚治理流程7數(shù)據(jù)匯聚要求7.1數(shù)據(jù)匯聚范圍大數(shù)據(jù)業(yè)務(wù)主管部門(mén)應(yīng)基于數(shù)據(jù)資源管理和共享開(kāi)放的需求，按照“按需歸集，應(yīng)歸盡歸”的原則將各類(lèi)數(shù)據(jù)資源匯聚至市一體化大數(shù)據(jù)平臺(tái)。a)棗莊市一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚范圍應(yīng)包括政務(wù)數(shù)據(jù)、公共數(shù)據(jù)以及社會(huì)數(shù)據(jù)。b)公共數(shù)據(jù)匯聚應(yīng)符合DB37/T4646.1-2023的要求。7.2匯聚數(shù)據(jù)類(lèi)型a)采集數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)；b)接入形式包括數(shù)據(jù)庫(kù)表、文件、服務(wù)接口。7.2.1數(shù)據(jù)庫(kù)表匯聚a)為保證數(shù)據(jù)匯聚的準(zhǔn)確和及時(shí)，應(yīng)優(yōu)先采用庫(kù)表方式進(jìn)行匯聚。b)應(yīng)采用前置庫(kù)方式進(jìn)行數(shù)據(jù)匯聚，前置庫(kù)應(yīng)支持國(guó)產(chǎn)數(shù)據(jù)庫(kù)。c)前置數(shù)據(jù)庫(kù)字符編碼應(yīng)為UTF-8。d)數(shù)據(jù)提供方提供的業(yè)務(wù)數(shù)據(jù)表除業(yè)務(wù)字段外應(yīng)包含記錄ID、批次號(hào)、業(yè)務(wù)操作標(biāo)識(shí)、更新時(shí)間字段等擴(kuò)展信息,業(yè)務(wù)數(shù)據(jù)表的示例見(jiàn)A1.1。e)數(shù)據(jù)庫(kù)表名稱(chēng)應(yīng)規(guī)范統(tǒng)一，一般為“機(jī)構(gòu)簡(jiǎn)稱(chēng)首字母縮寫(xiě)+數(shù)據(jù)資源名稱(chēng)首字母縮寫(xiě)”，數(shù)據(jù)資源名稱(chēng)應(yīng)和數(shù)據(jù)資源目錄的數(shù)據(jù)資源名稱(chēng)保持一致。f)數(shù)據(jù)庫(kù)表字段應(yīng)與數(shù)據(jù)目錄的數(shù)據(jù)項(xiàng)保持一致，且必須設(shè)有主鍵字段，并在數(shù)據(jù)表庫(kù)中創(chuàng)建主鍵約束。5DB3704/T0041-2024g)數(shù)據(jù)庫(kù)表結(jié)構(gòu)應(yīng)保持穩(wěn)定，不應(yīng)隨意更改。h)數(shù)據(jù)提供方應(yīng)提供必要的字段說(shuō)明文檔和對(duì)應(yīng)的全部代碼表，確保所有數(shù)據(jù)內(nèi)容可被正確理解。i)數(shù)據(jù)提供方應(yīng)提供數(shù)據(jù)對(duì)賬表，包含數(shù)據(jù)條數(shù)等信息，一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)匯聚通過(guò)數(shù)據(jù)對(duì)賬保證數(shù)據(jù)無(wú)缺失和遺漏。7.2.2文件匯聚a)結(jié)構(gòu)化文件格式包括CSV、TXT、XLS、XLSX等，非結(jié)構(gòu)化文件格式包括PDF、DOC、DOCX、WPS、ZIP以及圖片、音頻、視頻等資源的常用格式。CSV、XLS、XLSX的首行數(shù)據(jù)應(yīng)為列名，字符編碼應(yīng)為UTF-8且不應(yīng)存在特殊字符。b)文件傳輸方式可采用FTP、SFTP等。c)應(yīng)設(shè)置文件大小閾值，文件超出閾值應(yīng)拆分為多個(gè)小文件。d)文件名稱(chēng)應(yīng)規(guī)范統(tǒng)一，應(yīng)與數(shù)據(jù)目錄的數(shù)據(jù)資源名稱(chēng)保持一致。e)文件的存儲(chǔ)路徑應(yīng)規(guī)范統(tǒng)一，可根據(jù)更新的頻度和檢索效率建立子文件夾，不應(yīng)隨意更改路徑。f)特殊類(lèi)文件應(yīng)提供必要的說(shuō)明文檔，確保所有文件內(nèi)容可被正確理解。g)結(jié)構(gòu)化文件中除業(yè)務(wù)字段外,應(yīng)包含記錄ID、批次號(hào)、業(yè)務(wù)操作標(biāo)識(shí)和更新時(shí)間等字段。h)數(shù)據(jù)提供方應(yīng)提供文件對(duì)賬表，明確所匯聚電子文件包含的內(nèi)容和數(shù)量等信息。7.2.3服務(wù)接口匯聚a)服務(wù)接口資源采用Schema架構(gòu)說(shuō)明的標(biāo)準(zhǔn)XML文件方式進(jìn)行描述，其中編碼方式為UTF-8，服務(wù)接口示例見(jiàn)A.1.1。b)服務(wù)接口主要分為增刪改類(lèi)數(shù)據(jù)服務(wù)接口和只增類(lèi)數(shù)據(jù)服務(wù)接口。c)通過(guò)服務(wù)接口匯聚，數(shù)據(jù)提供方應(yīng)提供詳細(xì)的數(shù)據(jù)接口服務(wù)說(shuō)明文檔。d)一個(gè)數(shù)據(jù)接口服務(wù)一般應(yīng)且只對(duì)應(yīng)一項(xiàng)數(shù)據(jù)資源。e)服務(wù)應(yīng)是無(wú)狀態(tài)的，兩次請(qǐng)求之間無(wú)須狀態(tài)和會(huì)話的保持。f)服務(wù)地址和參數(shù)不應(yīng)隨意變更。7.3數(shù)據(jù)對(duì)賬要求a)數(shù)據(jù)資源提供方應(yīng)對(duì)各類(lèi)數(shù)據(jù)資源匯聚時(shí)提供對(duì)賬表，明確所匯聚資源的數(shù)量和內(nèi)容等信息，數(shù)據(jù)對(duì)賬表示例見(jiàn)A1.1.3.b)一體化大數(shù)據(jù)平臺(tái)匯聚任務(wù)完成后應(yīng)根據(jù)對(duì)賬表對(duì)已匯聚數(shù)據(jù)進(jìn)行核對(duì)，確保數(shù)據(jù)提供方提供的數(shù)據(jù)與已匯聚的數(shù)據(jù)保持一致。c)數(shù)據(jù)對(duì)賬出現(xiàn)異常，應(yīng)及時(shí)進(jìn)行數(shù)據(jù)匯聚任務(wù)核查并進(jìn)行糾正，保證數(shù)據(jù)無(wú)重復(fù)無(wú)遺漏。7.4數(shù)據(jù)更新要求7.4.1更新方法a)對(duì)存在更新標(biāo)識(shí)的數(shù)據(jù)應(yīng)支持增量更新。b)對(duì)不存在更新標(biāo)識(shí)的數(shù)據(jù)應(yīng)支持全量更新。7.4.2更新策略a)對(duì)產(chǎn)生呈現(xiàn)周期性規(guī)律的數(shù)據(jù)應(yīng)支持定時(shí)更新策略。6DB3704/T0041-2024b)對(duì)產(chǎn)生由特定事件觸發(fā)的數(shù)據(jù)應(yīng)支持事件觸發(fā)更新策略。c)對(duì)產(chǎn)生無(wú)特定規(guī)律的數(shù)據(jù)應(yīng)支持手動(dòng)更新策略。7.4.3更新頻率a)根據(jù)數(shù)據(jù)變化情況，數(shù)據(jù)應(yīng)進(jìn)行及時(shí)和持續(xù)更新。b)實(shí)時(shí)產(chǎn)生且實(shí)時(shí)性要求高的數(shù)據(jù)應(yīng)進(jìn)行實(shí)時(shí)更新。c)實(shí)時(shí)產(chǎn)生且實(shí)時(shí)性要求低的數(shù)據(jù)應(yīng)采用定時(shí)更新。8數(shù)據(jù)治理要求8.1數(shù)據(jù)治理規(guī)劃數(shù)據(jù)治理規(guī)劃的基本內(nèi)容包括但不限于：a)建立一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理規(guī)劃組織架構(gòu)，明確數(shù)據(jù)治理管理制度和職責(zé)。b)開(kāi)展需求調(diào)研，調(diào)研一體化大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理現(xiàn)狀、治理環(huán)境，明確數(shù)據(jù)治理需求和目標(biāo)，形成數(shù)據(jù)治理需求調(diào)研報(bào)告。c)進(jìn)行需求分析，對(duì)數(shù)據(jù)治理調(diào)研結(jié)果進(jìn)行分析，梳理數(shù)據(jù)治理需求，包括數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)關(guān)系、業(yè)務(wù)視圖、技術(shù)視圖、數(shù)據(jù)分類(lèi)分級(jí)等，確認(rèn)影響業(yè)務(wù)的關(guān)鍵數(shù)據(jù)指標(biāo)，分析關(guān)鍵業(yè)務(wù)的數(shù)據(jù)質(zhì)量，形成數(shù)據(jù)治理需求分析報(bào)告。d)設(shè)計(jì)治理規(guī)劃，根據(jù)數(shù)據(jù)治理需求開(kāi)展數(shù)據(jù)治理規(guī)劃，包括數(shù)據(jù)治理戰(zhàn)略、制度、組織、標(biāo)準(zhǔn)、流程和技術(shù)架構(gòu)等，形成數(shù)據(jù)治理規(guī)劃方案。8.2數(shù)據(jù)治理實(shí)施數(shù)據(jù)治理的實(shí)施包括但不限于數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量檢測(cè)、問(wèn)題數(shù)據(jù)處理。8.2.1數(shù)據(jù)標(biāo)準(zhǔn)管理a)大數(shù)據(jù)業(yè)務(wù)主管部門(mén)結(jié)合棗莊市實(shí)際，統(tǒng)籌管理?xiàng)椙f市數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范。b)一體化大數(shù)據(jù)平臺(tái)應(yīng)能與省級(jí)樞紐對(duì)接獲取省級(jí)管理的標(biāo)準(zhǔn)規(guī)范。c)應(yīng)根據(jù)相關(guān)國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)，按照“一數(shù)一標(biāo)準(zhǔn)”原則規(guī)范數(shù)據(jù)資源管理工作。d)應(yīng)基于標(biāo)準(zhǔn)規(guī)范中對(duì)數(shù)據(jù)元的規(guī)范要求建立數(shù)據(jù)治理規(guī)則，對(duì)數(shù)據(jù)資源進(jìn)行治理實(shí)施和處8.2.2元數(shù)據(jù)管理a)應(yīng)根據(jù)元數(shù)據(jù)的管理范圍構(gòu)建元數(shù)據(jù)庫(kù)。b)應(yīng)建立元數(shù)據(jù)管理體系，保障采集數(shù)據(jù)的質(zhì)量。c)建立元數(shù)據(jù)創(chuàng)建、維護(hù)、整合、存儲(chǔ)、分發(fā)、查詢、報(bào)告和分析機(jī)制。d)應(yīng)根據(jù)法律和政策要求，負(fù)責(zé)觸發(fā)數(shù)據(jù)或數(shù)據(jù)集的可訪問(wèn)更新。e)應(yīng)提供元數(shù)據(jù)的生存周期管理能力。8.2.3數(shù)據(jù)清洗a)制定數(shù)據(jù)過(guò)濾策略，應(yīng)對(duì)確定的無(wú)效數(shù)據(jù)、干擾數(shù)據(jù)進(jìn)行數(shù)據(jù)過(guò)濾操作。7DB3704/T0041-2024b)根據(jù)數(shù)據(jù)相關(guān)業(yè)務(wù)的合理性，應(yīng)設(shè)置重復(fù)數(shù)據(jù)判定規(guī)則，基于唯一標(biāo)識(shí)符或者關(guān)鍵字段進(jìn)行判斷，去除數(shù)據(jù)集中重復(fù)記錄。c)對(duì)于來(lái)源于不同層級(jí)、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存在數(shù)據(jù)格式和數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)標(biāo)準(zhǔn)時(shí)，應(yīng)對(duì)數(shù)據(jù)資源進(jìn)行數(shù)據(jù)關(guān)系梳理，確定數(shù)據(jù)資源整體的統(tǒng)一數(shù)據(jù)視圖；根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)轉(zhuǎn)換與加載，包括但不限于代碼轉(zhuǎn)換、從前往后截?cái)?、從后往前截?cái)?、日期格式轉(zhuǎn)換、時(shí)間格式轉(zhuǎn)換、IP地址轉(zhuǎn)換、身份證號(hào)碼歸一化、手機(jī)號(hào)碼歸一化、MAC地址轉(zhuǎn)換、全角數(shù)據(jù)轉(zhuǎn)換為半角數(shù)據(jù)、繁體字符轉(zhuǎn)換為簡(jiǎn)體字符等。d)對(duì)于數(shù)據(jù)資源目錄要求必填項(xiàng)目進(jìn)行檢驗(yàn)，對(duì)于關(guān)鍵字段缺失的情況，查找源頭數(shù)據(jù)填充缺失值，將數(shù)據(jù)對(duì)已有權(quán)威信息的值進(jìn)行識(shí)別，與數(shù)源部門(mén)確認(rèn)數(shù)據(jù)補(bǔ)全的規(guī)則后進(jìn)行補(bǔ)全。8.2.4數(shù)據(jù)質(zhì)量檢測(cè)a)數(shù)據(jù)提供方應(yīng)規(guī)范數(shù)據(jù)生產(chǎn)，在數(shù)據(jù)匯聚前依據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范完成數(shù)據(jù)質(zhì)量自查。b)對(duì)于匯聚到市一體化大數(shù)據(jù)平臺(tái)的數(shù)據(jù)應(yīng)建立數(shù)據(jù)質(zhì)量檢測(cè)機(jī)制，依據(jù)標(biāo)準(zhǔn)規(guī)范進(jìn)行全量數(shù)據(jù)質(zhì)量檢測(cè)。c)市一體化大數(shù)據(jù)平臺(tái)應(yīng)具備質(zhì)量檢測(cè)的相關(guān)功能，確保質(zhì)量規(guī)則的應(yīng)用。d)對(duì)于多來(lái)源的相同業(yè)務(wù)數(shù)據(jù)，應(yīng)進(jìn)行多源數(shù)據(jù)校核。e)數(shù)據(jù)質(zhì)量檢測(cè)的結(jié)果應(yīng)按照總體情況、數(shù)據(jù)提供方、數(shù)據(jù)資源等各維度形成質(zhì)量分析報(bào)告，并根據(jù)數(shù)據(jù)匯聚更新情況定期生成。f)數(shù)據(jù)質(zhì)量檢測(cè)應(yīng)根據(jù)數(shù)據(jù)不斷匯聚定期探查數(shù)據(jù)資源變化及時(shí)更新和優(yōu)化檢測(cè)規(guī)則。8.2.5問(wèn)題數(shù)據(jù)處理問(wèn)題數(shù)據(jù)處理流程見(jiàn)圖3，流程包含以下內(nèi)容：a)數(shù)據(jù)治理過(guò)程中會(huì)產(chǎn)生按照規(guī)則不能處理的、不符合條件的各種數(shù)據(jù)，應(yīng)將問(wèn)題數(shù)據(jù)進(jìn)行存儲(chǔ)并根據(jù)治理的實(shí)施不斷更新。b)應(yīng)按照問(wèn)題數(shù)據(jù)的來(lái)源單位及時(shí)將數(shù)據(jù)推送至數(shù)據(jù)提供方，并督促其核查完善。c)數(shù)據(jù)提供方接收到問(wèn)題數(shù)據(jù)后，應(yīng)及時(shí)進(jìn)行修正并作為更新數(shù)據(jù)再次匯聚，形成閉環(huán)處置流程。d)通過(guò)數(shù)據(jù)質(zhì)量問(wèn)題及其相關(guān)處理經(jīng)驗(yàn)的匯總、分析，逐步積累形成包含數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則、質(zhì)量問(wèn)題描述、針對(duì)性解決方案的數(shù)據(jù)質(zhì)量知識(shí)庫(kù)。圖3問(wèn)題數(shù)據(jù)處理流程8DB3704/T0041-20248.2.6數(shù)據(jù)治理結(jié)果評(píng)價(jià)a)應(yīng)建立評(píng)價(jià)指標(biāo)體系，明確評(píng)價(jià)范圍、依據(jù)標(biāo)準(zhǔn)，根據(jù)不同周期、數(shù)據(jù)管理目標(biāo)對(duì)評(píng)價(jià)指標(biāo)進(jìn)行適當(dāng)調(diào)整，對(duì)數(shù)據(jù)治理結(jié)果進(jìn)行綜合評(píng)價(jià)；b)數(shù)據(jù)治理結(jié)果評(píng)價(jià)應(yīng)圍繞數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全兩部分進(jìn)行；數(shù)據(jù)質(zhì)量評(píng)價(jià)維度包含完整性、準(zhǔn)確性、規(guī)范性、一致性、時(shí)效性與可訪問(wèn)性六個(gè)維度，六個(gè)維度應(yīng)符合GB/T36344的規(guī)定，數(shù)據(jù)安全評(píng)價(jià)維度應(yīng)包含數(shù)據(jù)采集安全、數(shù)據(jù)傳輸安全、數(shù)據(jù)存儲(chǔ)安全、數(shù)據(jù)處理安全、數(shù)據(jù)交換安全、數(shù)據(jù)銷(xiāo)毀安全六個(gè)維度。c)數(shù)據(jù)資源在提供數(shù)據(jù)服務(wù)和應(yīng)用中，應(yīng)根據(jù)服務(wù)的內(nèi)容、應(yīng)用的方向等不同場(chǎng)景，對(duì)所需的治理結(jié)果評(píng)價(jià)體系進(jìn)行適當(dāng)調(diào)整。9數(shù)據(jù)安全保護(hù)要求a)數(shù)據(jù)安全要求應(yīng)符合GB/T39477-2020的要求。b)數(shù)據(jù)匯聚治理安全應(yīng)符合GB/T22239-2019中等級(jí)保護(hù)三級(jí)的要求。c)個(gè)人信息安全應(yīng)符合GB/T35273-2020要求。d)對(duì)數(shù)據(jù)匯聚治理過(guò)程進(jìn)行有針對(duì)性的保護(hù)，個(gè)人信息、敏感數(shù)據(jù)和重要數(shù)據(jù)應(yīng)加強(qiáng)安全管控措施。9數(shù)