DB3704T 0041-2024 一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范

DB3704/T0041-202ICS35.020CCSL80DB3704/T0041-202

DB37044棗 莊 市 地 方 標(biāo) 準(zhǔn)DB3704/T0041-2024一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范2024-03-27發(fā)布 2024-04-27實施棗莊市市場監(jiān)督管理局?發(fā)布DB3704/T0041-2024DB3704/T0041-2024II目 次前??言 II一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范 1范圍 1規(guī)范性引用文件 1術(shù)語和定義 1總體要求 2總體架構(gòu) 2匯聚治理流程 3數(shù)據(jù)匯聚要求 4數(shù)據(jù)治理要求 6數(shù)據(jù)安全保護要求 8附 錄 A （資料性） 9DB3704/T0041-2024DB3704/T0041-2024IIII前??言GB/T1.1-20201本文件起草單位：棗莊市大數(shù)據(jù)中心、浪潮云信息技術(shù)股份公司。DB3704/T0041-2024DB3704/T0041-2024PAGEPAGE1一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理規(guī)范范圍本文件規(guī)定了一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚和治理的總體架構(gòu)、總體要求、匯聚治理流程、數(shù)據(jù)匯聚要求、數(shù)據(jù)治理要求和數(shù)據(jù)安全保護要求。本文件適用政務(wù)數(shù)據(jù)、公共數(shù)據(jù)以及社會數(shù)據(jù)通過棗莊市一體化大數(shù)據(jù)平臺進行數(shù)據(jù)匯聚治理的實施和管理。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件,僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T18391.1-2009 信息技術(shù)元數(shù)據(jù)注冊系統(tǒng)(MDR)第1部分：框架GB/T22239-2019 信息安全技術(shù)網(wǎng)絡(luò)安全等級保護基本要求GB/T34960.5-2018 信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T35273-2020 信息安全技術(shù)個人信息安全規(guī)范GB/T35295-2017 信息技術(shù)大數(shù)據(jù)術(shù)GB/T36344 信息技術(shù)數(shù)據(jù)質(zhì)量評價指GB/T38664.1-2020 信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開放共享第1部分：總則GB/T38664.2-2020 信息技術(shù)大數(shù)據(jù)政務(wù)數(shù)據(jù)開放共享第2部分：基本要求GB/T39477-2020 信息安全技術(shù)政務(wù)信息共享數(shù)據(jù)安全技術(shù)要求DB37/T4646.1-2023 1部分：數(shù)據(jù)歸集術(shù)語和定義GB/T35295-2017界定的以及下列術(shù)語和定義適用于本文件。政務(wù)數(shù)據(jù)各級政務(wù)部門及其技術(shù)支撐單位在履行職責(zé)過程中依法采集、生成、存儲、管理的各類數(shù)據(jù)資源。[來源:GB/T38664.1-2020，3.1]數(shù)據(jù)匯聚大數(shù)據(jù)業(yè)務(wù)主管部門根據(jù)數(shù)據(jù)管理和共享服務(wù)需求采集各類數(shù)據(jù)資源的活動。數(shù)據(jù)治理數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動、績效和風(fēng)險管理的集合。[來源:GB/T34960.5-2018，3.1]數(shù)據(jù)管理數(shù)據(jù)資源獲取、控制、價值提升等活動的集合。[來源:GB/T34960.5-2018，3.2]元數(shù)據(jù)定義和描述其他數(shù)據(jù)的數(shù)據(jù)。[來源:GB/T18391.1-2009，3.2.16]數(shù)據(jù)生命周期數(shù)據(jù)獲取、存儲、治理、整合、分析、應(yīng)用、歸檔和銷毀等各種生存形態(tài)變化的過程。數(shù)據(jù)提供方在數(shù)據(jù)資源匯聚、治理、應(yīng)用過程中，提供數(shù)據(jù)資源的數(shù)據(jù)權(quán)屬單位。數(shù)據(jù)需求方在數(shù)據(jù)資源共享開放和應(yīng)用過程中，提出使用需求或者申請使用數(shù)據(jù)的單位。總體要求本標(biāo)準(zhǔn)針對一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚治理提出要求，總體上應(yīng)滿足以下要求：GB/T38664.2-2020應(yīng)根據(jù)數(shù)據(jù)不同的業(yè)務(wù)更新周期建立高速及時的匯聚通道，確保數(shù)據(jù)的及時性。數(shù)據(jù)匯聚治理過程中不應(yīng)造成數(shù)據(jù)的缺失和遺漏，確保數(shù)據(jù)的完整性。應(yīng)依據(jù)國家、行業(yè)或地方數(shù)據(jù)標(biāo)準(zhǔn)對數(shù)據(jù)進行治理，確保數(shù)據(jù)治理的規(guī)范性?？傮w架構(gòu)棗莊市數(shù)據(jù)匯聚治理的總體架構(gòu)分為三層，分為數(shù)源層、市級平臺層和省級樞紐層，數(shù)源層由各區(qū)縣節(jié)點和市直各部門提供政務(wù)數(shù)據(jù)資源，同時接入公共數(shù)據(jù)和社會數(shù)據(jù)，市級平臺依托棗莊市一體化大數(shù)據(jù)平臺實現(xiàn)各類數(shù)據(jù)資源的匯聚、通過數(shù)據(jù)治理實現(xiàn)數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量檢測形成數(shù)據(jù)資源庫，省級樞紐為上級平臺，市級平臺按照省級要求實現(xiàn)數(shù)據(jù)業(yè)務(wù)的互聯(lián)互通。（總體框架見圖1）圖1 數(shù)據(jù)匯聚治理總體構(gòu)圖匯聚治理流程數(shù)據(jù)匯聚治理總體流程見圖2，流程包含以下內(nèi)容：將原始數(shù)據(jù)進行數(shù)據(jù)匯聚并存放在一體化大數(shù)據(jù)平臺原始庫中；對原始庫數(shù)據(jù)進行數(shù)據(jù)治理包括數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量檢測等，使其統(tǒng)一標(biāo)準(zhǔn)規(guī)范并且能夠滿足數(shù)據(jù)共享應(yīng)用的質(zhì)量要求，治理后的數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺標(biāo)準(zhǔn)庫中，對于數(shù)據(jù)治理過程中發(fā)現(xiàn)的問題數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺問題庫中，其中明確數(shù)據(jù)來源單位的問題數(shù)據(jù)反饋回數(shù)據(jù)源端，無法反饋的問題數(shù)據(jù)根據(jù)業(yè)務(wù)要求進行存儲或者銷毀；基于數(shù)據(jù)資源庫建設(shè)和數(shù)據(jù)創(chuàng)新應(yīng)用需求，從業(yè)務(wù)維度對標(biāo)準(zhǔn)數(shù)據(jù)進行數(shù)據(jù)融合，融合后的數(shù)據(jù)存放在一體化大數(shù)據(jù)平臺主題庫中；當(dāng)原始數(shù)據(jù)發(fā)生更新時，應(yīng)依照數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)融合的步驟進行數(shù)據(jù)處理；數(shù)據(jù)流轉(zhuǎn)各個環(huán)節(jié)能夠?qū)?shù)據(jù)進行溯源。圖2 數(shù)據(jù)匯聚治理流程數(shù)據(jù)匯聚要求數(shù)據(jù)匯聚范圍大數(shù)據(jù)業(yè)務(wù)主管部門應(yīng)基于數(shù)據(jù)資源管理和共享開放的需求，按照“按需歸集，應(yīng)歸盡歸”的原則將各類數(shù)據(jù)資源匯聚至市一體化大數(shù)據(jù)平臺。棗莊市一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚范圍應(yīng)包括政務(wù)數(shù)據(jù)、公共數(shù)據(jù)以及社會數(shù)據(jù)。DB37/T4646.1-2023匯聚數(shù)據(jù)類型采集數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)；接入形式包括數(shù)據(jù)庫表、文件、服務(wù)接口。數(shù)據(jù)庫表匯聚為保證數(shù)據(jù)匯聚的準(zhǔn)確和及時，應(yīng)優(yōu)先采用庫表方式進行匯聚。應(yīng)采用前置庫方式進行數(shù)據(jù)匯聚，前置庫應(yīng)支持國產(chǎn)數(shù)據(jù)庫。UTF-8。IDA1.1。數(shù)據(jù)庫表字段應(yīng)與數(shù)據(jù)目錄的數(shù)據(jù)項保持一致，且必須設(shè)有主鍵字段，并在數(shù)據(jù)表庫中創(chuàng)建主鍵約束。數(shù)據(jù)庫表結(jié)構(gòu)應(yīng)保持穩(wěn)定，不應(yīng)隨意更改。數(shù)據(jù)提供方應(yīng)提供必要的字段說明文檔和對應(yīng)的全部代碼表，確保所有數(shù)據(jù)內(nèi)容可被正確理解。數(shù)據(jù)提供方應(yīng)提供數(shù)據(jù)對賬表，包含數(shù)據(jù)條數(shù)等信息，一體化大數(shù)據(jù)平臺數(shù)據(jù)匯聚通過數(shù)據(jù)對賬保證數(shù)據(jù)無缺失和遺漏。文件匯聚CSV、TXT、XLS、XLSXPDF、DOC、DOCX、WPSZIPCSVXLSXLSXUTF-8FTP、SFTP應(yīng)設(shè)置文件大小閾值，文件超出閾值應(yīng)拆分為多個小文件。文件名稱應(yīng)規(guī)范統(tǒng)一，應(yīng)與數(shù)據(jù)目錄的數(shù)據(jù)資源名稱保持一致。文件的存儲路徑應(yīng)規(guī)范統(tǒng)一，可根據(jù)更新的頻度和檢索效率建立子文件夾，不應(yīng)隨意更改路徑。特殊類文件應(yīng)提供必要的說明文檔，確保所有文件內(nèi)容可被正確理解。ID、批次號、業(yè)務(wù)操作標(biāo)識和更新時間等字段。數(shù)據(jù)提供方應(yīng)提供文件對賬表，明確所匯聚電子文件包含的內(nèi)容和數(shù)量等信息。服務(wù)接口匯聚服務(wù)接口資源采用SchemaXMLUTF-8，A.1.1。服務(wù)接口主要分為增刪改類數(shù)據(jù)服務(wù)接口和只增類數(shù)據(jù)服務(wù)接口。通過服務(wù)接口匯聚，數(shù)據(jù)提供方應(yīng)提供詳細(xì)的數(shù)據(jù)接口服務(wù)說明文檔。一個數(shù)據(jù)接口服務(wù)一般應(yīng)且只對應(yīng)一項數(shù)據(jù)資源。服務(wù)應(yīng)是無狀態(tài)的，兩次請求之間無須狀態(tài)和會話的保持。服務(wù)地址和參數(shù)不應(yīng)隨意變更。數(shù)據(jù)對賬要求數(shù)據(jù)資源提供方應(yīng)對各類數(shù)據(jù)資源匯聚時提供對賬表，明確所匯聚資源的數(shù)量和內(nèi)容等信A1.1.3.一體化大數(shù)據(jù)平臺匯聚任務(wù)完成后應(yīng)根據(jù)對賬表對已匯聚數(shù)據(jù)進行核對，確保數(shù)據(jù)提供方提供的數(shù)據(jù)與已匯聚的數(shù)據(jù)保持一致。數(shù)據(jù)對賬出現(xiàn)異常，應(yīng)及時進行數(shù)據(jù)匯聚任務(wù)核查并進行糾正，保證數(shù)據(jù)無重復(fù)無遺漏。數(shù)據(jù)更新要求更新方法對存在更新標(biāo)識的數(shù)據(jù)應(yīng)支持增量更新。對不存在更新標(biāo)識的數(shù)據(jù)應(yīng)支持全量更新。更新策略對產(chǎn)生呈現(xiàn)周期性規(guī)律的數(shù)據(jù)應(yīng)支持定時更新策略。對產(chǎn)生由特定事件觸發(fā)的數(shù)據(jù)應(yīng)支持事件觸發(fā)更新策略。對產(chǎn)生無特定規(guī)律的數(shù)據(jù)應(yīng)支持手動更新策略。更新頻率根據(jù)數(shù)據(jù)變化情況，數(shù)據(jù)應(yīng)進行及時和持續(xù)更新。實時產(chǎn)生且實時性要求高的數(shù)據(jù)應(yīng)進行實時更新。實時產(chǎn)生且實時性要求低的數(shù)據(jù)應(yīng)采用定時更新。數(shù)據(jù)治理要求數(shù)據(jù)治理規(guī)劃數(shù)據(jù)治理規(guī)劃的基本內(nèi)容包括但不限于：建立一體化大數(shù)據(jù)平臺數(shù)據(jù)治理規(guī)劃組織架構(gòu)，明確數(shù)據(jù)治理管理制度和職責(zé)。開展需求調(diào)研，調(diào)研一體化大數(shù)據(jù)平臺數(shù)據(jù)治理現(xiàn)狀、治理環(huán)境，明確數(shù)據(jù)治理需求和目標(biāo)，形成數(shù)據(jù)治理需求調(diào)研報告。進行需求分析，對數(shù)據(jù)治理調(diào)研結(jié)果進行分析，梳理數(shù)據(jù)治理需求，包括數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)關(guān)系、業(yè)務(wù)視圖、技術(shù)視圖、數(shù)據(jù)分類分級等，確認(rèn)影響業(yè)務(wù)的關(guān)鍵數(shù)據(jù)指標(biāo)，分析關(guān)鍵業(yè)務(wù)的數(shù)據(jù)質(zhì)量，形成數(shù)據(jù)治理需求分析報告。設(shè)計治理規(guī)劃，根據(jù)數(shù)據(jù)治理需求開展數(shù)據(jù)治理規(guī)劃，包括數(shù)據(jù)治理戰(zhàn)略、制度、組織、標(biāo)準(zhǔn)、流程和技術(shù)架構(gòu)等，形成數(shù)據(jù)治理規(guī)劃方案。數(shù)據(jù)治理實施數(shù)據(jù)治理的實施包括但不限于數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量檢測、問題數(shù)據(jù)處理。數(shù)據(jù)標(biāo)準(zhǔn)管理大數(shù)據(jù)業(yè)務(wù)主管部門結(jié)合棗莊市實際，統(tǒng)籌管理棗莊市數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范。一體化大數(shù)據(jù)平臺應(yīng)能與省級樞紐對接獲取省級管理的標(biāo)準(zhǔn)規(guī)范。應(yīng)根據(jù)相關(guān)國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)，按照“一數(shù)一標(biāo)準(zhǔn)”原則規(guī)范數(shù)據(jù)資源管理工作。應(yīng)基于標(biāo)準(zhǔn)規(guī)范中對數(shù)據(jù)元的規(guī)范要求建立數(shù)據(jù)治理規(guī)則，對數(shù)據(jù)資源進行治理實施和處理。元數(shù)據(jù)管理應(yīng)根據(jù)元數(shù)據(jù)的管理范圍構(gòu)建元數(shù)據(jù)庫。應(yīng)建立元數(shù)據(jù)管理體系，保障采集數(shù)據(jù)的質(zhì)量。建立元數(shù)據(jù)創(chuàng)建、維護、整合、存儲、分發(fā)、查詢、報告和分析機制。應(yīng)根據(jù)法律和政策要求，負(fù)責(zé)觸發(fā)數(shù)據(jù)或數(shù)據(jù)集的可訪問更新。應(yīng)提供元數(shù)據(jù)的生存周期管理能力。數(shù)據(jù)清洗制定數(shù)據(jù)過濾策略，應(yīng)對確定的無效數(shù)據(jù)、干擾數(shù)據(jù)進行數(shù)據(jù)過濾操作。根據(jù)數(shù)據(jù)相關(guān)業(yè)務(wù)的合理性，應(yīng)設(shè)置重復(fù)數(shù)據(jù)判定規(guī)則，基于唯一標(biāo)識符或者關(guān)鍵字段進行判斷，去除數(shù)據(jù)集中重復(fù)記錄。對于來源于不同層級、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存在數(shù)據(jù)格式和數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)標(biāo)準(zhǔn)時，應(yīng)對數(shù)據(jù)資源進行數(shù)據(jù)關(guān)系梳理，確定數(shù)據(jù)資源整體的統(tǒng)一數(shù)據(jù)視圖；根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)進行數(shù)據(jù)轉(zhuǎn)換與加載，包括但不限于代碼轉(zhuǎn)換、從前往后截斷、從后往前截斷、日期格式轉(zhuǎn)換、時間格式轉(zhuǎn)換、IPMAC對于數(shù)據(jù)資源目錄要求必填項目進行檢驗，對于關(guān)鍵字段缺失的情況，查找源頭數(shù)據(jù)填充缺失值，將數(shù)據(jù)對已有權(quán)威信息的值進行識別，與數(shù)源部門確認(rèn)數(shù)據(jù)補全的規(guī)則后進行補全。數(shù)據(jù)質(zhì)量檢測數(shù)據(jù)提供方應(yīng)規(guī)范數(shù)據(jù)生產(chǎn)，在數(shù)據(jù)匯聚前依據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范完成數(shù)據(jù)質(zhì)量自查。對于匯聚到市一體化大數(shù)據(jù)平臺的數(shù)據(jù)應(yīng)建立數(shù)據(jù)質(zhì)量檢測機制，依據(jù)標(biāo)準(zhǔn)規(guī)范進行全量數(shù)據(jù)質(zhì)量檢測。市一體化大數(shù)據(jù)平臺應(yīng)具備質(zhì)量檢測的相關(guān)功能，確保質(zhì)量規(guī)則的應(yīng)用。對于多來源的相同業(yè)務(wù)數(shù)據(jù)，應(yīng)進行多源數(shù)據(jù)校核。數(shù)據(jù)質(zhì)量檢測應(yīng)根據(jù)數(shù)據(jù)不斷匯聚定期探查數(shù)據(jù)資源變化及時更新和優(yōu)化檢測規(guī)則。問題數(shù)據(jù)處理問題數(shù)據(jù)處理流程見圖3，流程包含以下內(nèi)容：數(shù)據(jù)治理過程中會產(chǎn)生按照規(guī)則不能處理的、不符合條件的各種數(shù)據(jù)，應(yīng)將問題數(shù)據(jù)進行存儲并根據(jù)治理的實施不斷更新。應(yīng)按照問題數(shù)據(jù)的來源單位及時將數(shù)據(jù)推送至數(shù)據(jù)提供方，并督促其核查完善。數(shù)據(jù)提供方接收到問題數(shù)據(jù)后，應(yīng)及時進行修正并作為更新數(shù)據(jù)再次匯聚，形成閉環(huán)處置流程。圖3 問題數(shù)據(jù)處理流程數(shù)據(jù)治理結(jié)果評價應(yīng)建立評價指標(biāo)體系，明確評價范圍、依據(jù)標(biāo)準(zhǔn)，根據(jù)不同周期、數(shù)據(jù)管理目標(biāo)對評價指標(biāo)進行適當(dāng)調(diào)整，對數(shù)據(jù)治理結(jié)果進行綜合評價；GB/T36344數(shù)據(jù)資源在提供數(shù)據(jù)服務(wù)和應(yīng)用中，應(yīng)根據(jù)服務(wù)的內(nèi)容、應(yīng)用的方向等不同場景，對所需的治理結(jié)果評價體系進行適當(dāng)調(diào)整。數(shù)據(jù)安全保護要求GB/T39477-2020GB/T22239-2019GB/T35273-2020對數(shù)據(jù)匯聚治理過程進行有針對性的保護，個人信息、敏感數(shù)據(jù)和重要數(shù)據(jù)應(yīng)加強安全管控措施。PAGEPAGE10附 錄 A（資料性）數(shù)據(jù)庫表示例業(yè)務(wù)數(shù)據(jù)庫表示例見表1

表1業(yè)務(wù)數(shù)據(jù)庫表實例ID業(yè)務(wù)字段1…業(yè)務(wù)字段N批次號操作標(biāo)識更新時間業(yè)務(wù)主鍵業(yè)務(wù)字段…業(yè)務(wù)字段202312270000001I2023-12-2317:23:36業(yè)務(wù)主鍵業(yè)務(wù)字段…業(yè)務(wù)字段202312270000001U2023-12-2317:23:36業(yè)務(wù)主鍵業(yè)務(wù)字段…業(yè)務(wù)字段202312270000001D2023-12-2317:23:36業(yè)務(wù)主鍵業(yè)務(wù)字段…業(yè)務(wù)字段202312270000002I2023-12-2318:17:09服務(wù)接口示例以test內(nèi)容傳輸格式為例，定義數(shù)據(jù)模板，Schema驗證模板標(biāo)識為test，信息表名稱為xinxi，XML編碼為UTF-8，XML格式數(shù)據(jù)示例為：<?xmlversion="1.0"encoding="UTF-8"standalone="yes"?><test><xs:schema ID="test" xmlns="" xmlns:msdata="urn:schemas-microsoft-com:xml-msdata"><xs:elementname="test"msdata:IsDataSet="true"msdata:UseCurrentLocale="true"><xs:complexType><xs:choiceminOccurs="0"maxOccurs="unbounded"><xs:elementname="xinxi"><xs:complexType><xs:sequence><xs:elementname="ApeID"type="xs:string"minOccurs="0"/><xs:elementname="mac"type="xs:string"minOccurs="0"/><xs:elementname="ctxy"type="xs:string"minOccurs="0"/><