DB37-T 4646.1-2023 公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范 第1部分：數(shù)據(jù)歸集

35.240CCS

L

6737 DB37/T

—2023公共數(shù)據(jù) 數(shù)據(jù)治理規(guī)范第

1

部分：數(shù)據(jù)歸集Public

data—

of

data

—Part

1:Data

2023

山東省市場監(jiān)督管理局 發(fā)

布DB37/T□4646.1—2023 前言

.................................................................................

II引言

................................................................................

III1

...............................................................................

12 規(guī)范性引用文件

.....................................................................

13 術(shù)語和定義

.........................................................................

14 縮略語

.............................................................................

15 數(shù)據(jù)歸集流程

.......................................................................

25.15.25.35.4

明確歸集范圍

...................................................................

2明確歸集方式

...................................................................

2開展數(shù)據(jù)歸集

...................................................................

2歸集結(jié)果確認(rèn)

...................................................................

36 數(shù)據(jù)歸集要求

.......................................................................

36.1 庫表歸集

.......................................................................

36.2 文件歸集

.......................................................................

46.3 服務(wù)接口歸集

...................................................................

67 數(shù)據(jù)更新要求

.......................................................................

68 數(shù)據(jù)歸集安全

.......................................................................

7附錄

A（資料性） 庫表歸集相關(guān)數(shù)據(jù)表約束及示例.........................................

8A.1 業(yè)務(wù)數(shù)據(jù)表約束及示例

...........................................................

8A.2 對賬數(shù)據(jù)表約束及示例

...........................................................

8附錄

B（資料性） 文件歸集相關(guān)數(shù)據(jù)表約束及示例........................................

10B.1 文件信息表約束及示例

..........................................................

10B.2 文件拆分信息表約束及示例

......................................................

10B.3 對賬數(shù)據(jù)表約束及示例

..........................................................

11附錄

C（資料性） 服務(wù)接口數(shù)據(jù)示例及內(nèi)容描述..........................................

13C.1

格式數(shù)據(jù)示例...............................................................

13C.2

增加信息服務(wù)接口

..............................................................

13C.3

刪除信息服務(wù)接口

..............................................................

14C.4

修改信息服務(wù)接口

..............................................................

14C.5

只增信息服務(wù)接口

..............................................................

15參考文獻(xiàn)

.............................................................................

16DB37/T

4646.1—2023 本文件按照GB/T

—《標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是DB37/T

4646《公共數(shù)據(jù) 1部分。

4646已經(jīng)發(fā)布了以下部分：——第1部分：數(shù)據(jù)歸集；——第2部分：數(shù)據(jù)清洗比對；——第3部分：數(shù)據(jù)返還；——第4部分：資源服務(wù)目錄。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由山東省大數(shù)據(jù)局提出、歸口并組織實施。DB37/T

4646.1—2023 東省先后印發(fā)《山東省“十四五”數(shù)字強省建設(shè)規(guī)劃》（魯政字〔2021〕號）等一系列政策文件，對全省一體化數(shù)據(jù)資源體系建設(shè)和管理提出要求。數(shù)據(jù)清洗比對、數(shù)據(jù)返還、資源服務(wù)目錄等工作存在的普遍問題，制定

4646《公共數(shù)據(jù) 治理規(guī)范》系列標(biāo)準(zhǔn)。

4646擬由以下四個部分構(gòu)成?！?/p>

1

部分：數(shù)據(jù)歸集。目的在于規(guī)范各級公共管理和服務(wù)機構(gòu)歸集數(shù)據(jù)至省一體化大數(shù)據(jù)平臺的流程和要求。——第

2

部分：數(shù)據(jù)清洗比對。目的在于規(guī)范各級公共管理和服務(wù)機構(gòu)依托省一體化大數(shù)據(jù)平臺開展數(shù)據(jù)清洗比對工作的流程、方法和要求。——第

3

部分：數(shù)據(jù)返還。目的在于規(guī)范各級公共管理和服務(wù)機構(gòu)依托省一體化大數(shù)據(jù)平臺開展數(shù)據(jù)返還工作的流程和要求?！?/p>

4

部分：資源服務(wù)目錄。目的在于規(guī)范各級公共管理和服務(wù)機構(gòu)依托省一體化大數(shù)據(jù)平臺開展資源服務(wù)目錄管理和應(yīng)用的工作要求。IIIDB37/T

4646.1—2023

1 范圍本文件規(guī)定了公共數(shù)據(jù)的數(shù)據(jù)歸集流程、數(shù)據(jù)歸集要求、數(shù)據(jù)更新要求、數(shù)據(jù)歸集安全等。本文件適用于指導(dǎo)各級公共管理和服務(wù)機構(gòu)歸集數(shù)據(jù)至省一體化大數(shù)據(jù)平臺。2 規(guī)范性引用文件文件。GB/T

22239—2019 信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護(hù)基本要求GB/T

35273—2020 信息安全技術(shù) 個人信息安全規(guī)范GB/T

37973—2019 信息安全技術(shù) 大數(shù)據(jù)安全管理指南DB37/T

4646.2—2023 公共數(shù)據(jù) 數(shù)據(jù)治理規(guī)范第2部分：數(shù)據(jù)清洗比對3 術(shù)語和定義3.1

下列術(shù)語和定義適用于本文件。公共數(shù)據(jù)資源目錄 directory

public

data

resources共數(shù)據(jù)的組織、檢索、定位、發(fā)現(xiàn)與獲取。[來源：DB37/T

3520—，3.2，有修改]3.2省一體化大數(shù)據(jù)平臺

integrated

big

data

platform全省公共數(shù)據(jù)管理、共享開放的統(tǒng)一基礎(chǔ)支撐平臺，由省級樞紐、市級節(jié)點和縣級節(jié)點組成。3.3公共管理和服務(wù)機構(gòu)

administration

and

services

organization共服務(wù)運營單位。4 縮略語下列縮略語適用于本文件。CSV：逗號分隔文件格式（Comma-Separated

Values）FTP：文件傳輸協(xié)議（File

Transfer

Protocol）GZIP：文件壓縮程序（）HTTP：超文本傳輸協(xié)議（Hypertext

Transfer

Protocol)HTTPS：超文本傳輸安全協(xié)議（Hypertext

Transfer

Protocol

）IP：網(wǎng)絡(luò)互聯(lián)協(xié)議（Internet

Protocol）DB37/T

4646.1—2023PDF：可攜帶文檔格式（Portable

Document

Format）SFTP：安全文件傳送協(xié)議(Secret

File

Transfer

TXT：文本（Text）URI：統(tǒng)一資源標(biāo)識符（

Resource

）UTF-8：Unicode的可變長度字符編碼(8-bit

Transformation

UUID：通用唯一識別碼(Universally

Unique

）XML：可擴(kuò)展標(biāo)記語言（

）5 數(shù)據(jù)歸集流程5.1明確歸集范圍盡歸”的原則，將本機構(gòu)所有可歸集公共數(shù)據(jù)持續(xù)歸集至省一體化大數(shù)據(jù)平臺。5.2 明確歸集方式5.2.1 應(yīng)結(jié)合歸集數(shù)據(jù)的范圍、數(shù)據(jù)傳輸要求等，確定數(shù)據(jù)的歸集方式。5.2.2 公共數(shù)據(jù)的歸集方式主要包括庫表、文件、服務(wù)接口三種，其中庫表、文件方式適用于對數(shù)據(jù)5.3開展數(shù)據(jù)歸集5.3.1 應(yīng)將數(shù)據(jù)庫表結(jié)構(gòu)發(fā)送至大數(shù)據(jù)工作主管部門，并根據(jù)數(shù)據(jù)歸集方式和數(shù)據(jù)實際情況，做好數(shù)據(jù)歸集前準(zhǔn)備工作并開展數(shù)據(jù)歸集。5.3.2 以庫表方式開展數(shù)據(jù)歸集的要求應(yīng)符合

，主要工作包括：a)

應(yīng)在前置機中建設(shè)前置庫，用于臨時存儲業(yè)務(wù)數(shù)據(jù)表、對賬數(shù)據(jù)表等，可根據(jù)業(yè)務(wù)需要創(chuàng)建多個前置庫；b)

應(yīng)在前置庫中建設(shè)業(yè)務(wù)數(shù)據(jù)表、對賬數(shù)據(jù)表，業(yè)務(wù)數(shù)據(jù)表存儲待歸集的業(yè)務(wù)數(shù)據(jù)，對賬數(shù)據(jù)表存儲數(shù)據(jù)的更新情況。5.3.3 以文件方式開展數(shù)據(jù)歸集的要求應(yīng)符合

，主要工作包括：a)

應(yīng)在前置機中建設(shè)文件系統(tǒng)，用于臨時存儲待歸集的文件；b)

在前置庫中建設(shè)文件信息表、文件拆分信息表、對賬數(shù)據(jù)表，文件信息表、文件拆分信息表分別存儲非結(jié)構(gòu)化文件的詳細(xì)信息和拆分信息，對賬數(shù)據(jù)表存儲文件的更新情況。5.3.4 以服務(wù)接口方式開展數(shù)據(jù)歸集主要工作包括：a)

大數(shù)據(jù)工作主管部門應(yīng)根據(jù)提供的庫表結(jié)構(gòu)開發(fā)服務(wù)接口，掛載到相關(guān)公共數(shù)據(jù)資源目錄下，通過省一體化大數(shù)據(jù)平臺發(fā)布，服務(wù)接口的命名、服務(wù)方法、請求類型、輸入?yún)?shù)和輸出參數(shù)等應(yīng)符合

DB37/T

4225—2020

5

章的規(guī)定；b)

應(yīng)依據(jù)服務(wù)接口要求，開發(fā)服務(wù)接口調(diào)用程序，調(diào)用服務(wù)接口推送本機構(gòu)數(shù)據(jù)至省一體化大數(shù)據(jù)平臺，可采用壓縮等技術(shù)實現(xiàn)數(shù)據(jù)高速傳輸，服務(wù)接口相關(guān)要求應(yīng)符合

6.3。5.3.5 以庫表和文件方式歸集數(shù)據(jù)時，大數(shù)據(jù)工作主管部門應(yīng)依據(jù)業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)、對賬數(shù)據(jù)表內(nèi)容等開展數(shù)據(jù)歸集。UUIDYYYYMMDD00000001202210YYYY-MM-DDhh:mm:ssIDIDUUIDYYYYMMDD00000001202210YYYY-MM-DD

DB37/T

4646.1—20235.4歸集結(jié)果確認(rèn)5.4.1 大數(shù)據(jù)工作主管部門應(yīng)通過對賬數(shù)據(jù)等對已歸集數(shù)據(jù)進(jìn)行核對，確保公共管理和服務(wù)機構(gòu)提供的數(shù)據(jù)與已歸集的數(shù)據(jù)、公共數(shù)據(jù)資源目錄一致。5.4.2 大數(shù)據(jù)工作主管部門應(yīng)對已歸集數(shù)據(jù)開展數(shù)據(jù)清洗比對等數(shù)據(jù)治理工作，反饋問題數(shù)據(jù)和數(shù)據(jù)比對應(yīng)符合

DB37/T

—2023

的要求。6 數(shù)據(jù)歸集要求6.1 庫表歸集6.1.1 前置庫前置庫應(yīng)支持國產(chǎn)數(shù)據(jù)庫，字符編碼應(yīng)為UTF-8。6.1.2業(yè)務(wù)數(shù)據(jù)表業(yè)務(wù)數(shù)據(jù)表除業(yè)務(wù)字段外應(yīng)包含記錄ID數(shù)據(jù)表擴(kuò)展信息的字段名稱和說明見表1，業(yè)務(wù)數(shù)據(jù)表的約束和示例見。表1業(yè)務(wù)數(shù)據(jù)表擴(kuò)展信息6.1.3 對賬數(shù)據(jù)表對賬數(shù)據(jù)表見表2，約束和示例見A.2。表2 對賬數(shù)據(jù)表IDIDUUIDYYYYMMDD00000001202210-1DB37/T

4646.1—2023表

2對賬數(shù)據(jù)表（續(xù)）6.2文件歸集6.2.1 文件系統(tǒng)文件系統(tǒng)可采用FTP、SFTP等。6.2.2 文件 命名約束文件夾的命名格式為：/目錄名稱/業(yè)務(wù)名稱/年/月/日/0～9）、英文字符（a～z、A～Z）、下劃線“_”組成。 文件大小應(yīng)設(shè)置文件大小閾值，文件超出閾值應(yīng)拆分成多個小文件。 文件格式結(jié)構(gòu)化文件格式包括CSV、TXT、XLS、XLSXPDF、、DOCX、、ZIP，CSV、XLS、XLSXUTF-8，且不應(yīng)存在特殊字符，其他約束包括但不限于：a)

TXT、

文件格式的數(shù)據(jù)應(yīng)以半角逗號作分隔符；b)

XLS、XLSX

文件格式的約束主要包括：1)

應(yīng)只包括一個表單頁，如存在多個表單頁應(yīng)拆分成多個文件；2)

不應(yīng)存在行或列的合并；3)

不應(yīng)存在相同列名；4)

不應(yīng)有空白行。 文件內(nèi)容ID6.1.2要求。6.2.3 文件信息表文件信息表見表3，約束和示例見B.1。表3 文件信息表KBJPEGYYYY-MM-DD

IDIDUUIDIDIDIDYYYY-MM-DD

UUIDYYYYMMDD00000001202210YYYY-MM-DDhh:mm:ssDB37/T

4646.1—2023表

3 表

3 文件信息表（續(xù)）文件拆分信息表見表4，約束和示例見B.2。表4 文件拆分信息表6.2.5 對賬數(shù)據(jù)表SD,UD5B.3。表5 對賬數(shù)據(jù)表KB-1DB37/T

4646.1—2023表5 對賬數(shù)據(jù)表（續(xù)）6.3服務(wù)接口歸集6.3.1 服務(wù)接口調(diào)用形式服務(wù)接口調(diào)用形式為：<Protocol>://<Hostname>:<Port>/<URI>，其中：a)

Protocol

支持

HTTP、；b)

Hostname

指

IP

設(shè)備的

地址；c)

Port

指端口號；d)

URI

指資源

URI，由接口唯一標(biāo)識、數(shù)據(jù)傳輸流水序列號、分布式存儲標(biāo)識、資源唯一標(biāo)識符<IneterIdentifier>/<serialnumber>/<DistributedStorageIdentifier>/<ResouceIdentifier>。6.3.2 服務(wù)接口資源描述服務(wù)接口資源采用Schema架構(gòu)說明的標(biāo)準(zhǔn)XML文件方式進(jìn)行描述，其中編碼方式為UTF-8，Schema屬性確定。XML格式數(shù)據(jù)示例見。6.3.3 服務(wù)接口功能服務(wù)接口主要分為增刪改類數(shù)據(jù)服務(wù)接口和只增類數(shù)據(jù)服務(wù)接口，服務(wù)接口的功能見表6，服務(wù)接口內(nèi)容描述見～。表6 服務(wù)接口功能7 數(shù)據(jù)更新要求7.1 應(yīng)按照公共數(shù)據(jù)資源目錄中約定的數(shù)據(jù)更新頻率將更新數(shù)據(jù)歸集至省一體化大數(shù)據(jù)平臺。DB37/T

4646.1—20237.2 可采用全量更新方式；對于每次僅歸集近一段時間的數(shù)據(jù)時，可采用增量更新方式。8 數(shù)據(jù)歸集安全數(shù)據(jù)歸集安全應(yīng)符合GB/T

22239—2019中等級保護(hù)三級的要求，個人信息安全應(yīng)符合GB/T

35273—2020要求，其他安全要求應(yīng)符合GB/T

37973—。ID...BATCHOPERATIONTIMEUUID...20180715000000012018-07-1517:20:53UUID...20180715000000012018-07-1517:30:53UUID...20180715000000012018-07-1517:40:53UUID...20180715000000022018-07-1518:20:53IDIDVARCHAR64BATCHVARCHAR20OPERATIONVARCHARTIMEDATETIMEIDVARCHAR64TABLE_NAMEVARCHAR100BATCHVARCHAR20DB37/T

4646.1—2023附錄A（資料性）庫表歸集相關(guān)數(shù)據(jù)表約束及示例A.1 業(yè)務(wù)數(shù)據(jù)表約束及示例A.1.1 業(yè)務(wù)數(shù)據(jù)表約束業(yè)務(wù)數(shù)據(jù)表包括記錄ID約束見表。表A.1

業(yè)務(wù)數(shù)據(jù)表約束A.1.2表A.1

業(yè)務(wù)數(shù)據(jù)表約束業(yè)務(wù)數(shù)據(jù)表示例見表A.2。表A.2

業(yè)務(wù)數(shù)據(jù)表示例表A.2

業(yè)務(wù)數(shù)據(jù)表示例A.2.1 對賬數(shù)據(jù)表約束對賬數(shù)據(jù)表包括對賬記錄唯一標(biāo)識、表名、批次號、批次條數(shù)、批次時間、批次狀態(tài)等字段,約束見表。表A.3表A.3

對賬數(shù)據(jù)表約束COUNTINTDATADATETIMESTATEVARCHARIDTABLE_NAMEBATCHCOUNTDATASTATEUUIDTABLE_TEMP10002019-07-0117:20:53DB37/T

4646.1—2023表A.3

對賬數(shù)據(jù)表約束（續(xù)）A.2.2 對賬數(shù)據(jù)表約束對賬數(shù)據(jù)表示例見表A.4。表表A.4

對賬數(shù)據(jù)表示例IDUD_IDVARCHAR64UD_BATCHVARCHAR20UD_FILE_NAMEVARCHAR64UD_FILE_PATHVARCHAR250UD_FILE_SIZELONGUD_FILE_TYPEVARCHAR64UD_FILE_CNAMEVARCHAR64UD_FILE_CHECKVARCHAR128UD_OPERATIONVARCHARVARCHARINTUD_TIMEDATETIMEUD_IUD_BATCHUD_FILE_NAMEUD_FILE_PATHUD_FILE_SIZEUD_FILE_TYPEUD_FILE_CNAMEUD_FILE_CHECKUD_OPERATIONUD_IS_SPLIT_FILEUD_SPLIT_COUNTUD_TIMUUID2019070100000001fcxx.pd/SD_SJGJ_SOURCE1234PDF5d41402abc4b2a76b9719d911017c5922019-07-0117:20:53DB37/T

4646.1—2023附錄 B（資料性）文件歸集相關(guān)數(shù)據(jù)表約束及示例B.1 文件信息表約束及示例B.1.1文件信息表約束文件信息表應(yīng)包含記錄ID完整性校驗、業(yè)務(wù)操作標(biāo)識、文件是否拆分標(biāo)識、拆分?jǐn)?shù)量和更新時間等字段，相關(guān)約束見表。表B.1

文件信息表約束表B.1

文件信息表約束文件信息表示例見表B.2。表B.2

文件信息表示例表B.2

文件信息表示例B.2.1 文件拆分信息表約束文件拆分信息表應(yīng)包括記錄IDID驗、更新時間等字段，相關(guān)約束見表B.3。10IDUD_IDVARCHAR64IDUD_FILE_INFO_IDVARCHAR64UD_FILE_NAMEVARCHAR64UD_FILE_PATHVARCHAR250UD_FILE_SIZELONGUD_FILE_CHECKVARCHAR128UD_TIMEDATETIMEUD_IDUD_FILE_INFO_IDUD_FILE_NAMEUD_FILE_PATHUD_FILE_SIZEUD_FILE_CHECKUD_TIMEUUIDID/SD_SJGJ_SOURCE1005d41402abc4b2a76b9719d911017c5922019-07-0117:20:53UUIDID/SD_SJGJ_SOURCE1005d41402abc4b2a76b9719d911017c5922019-07-0117:20:53SD_IDVARCHAR64SD_FILE_PATHVARCHAR250SD_BATCHVARCHAR20SD_COUNTINTSD_DATADATETIMESD_STATEVARCHARDB37/T

4646.1—2023表B.3

文件拆分信息表約束表B.3

文件拆分信息表約束文件拆分信息表示例見表。表B.4

文件拆分信息表示例表B.4

文件拆分信息表示例B.3.1 對賬數(shù)據(jù)表約束次狀態(tài)等字段，相關(guān)約束見表B.5。非結(jié)構(gòu)化文件的對賬數(shù)據(jù)表應(yīng)包括對賬記錄唯一標(biāo)識、文件路徑、批次號、批次個數(shù)、批次大小、批次時間、批次狀態(tài)等字段，相關(guān)約束見表。表B.5表B.5

結(jié)構(gòu)化文件對賬數(shù)據(jù)表約束UD_IDVARCHAR64UD_FILE_PATHVARCHAR250UD_BATCHVARCHAR20UD_COUNTINTUD_SIZELONGUD_DATADATETIMEUD_STATEVARCHARUD_IDUD_FILE_PATHUD_BATCHUD_COUNTUD_SIZEUD_DATAUD_STATEUUID/SD_SJGJ_SOU10001282019-07-0117:20:53SD_IDSD_FILE_PATHSD_BATCHSD_COUNTSD_DATASD_STATEUUID/SD_SJGJ_SOURCE10002019-07-0117:20:53DB37/T

4646.1—2023表B.6

非結(jié)構(gòu)化文件對賬數(shù)據(jù)表約束表B.6

非結(jié)構(gòu)化文件對賬數(shù)據(jù)表約束結(jié)構(gòu)化文件的對賬數(shù)據(jù)表示例見表，非結(jié)構(gòu)化文件的對賬數(shù)據(jù)表示例見表。表B.7

結(jié)構(gòu)化文件對賬數(shù)據(jù)表示例表B.7

結(jié)構(gòu)化文件對賬數(shù)據(jù)表示例表B.8

非結(jié)構(gòu)化文件對賬數(shù)據(jù)表示例DB37/T

4646.1—2023附 錄 C（資料性）服務(wù)接口數(shù)據(jù)示例及內(nèi)容描述C.1XML

格式數(shù)據(jù)示例以testSchema驗證模板標(biāo)識ID為test，編碼為UTF-8，格式數(shù)據(jù)示例為：<?xml

version="1.0"

encoding="UTF-8"

standalone="yes"?><test><xs:schema xmlns="" xmlns:xs="/2001/XMLSchema"xmlns:msdata="urn:schemas-microsoft-com:xml-msdata">

msdata:UseCurrentLocale="true"><xs:complexType><xs:choice

minOccurs="0"

maxOccurs="unbounded"><xs:element

name="wci"><xs:complexType><xs:sequence>

name="ApeID"

type="xs:string"

/>

type="xs:string"

minOccurs="0"

/>

type="xs:string"

/>

name="rdssID"

type="xs:string"

/>

/></xs:sequence></xs:complexType></xs:element></xs:choice></xs:complexType></xs:element></xs:schema><wci><mac>12345543211234567890</mac><cjsj>2019-11-06T08:09:58.99+08:00</cjsj></wci></test>C.2 增加信息服務(wù)接口增加信息服務(wù)接口內(nèi)容描述見表C.1。13https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnumber>/<DistributedStorageIdentifier>/<ResouceIdentifier>addobjectsaddobjects_GZIPpostIneterfaceIdentifier=addobjectsschemaxmlIneterfaceIdentifier=addobjects_GZIPUTF-8schemaxmlGZIP<?xml

encoding="utf-8"

err="{err}"/>{status}=0{err}{status}{err}https://<Hostname>:<Port><IneterfaceIdentifier>/<ser