DB37T 4646.1-2023 公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范 第1部分：數(shù)據(jù)歸集

37Publicdata—Specificationofdatagovernance— 2 2 2 2 3 3 3 4 6 6 8 8 8 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定東省先后印發(fā)《山東省“十四五”數(shù)字強省建設(shè)規(guī)劃》（魯政字〔2021〕128號）等一系列政策文件，數(shù)據(jù)清洗比對、數(shù)據(jù)返還、資源服務(wù)目錄等工作存在的普遍問題，制定DB37/T4646《公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范》系列標(biāo)準(zhǔn)。DB37/T4646擬由以下四——第2部分：數(shù)據(jù)清洗比對。目的在于規(guī)范各級公共管理和——第3部分：數(shù)據(jù)返還。目的在于規(guī)范各級公共管理和服——第4部分：資源服務(wù)目錄。目的在于規(guī)范各級公共管理和服務(wù)機構(gòu)1公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第1部分：數(shù)據(jù)歸集本文件適用于指導(dǎo)各級公共管理和服務(wù)機構(gòu)歸集數(shù)據(jù)至省一體化大數(shù)GB/T22239—2019信息GB/T35273—2020信息安全GB/T37973—2019信息安全DB37/T4646.2—2023公共公共管理和服務(wù)機構(gòu)publicadministrationandservicesorga4縮略語CSV：逗號分隔文件格式（Comma-SeparatedValHTTP：超文本傳輸協(xié)議（HypertextTransferProtocHTTPS：超文本傳輸安全協(xié)議（HypertextTransfer2PDF：可攜帶文檔格式（PortableDocumentFormSFTP：安全文件傳送協(xié)議(SecretFileTransferURI：統(tǒng)一資源標(biāo)識符（UniformResourceIdentifUTF-8：Unicode的可變長度字符編碼(8-bitUnicodeTransformationFormUUID：通用唯一識別碼(UniversallyUniqueIdentifiXML：可擴展標(biāo)記語言（ExtensibleMarkupLa5數(shù)據(jù)歸集流程5.2.1應(yīng)結(jié)合歸集數(shù)據(jù)的范圍、數(shù)據(jù)傳輸5.2.2公共數(shù)據(jù)的歸集方式主要包括庫表、文件、服務(wù)接口三種，其中庫表、文件方式適用于對數(shù)據(jù)5.3開展數(shù)據(jù)歸集5.3.1應(yīng)將數(shù)據(jù)庫表結(jié)構(gòu)發(fā)送至大數(shù)據(jù)工作主管部門，并根據(jù)數(shù)據(jù)歸集方式和數(shù)據(jù)實際情況，做好數(shù)a)應(yīng)在前置機中建設(shè)前置庫，用于臨時存儲業(yè)務(wù)數(shù)據(jù)表、對賬數(shù)據(jù)表等，可根據(jù)業(yè)務(wù)需要創(chuàng)建b)應(yīng)在前置庫中建設(shè)業(yè)務(wù)數(shù)據(jù)表、對賬數(shù)據(jù)表，業(yè)務(wù)數(shù)據(jù)表存儲待歸集的業(yè)務(wù)數(shù)據(jù)，對賬數(shù)據(jù)a)應(yīng)在前置機中建設(shè)文件系統(tǒng)，用于臨時存儲待歸集的文件；b)在前置庫中建設(shè)文件信息表、文件拆分信息表、對賬數(shù)據(jù)表，文件信息表、文件拆分信息表通過省一體化大數(shù)據(jù)平臺發(fā)布，服務(wù)接口的命名、服務(wù)方法、請求類型、輸入?yún)?shù)和輸出參b)應(yīng)依據(jù)服務(wù)接口要求，開發(fā)服務(wù)接口調(diào)用程序，調(diào)用服務(wù)接口推送本機構(gòu)數(shù)據(jù)至省一體化大數(shù)據(jù)平臺，可采用壓縮等技術(shù)實現(xiàn)數(shù)據(jù)高速傳輸，5.3.5以庫表和文件方式歸集數(shù)據(jù)時，大數(shù)據(jù)工作主管部門應(yīng)依據(jù)業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)、對賬數(shù)據(jù)表內(nèi)容35.4歸集結(jié)果確認(rèn)5.4.1大數(shù)據(jù)工作主管部門應(yīng)通過對賬數(shù)據(jù)等對已歸集數(shù)據(jù)進行核對，確保公共管理和服務(wù)機構(gòu)提供5.4.2大數(shù)據(jù)工作主管部門應(yīng)對已歸集數(shù)據(jù)開展數(shù)據(jù)清洗比對等數(shù)據(jù)治理工作，反饋問題數(shù)據(jù)和數(shù)據(jù)數(shù)據(jù)表擴展信息的字段名稱和說明見表1，業(yè)務(wù)數(shù)據(jù)表的約束業(yè)務(wù)操作標(biāo)識用于標(biāo)識業(yè)務(wù)數(shù)據(jù)的操作屬性，數(shù)據(jù)更新時間為業(yè)務(wù)數(shù)據(jù)寫入業(yè)務(wù)數(shù)據(jù)表的時間，格式為YYYY-MM-DDh批次時間為對賬數(shù)據(jù)寫入對賬表的時間，采用數(shù)據(jù)庫時間函數(shù)的值，格式為YYYY-4批次狀態(tài)為本批次數(shù)據(jù)歸集狀態(tài)，0為初始默認(rèn)值b)XLS、XLSX文件格式的約束主要包5業(yè)務(wù)操作標(biāo)識用于標(biāo)識業(yè)務(wù)數(shù)據(jù)的操作屬性，數(shù)據(jù)更新時間為業(yè)務(wù)數(shù)據(jù)寫入業(yè)務(wù)數(shù)據(jù)表的時間，格式為YYYY-MM-DDh文件信息表記錄ID為拆分文件對應(yīng)文件信更新時間為業(yè)務(wù)數(shù)據(jù)寫入業(yè)務(wù)數(shù)據(jù)表的時間，格式為YYYY-MM-DDh批次時間為對賬數(shù)據(jù)寫入對賬表的時間，采用數(shù)據(jù)庫時間函數(shù)的值，格式為YYYY-6批次大小為該批次的文件占用的存儲空間，應(yīng)與該批次文件實際大小相符，單批次狀態(tài)為本批次數(shù)據(jù)歸集狀態(tài)，0為初始默認(rèn)值服務(wù)接口調(diào)用形式為：<Protocol>://<Hostname>:<Port>/<d)URI指資源URI，由接口唯一標(biāo)識、數(shù)據(jù)傳輸流服務(wù)接口資源采用Schema架構(gòu)說明的標(biāo)準(zhǔn)XML文件方式進行描述，其中編碼方式為UTF-8，XML服務(wù)接口主要分為增刪改類數(shù)據(jù)服務(wù)接口和只增類數(shù)據(jù)服務(wù)接口，服務(wù)接口的功能見表6123456787.1應(yīng)按照公共數(shù)據(jù)資源目錄中約定的數(shù)據(jù)更新頻率將更新數(shù)據(jù)歸集至省一體化大數(shù)據(jù)平臺。7可采用全量更新方式；對于每次僅歸集近一段時間的數(shù)據(jù)時，可采用增量更新數(shù)據(jù)歸集安全應(yīng)符合GB/T22239—2019中等級保護三級的要求，個人信息安全應(yīng)符合GB/T35273—2020要求，其他安全要求應(yīng)符合GB/T379738A.1業(yè)務(wù)數(shù)據(jù)表約束及示例A.1.1業(yè)務(wù)數(shù)據(jù)表約束是—是1—是8—是A.1.2業(yè)務(wù)數(shù)據(jù)表示例IUDIA.2對賬數(shù)據(jù)表約束及示例A.2.1對賬數(shù)據(jù)表約束對賬數(shù)據(jù)表包括對賬記錄唯一標(biāo)識、表名、批次號、批次條數(shù)、批次時間、批次狀態(tài)等字段,相關(guān)是 是—是9——是8—是1—是A.2.2對賬數(shù)據(jù)表約束1完整性校驗、業(yè)務(wù)操作標(biāo)識、文件是否拆分標(biāo)識、拆分?jǐn)?shù)量和更新時間等字段，相關(guān)約束見表是 是—是—是——是 是—是—是1—是1 是 否8—是_ID_NAME_SIZE_TYPE_CNAMEATION_COUNTEf息I16是—是—是 是 是—是8—是_ID次狀態(tài)等字段，相關(guān)約束見表B.5。非結(jié)構(gòu)化文件的對賬數(shù)據(jù)表應(yīng)包括對賬記錄唯一標(biāo)識、文件路徑、批次號、批次個數(shù)、批次大小、批次時間、批次狀態(tài)等字段，相關(guān)約束見是—是—是——是8—是1 是是—是—是 是 是8—是1—是11<?xmlversion="1.0"encoding="UTF-8"standa<xs:schemaID="test"xmlns=""xmlns:xs="/2001/XMLScxmlns:msdata="urn:schemas-microsoft-com:xml-ms<xs:elementname="test"msdata:IsDataSet="true"msdata:UseCurrent<xs:choiceminOccurs="0"maxOccur<xs:elementname="ApeID"type="xs:string"minO<xs:elementname="mac"type="xs:string"min<xs:elementname="zdcq"type="xs:string"minO<xs:elementname="rdssID"type="xs:string"minOc<xs:elementname="cjsj"type="xs:dateTime"minOc<ApeID>abcdefghij1234<cjsj>2019-11-06T08:09:58.9https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnuer>/<DistributedStorageIdentifier>/<ResouceIIneterfaceIdentifie——IneterfaceIdentifier=addobjects時消息體為IneterfaceIdentifier=addobjects_G <?xmlversion="1.0"encodinstandalone="yes"?><responsestatus="{status}"er—https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnuer>/<DistributedStorageIdentifier>/<ResouceIdeleteobjects、deleteob——IneterfaceIdentifier=deleteobjeIneterfaceIdentifier=deleteobjects_G帶schema架構(gòu)說明的基本數(shù)據(jù)類型標(biāo)準(zhǔn)xm—<?xmlversion="1.0"encodinstandalone="yes"?><responsestatus="{status}"er—https://<Hostname>:<Port><IneterfaceIdentifier>/<serumber>/<DistributedStorageIdentifier>/<ResouceIdent>— IneterfaceIdentifier=updateobjeIneterfaceIdentifier=updateobjects_碼帶schema架構(gòu)說明的基本數(shù)據(jù)類型標(biāo)準(zhǔn)xml的GZI—<?xmlversion="1.0"encodinstandalone="yes"?><response—https://<Hostname>:<Port><IneterfaceIdentifier>/