DB37T 4646.1-2023 公共數據數據治理規(guī)范 第1部分：數據歸集

37Publicdata—Specificationofdatagovernance— 2 2 2 2 3 3 3 4 6 6 8 8 8 本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定東省先后印發(fā)《山東省“十四五”數字強省建設規(guī)劃》（魯政字〔2021〕128號）等一系列政策文件，數據清洗比對、數據返還、資源服務目錄等工作存在的普遍問題，制定DB37/T4646《公共數據數據治理規(guī)范》系列標準。DB37/T4646擬由以下四——第2部分：數據清洗比對。目的在于規(guī)范各級公共管理和——第3部分：數據返還。目的在于規(guī)范各級公共管理和服——第4部分：資源服務目錄。目的在于規(guī)范各級公共管理和服務機構1公共數據數據治理規(guī)范第1部分：數據歸集本文件適用于指導各級公共管理和服務機構歸集數據至省一體化大數GB/T22239—2019信息GB/T35273—2020信息安全GB/T37973—2019信息安全DB37/T4646.2—2023公共公共管理和服務機構publicadministrationandservicesorga4縮略語CSV：逗號分隔文件格式（Comma-SeparatedValHTTP：超文本傳輸協議（HypertextTransferProtocHTTPS：超文本傳輸安全協議（HypertextTransfer2PDF：可攜帶文檔格式（PortableDocumentFormSFTP：安全文件傳送協議(SecretFileTransferURI：統一資源標識符（UniformResourceIdentifUTF-8：Unicode的可變長度字符編碼(8-bitUnicodeTransformationFormUUID：通用唯一識別碼(UniversallyUniqueIdentifiXML：可擴展標記語言（ExtensibleMarkupLa5數據歸集流程5.2.1應結合歸集數據的范圍、數據傳輸5.2.2公共數據的歸集方式主要包括庫表、文件、服務接口三種，其中庫表、文件方式適用于對數據5.3開展數據歸集5.3.1應將數據庫表結構發(fā)送至大數據工作主管部門，并根據數據歸集方式和數據實際情況，做好數a)應在前置機中建設前置庫，用于臨時存儲業(yè)務數據表、對賬數據表等，可根據業(yè)務需要創(chuàng)建b)應在前置庫中建設業(yè)務數據表、對賬數據表，業(yè)務數據表存儲待歸集的業(yè)務數據，對賬數據a)應在前置機中建設文件系統，用于臨時存儲待歸集的文件；b)在前置庫中建設文件信息表、文件拆分信息表、對賬數據表，文件信息表、文件拆分信息表通過省一體化大數據平臺發(fā)布，服務接口的命名、服務方法、請求類型、輸入參數和輸出參b)應依據服務接口要求，開發(fā)服務接口調用程序，調用服務接口推送本機構數據至省一體化大數據平臺，可采用壓縮等技術實現數據高速傳輸，5.3.5以庫表和文件方式歸集數據時，大數據工作主管部門應依據業(yè)務數據表結構、對賬數據表內容35.4歸集結果確認5.4.1大數據工作主管部門應通過對賬數據等對已歸集數據進行核對，確保公共管理和服務機構提供5.4.2大數據工作主管部門應對已歸集數據開展數據清洗比對等數據治理工作，反饋問題數據和數據數據表擴展信息的字段名稱和說明見表1，業(yè)務數據表的約束業(yè)務操作標識用于標識業(yè)務數據的操作屬性，數據更新時間為業(yè)務數據寫入業(yè)務數據表的時間，格式為YYYY-MM-DDh批次時間為對賬數據寫入對賬表的時間，采用數據庫時間函數的值，格式為YYYY-4批次狀態(tài)為本批次數據歸集狀態(tài)，0為初始默認值b)XLS、XLSX文件格式的約束主要包5業(yè)務操作標識用于標識業(yè)務數據的操作屬性，數據更新時間為業(yè)務數據寫入業(yè)務數據表的時間，格式為YYYY-MM-DDh文件信息表記錄ID為拆分文件對應文件信更新時間為業(yè)務數據寫入業(yè)務數據表的時間，格式為YYYY-MM-DDh批次時間為對賬數據寫入對賬表的時間，采用數據庫時間函數的值，格式為YYYY-6批次大小為該批次的文件占用的存儲空間，應與該批次文件實際大小相符，單批次狀態(tài)為本批次數據歸集狀態(tài)，0為初始默認值服務接口調用形式為：<Protocol>://<Hostname>:<Port>/<d)URI指資源URI，由接口唯一標識、數據傳輸流服務接口資源采用Schema架構說明的標準XML文件方式進行描述，其中編碼方式為UTF-8，XML服務接口主要分為增刪改類數據服務接口和只增類數據服務接口，服務接口的功能見表6123456787.1應按照公共數據資源目錄中約定的數據更新頻率將更新數據歸集至省一體化大數據平臺。7可采用全量更新方式；對于每次僅歸集近一段時間的數據時，可采用增量更新數據歸集安全應符合GB/T22239—2019中等級保護三級的要求，個人信息安全應符合GB/T35273—2020要求，其他安全要求應符合GB/T379738A.1業(yè)務數據表約束及示例A.1.1業(yè)務數據表約束是—是1—是8—是A.1.2業(yè)務數據表示例IUDIA.2對賬數據表約束及示例A.2.1對賬數據表約束對賬數據表包括對賬記錄唯一標識、表名、批次號、批次條數、批次時間、批次狀態(tài)等字段,相關是 是—是9——是8—是1—是A.2.2對賬數據表約束1完整性校驗、業(yè)務操作標識、文件是否拆分標識、拆分數量和更新時間等字段，相關約束見表是 是—是—是——是 是—是—是1—是1 是 否8—是_ID_NAME_SIZE_TYPE_CNAMEATION_COUNTEf息I16是—是—是 是 是—是8—是_ID次狀態(tài)等字段，相關約束見表B.5。非結構化文件的對賬數據表應包括對賬記錄唯一標識、文件路徑、批次號、批次個數、批次大小、批次時間、批次狀態(tài)等字段，相關約束見是—是—是——是8—是1 是是—是—是 是 是8—是1—是11<?xmlversion="1.0"encoding="UTF-8"standa<xs:schemaID="test"xmlns=""xmlns:xs="/2001/XMLScxmlns:msdata="urn:schemas-microsoft-com:xml-ms<xs:elementname="test"msdata:IsDataSet="true"msdata:UseCurrent<xs:choiceminOccurs="0"maxOccur<xs:elementname="ApeID"type="xs:string"minO<xs:elementname="mac"type="xs:string"min<xs:elementname="zdcq"type="xs:string"minO<xs:elementname="rdssID"type="xs:string"minOc<xs:elementname="cjsj"type="xs:dateTime"minOc<ApeID>abcdefghij1234<cjsj>2019-11-06T08:09:58.9https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnuer>/<DistributedStorageIdentifier>/<ResouceIIneterfaceIdentifie——IneterfaceIdentifier=addobjects時消息體為IneterfaceIdentifier=addobjects_G <?xmlversion="1.0"encodinstandalone="yes"?><responsestatus="{status}"er—https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnuer>/<DistributedStorageIdentifier>/<ResouceIdeleteobjects、deleteob——IneterfaceIdentifier=deleteobjeIneterfaceIdentifier=deleteobjects_G帶schema架構說明的基本數據類型標準xm—<?xmlversion="1.0"encodinstandalone="yes"?><responsestatus="{status}"er—https://<Hostname>:<Port><IneterfaceIdentifier>/<serumber>/<DistributedStorageIdentifier>/<ResouceIdent>— IneterfaceIdentifier=updateobjeIneterfaceIdentifier=updateobjects_碼帶schema架構說明的基本數據類型標準xml的GZI—<?xmlversion="1.0"encodinstandalone="yes"?><response—https://<Hostname>:<Port><IneterfaceIdentifier>/