政務(wù)信息共享交換平臺(tái)數(shù)據(jù)匯聚標(biāo)準(zhǔn)

政務(wù)信息共享交換平臺(tái)數(shù)據(jù)匯聚標(biāo)準(zhǔn)范圍本文件規(guī)定了政務(wù)信息資源數(shù)據(jù)匯聚的總體架構(gòu)，以及數(shù)據(jù)匯聚的基本要求。本文件適用于黑龍江省政務(wù)信息資源數(shù)據(jù)匯聚的規(guī)劃、設(shè)計(jì)、建設(shè)和應(yīng)用。規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22239信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。政務(wù)信息資源政務(wù)部門在履行職責(zé)過(guò)程中制作或獲取的，以一定形式記錄、保存的文件、資料、圖表和數(shù)據(jù)等各類信息資源，包括政務(wù)部門直接或通過(guò)第三方依法采集的、依法授權(quán)管理的和因履行職責(zé)需要依托政務(wù)信息系統(tǒng)形成的信息資源等。資源提供方對(duì)外提供政務(wù)信息資源共享的政務(wù)部門。庫(kù)表資源庫(kù)表資源是指資源提供方以數(shù)據(jù)庫(kù)的形式提供的數(shù)據(jù)，稱為庫(kù)表資源。文件資源文件資源是指資源提供方以文件形式提供的數(shù)據(jù)，一般推薦使用的文件類型是Excel等?？s略語(yǔ)下列縮略語(yǔ)適用于本文件。UTF-8：Unicode的可變長(zhǎng)度字符編碼（8-bitUnicodeTransformationFormat）數(shù)據(jù)匯聚總體框架政務(wù)信息資源數(shù)據(jù)匯聚由信息資源、信息資源目錄、數(shù)據(jù)交換、數(shù)據(jù)共享交換平臺(tái)組成，標(biāo)準(zhǔn)規(guī)范和安全保障貫穿于各部分，為各部分提供指導(dǎo)和支撐保障。政務(wù)信息資源數(shù)據(jù)匯聚總體架構(gòu)見(jiàn)圖1。數(shù)據(jù)匯聚總體框架信息資源目錄是信息資源共享交換工作的基礎(chǔ)，用于快速檢索、定位、發(fā)現(xiàn)相應(yīng)的信息資源。通過(guò)匯聚基礎(chǔ)信息資源、主題信息資源、政務(wù)部門信息資源和其他信息資源以數(shù)據(jù)交換服務(wù)為工具，為數(shù)據(jù)共享交換平臺(tái)提供數(shù)據(jù)應(yīng)用支撐。數(shù)據(jù)匯聚總體要求匯聚方式庫(kù)表模式匯聚庫(kù)表模式匯聚流程庫(kù)表模式匯聚流程見(jiàn)圖2。庫(kù)表模式匯聚流程圖匯聚流程匯聚流程包括：完成數(shù)據(jù)提供方與電子政務(wù)外網(wǎng)的聯(lián)通，并能成功訪問(wèn)省共享交換平臺(tái)提供的部門前置庫(kù)，要求資源提供方通過(guò)安全設(shè)備保證資源提供方業(yè)務(wù)數(shù)據(jù)中心的安全；通過(guò)數(shù)據(jù)共享中心數(shù)據(jù)處理工具把需要推送的庫(kù)表數(shù)據(jù)推送至共省共享交換平臺(tái)部門前置庫(kù)中（增量推送）；省共享交換平臺(tái)數(shù)據(jù)交換系統(tǒng)把部門前置庫(kù)的數(shù)據(jù)采集至數(shù)據(jù)中心的中心前置庫(kù)中。數(shù)據(jù)要求數(shù)據(jù)要求包括以下方面，需提供字段見(jiàn)表1：提供數(shù)據(jù)表的主鍵，這是表中的某一條記錄的唯一標(biāo)識(shí)，為必須提供項(xiàng)；數(shù)據(jù)更新時(shí)間戳，要求默認(rèn)為業(yè)務(wù)生成時(shí)間或者變更時(shí)間；如果無(wú)法提供則修改成進(jìn)入前置庫(kù)時(shí)間，修改業(yè)務(wù)時(shí)也為進(jìn)入前置庫(kù)時(shí)間，可采用數(shù)據(jù)庫(kù)默認(rèn)時(shí)間和觸發(fā)器相結(jié)合的方式解決此問(wèn)題，格式為yyyy-MM-ddhh:mm:ss；新增數(shù)據(jù)類型，數(shù)據(jù)新增時(shí)為“I”，修改時(shí)為“U”，刪除時(shí)為“D”；來(lái)源部門，該字段填入各部門的監(jiān)管編碼，省級(jí)廳局為23+“#”+“三位機(jī)構(gòu)代碼”（三位機(jī)構(gòu)編碼參考附錄A.1），地市為6位行政區(qū)劃編碼；批次號(hào)：規(guī)則為日期+次數(shù)，例如2019年8月11日第二次提交數(shù)據(jù)，批次為“2019081100002”；要求對(duì)數(shù)據(jù)按照時(shí)間戳進(jìn)行增量更新，不可以進(jìn)行每次全量覆蓋式更新。庫(kù)表模式需提供字段文件模式匯聚基于FTP服務(wù)數(shù)據(jù)匯聚流程基于FTP服務(wù)數(shù)據(jù)匯聚流程見(jiàn)圖3?；贔TP服務(wù)數(shù)據(jù)匯聚流程圖匯聚流程匯聚流程如下：根據(jù)自身實(shí)際情況選擇人工導(dǎo)出并上傳至數(shù)據(jù)中心FTP服務(wù)器或者選擇機(jī)器自動(dòng)生成文件并上傳至FTP服務(wù)器；按照選擇的網(wǎng)絡(luò)圖譜配置前置機(jī)及網(wǎng)絡(luò)安全設(shè)備并打通網(wǎng)絡(luò)鏈路；人工導(dǎo)出模式為省共享交換平臺(tái)為資源提供方提供FTP上傳的用戶名和密碼，資源提供方通過(guò)人工導(dǎo)入至FTP服務(wù)器中，共享平臺(tái)交換工具自動(dòng)將上傳的數(shù)據(jù)采集至前置庫(kù)；機(jī)器自動(dòng)上傳至資源提供方自建FTP服務(wù)器，共享平臺(tái)交換工具通過(guò)資源提供方提供的用戶名和密碼自動(dòng)下載新增文件，并把數(shù)據(jù)采集至前置庫(kù)中；交換系統(tǒng)把前置庫(kù)中的數(shù)據(jù)采集至中心前置庫(kù)。數(shù)據(jù)要求數(shù)據(jù)要求包括：明確每個(gè)文件每行數(shù)據(jù)的主鍵數(shù)據(jù)項(xiàng)，且不能為空；每個(gè)文件每行數(shù)據(jù)中需增加一個(gè)時(shí)間戳字段，以方便系統(tǒng)根據(jù)時(shí)間戳識(shí)別增量數(shù)據(jù)（時(shí)間格式為yyyy-MM-ddhh:mm:ss）；每個(gè)文件每行數(shù)據(jù)中存在無(wú)效或者刪除數(shù)據(jù)需提供數(shù)據(jù)有效性標(biāo)示字段；按照目錄的匯聚頻率，更新備份庫(kù)中的數(shù)據(jù)；如果導(dǎo)出文件為Excel文件則最后一行必須為數(shù)據(jù)行，不能出現(xiàn)總計(jì)等匯總型數(shù)據(jù)；如果導(dǎo)出文件為XML文件則必須為標(biāo)準(zhǔn)的XML文件，必須有成對(duì)的標(biāo)識(shí)符。一個(gè)Excel文件中只能有一個(gè)sheet。Excel內(nèi)不能有合并過(guò)的單元格，單元格不能有單元格格式。接口模式匯聚服務(wù)接口數(shù)據(jù)落地模式匯聚數(shù)據(jù)流程圖基于服務(wù)接口數(shù)據(jù)落地模式匯聚數(shù)據(jù)流程圖見(jiàn)圖4?；诜?wù)接口數(shù)據(jù)落地模式匯聚數(shù)據(jù)流程圖匯聚流程匯聚流程如下：資源提供方提供service接口，實(shí)現(xiàn)通過(guò)接口調(diào)取業(yè)務(wù)應(yīng)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)；按照選擇的網(wǎng)絡(luò)圖譜配置前置機(jī)及網(wǎng)絡(luò)安全設(shè)備并打通網(wǎng)絡(luò)鏈路；數(shù)據(jù)共享平臺(tái)交換工具通過(guò)資源提供方提供的service地址、用戶名密碼、傳入?yún)?shù)進(jìn)行服務(wù)調(diào)用獲取數(shù)據(jù)，并把數(shù)據(jù)采集至前置庫(kù)中；數(shù)據(jù)交換系統(tǒng)把前置庫(kù)中的數(shù)據(jù)采集至中心前置庫(kù)中。數(shù)據(jù)要求數(shù)據(jù)要求包括：明確每條記錄中數(shù)據(jù)的主鍵數(shù)據(jù)項(xiàng)，且不能為空；每條記錄中的數(shù)據(jù)需增加一個(gè)時(shí)間戳字段，以方便系統(tǒng)根據(jù)時(shí)間戳識(shí)別增量數(shù)據(jù)（時(shí)間格式為yyyy-MM-ddhh:mm:ss）；每個(gè)文件每行數(shù)據(jù)中存在無(wú)效或者刪除數(shù)據(jù)需提供數(shù)據(jù)有效性標(biāo)示字段；按照目錄的匯聚頻率來(lái)更新數(shù)據(jù)；服務(wù)調(diào)用必須根據(jù)時(shí)間段進(jìn)行數(shù)據(jù)的采集，輸入?yún)?shù)中必須包含起始時(shí)間參數(shù)和截止時(shí)間參數(shù)。匯聚頻率各單位應(yīng)以增量更新的方式按規(guī)定的頻率進(jìn)行數(shù)據(jù)交換。更新頻率應(yīng)為資源提供方根據(jù)業(yè)務(wù)產(chǎn)生的實(shí)際頻率進(jìn)行定義。命名要求庫(kù)表模式資源提供方以庫(kù)表模式提供數(shù)據(jù)，需注意庫(kù)表的命名格式，庫(kù)表的命名應(yīng)以提供方部門首字母_數(shù)據(jù)資源目錄名稱首字母小寫來(lái)命名，如省稅務(wù)局的管理員以庫(kù)表模式提供的一項(xiàng)數(shù)據(jù)資源目錄名稱為“納稅人信用等級(jí)信息”的庫(kù)表，那么該庫(kù)表文件的命名應(yīng)為：swj_nsrxydjxx。文件模式資源提供方以文件模式上傳的數(shù)據(jù)，其命名規(guī)則是數(shù)據(jù)資源目錄名稱_上傳該數(shù)據(jù)的日期+順序號(hào)，如省稅務(wù)局的管理員在2020年3月20日以文件方式提供一項(xiàng)數(shù)據(jù)資源目錄名稱為“納稅人信用等級(jí)信息”的Excel文件，那么該文件的命名應(yīng)為：納稅人信用等級(jí)信息_2020032001。注：這里的順序號(hào)是由兩位數(shù)字組成，指的是當(dāng)日上傳此文件的順序。安全保障參照GB/T22239的規(guī)定執(zhí)行。宜采用信息安全等級(jí)保護(hù)為三級(jí)及以上。數(shù)據(jù)匯聚流程數(shù)據(jù)匯聚流程數(shù)據(jù)匯聚流程見(jiàn)圖5。數(shù)據(jù)匯聚流程匯聚準(zhǔn)備階段創(chuàng)建數(shù)據(jù)庫(kù)及文件、接口開(kāi)發(fā)創(chuàng)建數(shù)據(jù)庫(kù)創(chuàng)建數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)要求字符編碼為UTF-8，最大連接數(shù)不少于300；創(chuàng)建數(shù)據(jù)表；創(chuàng)建表索引。為了滿足數(shù)據(jù)交換的性能要求，所有匯聚表的主鍵都應(yīng)創(chuàng)建索引，索引命名規(guī)則為“I_+表名_+主鍵”。當(dāng)索引長(zhǎng)度超出數(shù)據(jù)庫(kù)限制時(shí)，索引命名規(guī)則為“表名_+主鍵”。創(chuàng)建文件創(chuàng)建文件夾，準(zhǔn)備數(shù)據(jù)文件。接口開(kāi)發(fā)資源提供方需準(zhǔn)備好接口地址及可返回參數(shù)的測(cè)試用例，并提供接口說(shuō)明文檔。存量數(shù)據(jù)處理資源提供方將存量數(shù)據(jù)按本文件的數(shù)據(jù)匯聚標(biāo)準(zhǔn)及代碼集標(biāo)準(zhǔn)進(jìn)行轉(zhuǎn)換處理。資源確認(rèn)省數(shù)據(jù)共享交換平臺(tái)作為資源需求方確認(rèn)待匯聚的數(shù)據(jù)資源，完成數(shù)據(jù)匯聚準(zhǔn)備。資源注冊(cè)、審核、發(fā)布省數(shù)據(jù)共享交換平臺(tái)，將待匯聚數(shù)據(jù)資源進(jìn)行注冊(cè)、審核、發(fā)布。匯聚運(yùn)行階段數(shù)據(jù)更新資源提供方在數(shù)據(jù)庫(kù)表創(chuàng)建成功后，按時(shí)間增量的方式進(jìn)行數(shù)據(jù)更新。增量數(shù)據(jù)應(yīng)滿足本文件要求的數(shù)據(jù)匯聚標(biāo)準(zhǔn)；更新頻率按照業(yè)務(wù)產(chǎn)生頻率進(jìn)行更新。數(shù)據(jù)匯聚省數(shù)據(jù)共享交換平臺(tái)負(fù)責(zé)將資源提供方提供的數(shù)據(jù)進(jìn)行數(shù)據(jù)匯聚、處理、加載入庫(kù)。數(shù)據(jù)對(duì)賬數(shù)據(jù)對(duì)賬用來(lái)對(duì)資源提供方提供的更新數(shù)據(jù)與省數(shù)據(jù)共享交換平臺(tái)接收的數(shù)據(jù)進(jìn)行比對(duì)，保證數(shù)據(jù)一致性。省數(shù)據(jù)共享交換平臺(tái)在每次數(shù)據(jù)更新時(shí)，按批次將更新量寫入數(shù)據(jù)對(duì)賬表，數(shù)據(jù)對(duì)賬表數(shù)據(jù)標(biāo)準(zhǔn)見(jiàn)附錄B；省數(shù)據(jù)共享交換平臺(tái)數(shù)據(jù)對(duì)賬表，數(shù)據(jù)對(duì)賬表示例見(jiàn)表2；省數(shù)據(jù)共享交換平臺(tái)依據(jù)資源提供方上報(bào)的數(shù)據(jù)對(duì)賬單，比對(duì)數(shù)據(jù)量差異，生成數(shù)據(jù)比對(duì)報(bào)告；若存在數(shù)據(jù)差異，啟動(dòng)異常處理流程。數(shù)據(jù)對(duì)賬表Cd_count異常處理省數(shù)據(jù)共享交換平臺(tái)進(jìn)行數(shù)據(jù)處理后，將發(fā)現(xiàn)的異常數(shù)據(jù)反饋給資源提供方，接收到異常數(shù)據(jù)，將異常數(shù)據(jù)核對(duì)修改后重新進(jìn)行提交。特殊情況處理如發(fā)生如下情況，需要通知省數(shù)據(jù)共享交換平臺(tái)，并重新組織全量數(shù)據(jù)更新：資源提供方軟件系統(tǒng)升級(jí)，業(yè)務(wù)數(shù)據(jù)表的唯一標(biāo)識(shí)字段（主鍵）發(fā)生變化；匯聚數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)匯聚標(biāo)準(zhǔn)；增量匯聚機(jī)制出現(xiàn)故障，無(wú)法繼續(xù)識(shí)別增量數(shù)據(jù)。

（資料性）

代碼說(shuō)明代碼說(shuō)明見(jiàn)表A.1。表A.1代碼說(shuō)明單位編碼省委網(wǎng)信辦008省委編辦009省委軍民融合辦010省信訪局012省委保密辦015省委機(jī)要局016省檔案局028省新聞出版局029省殘聯(lián)099省發(fā)改委102省教育廳103省科技廳104省工信廳105省民宗委106省公安廳107省民政廳108省司法廳109省財(cái)政廳110省人社廳111省自然資源廳112省生態(tài)環(huán)境廳113省住建廳114省交通廳115省水利廳116省農(nóng)業(yè)農(nóng)村廳117省商務(wù)廳118省文旅廳119

表A.1代碼說(shuō)明（續(xù)）單位編碼省衛(wèi)健委120省退役軍人事務(wù)廳121省應(yīng)急廳122省審計(jì)廳123省市場(chǎng)監(jiān)管局126省廣播電視局127省體育局128省統(tǒng)計(jì)局129省醫(yī)保局130省地方金融監(jiān)管局131省營(yíng)商環(huán)境建設(shè)監(jiān)督局132省林草局133省機(jī)關(guān)事務(wù)管理局134省扶貧辦136省糧食局138省煤管局141省藥監(jiān)局142省知識(shí)產(chǎn)權(quán)局143省安全廳199省稅務(wù)局201省通信管理局202省郵政局203省氣象局204省煙草專賣局205哈爾濱海關(guān)206黑龍江海事局207國(guó)家統(tǒng)計(jì)局黑龍江調(diào)查隊(duì)208黑龍江地震局209黑龍江煤監(jiān)局210黑龍江測(cè)繪地信局211黑龍江證監(jiān)局212黑龍江銀保監(jiān)局213

表A.1代碼說(shuō)明（續(xù)）單位編碼人民銀行哈爾濱中心支行214省消防救援總隊(duì)215中國(guó)民用航空黑龍江安全監(jiān)督管理局216中國(guó)鐵路哈爾濱局集團(tuán)有限公司297省電力公司298省聯(lián)通公司299

（資料性）

數(shù)據(jù)對(duì)賬表表B.1規(guī)定了數(shù)據(jù)對(duì)賬表字段名稱和數(shù)據(jù)格式。表B.1數(shù)據(jù)對(duì)賬表(匯聚)up_data_reconciliation序號(hào)名稱字段名稱數(shù)據(jù)格式必填項(xiàng)備注1主鍵IDN20是2表名TableNameC..128是業(yè)務(wù)表名3批次號(hào)Cd_batchC32是每次交換應(yīng)唯一，用于數(shù)據(jù)對(duì)賬4數(shù)據(jù)量Cd_count