特種設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換技術(shù)規(guī)范

特種設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換技術(shù)規(guī)范范圍本文件規(guī)定了特種設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換的工作流程、技術(shù)架構(gòu)、技術(shù)要求、安全要求和數(shù)據(jù)質(zhì)量保障要求。本文件適用于特種設(shè)備大數(shù)據(jù)平臺(tái)與相關(guān)業(yè)務(wù)系統(tǒng)、服務(wù)平臺(tái)及監(jiān)測(cè)管理平臺(tái)等的數(shù)據(jù)交換。規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T35295信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T37973信息安全技術(shù)大數(shù)據(jù)安全管理指南GB/T37721信息技術(shù)大數(shù)據(jù)分析系統(tǒng)功能要求TSGZ0002特種設(shè)備信息化工作管理規(guī)則術(shù)語(yǔ)和定義GB/T35295、GB/T37973、GB/T37721界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

大數(shù)據(jù)bigdata具有數(shù)量巨大、種類多樣、流動(dòng)速度快、特征多變等特性，并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)和數(shù)據(jù)處理技術(shù)進(jìn)行有效組織、存儲(chǔ)、計(jì)算、分析和管理的數(shù)據(jù)集。[來(lái)源：GB/T37973－2019，3.1]

大數(shù)據(jù)平臺(tái)bigdataplatform采用分布式存儲(chǔ)和計(jì)算技術(shù)，提供大數(shù)據(jù)的訪問(wèn)和處理，支持大數(shù)據(jù)應(yīng)用安全高效運(yùn)行的軟硬件集合。[來(lái)源：GB/T37973－2019，3.3]

結(jié)構(gòu)化數(shù)據(jù)structureddata存儲(chǔ)在數(shù)據(jù)庫(kù)里，可以用二維表結(jié)構(gòu)表示的數(shù)據(jù)。[來(lái)源：GB/T37721－2019，3.2]

非結(jié)構(gòu)化數(shù)據(jù)unstructureddata除了結(jié)構(gòu)化數(shù)據(jù)之外的沒(méi)有明確結(jié)構(gòu)約束的數(shù)據(jù)。[來(lái)源：GB/T37721－2019，3.3]縮略語(yǔ)下列縮略語(yǔ)適用于本文件。JSON：JavaScript對(duì)象標(biāo)記（JavaScriptObjectNotation）SOAP：簡(jiǎn)單對(duì)象訪問(wèn)協(xié)議（SimpleObjectAccessProtocol）XML：可擴(kuò)展標(biāo)記語(yǔ)言（ExtensibleMarkupLanguage）數(shù)據(jù)交換工作流程特種設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換工作流程，主要包括數(shù)據(jù)采集、數(shù)據(jù)交換及數(shù)據(jù)應(yīng)用三個(gè)環(huán)節(jié)，見(jiàn)圖1。數(shù)據(jù)采集，是特種設(shè)備大數(shù)據(jù)平臺(tái)的數(shù)據(jù)來(lái)源，主要途徑包括特種設(shè)備物聯(lián)網(wǎng)、特種設(shè)備應(yīng)用系統(tǒng)、特種設(shè)備服務(wù)平臺(tái)獲取。數(shù)據(jù)交換，經(jīng)過(guò)數(shù)據(jù)采集環(huán)節(jié)采集到的所有數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)模擬系統(tǒng)驗(yàn)證滿足數(shù)據(jù)安全質(zhì)量保障要求后，正式進(jìn)行數(shù)據(jù)交換。數(shù)據(jù)安全質(zhì)量保障要求，見(jiàn)本文件第8、9章。數(shù)據(jù)應(yīng)用，利用大數(shù)據(jù)技術(shù)和方法，對(duì)交換數(shù)據(jù)進(jìn)行加工處理形成標(biāo)準(zhǔn)化數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)管理、數(shù)據(jù)共享及和數(shù)據(jù)服務(wù)。特種設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換工作流程圖數(shù)據(jù)交換技術(shù)架構(gòu)特種設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換技術(shù)架構(gòu)見(jiàn)圖2。數(shù)據(jù)采集，特種設(shè)備物聯(lián)網(wǎng)，包括電梯、氣瓶、鍋爐等在線物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)的采集；業(yè)務(wù)應(yīng)用包括特種設(shè)備的制造、安裝、使用、監(jiān)督管理、檢驗(yàn)檢測(cè)、應(yīng)急處置等信息系統(tǒng)的業(yè)務(wù)信息數(shù)據(jù)的采集；外部服務(wù)包括企業(yè)服務(wù)平臺(tái)等。數(shù)據(jù)交換，通過(guò)物聯(lián)網(wǎng)網(wǎng)關(guān)或通訊協(xié)議、消息中間件以及Web服務(wù)接口三種方式實(shí)現(xiàn)數(shù)據(jù)的交換：物聯(lián)網(wǎng)網(wǎng)關(guān)及通訊協(xié)議，主要實(shí)現(xiàn)電梯物聯(lián)網(wǎng)、氣瓶物聯(lián)網(wǎng)、鍋爐物聯(lián)網(wǎng)等實(shí)時(shí)數(shù)據(jù)可以直接交換到交換數(shù)據(jù)庫(kù)；消息中間件以及Web服務(wù)接口主要實(shí)現(xiàn)特種設(shè)備制造、充裝、使用、監(jiān)督管理、檢驗(yàn)檢測(cè)、應(yīng)急處置等各信息數(shù)據(jù)的交換及外部服務(wù)信息數(shù)據(jù)的交換；消息中間件以及Web服務(wù)接口，也可以交換特種設(shè)備物聯(lián)網(wǎng)交換到相關(guān)業(yè)務(wù)系統(tǒng)及服務(wù)平臺(tái)的信息數(shù)據(jù)的交換。數(shù)據(jù)應(yīng)用，對(duì)交換數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行大數(shù)據(jù)ETL處理形成標(biāo)準(zhǔn)化數(shù)據(jù)，并對(duì)數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)管理、數(shù)據(jù)共享及數(shù)據(jù)服務(wù)；數(shù)據(jù)共享，是將特種設(shè)備大數(shù)據(jù)平臺(tái)標(biāo)準(zhǔn)化的數(shù)據(jù)，向國(guó)家級(jí)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)共享；同時(shí)通過(guò)XX省數(shù)據(jù)開(kāi)放平臺(tái)進(jìn)行注冊(cè)并提供開(kāi)放接口的形式，對(duì)外部服務(wù)實(shí)現(xiàn)數(shù)據(jù)共享。數(shù)據(jù)交換技術(shù)架構(gòu)數(shù)據(jù)交換技術(shù)要求數(shù)據(jù)交換策略特種設(shè)備大數(shù)據(jù)平臺(tái)提供實(shí)時(shí)交換、定時(shí)交換兩種交換方式，全量交換、增量交換兩種交換形式。交換方式實(shí)時(shí)數(shù)據(jù)交換實(shí)時(shí)交換是指數(shù)據(jù)產(chǎn)生后即時(shí)進(jìn)行的數(shù)據(jù)交換，適用于高頻率、對(duì)時(shí)效性敏感的交換場(chǎng)景。如電梯、氣瓶、鍋爐等特種設(shè)備物聯(lián)網(wǎng)感知層獲取的實(shí)時(shí)信息數(shù)據(jù)，將感知的時(shí)序數(shù)據(jù)即時(shí)交換到特種設(shè)備大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換。定時(shí)批量數(shù)據(jù)交換定時(shí)批量數(shù)據(jù)交換是指按照設(shè)定時(shí)間進(jìn)行的數(shù)據(jù)交換，適用于低頻率、對(duì)數(shù)據(jù)變更時(shí)效性不敏感的交換場(chǎng)景。如特種設(shè)備相關(guān)業(yè)務(wù)系統(tǒng)及服務(wù)平臺(tái)等數(shù)據(jù)的交換，可以按照每日、每周或每月定期進(jìn)行數(shù)據(jù)交換。交換形式全量交換全量交換是指一次性將所有數(shù)據(jù)交換到目標(biāo)節(jié)點(diǎn)的交換方式，一般適用于低頻率（每天、周、月等）、對(duì)數(shù)據(jù)變更時(shí)效性不敏感的交換場(chǎng)景。如特種設(shè)備注冊(cè)登記及業(yè)務(wù)變更等數(shù)據(jù)的交換。增量交換增量交換是指獲取增量數(shù)據(jù)并交換到目標(biāo)節(jié)點(diǎn)的交換方式，適用于高頻率、對(duì)數(shù)據(jù)變更時(shí)效性敏感的交換場(chǎng)景。如特種設(shè)備檢驗(yàn)檢測(cè)等數(shù)據(jù)的交換。數(shù)據(jù)關(guān)系標(biāo)識(shí)全量交換及增量交換時(shí)，交換數(shù)據(jù)需具有完整的數(shù)據(jù)關(guān)系標(biāo)識(shí)。數(shù)據(jù)交換方法物聯(lián)網(wǎng)網(wǎng)關(guān)/通訊協(xié)議交換適用于電梯、氣瓶及鍋爐等特種設(shè)備物聯(lián)網(wǎng)感知數(shù)據(jù)交換實(shí)時(shí)性要求較高的數(shù)據(jù)交換。特種設(shè)備物聯(lián)網(wǎng)感知設(shè)備，將感知的時(shí)序數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)網(wǎng)關(guān)/通訊協(xié)議實(shí)時(shí)交換到交換數(shù)據(jù)庫(kù)并實(shí)現(xiàn)數(shù)據(jù)持久化。交換方法如圖3所示。通訊網(wǎng)關(guān)交換示意圖物聯(lián)網(wǎng)感知設(shè)備，包括傳感器、RFID電子標(biāo)簽、攝像頭及二維碼等。物聯(lián)網(wǎng)網(wǎng)關(guān)/通訊協(xié)議，即物聯(lián)網(wǎng)感知數(shù)據(jù)的交換網(wǎng)絡(luò)，包括物聯(lián)網(wǎng)網(wǎng)關(guān)設(shè)備及WIFI、4G等無(wú)線或有線網(wǎng)絡(luò)。消息中間件交換適用于特種設(shè)備檢驗(yàn)檢測(cè)信息等數(shù)據(jù)交換實(shí)時(shí)性要求較高、小批量的數(shù)據(jù)交換，是資源提供方主動(dòng)以增量數(shù)據(jù)的方式推送數(shù)據(jù)到數(shù)據(jù)管理平臺(tái)，具有數(shù)據(jù)交換及時(shí)、安全、準(zhǔn)確性高特點(diǎn)。交換方法如圖4所示。消息中間件交換示意圖資源提供方以增量方式提供數(shù)據(jù)，將增量數(shù)據(jù)（包括增刪改的數(shù)據(jù)）發(fā)布到消息隊(duì)列中。數(shù)據(jù)管理平臺(tái)從消息隊(duì)列中接收到資源提供方提供的數(shù)據(jù)，并進(jìn)行標(biāo)準(zhǔn)化處理。數(shù)據(jù)管理平臺(tái)將加工處理過(guò)的標(biāo)準(zhǔn)化數(shù)據(jù)持久化到數(shù)據(jù)庫(kù)中。數(shù)據(jù)管理平臺(tái)將標(biāo)準(zhǔn)化的數(shù)據(jù)以廣播的方式發(fā)送到資源需求方的消息隊(duì)列中。資源需求方從消息隊(duì)列中接收標(biāo)準(zhǔn)化的數(shù)據(jù)。Web服務(wù)接口交換適用于特種設(shè)備制造信息、充裝信息、使用信息、監(jiān)督管理信息、應(yīng)急處置信息等定時(shí)、大批量的數(shù)據(jù)交換。資源使用方通過(guò)主動(dòng)請(qǐng)求的方式獲取資源提供方數(shù)據(jù)信息的情形。交換方法如圖5所示。Web服務(wù)交換示意圖服務(wù)提供方設(shè)計(jì)、實(shí)現(xiàn)Web服務(wù)，并通過(guò)服務(wù)注冊(cè)中心發(fā)布。服務(wù)請(qǐng)求方向服務(wù)注冊(cè)中心發(fā)起請(qǐng)求，服務(wù)注冊(cè)中心為其提供授權(quán)的、滿足請(qǐng)求的服務(wù)。服務(wù)注冊(cè)中心向服務(wù)請(qǐng)求方返回滿足條件的Web服務(wù)描述信息。服務(wù)請(qǐng)求方利用服務(wù)注冊(cè)中心返回的服務(wù)描述信息，生成相應(yīng)的SOAP消息，發(fā)送給服務(wù)提供方，實(shí)現(xiàn)Web服務(wù)的調(diào)用。服務(wù)提供方按SOAP消息執(zhí)行相應(yīng)的Web服務(wù)，并將服務(wù)結(jié)果返回給服務(wù)請(qǐng)求方。數(shù)據(jù)交換格式JSON數(shù)據(jù)交換適用于特種設(shè)備物聯(lián)網(wǎng)、特種設(shè)備業(yè)務(wù)系統(tǒng)及服務(wù)平臺(tái)數(shù)據(jù)的交換。按照數(shù)據(jù)接口模型構(gòu)建的JSONSchema示例見(jiàn)附錄A。XML數(shù)據(jù)交換適用于特種設(shè)備業(yè)務(wù)系統(tǒng)、服務(wù)平臺(tái)等數(shù)據(jù)交換。按照數(shù)據(jù)接口模型構(gòu)建的XMLSchema示例見(jiàn)附錄B。資源文件數(shù)據(jù)交換以文件、圖片、視頻等方式實(shí)現(xiàn)數(shù)據(jù)資源交換，適用于非結(jié)構(gòu)化資源或更新頻率比較緩慢的結(jié)構(gòu)化資源的數(shù)據(jù)交換。數(shù)據(jù)交換內(nèi)容特種設(shè)備大數(shù)據(jù)平臺(tái)交換的數(shù)據(jù)，需滿足安全監(jiān)管、行業(yè)發(fā)展、信息追溯及公共服務(wù)要求，應(yīng)符合TSGZ0002關(guān)于主題數(shù)據(jù)庫(kù)內(nèi)容的要求。數(shù)據(jù)交換安全要求數(shù)據(jù)交換安全要求包括但不限于：身份認(rèn)證。應(yīng)對(duì)數(shù)據(jù)交換雙方進(jìn)行身份鑒別或設(shè)備認(rèn)證；授權(quán)控制。應(yīng)對(duì)使用方數(shù)據(jù)交換操作進(jìn)行授權(quán)檢查，并執(zhí)行訪問(wèn)控制；安全傳輸。應(yīng)保證通信過(guò)程中數(shù)據(jù)的安全性和完整性，并定期檢查數(shù)據(jù)傳輸?shù)目煽啃?；過(guò)程追溯。應(yīng)跟蹤和記錄數(shù)據(jù)交換過(guò)程，數(shù)據(jù)交換記錄日志應(yīng)保存6個(gè)月以上。數(shù)據(jù)質(zhì)量保障要求數(shù)據(jù)質(zhì)量保障要求包括但不限于：接口模擬測(cè)試。測(cè)試各種接口訪問(wèn)權(quán)限、授權(quán)控制、數(shù)據(jù)傳輸?shù)陌踩?；?shù)據(jù)模擬測(cè)試。測(cè)試數(shù)據(jù)格式、數(shù)據(jù)內(nèi)容的正確性；系統(tǒng)模擬測(cè)試。建立模擬系統(tǒng)，測(cè)試數(shù)據(jù)交換的正確性；正式系統(tǒng)切換。在各種測(cè)試通過(guò)后，正式切換到正式系統(tǒng)。

（資料性）

數(shù)據(jù)接口規(guī)范JSONSchema示例以“XX省特種設(shè)備安全監(jiān)督管理系統(tǒng)”為例交換特種設(shè)備注冊(cè)登記數(shù)據(jù)的JSONSchema格式為：{"$schema":":///draft-07/schema#"，"$id":"://example/product.schema.json"，"title":"seda"，"description":"特種設(shè)備信息描述"，"type":"object"，"properties":{"seCode":{"description":"設(shè)備注冊(cè)代碼"，"type":"string"}，"seType":{"description":"設(shè)備種類"，"type":"string"，}，"seName":{"description":"設(shè)備名稱"，"type":"string"}，"useUnit":{"description":"使用單位"，"type":"string"，}，"useAddress":{"description":"使用地址"，"type":"string"，}}，"required":["seCode"，"seType"，"seName"，"useUnit"，"useAddress"]}

（資料性）

數(shù)據(jù)接口規(guī)范XMLSchema示例以“XX省特種設(shè)備安全監(jiān)督管理系統(tǒng)”為例交換特種設(shè)備注冊(cè)登記數(shù)據(jù)的XMLSchema格式為：<?xmlversion="1.0"encoding="UTF-8"?><xs:schemaxmlns:xs=":///2001/XMLSchema"><xs:elementname="seda"><xs:annotation><xs:documentation>根元素</xs:documentation></xs:annotation><xs:complexType><xs:sequence><xs:elementmaxOccurs="1"minOccurs="1"ref="sdstzsbaqjdglxtjhsj"/></xs:sequence></xs:complexType></xs:element><xs:elementname="sdstzsbaqjdglxtjhsj"><xs:annotation><xs:documentation>XX省特種設(shè)備安全監(jiān)督管理系統(tǒng)</xs:documentation></xs:annotation><xs:complexType><xs:sequence><xs:elementname="dataset"maxOccurs="1"minOccurs="1"/></xs:sequence></xs:complexType></xs:element><xs:elementname="dataset"><xs:annotation><xs:documentation>數(shù)據(jù)集合</xs:documentation></xs:annotation><xs:complexType><xs:sequence><xs:elementname="data"maxOccurs="unbounded"minOccurs="1"/></xs:sequence></xs:complexType></xs:element><xs:elementname="data"><xs:annotation><xs:documentation>數(shù)據(jù)</xs:documentation></xs:annotation><xs:complexType><xs:sequence><xs:elementname="secode"maxOccurs="1"minOccurs="1"/><xs:elementname="setype"maxOccurs="1"minOccurs="1"/><xs:elementname="sename"maxOccurs="1"minOccurs="1"/><xs:elementname="useunit"maxOccurs="1"minOccurs="1"/><xs:elementname="useaddress"maxOccurs="1"minOccurs="1"/></xs:sequence></xs:complexType></xs:element><xs:elementname="secode"type="xs:string"><xs:annotation>