《生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入技術(shù)規(guī)范（征求意見稿）》

1T/ACEFXXXX—XXXX生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入技術(shù)規(guī)范本文件規(guī)定了生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)的接入范圍、接入方式、接入質(zhì)量管理、接入安全管理等方面的要求。本文件適用于生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。HJ718環(huán)境信息共享互聯(lián)互通平臺(tái)總體框架技術(shù)規(guī)范3術(shù)語和定義HJ718-2014界定的以及下列術(shù)語和定義適用于本文件。3.1生態(tài)環(huán)境大數(shù)據(jù)ecologicalandenvironmentalbigdata具有體量巨大、來源多樣、流動(dòng)高速、形態(tài)多變等特征，并難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的生態(tài)環(huán)境數(shù)據(jù)集。3.2接口datainterface兩個(gè)功能單元之間的共享邊界，該邊界由兩個(gè)功能單元的功能特性、物理互連特性、信號(hào)交換特性及其他適當(dāng)特性定義?！緛碓矗篐J718-2014，3.2】3.3結(jié)構(gòu)化數(shù)據(jù)structureddata數(shù)據(jù)結(jié)構(gòu)固定，能夠用統(tǒng)一的結(jié)構(gòu)表示的數(shù)據(jù)。本規(guī)范指存儲(chǔ)于業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)。3.4非結(jié)構(gòu)化數(shù)據(jù)unstructureddata數(shù)據(jù)結(jié)構(gòu)不固定，且不能夠用統(tǒng)一的結(jié)構(gòu)表示的數(shù)據(jù)。包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像、音頻和視頻信息等數(shù)據(jù)。4縮略語下列縮略語適用于本文件。FTP：文件傳輸協(xié)議（FileTransferProtocol）。HTTP:標(biāo)準(zhǔn)的超文件傳輸協(xié)議（HyperTextTransferProtocol）。NFS:網(wǎng)絡(luò)文件系統(tǒng)（NetworkFileSystem）。5接入范圍5.1數(shù)據(jù)源2T/ACEFXXXX—XXXX接入的數(shù)據(jù)源包括：生態(tài)環(huán)境基礎(chǔ)信息資源（5.2）、主題域數(shù)據(jù)資源（5.3）、行業(yè)相關(guān)數(shù)據(jù)資源（5.4）。5.2生態(tài)環(huán)境基礎(chǔ)信息資源生態(tài)環(huán)境基礎(chǔ)信息數(shù)據(jù)資源見表1：表1生態(tài)環(huán)境基礎(chǔ)信息數(shù)據(jù)資源一級(jí)類目二級(jí)類目三級(jí)類目生態(tài)環(huán)境基礎(chǔ)信息資源環(huán)境質(zhì)量水環(huán)境質(zhì)量大氣環(huán)境質(zhì)量土壤環(huán)境質(zhì)量自然生態(tài)環(huán)境質(zhì)量聲環(huán)境質(zhì)量海洋生態(tài)環(huán)境質(zhì)量其他污染源廢水污染源廢氣污染源固體廢物企業(yè)重金屬污染源揮發(fā)性有機(jī)物污染源環(huán)境應(yīng)急風(fēng)險(xiǎn)源交通運(yùn)輸污染源集中式污染治理設(shè)施施工工地污染源生活污染源農(nóng)業(yè)污染源其他環(huán)境管理污染物排放總量控制生態(tài)保護(hù)應(yīng)對(duì)氣候變化固體廢物與化學(xué)品核與輻射安全管理環(huán)境安全應(yīng)急管理環(huán)境與情管理3T/ACEFXXXX—XXXX表1生態(tài)環(huán)境基礎(chǔ)信息數(shù)據(jù)資源（續(xù)）一級(jí)類目二級(jí)類目三級(jí)類目環(huán)境行政許可管理生態(tài)環(huán)境監(jiān)測生態(tài)環(huán)境保護(hù)督察環(huán)境執(zhí)法其他其他環(huán)境行政辦公環(huán)境綜合管理環(huán)境科技政策法規(guī)標(biāo)準(zhǔn)規(guī)范人事管理財(cái)務(wù)與審計(jì)環(huán)境地理信息其他5.3主題域數(shù)據(jù)資源主題域數(shù)據(jù)資源包括水環(huán)境、大氣環(huán)境、土壤環(huán)境、海洋生態(tài)環(huán)境、自然生態(tài)、固廢與?；?、核與輻射、聲、應(yīng)對(duì)氣候變化、行政許可、生態(tài)環(huán)境監(jiān)測、環(huán)境督察、環(huán)境執(zhí)法、環(huán)境統(tǒng)計(jì)、環(huán)境應(yīng)急、環(huán)境輿情管理等。5.4行業(yè)相關(guān)數(shù)據(jù)資源從其他部門接入的與環(huán)境相關(guān)的數(shù)據(jù)包括不僅限于：a)住房和城鄉(xiāng)建設(shè)部門的工地?cái)?shù)據(jù)和污水處理廠數(shù)據(jù)；b)公安部門的機(jī)動(dòng)車數(shù)據(jù)；c)發(fā)展和改革部門的燃煤數(shù)據(jù)和項(xiàng)目批復(fù)建設(shè)數(shù)據(jù)；d)水利部門的水文數(shù)據(jù)；e)自然資源部門的地下水、地質(zhì)、礦權(quán)數(shù)據(jù)；f)農(nóng)業(yè)農(nóng)村部門的土壤相關(guān)數(shù)據(jù)；g)氣象部門的大氣相關(guān)數(shù)據(jù)；h)海洋部門的功能區(qū)劃和入海水源數(shù)據(jù)等。5.5互聯(lián)網(wǎng)數(shù)據(jù)資源在互聯(lián)網(wǎng)上與生態(tài)環(huán)境相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，包括不僅限于：a)生態(tài)環(huán)境部門網(wǎng)站；b)生態(tài)環(huán)境系統(tǒng)網(wǎng)站；c)生態(tài)環(huán)境媒體網(wǎng)站；d)生態(tài)環(huán)境科技期刊網(wǎng)站、微信微博、門戶網(wǎng)站等。6接入方式4T/ACEFXXXX—XXXX6.1關(guān)系數(shù)據(jù)庫抽取6.1.1功能要求關(guān)系數(shù)據(jù)庫數(shù)據(jù)抽取應(yīng)具備以下主要功能：a)支持對(duì)主流的關(guān)系數(shù)據(jù)庫進(jìn)行數(shù)據(jù)抽?。恢С謱?duì)數(shù)據(jù)庫中常用的數(shù)據(jù)類型進(jìn)行數(shù)據(jù)抽取，至少包括數(shù)值型、字符型、日期/時(shí)間型等數(shù)據(jù)類型；b)支持“全量”和“增量”兩種數(shù)據(jù)抽取模式；c)支持關(guān)系數(shù)據(jù)庫中結(jié)構(gòu)化數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái)，包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)倉庫中；d)支持對(duì)關(guān)系數(shù)據(jù)庫數(shù)據(jù)的采集內(nèi)容和類型轉(zhuǎn)換操作，至少包括選擇具體的數(shù)據(jù)表、選擇表中具體的字段、字段類型格式轉(zhuǎn)換等操作；e)支持?jǐn)?shù)據(jù)抽取操作的立即執(zhí)行、定期、不定期調(diào)度運(yùn)行。定期調(diào)度運(yùn)行應(yīng)提供多種調(diào)度策略，至少包括固定期間間隔運(yùn)行、指定期間點(diǎn)運(yùn)行、指定期間范圍運(yùn)行、一次或指定次數(shù)運(yùn)行等策略；f)應(yīng)提供圖形化管理界面，包括數(shù)據(jù)抽取模式設(shè)置、抽取源關(guān)系數(shù)據(jù)庫配置、指定數(shù)據(jù)表配置、表字段選擇配置、字段類型轉(zhuǎn)換配置、大數(shù)據(jù)平臺(tái)目標(biāo)存儲(chǔ)位置配置、運(yùn)行策略配置等操作界面；g)應(yīng)提供完善的日志和審計(jì)能力，可以記錄數(shù)據(jù)抽取操作配置、運(yùn)行時(shí)發(fā)生的各種事件；h)應(yīng)提供完善的監(jiān)控機(jī)制，運(yùn)行過程中出現(xiàn)異常可快速的定位及解決。6.1.2場景描述應(yīng)用場景描述如下:a)關(guān)系數(shù)據(jù)庫抽取服務(wù)，抽取數(shù)據(jù)源中數(shù)據(jù)庫的元數(shù)據(jù)信息，包括數(shù)據(jù)庫用戶所屬的表、字段信息；b)關(guān)系數(shù)據(jù)庫抽取服務(wù)配置數(shù)據(jù)傳輸任務(wù)，包括抽取數(shù)據(jù)庫的源表和大數(shù)據(jù)平臺(tái)對(duì)應(yīng)的存儲(chǔ)目標(biāo)表；c)關(guān)系數(shù)據(jù)庫抽取服務(wù)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略，包括運(yùn)行的開始時(shí)間、結(jié)束時(shí)間、運(yùn)行頻d)關(guān)系數(shù)據(jù)庫抽取服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù)，從數(shù)據(jù)源的數(shù)據(jù)庫抽取數(shù)據(jù)到平臺(tái)數(shù)據(jù)存儲(chǔ)中。6.1.3應(yīng)用場景圖關(guān)系數(shù)據(jù)庫抽取應(yīng)用場景見圖1。5T/ACEFXXXX—XXXX圖1關(guān)系數(shù)據(jù)庫抽取應(yīng)用場景6.2數(shù)據(jù)網(wǎng)關(guān)6.2.1功能要求數(shù)據(jù)網(wǎng)關(guān)服務(wù)為數(shù)據(jù)源提供大數(shù)據(jù)平臺(tái)中結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的接口數(shù)據(jù)接入。網(wǎng)關(guān)服務(wù)應(yīng)具備以下主要功能：a)支持接入webservice、RESTful方式的接口；b)支持包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的接口；c)支持接口編排，輕松實(shí)現(xiàn)多個(gè)接口的功能集成；d)提供圖形化管理界面，用于接口數(shù)據(jù)存儲(chǔ)位置、操作用戶、目標(biāo)存儲(chǔ)位置的配置；e)提供完善的日志和審計(jì)能力，應(yīng)記錄接口數(shù)據(jù)配置及數(shù)據(jù)抽取操作配置、運(yùn)行時(shí)發(fā)生的各種事件；f)具備熔斷管理機(jī)制，接口訪問異常情況下的處理策略，保證服務(wù)整體可用。6.2.2應(yīng)用場景數(shù)據(jù)網(wǎng)關(guān)服務(wù)應(yīng)用場景描述如下:a)數(shù)據(jù)源向大數(shù)據(jù)平臺(tái)提供接口信息，包括：接口訪問地址、輸入?yún)?shù)、輸出參數(shù)、驗(yàn)證方式等接口信息；b)大數(shù)據(jù)平臺(tái)根據(jù)數(shù)據(jù)源提供的數(shù)據(jù)接口進(jìn)行定義及編排；c)網(wǎng)關(guān)服務(wù)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略，包括運(yùn)行的開始時(shí)間、結(jié)束時(shí)間、運(yùn)行頻度；d)網(wǎng)關(guān)服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù)，從數(shù)據(jù)源數(shù)據(jù)接口中抽取數(shù)據(jù)到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫中。6.2.3應(yīng)用場景圖數(shù)據(jù)網(wǎng)關(guān)服務(wù)應(yīng)用場景見圖2。圖2數(shù)據(jù)網(wǎng)關(guān)服務(wù)應(yīng)用場景6.3文件接收FTP服務(wù)6.3.1功能要求6T/ACEFXXXX—XXXX文件接收FTP服務(wù)應(yīng)提供外部系統(tǒng)文件數(shù)據(jù)的接收并存入到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫的功能。文件采集應(yīng)具備以下主要功能：a)支持標(biāo)準(zhǔn)FTP協(xié)議接收數(shù)據(jù)；b)支持順序型斷點(diǎn)續(xù)傳功能；c)支持接收的文件的重命名及指定存儲(chǔ)目錄；d)應(yīng)支持對(duì)接收文件的完整性校驗(yàn)；e)應(yīng)支持對(duì)客戶端進(jìn)行認(rèn)證；f)支持圖形管理功能，支持認(rèn)證配置、文件目標(biāo)位置配置、校驗(yàn)處理配置。6.3.2應(yīng)用場景應(yīng)用場景描述如下：a)大數(shù)據(jù)平臺(tái)配置應(yīng)用賬號(hào)、接收參數(shù)及存儲(chǔ)位置；b)管理信息系統(tǒng)通過標(biāo)準(zhǔn)FTP協(xié)議連接大數(shù)據(jù)平臺(tái)服務(wù)；c)管理信息系統(tǒng)檢查目標(biāo)臨時(shí)文件是否存在；d)管理信息系統(tǒng)發(fā)起全量或續(xù)傳指令；e)管理信息系統(tǒng)發(fā)送數(shù)據(jù)到大數(shù)據(jù)平臺(tái)；f)大數(shù)據(jù)平臺(tái)接收文件數(shù)據(jù)；g)管理信息系統(tǒng)發(fā)送數(shù)據(jù)校驗(yàn)文件；h)大數(shù)據(jù)平臺(tái)根據(jù)校驗(yàn)文件校驗(yàn)數(shù)據(jù)文件內(nèi)容；i)大數(shù)據(jù)平臺(tái)按配置的規(guī)則存儲(chǔ)接收到的數(shù)據(jù)文件；j)大數(shù)據(jù)平臺(tái)回寫數(shù)據(jù)存儲(chǔ)狀態(tài)；k)管理信息系統(tǒng)獲取數(shù)據(jù)存儲(chǔ)狀態(tài)。6.3.3應(yīng)用場景圖文件接收FTP服務(wù)應(yīng)用場景見圖3。7T/ACEFXXXX—XXXX圖3文件接收FTP服務(wù)應(yīng)用場景6.4文件拉取FTP服務(wù)6.4.1功能要求文件拉取FTP服務(wù)，應(yīng)提供通過訪問FTP協(xié)議實(shí)現(xiàn)將文件數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫的功能。文件拉取FTP服務(wù)應(yīng)具備以下主要功能：a)支持順序型斷點(diǎn)續(xù)傳功能，支持外部文件存儲(chǔ)斷點(diǎn)續(xù)傳能力的自動(dòng)識(shí)別及模式匹配；b)支持FTP服務(wù)登錄用戶名和密碼設(shè)置；c)支持文件壓縮傳輸，提供文件壓縮規(guī)則設(shè)置；d)支持文件加密傳輸，提供文件加密傳輸規(guī)則設(shè)置；e)支持設(shè)置文件同步、異步拉取，支持設(shè)置拉取并行度；f)支持指定目標(biāo)文件存儲(chǔ)位置、文件名，提供文件類型轉(zhuǎn)換規(guī)則，支持常見類型轉(zhuǎn)換；g)支持全量文件采集，支持外部數(shù)據(jù)一次性初始化導(dǎo)入；h)支持定期輪詢文件采集，采集新增的文件，支持文件列表規(guī)則過濾；i)支持圖形管理功能，支持FTP連接配置、文件源配置、文件目標(biāo)存儲(chǔ)配置、文件壓縮和加密傳輸規(guī)則配置、文件同步/異步傳輸規(guī)則配置、文件傳輸并行度配置、文件定期及實(shí)時(shí)策略配置、文件采集過濾配置。6.4.2應(yīng)用場景基于FTP協(xié)議的全量文件采集應(yīng)用場景應(yīng)用場景描述如下：a)業(yè)務(wù)系統(tǒng)應(yīng)提供初始文件存儲(chǔ)位置；b)大數(shù)據(jù)平臺(tái)全量文件采集提供基于FTP協(xié)議的采集任務(wù)配置，包括：存儲(chǔ)文件位置、采集文件列表方式、是否文件校驗(yàn)、存儲(chǔ)目標(biāo)位置及文件存儲(chǔ)命名規(guī)則；c)大數(shù)據(jù)平臺(tái)運(yùn)行文件采集任務(wù)，讀取文件存入大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫中?；贔TP協(xié)議的定期輪詢采集應(yīng)用場景應(yīng)用場景描述如下：a)業(yè)務(wù)系統(tǒng)應(yīng)按照業(yè)務(wù)需求生成數(shù)據(jù)文件，存儲(chǔ)在指定文件區(qū)域；b)業(yè)務(wù)系統(tǒng)應(yīng)根據(jù)校驗(yàn)算法SHA1在相同目錄下生成校驗(yàn)文件，校驗(yàn)文件名稱與數(shù)據(jù)文件相同；c)大數(shù)據(jù)平臺(tái)輪詢文件采集服務(wù)配置基于FTP協(xié)議的定期輪詢采集任務(wù)，定期輪詢采集文件；d)大數(shù)據(jù)平臺(tái)定期讀取解析索引及校驗(yàn)文件內(nèi)容；如果業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件出現(xiàn)新增時(shí)，大數(shù)據(jù)平臺(tái)讀取數(shù)據(jù)文件內(nèi)容，并且進(jìn)行文件校驗(yàn)，如果文件完整，則將數(shù)據(jù)文件寫入大數(shù)據(jù)平臺(tái)中。6.4.3應(yīng)用場景圖8T/ACEFXXXX—XXXX基于FTP協(xié)議的全量文件采集應(yīng)用場景見圖4，基于FTP協(xié)議的定期輪詢采集應(yīng)用場景見圖5。圖4基于FTP協(xié)議的全量文件采集應(yīng)用場景圖5基于FTP協(xié)議的定期輪詢采集應(yīng)用場景6.5消息隊(duì)列9T/ACEFXXXX—XXXX6.5.1功能要求消息隊(duì)列采集為管理信息系統(tǒng)提供消息推送和緩存功能。消息隊(duì)列應(yīng)具備以下主要功能：a)應(yīng)提供分布式消息隊(duì)列的管理功能，支持消息主題的創(chuàng)建、刪除、修改；b)應(yīng)提供支持“點(diǎn)對(duì)點(diǎn)”和“發(fā)布-訂閱”兩個(gè)消息模式；c)應(yīng)支持消息的持久化存儲(chǔ)操作并且支持持久化周期設(shè)置；d)應(yīng)提供消息分布式高可用的發(fā)送和消費(fèi)接口，包括鏈接建立、消息發(fā)送、消息消費(fèi)、鏈接關(guān)閉，支持消息分區(qū)和備份操作；e)具有風(fēng)格統(tǒng)一的圖形化管理界面，支持消息隊(duì)列主題的創(chuàng)建、刪除、測試、授權(quán)訪問的操作；f)具備完善的日志審計(jì)能力，應(yīng)記錄消息發(fā)送和消費(fèi)時(shí)發(fā)生的各種事件。6.5.2應(yīng)用場景應(yīng)用場景描述如下：a)管理信息系統(tǒng)應(yīng)向大數(shù)據(jù)平臺(tái)申請(qǐng)消息隊(duì)列接入服務(wù)；b)大數(shù)據(jù)平臺(tái)根據(jù)申請(qǐng)創(chuàng)建消息隊(duì)列主題，返回消息隊(duì)列名稱；c)管理信息系統(tǒng)開發(fā)業(yè)務(wù)處理程序，調(diào)用平臺(tái)消息隊(duì)列接口，發(fā)送數(shù)據(jù)或接收數(shù)據(jù)。6.5.3應(yīng)用場景圖消息隊(duì)列應(yīng)用場景見圖6。圖6消息隊(duì)列應(yīng)用場景6.6文件HTTP服務(wù)6.6.1功能要求文件HTTP服務(wù)，應(yīng)提供通過訪問HTTP協(xié)議實(shí)現(xiàn)將文件信息抽取到大數(shù)據(jù)平臺(tái)存儲(chǔ)的功能。文件HTTP服務(wù)應(yīng)具備以下主要功能：a)支持順序型斷點(diǎn)續(xù)傳功能，支持外部文件存儲(chǔ)斷點(diǎn)續(xù)傳能力的自動(dòng)識(shí)別及模式匹配；b)支持文件壓縮傳輸，提供文件壓縮傳輸規(guī)則設(shè)置；c)支持文件加密傳輸，提供文件加密傳輸規(guī)則設(shè)置；T/ACEFXXXX—XXXXd)支持設(shè)置文件同步、異步拉取，支持設(shè)置拉取并行度；e)支持制定目標(biāo)文件存儲(chǔ)位置、文件名，提供文件類型轉(zhuǎn)換規(guī)則，支持常見類型轉(zhuǎn)換；f)支持全量文件采集，支持外部數(shù)據(jù)一次性初始化導(dǎo)入；g)支持定期輪詢文件采集，采集新增的文件，支持文件列表規(guī)則過濾；h)支持圖形管理功能，支持文件源配置、文件目標(biāo)存儲(chǔ)配置、文件壓縮和加密傳輸規(guī)則配置、文件同步/異步傳輸規(guī)則配置、文件傳輸并行度配置、文件定期及實(shí)時(shí)策略配置、文件采集過濾配置。6.6.2應(yīng)用場景基于HTTP協(xié)議的全量采集應(yīng)用場景應(yīng)用場景描述如下：a)業(yè)務(wù)系統(tǒng)應(yīng)提供初始文件存儲(chǔ)位置；b)大數(shù)據(jù)平臺(tái)全量文件采集提供基于HTTP協(xié)議的采集任務(wù)配置，包括：存儲(chǔ)文件位置、采集文件列表方式、是否文件校驗(yàn)、傳輸是否壓縮、加密、同步/異步、并行度、存儲(chǔ)目標(biāo)位置及文件存儲(chǔ)類型轉(zhuǎn)換和命名規(guī)則；c)大數(shù)據(jù)平臺(tái)運(yùn)行文件采集任務(wù)，讀取文件存入大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫中?；贖TTP協(xié)議的定期輪詢采集應(yīng)用場景應(yīng)用場景描述如下：a)業(yè)務(wù)系統(tǒng)應(yīng)按照業(yè)務(wù)需求生成數(shù)據(jù)文件，存儲(chǔ)在指定文件區(qū)域；b)業(yè)務(wù)系統(tǒng)應(yīng)根據(jù)校驗(yàn)算法SHA1在相同目錄下生成校驗(yàn)文件，校驗(yàn)文件名稱與數(shù)據(jù)文件相同；c)大數(shù)據(jù)平臺(tái)輪詢文件采集服務(wù)配置基于HTTP協(xié)議的定期輪詢采集任務(wù)，定期輪詢采集文件；d)大數(shù)據(jù)平臺(tái)定期讀取解析索引及校驗(yàn)文件內(nèi)容；如果業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件出現(xiàn)新增時(shí)，大數(shù)據(jù)平臺(tái)讀取數(shù)據(jù)文件內(nèi)容，并且進(jìn)行文件校驗(yàn)，如果文件完整，則將數(shù)據(jù)文件寫入大數(shù)據(jù)平臺(tái)中。6.6.3應(yīng)用場景圖基于HTTP協(xié)議的全量采集應(yīng)用場景見圖7，基于HTTP協(xié)議的定期輪詢采集應(yīng)用場景見圖8。圖7基于HTTP協(xié)議的全量采集應(yīng)用場景T/ACEFXXXX—XXXX圖8基于HTTP協(xié)議的定期輪詢采集應(yīng)用場景6.7文件NFS服務(wù)6.7.1功能要求文件NFS服務(wù)，應(yīng)提供通過訪問NFS文件系統(tǒng)，實(shí)現(xiàn)將文件信息抽取到大數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)的功能。文件NFS服務(wù)應(yīng)具備以下主要功能：a)支持順序型斷點(diǎn)續(xù)傳功能，支持外部文件存儲(chǔ)斷點(diǎn)續(xù)傳能力的自動(dòng)識(shí)別及模式匹配；b)支持指定目標(biāo)文件存儲(chǔ)位置、文件名，提供文件類型轉(zhuǎn)換規(guī)則，支持常見類型轉(zhuǎn)換；c)支持全量文件采集，支持外部數(shù)據(jù)一次性初始化導(dǎo)入；d)支持定期輪詢文件采集，采集新增的文件，支持文件列表規(guī)則過濾；e)支持圖形管理功能，支持文件源配置、文件目標(biāo)存儲(chǔ)配置、文件壓縮和加密傳輸規(guī)則配置、文件定期及實(shí)時(shí)策略配置、文件采集過濾配置。6.7.2應(yīng)用場景NFS全量文件采集應(yīng)用場景應(yīng)用場景描述如下：a)業(yè)務(wù)系統(tǒng)應(yīng)提供初始文件存儲(chǔ)位置；b)大數(shù)據(jù)平臺(tái)全量文件采集提供采集NFS文件任務(wù)配置，包括：存儲(chǔ)文件位置、采集文件列表方式、是否文件校驗(yàn)、存儲(chǔ)目標(biāo)位置及文件存儲(chǔ)命名規(guī)則；c)大數(shù)據(jù)平臺(tái)運(yùn)行文件采集任務(wù)，讀取文件存入大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫中。NFS文件定期輪詢采集應(yīng)用場景應(yīng)用場景描述如下：a)業(yè)務(wù)系統(tǒng)應(yīng)按照業(yè)務(wù)需求生成數(shù)據(jù)文件，存儲(chǔ)在指定文件區(qū)域；T/ACEFXXXX—XXXXb)業(yè)務(wù)系統(tǒng)應(yīng)根據(jù)校驗(yàn)算法SM3在相同目錄下生成校驗(yàn)文件，校驗(yàn)文件名稱與數(shù)據(jù)文件相同，文件擴(kuò)展名為.SM3；c)大數(shù)據(jù)平臺(tái)輪詢文件采集服務(wù)配置NFS文件定期輪詢采集任務(wù)，定期輪詢采集文件；d)大數(shù)據(jù)平臺(tái)定期讀取解析索引及校驗(yàn)文件內(nèi)容；如果業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件出現(xiàn)新增時(shí)，大數(shù)據(jù)平臺(tái)讀取數(shù)據(jù)文件內(nèi)容，并且進(jìn)行文件校驗(yàn)，如果文件完整，則將數(shù)據(jù)文件寫入大數(shù)據(jù)平臺(tái)中。6.7.3應(yīng)用場景圖NFS全量文件采集應(yīng)用場景見圖9，NFS文件定期輪詢采集應(yīng)用場景見圖10。圖9NFS全量文件采集應(yīng)用場景圖10NFS文件定期輪詢采集應(yīng)用場景T/ACEFXXXX—XXXX6.8區(qū)塊鏈數(shù)據(jù)服務(wù)6.8.1功能要求生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)應(yīng)具備區(qū)塊鏈雙鏈系統(tǒng)，分別是數(shù)據(jù)目錄鏈和數(shù)據(jù)鏈系統(tǒng)。環(huán)境監(jiān)測設(shè)備或環(huán)境應(yīng)用系統(tǒng)的數(shù)據(jù)通過目錄鏈公示可上鏈或應(yīng)上鏈數(shù)據(jù)，通過代理節(jié)點(diǎn)或自身實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)鏈。區(qū)塊鏈數(shù)據(jù)服務(wù)應(yīng)具有以下功能：a)接收環(huán)境監(jiān)測設(shè)備編號(hào)信息并進(jìn)行證書申請(qǐng)，進(jìn)行設(shè)備的認(rèn)證認(rèn)可；b)區(qū)塊鏈節(jié)點(diǎn)應(yīng)支持環(huán)境監(jiān)測設(shè)備通過代理實(shí)現(xiàn)數(shù)據(jù)上鏈；c)支持以全量表、快照表、拉鏈表3種方式進(jìn)行數(shù)據(jù)存證版本確認(rèn)；d)支持上鏈數(shù)據(jù)的存儲(chǔ)與檢索；e)支持上鏈數(shù)據(jù)的可控共享與交換；f)支持上鏈數(shù)據(jù)的使用記錄；g)支持上鏈數(shù)據(jù)隱私安全保護(hù)。6.8.2應(yīng)用場景應(yīng)用場景描述如下：a)代理節(jié)點(diǎn)接收環(huán)境監(jiān)測設(shè)備編號(hào)，到區(qū)塊鏈證書管理中心進(jìn)行證書申請(qǐng)，申請(qǐng)確認(rèn)后，設(shè)備被標(biāo)識(shí)為邊緣節(jié)點(diǎn)（區(qū)塊鏈輕節(jié)點(diǎn)）；b)邊緣節(jié)點(diǎn)對(duì)設(shè)備參數(shù)和設(shè)備監(jiān)測值進(jìn)行數(shù)字簽名并主動(dòng)或被動(dòng)傳輸給區(qū)塊鏈節(jié)點(diǎn)；c)區(qū)塊鏈節(jié)點(diǎn)對(duì)收到的邊緣節(jié)點(diǎn)數(shù)據(jù)進(jìn)行合法性校驗(yàn)，通過校驗(yàn)后附加認(rèn)證信息上傳到數(shù)鏈系統(tǒng)，完成監(jiān)測設(shè)備數(shù)據(jù)上鏈。6.8.3應(yīng)用場景圖區(qū)塊鏈數(shù)據(jù)服務(wù)應(yīng)用場景見圖11，生態(tài)環(huán)境智能質(zhì)控物聯(lián)網(wǎng)設(shè)備接入示例見附錄A。圖11區(qū)塊鏈數(shù)據(jù)服務(wù)應(yīng)用場景T/ACEFXXXX—XXXX7接入質(zhì)量管理本文件中的數(shù)據(jù)質(zhì)量評(píng)價(jià)維度、數(shù)據(jù)接入質(zhì)量技術(shù)要求和數(shù)據(jù)質(zhì)量評(píng)分方法應(yīng)符合DB15/T1873-2020第5、6、7章的要求。8接入安全管理8.1數(shù)據(jù)源認(rèn)證外部公共數(shù)據(jù)源認(rèn)證參照DB15/T1874-2020第7.2章節(jié)進(jìn)行數(shù)據(jù)源鑒別和記錄，外部其他數(shù)據(jù)源遵從數(shù)據(jù)源身份認(rèn)證要求。內(nèi)部數(shù)據(jù)源應(yīng)采用區(qū)塊鏈數(shù)字證書技術(shù)進(jìn)行身份認(rèn)證。8.2數(shù)據(jù)可靠傳輸外部數(shù)據(jù)源遵從數(shù)據(jù)源要求的傳輸方式。內(nèi)部數(shù)據(jù)源之間進(jìn)行數(shù)據(jù)傳輸時(shí)應(yīng)采用區(qū)塊鏈數(shù)字簽名及時(shí)間戳方法保證數(shù)據(jù)傳輸?shù)耐暾?、私密性、可溯性、不可抵賴性和時(shí)間證明。T/ACEFXXXX—XXXX智能質(zhì)控生態(tài)環(huán)境物聯(lián)網(wǎng)設(shè)備接入說明A.1申請(qǐng)數(shù)字證書智能質(zhì)控生態(tài)環(huán)境物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)接入流程如下：a)在區(qū)塊鏈系統(tǒng)證