《生態(tài)環(huán)境大數(shù)據(jù)管理平臺架構(gòu)技術(shù)規(guī)范（征求意見稿）》

1T/ACEFXXXX—XXXX生態(tài)環(huán)境大數(shù)據(jù)管理平臺架構(gòu)技術(shù)規(guī)范本文件規(guī)定了生態(tài)環(huán)境大數(shù)據(jù)管理平臺架構(gòu)設(shè)計的原則及架構(gòu)各組成部分和各部分的功能與實現(xiàn)要求。本文件適用于環(huán)保相關(guān)部門開展生態(tài)環(huán)境大數(shù)據(jù)管理平臺的設(shè)計、建設(shè)、管理、應(yīng)用和運維的指導。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。HJ/T418環(huán)境信息系統(tǒng)集成技術(shù)規(guī)范HJ/T720環(huán)境信息元數(shù)據(jù)規(guī)范《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》（環(huán)辦廳[2016]23號）3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1數(shù)據(jù)質(zhì)量dataquaility在指定條件下使用時，數(shù)據(jù)的準確性、完整性、一致性、可信度、及時性和可用性等方面滿足明確的和隱含的要求的程度。3.2軟件開發(fā)工具包SoftwareDevelopmentKit，SDK輔助實現(xiàn)軟件產(chǎn)品某些功能的相關(guān)文檔、范例和工具的集合3.3應(yīng)用程序接口ApplicationProgrammingInterface，API一組定義了軟件組件之間交互的規(guī)范和方法的集合。4總體原則4.1模塊化與服務(wù)化原則倡導將復(fù)雜系統(tǒng)分解為若干獨立且協(xié)同的模塊，每個模塊聚焦于特定功能，促進系統(tǒng)的靈活構(gòu)建與高效維護。鼓勵采用微服務(wù)架構(gòu)，將平臺功能以服務(wù)形式封裝，促進服務(wù)的獨立演進與快速響應(yīng)市場變化。4.2可擴展性與靈活性原則設(shè)計時考慮未來數(shù)據(jù)增長和業(yè)務(wù)擴展需求，確保平臺能夠靈活應(yīng)對規(guī)模變化，支持水平或垂直擴展。構(gòu)建靈活可調(diào)的架構(gòu)，以便輕松集成新技術(shù)、適應(yīng)新需求，確保系統(tǒng)的持續(xù)進化能力。4.3安全與穩(wěn)定原則構(gòu)建全方位的安全防護體系，包括數(shù)據(jù)加密、訪問控制、審計追蹤等，保障數(shù)據(jù)全生命周期的安全。確保平臺在各類復(fù)雜場景下穩(wěn)定運行，通過冗余設(shè)計、負載均衡等策略提升系統(tǒng)可用性。4.4開放共享與規(guī)范化原則2T/ACEFXXXX—XXXX倡導數(shù)據(jù)資源的開放共享，推動跨領(lǐng)域、跨組織的數(shù)據(jù)合作，促進數(shù)據(jù)價值的最大化利用。遵循并推動數(shù)據(jù)標準制定，促進數(shù)據(jù)格式的統(tǒng)一與互操作性，提升數(shù)據(jù)質(zhì)量與可信度。4.5前瞻性與創(chuàng)新性原則保持對技術(shù)發(fā)展趨勢的敏銳洞察，確保平臺架構(gòu)能夠引領(lǐng)而非追隨技術(shù)發(fā)展潮流。鼓勵技術(shù)創(chuàng)新與應(yīng)用探索，將新技術(shù)融入平臺建設(shè)中，不斷提升平臺的智能化水平和用戶體驗。5總體架構(gòu)依據(jù)《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》（環(huán)辦廳[2016]23號）,在生態(tài)環(huán)境大數(shù)據(jù)總體架構(gòu)中，包括生態(tài)環(huán)境大數(shù)據(jù)管理機制、生態(tài)環(huán)境大數(shù)據(jù)標準規(guī)范體系、運維和信息安全體系以及大數(shù)據(jù)環(huán)保云平臺、大數(shù)據(jù)管理平臺、大數(shù)據(jù)應(yīng)用平臺等內(nèi)容。生態(tài)環(huán)境大數(shù)據(jù)管理平臺是生態(tài)環(huán)境大數(shù)據(jù)總體架構(gòu)的重要組成部分，屬于生態(tài)環(huán)境大數(shù)據(jù)的數(shù)據(jù)資源層，為云平臺的基礎(chǔ)上為應(yīng)用平臺提供數(shù)據(jù)采集、預(yù)處理、存儲、分析等支撐服務(wù)。生態(tài)環(huán)境大數(shù)據(jù)管理平臺總體架構(gòu)的設(shè)計應(yīng)按圖1實施。圖1大數(shù)據(jù)管理平臺總體架6大數(shù)據(jù)標準規(guī)范6.1標準體系建設(shè)應(yīng)根據(jù)大數(shù)據(jù)管理平臺總體架構(gòu)、建設(shè)內(nèi)容、政策法規(guī)要求梳理標準化需求，制定所需的標準體系，配置與體系對應(yīng)的標準文獻。6.2標準更新應(yīng)根據(jù)法規(guī)、技術(shù)進步、標準更新及時同步更新標準體系：a)標準體系框架更新；b)標準明細表更新；c)配置更新標準文獻6.3標準持續(xù)改進應(yīng)按PDCA組織標準體系實施計劃、實施、檢查、改進。7數(shù)據(jù)接入按《生態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范》的相關(guān)要求實施。3T/ACEFXXXX—XXXX8數(shù)據(jù)抽取、轉(zhuǎn)換與加載8.1數(shù)據(jù)抽取、轉(zhuǎn)換與加載要求數(shù)據(jù)抽取、轉(zhuǎn)換與加載的要求如下：a)應(yīng)確定數(shù)據(jù)提取的周期、頻率和方式及增量提取或全量提取設(shè)定；b)應(yīng)確定數(shù)據(jù)轉(zhuǎn)換的規(guī)則和處理邏輯，包括數(shù)據(jù)清洗、數(shù)據(jù)修復(fù)、數(shù)據(jù)映射、數(shù)據(jù)合并等；c)應(yīng)確定數(shù)據(jù)加載的目標系統(tǒng)和方式，包括批量加載和實時加載；d)應(yīng)確定數(shù)據(jù)質(zhì)量的標準和監(jiān)控方法，包括數(shù)據(jù)完整性、準確性和一致性等要求；e)應(yīng)確定ETL過程的性能指標，包括數(shù)據(jù)處理的速度、吞吐量和響應(yīng)時間等。8.2數(shù)據(jù)抽取、轉(zhuǎn)換與加載步驟8.2.1數(shù)據(jù)抽取數(shù)據(jù)抽取步驟如下：a)識別和驗證數(shù)據(jù)源，確保數(shù)據(jù)源的可用性和準確性，明確數(shù)據(jù)源的架構(gòu)、模式以及數(shù)據(jù)的關(guān)系和依賴；b)通過適當?shù)墓ぞ吆图夹g(shù)建立與數(shù)據(jù)源的連接，從數(shù)據(jù)源中提取所需的數(shù)據(jù)；c)數(shù)據(jù)進行校驗、清洗及驗證，保證數(shù)據(jù)的完整性、準確性和一致性等要求，并清除無效或重復(fù)數(shù)據(jù)。8.2.2數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換步驟如下：a)根據(jù)數(shù)據(jù)需求和業(yè)務(wù)規(guī)則對數(shù)據(jù)進行篩選和過濾，只提取和轉(zhuǎn)換與業(yè)務(wù)目標相關(guān)的數(shù)據(jù)；b)將來自不同數(shù)據(jù)源的數(shù)據(jù)進行映射與整合，將多個表或文件中的相關(guān)數(shù)據(jù)進行匹配和關(guān)聯(lián)，根據(jù)業(yè)務(wù)需求對數(shù)據(jù)進行合并；c)數(shù)據(jù)轉(zhuǎn)換和計算，包括格式轉(zhuǎn)換、單位轉(zhuǎn)換、數(shù)據(jù)標準化、數(shù)據(jù)計算等操作；d)數(shù)據(jù)清洗和規(guī)范化，修復(fù)數(shù)據(jù)中的錯誤、缺失值和不一致性，并將數(shù)據(jù)轉(zhuǎn)換為目標系統(tǒng)所需的標準格式和結(jié)構(gòu)；e)從其他數(shù)據(jù)源或外部系統(tǒng)獲取額外的數(shù)據(jù)對目標系統(tǒng)進行數(shù)據(jù)補充和擴展。8.2.3數(shù)據(jù)加載數(shù)據(jù)加載步驟如下：a)創(chuàng)建目標表、定義表的結(jié)構(gòu)和關(guān)系，確保目標系統(tǒng)具備足夠的容量和性能來處理加載的數(shù)據(jù)；b)將數(shù)據(jù)逐行或批量加載到目標表中；c)數(shù)據(jù)校驗和驗證以確保數(shù)據(jù)的準確性和完整性等質(zhì)量要求，比較源數(shù)據(jù)和目標數(shù)據(jù)，檢查數(shù)據(jù)的一致性；d)建立錯誤處理機制，解決加載錯誤和故障，并將錯誤信息記錄到日志中。8.3數(shù)據(jù)抽取、轉(zhuǎn)換與加載維護8.3.1范圍數(shù)據(jù)抽取、轉(zhuǎn)換與加載維護包括以下三部分內(nèi)容8.3.2日志檢查日志文件報告。監(jiān)測數(shù)據(jù)ETL過程日志，形成匯總報告和詳細報告。匯總報告應(yīng)包括作業(yè)總數(shù)、警告作業(yè)數(shù)、成功作業(yè)數(shù)、失敗作業(yè)明細、開始時間、結(jié)束時間等內(nèi)容。詳細報告應(yīng)包括作業(yè)名稱、開始時間、結(jié)束時間、運行狀態(tài)等內(nèi)容。8.3.3出錯處理數(shù)據(jù)ETL過程錯誤分為分為以下三類：4T/ACEFXXXX—XXXXa)抽取錯誤：簡稱E（Extract）類錯誤b)轉(zhuǎn)換錯誤：簡稱T（Transformer）類錯誤c)裝載錯誤：簡稱L（Loading）類錯誤應(yīng)根據(jù)ETL實際故障原因編制相應(yīng)的錯誤處理腳本。8.3.4備份與恢復(fù)ETL備份應(yīng)包括運行環(huán)境備份及數(shù)據(jù)備份，運行環(huán)境備份應(yīng)保證兩個或兩個以上相對獨立且具有配置相同的ETL設(shè)備互為備份；數(shù)據(jù)備份應(yīng)每天保留一個備份文件，至少保留7天。ETL恢復(fù)應(yīng)包括運行恢復(fù)和數(shù)據(jù)恢復(fù)。9數(shù)據(jù)存儲存證9.1數(shù)據(jù)存儲9.1.1數(shù)據(jù)存儲要求數(shù)據(jù)存儲要求如下：a)支持高物理安全性、高容量的數(shù)據(jù)存儲以及高存取性能等；b)支持數(shù)據(jù)加密、數(shù)據(jù)審計、災(zāi)難恢復(fù)等技術(shù)保障數(shù)據(jù)安全，支持多級用戶權(quán)限管理；c)支持多維結(jié)構(gòu)的數(shù)據(jù)模型，通過分層存儲、元數(shù)據(jù)管理、維度管理等技術(shù)，實現(xiàn)高效的數(shù)據(jù)分析及查詢；d)滿足聯(lián)盟鏈數(shù)據(jù)存儲的要求。9.1.2數(shù)據(jù)存儲架構(gòu)生態(tài)環(huán)境大數(shù)據(jù)平臺大數(shù)據(jù)存儲子系統(tǒng)提供大數(shù)據(jù)的分布式存儲管理，涵蓋多種存儲方式，包括分布式文件存儲、分布式結(jié)構(gòu)化數(shù)據(jù)存儲、分布式列式數(shù)據(jù)存儲、分布式圖數(shù)據(jù)存儲以及區(qū)塊鏈數(shù)據(jù)存儲，總體框架見圖2。圖2大數(shù)據(jù)存儲子系統(tǒng)總體框架生態(tài)環(huán)境大數(shù)據(jù)平臺采用分布式松耦合聯(lián)邦集群方式進行數(shù)據(jù)存儲，數(shù)據(jù)存儲技術(shù)架構(gòu)如圖3所示。5T/ACEFXXXX—XXXX圖3大數(shù)據(jù)平臺數(shù)據(jù)存儲技術(shù)架構(gòu)9.2數(shù)據(jù)存證9.2.1數(shù)據(jù)存證要求數(shù)據(jù)存證要求如下：a)數(shù)據(jù)的原文或完整性校驗值、附屬信息等數(shù)據(jù)同步存儲至區(qū)塊鏈存證平臺；b)對于原文存證的數(shù)據(jù)可保證數(shù)據(jù)的完整性，對于校驗值存儲的數(shù)據(jù)可驗證數(shù)據(jù)的完整性。9.2.2數(shù)據(jù)上鏈存儲數(shù)據(jù)上鏈存儲包括以下步驟：a)數(shù)據(jù)哈希生成：使用哈希算法生成數(shù)據(jù)的唯一哈希值，哈希值作為數(shù)據(jù)的“指紋”；b)交易創(chuàng)建：將數(shù)據(jù)的哈希值作為交易的一部分，創(chuàng)建區(qū)塊鏈交易；c)共識機制：通過區(qū)塊鏈網(wǎng)絡(luò)的共識機制驗證交易；d)時間戳記錄：每筆交易都有一個時間戳，記錄數(shù)據(jù)存證的時間點；e)存儲上鏈：驗證并加蓋時間戳的數(shù)據(jù)存儲在區(qū)塊鏈網(wǎng)絡(luò)中，所有節(jié)點都持有數(shù)據(jù)副本，確保數(shù)據(jù)的高可用性和可靠性。在實踐中，因區(qū)塊鏈存儲負擔較重，可以將體量較大的實際數(shù)據(jù)存儲在鏈下，鏈上只存儲實際數(shù)據(jù)的哈希值和相關(guān)元數(shù)據(jù)，以減少區(qū)塊鏈的存儲負擔。9.2.3數(shù)據(jù)驗證數(shù)據(jù)驗證包括以下內(nèi)容：a)哈希變換：驗證數(shù)據(jù)時，將待驗證數(shù)據(jù)重新進行哈希運算，獲取哈希值；b)一致性檢查：將待驗證數(shù)據(jù)的哈希值與區(qū)塊鏈上保存的哈希值進行比對，若一致，則證明數(shù)據(jù)未被篡改，反之則說明數(shù)據(jù)被篡改。10數(shù)據(jù)治理10.1元數(shù)據(jù)管理10.1.1元數(shù)據(jù)管理要求遵循HJ720相關(guān)要求。10.1.2元數(shù)據(jù)管理內(nèi)容6T/ACEFXXXX—XXXX元數(shù)據(jù)應(yīng)描述數(shù)據(jù)的格式、結(jié)構(gòu)、值域、來源、血緣沿襲、定義及預(yù)期用途等內(nèi)容。元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)三類來管理。元數(shù)據(jù)管理包括三部分內(nèi)容：a)元數(shù)據(jù)標準化：應(yīng)符合HJ720的相關(guān)要求來描述和格式化元數(shù)據(jù)；b)元數(shù)據(jù)基本管理：包括元數(shù)據(jù)的增加、刪除、修改、查詢及統(tǒng)計和使用情況分析等功能，元數(shù)據(jù)的增加應(yīng)符合HJ720的相關(guān)要求；c)元數(shù)據(jù)分析：環(huán)境元數(shù)據(jù)分析包括血緣分析、實體關(guān)聯(lián)分析、實體影響分析、指標一致性分10.2主數(shù)據(jù)管理10.2.1主數(shù)據(jù)管理要求主數(shù)據(jù)管理要求如下：a)規(guī)范化、集中化、維護和更新；b)保證主數(shù)據(jù)的一致性、準確性和可靠性。c)主數(shù)據(jù)必須符合組織制定的數(shù)據(jù)命名、命名規(guī)則和格式要求；d)對主數(shù)據(jù)的變更和操作，應(yīng)有記錄和審計跟蹤。10.2.2主數(shù)據(jù)管理內(nèi)容主數(shù)據(jù)管理是一種管理組織中關(guān)鍵業(yè)務(wù)數(shù)據(jù)的綜合方法，包括以下內(nèi)容：a)主數(shù)據(jù)定義：按照預(yù)定義的主數(shù)據(jù)標準確定數(shù)據(jù)的結(jié)構(gòu)，包括實體、屬性、關(guān)系和約束；b)主數(shù)據(jù)整合與集成：從多個數(shù)據(jù)源（如內(nèi)部系統(tǒng)、外部合作伙伴、第三方數(shù)據(jù)提供商）收集主數(shù)據(jù)并將來自不同源的數(shù)據(jù)整合在一起，解決數(shù)據(jù)冗余和沖突；c)主數(shù)據(jù)質(zhì)量管理：采用數(shù)據(jù)質(zhì)量評價指標和評價方法持續(xù)監(jiān)控主數(shù)據(jù)質(zhì)量；d)主數(shù)據(jù)生命周期管理：管理數(shù)據(jù)的整個生命周期，從創(chuàng)建、使用、共享到歸檔和刪除。10.3數(shù)據(jù)生命周期管理通過定義數(shù)據(jù)生命周期階段、制訂數(shù)據(jù)管理政策、確定數(shù)據(jù)保護措施、建立數(shù)據(jù)治理框架的步驟編制數(shù)據(jù)生命周期管理策略，實施數(shù)據(jù)生命周期管理。10.4數(shù)據(jù)質(zhì)量管理10.4.1數(shù)據(jù)質(zhì)量評價維度數(shù)據(jù)質(zhì)量評價維度應(yīng)符合DB15/T1873-2020第5章的要求。10.4.2數(shù)據(jù)質(zhì)量控制內(nèi)容數(shù)據(jù)質(zhì)量控制內(nèi)容應(yīng)符合DB15/T1873-2020，6.2-6.4的要求。10.4.3數(shù)據(jù)質(zhì)量評分方法數(shù)據(jù)質(zhì)量評分方法應(yīng)符合DB15/T1873-2020第7章的要求。11數(shù)據(jù)服務(wù)11.1數(shù)據(jù)服務(wù)技術(shù)要求數(shù)據(jù)服務(wù)的技術(shù)要求如下：a)本標準中的數(shù)據(jù)交換格式遵循HJ/T418-2007，6.2.3.1規(guī)定和要求；b)本標準中的數(shù)據(jù)交換技術(shù)遵循HJ/T418-2007，6.2.3.2規(guī)定和要求；c)應(yīng)具有數(shù)據(jù)訪問權(quán)限驗證、訪問控制、服務(wù)記錄、溯源和目錄鏈數(shù)據(jù)共享等功能；d)各類數(shù)據(jù)服務(wù)應(yīng)屏蔽不同的中間存儲，提供是格式規(guī)范化的統(tǒng)一API，構(gòu)建API集市，數(shù)據(jù)服務(wù)用戶可以查看API集市現(xiàn)有API，通過申請相關(guān)權(quán)限使用API，也可根據(jù)實際需要編制新API經(jīng)注冊登記后納入API集市；e)應(yīng)提供提供智能合約SDK及API服務(wù)供數(shù)據(jù)服務(wù)用戶實現(xiàn)區(qū)塊鏈數(shù)據(jù)的讀取、寫入與驗證。7T/ACEFXXXX—XXXX11.2數(shù)據(jù)服務(wù)內(nèi)容數(shù)據(jù)服務(wù)內(nèi)容如下：a)為空氣、水、土壤、自然生態(tài)、核與輻射、污染源、行政辦公等數(shù)據(jù)及公眾數(shù)據(jù)或文件提供統(tǒng)一的認證和接口；b)數(shù)據(jù)訂閱；c)目錄鏈數(shù)據(jù)共享；d)數(shù)據(jù)服務(wù)記錄及數(shù)據(jù)溯源查詢；e)數(shù)據(jù)服務(wù)用戶定制服務(wù)。12數(shù)據(jù)安全12.1數(shù)據(jù)安全要求大數(shù)據(jù)管理平臺數(shù)據(jù)安全應(yīng)滿足以下要求：a)支持合規(guī)的數(shù)據(jù)訪問并防止不合規(guī)的訪問；b)支持對隱私、防篡改、保密等制度、法規(guī)的遵循；c)確保滿足利益相關(guān)方對隱私、保密及數(shù)據(jù)權(quán)限的要求。12.2數(shù)據(jù)管理安全體系本文件規(guī)定了大數(shù)據(jù)管理平臺的平臺安全和數(shù)據(jù)安全，不涉及基礎(chǔ)設(shè)施安全和應(yīng)用安全。應(yīng)包括但不限于認證安全、鑒權(quán)安全、傳輸安全、分類分級、存儲安全、交換共享安全、管理安全、審計安全、備份與恢復(fù)等數(shù)據(jù)管理安全體系如圖4所示。圖4數(shù)據(jù)安全管理體系13平臺運維13.1運行維護要求為保障生態(tài)環(huán)境大數(shù)據(jù)管理平臺的長期穩(wěn)定運行，應(yīng)制定詳細的維護方案，建立完善的維護體系。平臺運維的要求：a)服務(wù)、管理并重。b)完善的數(shù)據(jù)安全、賬號安全、資源保障、應(yīng)急處理策略。c)建立規(guī)范化的管理運維問題處理流程、需求審批流程。8T/ACEFXXXX—XXXXd)明確責任和獎懲。13.2運行維護體系生態(tài)環(huán)境大數(shù)據(jù)平臺的運行維護體系包括運行維護制度、運行維護流程、運行維護團隊、運行維護方案、運行安全保障五大部分。運行維護體系如圖5所示。圖5大數(shù)據(jù)管理平臺運行維護體系13.3運行維護制度為保證項目運維正常開展，應(yīng)制定以下運行維護制度：a)系統(tǒng)備份和恢復(fù)制