《城市更新與未來社區(qū)基礎(chǔ)平臺(tái)技術(shù)要求》征求意見稿

T/TMACXXX—202X城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺(tái)技術(shù)要求本文件確立了數(shù)字化基礎(chǔ)數(shù)據(jù)平臺(tái)（以下統(tǒng)稱為平臺(tái)）的架構(gòu)，規(guī)定了功能、數(shù)據(jù)要求、接口要求、安全要求、應(yīng)用環(huán)境以及應(yīng)用服務(wù)。本文件適用城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺(tái)的構(gòu)建、運(yùn)行維護(hù)、安全管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T17798-2007地理空間數(shù)據(jù)交換格式GB/T22080-2016信息技術(shù)安全技術(shù)信息安全管理體系要求GB/T34079-2017基于云計(jì)算的電子政務(wù)公共平臺(tái)服務(wù)規(guī)范第3部分：數(shù)據(jù)管理GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T36073-2018數(shù)據(jù)管理能力成熟度評(píng)估模型GB/T36478-2018物聯(lián)網(wǎng)信息交換和共享GB/T37043-2018智慧城市術(shù)語GB/T40689-2021智慧城市設(shè)備聯(lián)接管理與服務(wù)平臺(tái)技術(shù)要求DB23/T3304-2022大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入規(guī)范DB36/T1646-2022地理空間數(shù)據(jù)共享和交換規(guī)范DB52/T1540.2-2021政務(wù)數(shù)據(jù)第2部分：元數(shù)據(jù)管理規(guī)范YD/T3760-2020大數(shù)據(jù)數(shù)據(jù)管理平臺(tái)技術(shù)要求與測(cè)試方法T/CAGIS2-2020空間三維模型數(shù)據(jù)服務(wù)接口3術(shù)語、定義和縮略語3.1術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1.1元數(shù)據(jù)metadata定義和描述其他數(shù)據(jù)的數(shù)據(jù)。[來源：GB/T18391.1-2009,3.2.16]3.1.2斷點(diǎn)續(xù)傳breakpointresume在數(shù)據(jù)總線傳輸過程中，當(dāng)遇到網(wǎng)絡(luò)故障、傳輸資源短缺、入原始庫積壓時(shí)，狀態(tài)總線記錄接入數(shù)據(jù)中斷點(diǎn)及數(shù)據(jù)接入中斷狀態(tài)，控制總線在數(shù)據(jù)計(jì)入所需網(wǎng)絡(luò)、儲(chǔ)存等資源可用時(shí)，從排隊(duì)任務(wù)中重新啟動(dòng)斷點(diǎn)續(xù)傳任務(wù)，分配數(shù)據(jù)總線資源，從數(shù)據(jù)斷點(diǎn)處接入后續(xù)數(shù)據(jù)，不需要從頭開始數(shù)據(jù)傳輸，從而節(jié)約數(shù)據(jù)傳輸時(shí)間，提高數(shù)據(jù)接入效率。2T/TMACXXX—202X3.1.3數(shù)據(jù)治理datagovernance基于數(shù)據(jù)生命周期，進(jìn)行數(shù)據(jù)全面質(zhì)量管理、資產(chǎn)管理風(fēng)險(xiǎn)管理等統(tǒng)籌與協(xié)調(diào)管控的過程。注1：多學(xué)科視角下，數(shù)據(jù)治理需要解決數(shù)據(jù)權(quán)屬關(guān)系問題，明確數(shù)據(jù)利益相關(guān)方的角系和工作任務(wù),避免數(shù)據(jù)風(fēng)險(xiǎn),提高數(shù)據(jù)質(zhì)量,確保數(shù)據(jù)資產(chǎn)能長期有序地注2：信息技術(shù)視角下,數(shù)據(jù)治理指對(duì)數(shù)據(jù)進(jìn)行管控,處置、格式化和規(guī)范化的過程。數(shù)理的基本要素。數(shù)據(jù)治理涉及數(shù)據(jù)全生命期管理,無論數(shù)據(jù)是處于靜態(tài),動(dòng)態(tài),3.2縮略語下列縮略語適用于本文件。BIM建筑信息模型（BuildingInformationModel/Modeling）GIS地理信息系統(tǒng)（GeographicInformationModel/Modeling）WMS網(wǎng)絡(luò)地圖服務(wù)（WebMapServices）WFS網(wǎng)絡(luò)要素服務(wù)（WebFeatureServices）WCS網(wǎng)絡(luò)覆蓋服務(wù)（WebCoverageServices）S3M空間三維模型（Spatial3DModel）I3M索引三維場(chǎng)景（Index3DScene）DWL數(shù)據(jù)操縱語言（DataManipulationLanguage）DDL數(shù)據(jù)庫模式定義語言（DataDefinitionLanguage）XML可擴(kuò)展標(biāo)記語言(ExtensibleMarkupLanguage)HTTP超文本傳輸協(xié)議（HypertextTransferProtocol）HTTPS超文本傳輸安全協(xié)議（HypertextTransferProtocolSecure）MQTT消息隊(duì)列遙測(cè)傳輸協(xié)議（MessageQueuingTelemetryTransport）CoAP約束應(yīng)用協(xié)議（ConstrainedApplicationProtocol）ADS應(yīng)用數(shù)據(jù)層（ApplicationDataService）DWD明細(xì)數(shù)據(jù)層（DataWarehouseDetail）DWS匯總數(shù)據(jù)層（DataWarehouseSummary）ODS操作數(shù)據(jù)層（operationaldatastore）CDM公共維度模型層(commondatamodel)DAG有向無環(huán)圖（DirectAcyclicGraph）4平臺(tái)架構(gòu)4.1平臺(tái)設(shè)計(jì)原則4.1.1數(shù)據(jù)的一致性和標(biāo)準(zhǔn)性平臺(tái)除遵循數(shù)據(jù)庫設(shè)計(jì)的軟件行業(yè)標(biāo)準(zhǔn)外，還應(yīng)遵循國家、地方標(biāo)準(zhǔn)及行業(yè)的習(xí)慣性事實(shí)標(biāo)準(zhǔn)。此外，平臺(tái)的建設(shè)中應(yīng)充分考慮己建系統(tǒng)的數(shù)據(jù)，確保與現(xiàn)有數(shù)據(jù)的一致性和標(biāo)準(zhǔn)性。T/TMACXXX—202X4.1.2數(shù)據(jù)的實(shí)用性和服務(wù)性平臺(tái)設(shè)計(jì)應(yīng)充分考慮實(shí)際情況和應(yīng)用特點(diǎn)，遵循“服務(wù)性與實(shí)用性并重的原則，通過數(shù)據(jù)整合與治理，數(shù)據(jù)高度可共享、和可根據(jù)實(shí)際需求不斷靈活組合，為業(yè)務(wù)應(yīng)用服務(wù)，數(shù)據(jù)質(zhì)量高，保證數(shù)據(jù)的實(shí)用性。4.1.3數(shù)據(jù)的獨(dú)立性和可擴(kuò)展性設(shè)計(jì)時(shí)應(yīng)做到數(shù)據(jù)具有獨(dú)立性，獨(dú)立于應(yīng)用程序，使平臺(tái)的設(shè)計(jì)及結(jié)構(gòu)的變化不影響程序，反之亦然。另外，數(shù)據(jù)庫設(shè)計(jì)應(yīng)考慮其擴(kuò)展性能，使得系統(tǒng)增加新應(yīng)用或新需求時(shí)，不至于引起整個(gè)平臺(tái)結(jié)構(gòu)的大變動(dòng)。4.1.4數(shù)據(jù)的安全性通過設(shè)計(jì)合理和有效的備份和恢復(fù)策略，確保平臺(tái)遭遇突發(fā)事故時(shí)，能在最短的時(shí)間內(nèi)恢復(fù)。同時(shí)，通過做好對(duì)平臺(tái)的訪問授權(quán)設(shè)計(jì)，保證數(shù)據(jù)不被非法訪問。4.1.5數(shù)據(jù)的分級(jí)管理機(jī)制根據(jù)用戶訪問平臺(tái)的角色，將用戶分為多個(gè)角色，分別賦予角色訪問數(shù)據(jù)的權(quán)限和使用平臺(tái)功能的權(quán)限，嚴(yán)格控制角色登錄，實(shí)現(xiàn)數(shù)據(jù)的分級(jí)管理。4.2平臺(tái)整體架平臺(tái)整體架構(gòu)包含四個(gè)模塊和兩個(gè)體系，見圖1，四個(gè)模塊分別為應(yīng)用系統(tǒng)模塊、中樞模塊、中臺(tái)模塊以及基礎(chǔ)設(shè)施模塊，兩個(gè)體系為標(biāo)準(zhǔn)規(guī)范體系和安全管理體系?；A(chǔ)數(shù)據(jù)平臺(tái)以數(shù)據(jù)中臺(tái)為基礎(chǔ)結(jié)合高性能三維數(shù)字引擎技術(shù)、多源數(shù)據(jù)集成技術(shù)、數(shù)據(jù)融合分析技術(shù)、數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)等進(jìn)行構(gòu)建，并依托標(biāo)準(zhǔn)規(guī)范體系與安全管理體系進(jìn)行平臺(tái)運(yùn)營維護(hù)和數(shù)據(jù)安全管理。4T/TMACXXX—202X標(biāo)準(zhǔn)規(guī)范體標(biāo)準(zhǔn)規(guī)范體系基礎(chǔ)平臺(tái)基礎(chǔ)平臺(tái)圖1平臺(tái)整體架構(gòu)圖4.3功能架構(gòu)平臺(tái)服務(wù)功能包括但不限于數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)發(fā)布、數(shù)據(jù)共享、數(shù)據(jù)儲(chǔ)存等，見圖2。本平臺(tái)所有數(shù)據(jù)與應(yīng)用層在線交互時(shí)應(yīng)通過API接口由數(shù)據(jù)交互規(guī)范與數(shù)據(jù)交付標(biāo)準(zhǔn)約束。 圖2平臺(tái)功能架構(gòu)圖T/TMACXXX—202X5平臺(tái)功能標(biāo)準(zhǔn)5.1數(shù)據(jù)收集數(shù)據(jù)收集功能要求如下：a)應(yīng)提供數(shù)據(jù)導(dǎo)入功能，支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入；b)應(yīng)支持離線數(shù)據(jù)導(dǎo)入和實(shí)時(shí)數(shù)據(jù)導(dǎo)入；c)應(yīng)提供自動(dòng)定時(shí)導(dǎo)入數(shù)據(jù)功能；d)應(yīng)支持?jǐn)?shù)據(jù)傳輸過程中的斷點(diǎn)續(xù)傳；e)應(yīng)支持對(duì)數(shù)據(jù)的DML的抽取，抽取內(nèi)容包括insert、update、delete語句的解析和內(nèi)容抽f)應(yīng)支持對(duì)數(shù)據(jù)庫DDL的抽取，抽取內(nèi)容包括但不限于數(shù)據(jù)庫空間、用戶、角色、視圖、函數(shù)、索引、約束等，對(duì)關(guān)系型數(shù)據(jù)庫的全量采集和增量采集；g)應(yīng)支持多節(jié)點(diǎn)文件接力傳輸功能，實(shí)現(xiàn)多節(jié)點(diǎn)文件傳輸；h)應(yīng)支持過期文件數(shù)據(jù)接入系統(tǒng)中間數(shù)據(jù)緩存功能；i)應(yīng)支持多通道數(shù)據(jù)傳輸；j)應(yīng)對(duì)收集數(shù)據(jù)進(jìn)行清洗，清洗數(shù)據(jù)包括但不限于，缺失數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)等；k)對(duì)于實(shí)時(shí)數(shù)據(jù)收集，應(yīng)提供收集數(shù)據(jù)的關(guān)鍵信息、唯一性信息的日志儲(chǔ)存和查詢統(tǒng)計(jì)；應(yīng)提供數(shù)據(jù)同步檢查和校驗(yàn)功能，并輸出詳細(xì)日志；應(yīng)支持一定時(shí)間范圍的收集狀態(tài)統(tǒng)計(jì)，包括對(duì)數(shù)據(jù)更新狀態(tài)、聯(lián)通狀態(tài)、數(shù)據(jù)量、校驗(yàn)等情況統(tǒng)計(jì)；l)對(duì)于批量數(shù)據(jù)收集，應(yīng)提供周期性計(jì)入信息查詢和統(tǒng)計(jì)，支持格式異常數(shù)據(jù)查詢和統(tǒng)計(jì)；m)宜提供開放的數(shù)據(jù)導(dǎo)入API；n)宜提供圖形界面實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入功能。5.2數(shù)據(jù)集成數(shù)據(jù)集成功能要求如下：a)應(yīng)保證實(shí)體的每次出現(xiàn)都指派一個(gè)唯一標(biāo)識(shí)符；b)應(yīng)確認(rèn)哪些實(shí)體是相通的，并將該實(shí)體的各次出現(xiàn)合并起來；c)應(yīng)明確字段結(jié)構(gòu)，盡量保證字段的一致性，其中包括但不限于字段名稱、字段數(shù)據(jù)類型、字段數(shù)據(jù)格式、字段單位、字段取值范圍等；d)應(yīng)盡量避免數(shù)據(jù)重復(fù)入庫；e)數(shù)據(jù)包括但不限于空間數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、資產(chǎn)數(shù)據(jù)等。這些數(shù)據(jù)入庫時(shí)應(yīng)轉(zhuǎn)換為統(tǒng)一通用的標(biāo)準(zhǔn)格式，應(yīng)可進(jìn)行可視化瀏覽，應(yīng)可用統(tǒng)一接口服務(wù)。其中，工程數(shù)據(jù)中的三維模型整合轉(zhuǎn)換時(shí)應(yīng)進(jìn)行輕量化處理，以便于在其他平臺(tái)中進(jìn)行超大模型三維可視化瀏覽。6T/TMACXXX—202X5.3數(shù)據(jù)儲(chǔ)存5.3.1應(yīng)提供數(shù)據(jù)儲(chǔ)存功能，支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)儲(chǔ)存。5.3.2應(yīng)提供與關(guān)系型數(shù)據(jù)庫、其他文件系統(tǒng)之間交換數(shù)據(jù)或文件的功能。5.3.3應(yīng)支持與時(shí)序數(shù)據(jù)庫的實(shí)時(shí)數(shù)據(jù)交換。5.3.4支持分布式文件儲(chǔ)存，實(shí)現(xiàn)以下功能：a)應(yīng)支持文件系統(tǒng)基本操作，包括上傳、下載、讀寫、復(fù)制、移動(dòng)、刪除、重命名、權(quán)限修改等；b)應(yīng)提供數(shù)據(jù)塊多副本儲(chǔ)存、恢復(fù)功能；c)宜支持文件快速檢索功能，支持?jǐn)?shù)據(jù)資源的統(tǒng)一檢索、編目、增加和刪除操作；d)宜支持或數(shù)據(jù)壓縮儲(chǔ)存功能。5.3.5支持分布式列式數(shù)據(jù)儲(chǔ)存，實(shí)現(xiàn)以下功能：a)應(yīng)支持以鍵值形式儲(chǔ)存數(shù)據(jù)的功能；b)宜支持基于表、列族和列的用戶權(quán)限管理功能，權(quán)限管理操作包括讀、寫、創(chuàng)建等。5.3.6支持分布式結(jié)構(gòu)化數(shù)據(jù)儲(chǔ)存，實(shí)現(xiàn)以下功能：a)宜支持結(jié)構(gòu)化數(shù)據(jù)的分布式儲(chǔ)存，保證數(shù)據(jù)儲(chǔ)存的可擴(kuò)展性和一致性；b)宜提供API實(shí)現(xiàn)數(shù)據(jù)的各類查詢工作；c)宜支持多表關(guān)聯(lián)。5.3.7支持分布式圖數(shù)據(jù)儲(chǔ)存，實(shí)現(xiàn)以下功能：a)宜支持有節(jié)點(diǎn)及邊組成的數(shù)據(jù)模型；b)宜支持圖查詢，支持單節(jié)點(diǎn)、多節(jié)點(diǎn)多層關(guān)系的擴(kuò)先查詢；c)宜支持圖遍歷，支持最短路徑、最優(yōu)路徑便利查詢；d)宜支持圖分析。5.4數(shù)據(jù)處理5.4.1基本要求數(shù)據(jù)處理功能除應(yīng)符合GB/T38673-2020中6.4的內(nèi)容外，還應(yīng)符合5.4.2~5.4.7的要求。5.4.2數(shù)據(jù)提取非結(jié)構(gòu)化數(shù)據(jù)提取非結(jié)構(gòu)數(shù)據(jù)提取應(yīng)符合以下要求：a)應(yīng)根據(jù)非結(jié)構(gòu)化數(shù)據(jù)包含的索引格式，在集群中提取相應(yīng)數(shù)據(jù)并形成結(jié)構(gòu)化數(shù)據(jù)保存于關(guān)系型儲(chǔ)存中；b)應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)預(yù)設(shè)不同數(shù)據(jù)類型的相應(yīng)提取策略和規(guī)則，加載相應(yīng)的提取模塊進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的提取處理。結(jié)構(gòu)化數(shù)據(jù)提取T/TMACXXX—202X應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)預(yù)設(shè)的結(jié)構(gòu)化數(shù)據(jù)提取策略和規(guī)則，對(duì)原數(shù)據(jù)中的各類數(shù)據(jù)進(jìn)行關(guān)鍵信息提取。對(duì)象化提取對(duì)象化提取應(yīng)符合以下要求：a)應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)對(duì)象提取規(guī)則對(duì)數(shù)據(jù)主題進(jìn)行對(duì)象化處理；b)應(yīng)支持對(duì)象特征自動(dòng)提取，根據(jù)對(duì)象特征自動(dòng)建模，利用并行分布式計(jì)算資源，對(duì)數(shù)據(jù)進(jìn)行對(duì)象化提取、儲(chǔ)存對(duì)象數(shù)據(jù)、更新對(duì)象數(shù)據(jù)；c)應(yīng)對(duì)對(duì)象化結(jié)果數(shù)據(jù)，通過對(duì)象化去重，消除冗余數(shù)據(jù)；d)應(yīng)對(duì)制定數(shù)據(jù)來源數(shù)據(jù)進(jìn)行標(biāo)識(shí)的操作，在對(duì)象化提取環(huán)節(jié)，應(yīng)將標(biāo)識(shí)提取到對(duì)象化數(shù)據(jù)5.4.3數(shù)據(jù)清洗不符合數(shù)據(jù)類型：a)缺失的數(shù)據(jù)；b)錯(cuò)誤的數(shù)據(jù)；c)重復(fù)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)清洗：a)文本數(shù)據(jù)清洗可通過分詞、預(yù)料標(biāo)注、字典構(gòu)建、關(guān)鍵詞識(shí)別等技術(shù)，根據(jù)相應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)進(jìn)行數(shù)據(jù)建模，去重；b)圖片數(shù)據(jù)清洗可通過意圖找圖技術(shù)進(jìn)行圖片去重；c)音頻數(shù)據(jù)清洗可通過MD5值校驗(yàn)和音頻對(duì)比分析進(jìn)行去重；d)視頻數(shù)據(jù)可通過關(guān)鍵幀抽取，通過意圖找圖、語音識(shí)別、MD5值校驗(yàn)等技術(shù)進(jìn)行去重。結(jié)構(gòu)化數(shù)據(jù)清洗：a)應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)業(yè)務(wù)規(guī)劃對(duì)冗余數(shù)據(jù)進(jìn)行過濾，根據(jù)不同的去重規(guī)則和方法對(duì)數(shù)據(jù)進(jìn)行去重扁頂，去除重復(fù)冗余數(shù)據(jù)；b)可通過定義過濾規(guī)則，使用流式SQL和表達(dá)式，按條件對(duì)數(shù)據(jù)進(jìn)行重新組合和二次加工。5.4.4數(shù)據(jù)標(biāo)識(shí)數(shù)據(jù)標(biāo)識(shí)具備以下功能要求：c)應(yīng)支持離線和在線標(biāo)識(shí)；d)應(yīng)根據(jù)預(yù)設(shè)的策略和規(guī)則對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)；e)宜對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)化可以增加數(shù)據(jù)維度，拓展數(shù)據(jù)的屬性，提供建立與數(shù)據(jù)之上的抽象。5.4.5數(shù)據(jù)糾錯(cuò)為了確保數(shù)據(jù)的準(zhǔn)確性和可靠性，數(shù)據(jù)糾錯(cuò)功能需要達(dá)到以下要求：8T/TMACXXX—202Xa)應(yīng)對(duì)進(jìn)入各類資源庫、主題庫和業(yè)務(wù)庫的數(shù)據(jù)進(jìn)行準(zhǔn)確性認(rèn)定；b)應(yīng)針對(duì)有誤策略執(zhí)行回滾操作，并對(duì)相應(yīng)數(shù)據(jù)進(jìn)行糾錯(cuò)。5.4.6策略配置管理為了實(shí)現(xiàn)高效的數(shù)據(jù)管理和處理，平臺(tái)需要支持靈活的策略配置管理，具體要求如下：a)應(yīng)支持各類數(shù)據(jù)文件的同步、異步、多借點(diǎn)間文件接力傳輸；b)應(yīng)支持對(duì)文件、文件夾、文件夾下制定文件傳輸?shù)裙δ?；c)應(yīng)支持對(duì)數(shù)據(jù)文件的全量、增量傳輸，對(duì)中間過期文件的壓縮、清理，及文件的多副本儲(chǔ)存；d)應(yīng)支持實(shí)時(shí)數(shù)據(jù)交換機(jī)加工，實(shí)現(xiàn)數(shù)據(jù)庫、文件、JSON、XML及MQ、TLQ等之間的相互交換功能；e)應(yīng)提供調(diào)度任務(wù)實(shí)時(shí)可視化監(jiān)控；f)應(yīng)提供事件觸發(fā)調(diào)度功能，包括但不限于文件就緒觸發(fā)、變化日志觸發(fā)、HTTPS等接口或URL調(diào)度時(shí)間觸發(fā)，支持操作系統(tǒng)shell腳本，和數(shù)據(jù)庫系統(tǒng)的shell命令和SQL腳本調(diào)度功能等；g)應(yīng)提供流程調(diào)度組件，包括采樣分流組件和任務(wù)編排組件，實(shí)現(xiàn)多任務(wù)的并行、串行、混合調(diào)度；h)宜支持按年、月、周、日、小時(shí)、分鐘、秒定時(shí)調(diào)度，可選制定有效時(shí)間內(nèi)調(diào)度。5.4.7任務(wù)調(diào)度為了確保數(shù)據(jù)處理任務(wù)能夠按照預(yù)定的時(shí)間和順序被執(zhí)行，平臺(tái)的任務(wù)調(diào)度功能應(yīng)滿足以下要a)應(yīng)支持任意種類、任意數(shù)據(jù)結(jié)構(gòu)、任意目標(biāo)庫的數(shù)據(jù)提取傳輸；b)支持Kafka、webservice等消息處理機(jī)制，支持流式和離線處理；c)應(yīng)支持任意類型的數(shù)據(jù)融合任務(wù)配置，在保證數(shù)據(jù)安全的基礎(chǔ)上，根據(jù)傳輸策略，進(jìn)行數(shù)據(jù)傳輸和儲(chǔ)存；d)應(yīng)支持過濾、融合規(guī)則自定義，包括但不限于字符串操作、字符串替換、字符串截取、NULL值替換、數(shù)據(jù)類型轉(zhuǎn)換、正則處理、公式計(jì)算，以及對(duì)關(guān)鍵字段控制、重復(fù)、異常等問題數(shù)據(jù)過濾規(guī)則等；e)宜支持基于數(shù)據(jù)元的異構(gòu)數(shù)據(jù)自動(dòng)解析，并能按業(yè)務(wù)場(chǎng)景進(jìn)行自定義配置。5.5數(shù)據(jù)管理數(shù)據(jù)治理功能中的數(shù)據(jù)采集規(guī)范宜依照GB/T36225.3-2021進(jìn)行規(guī)范，其他功能要求如下：a)應(yīng)提供可靠的數(shù)據(jù)應(yīng)用規(guī)范，支持?jǐn)?shù)據(jù)應(yīng)用流程管理、數(shù)據(jù)應(yīng)用審查、數(shù)據(jù)應(yīng)用發(fā)布等；b)應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量分析和預(yù)警，甄別數(shù)據(jù)優(yōu)劣程度，對(duì)質(zhì)量較差數(shù)據(jù)進(jìn)行清理，對(duì)長期不用數(shù)據(jù)進(jìn)行清洗和歸檔；T/TMACXXX—202Xc)應(yīng)支持通過預(yù)定規(guī)則進(jìn)行數(shù)據(jù)稽核，稽核發(fā)現(xiàn)的問題按照預(yù)定規(guī)則自動(dòng)治理或者生成任務(wù)工單進(jìn)行處理，并生成稽核報(bào)告；d)應(yīng)支持對(duì)數(shù)據(jù)屬性標(biāo)簽標(biāo)注功能，包括但不限于單個(gè)和批量標(biāo)注標(biāo)簽，標(biāo)簽的增加、刪除和修改等；e)應(yīng)支持?jǐn)?shù)據(jù)血緣關(guān)系管理，可自動(dòng)生成和維護(hù)數(shù)據(jù)血緣關(guān)系地圖；f)應(yīng)支持敏感數(shù)據(jù)識(shí)別、標(biāo)記和脫敏，脫敏類型包括但不限于替換、截?cái)?、掩碼、重排、日期偏移、取整等；g)應(yīng)支持?jǐn)?shù)據(jù)資源目錄動(dòng)態(tài)管理，包括但不限于梳理、編制、審核、發(fā)布等；h)應(yīng)支持對(duì)不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)識(shí)、對(duì)比、清洗、整合和轉(zhuǎn)換等操作[27]。5.6數(shù)據(jù)發(fā)布數(shù)據(jù)發(fā)布功能要求如下：a)管理者應(yīng)通過共享交換功能發(fā)布目錄內(nèi)容，提供數(shù)據(jù)目錄內(nèi)容查詢檢索、目錄導(dǎo)航、目錄下載和目錄訂閱服務(wù)，以及目錄服務(wù)接口等；b)管理者應(yīng)通過共享交換功能發(fā)布參與共享和交換的本平臺(tái)數(shù)據(jù)文件，提供數(shù)據(jù)的查詢檢索、快速瀏覽和數(shù)據(jù)下載服務(wù)；c)當(dāng)參與共享交換的數(shù)據(jù)文件有更新時(shí)，管理者應(yīng)將數(shù)據(jù)更新情況及時(shí)反饋給數(shù)據(jù)使用者；d)管理者應(yīng)通過共享交換功能將融合后的數(shù)據(jù)發(fā)布成相應(yīng)的信息服務(wù)，使用者可以通過共享交換功能進(jìn)行在線調(diào)用。5.7數(shù)據(jù)共享5.7.1在線方式為了促進(jìn)數(shù)據(jù)的實(shí)時(shí)共享與交換，當(dāng)網(wǎng)絡(luò)條件允許時(shí)，推薦采用以下在線方式進(jìn)行數(shù)據(jù)共享：a)通過網(wǎng)絡(luò)在線調(diào)用、訪問數(shù)據(jù)服務(wù)接口的方式或在線上傳、下載的方式，實(shí)現(xiàn)數(shù)據(jù)共享和交換；b)在線方式適用于網(wǎng)絡(luò)聯(lián)通環(huán)境下對(duì)數(shù)字化文件或服務(wù)接口進(jìn)行共享和交換的場(chǎng)合。5.7.2離線方式考慮到不同網(wǎng)絡(luò)環(huán)境下的需求及非數(shù)字化文件的共享需要，離線數(shù)據(jù)共享方式應(yīng)遵循以下規(guī)定：a)通過對(duì)移動(dòng)設(shè)備進(jìn)行拷貝和對(duì)紙質(zhì)文件進(jìn)行復(fù)制，實(shí)現(xiàn)數(shù)據(jù)共享和交換；b)離線方式適用于不同網(wǎng)絡(luò)環(huán)境下、需要簽收確認(rèn)或?qū)Ψ菙?shù)字化文件進(jìn)行共享和交換的場(chǎng)合，提供者通過離線拷貝的方式，人工將數(shù)據(jù)提交到數(shù)據(jù)平臺(tái)。5.7.3共享內(nèi)容共享的數(shù)據(jù)內(nèi)容應(yīng)包括但不限于工程數(shù)據(jù)、地理數(shù)據(jù)等。T/TMACXXX—202X5.7.4數(shù)據(jù)共享安全保障數(shù)據(jù)共享的安全要求包括但不限于以下內(nèi)容：a)應(yīng)可設(shè)定授權(quán)服務(wù)的有效期，并支持授權(quán)時(shí)間延期；b)應(yīng)遵循數(shù)據(jù)共享最小化原則，僅對(duì)業(yè)務(wù)必須的數(shù)據(jù)進(jìn)行共享授權(quán)；c)應(yīng)對(duì)敏感數(shù)據(jù)進(jìn)行脫敏，并對(duì)相應(yīng)的操作進(jìn)行記錄；d)應(yīng)對(duì)數(shù)據(jù)交換兩端進(jìn)行用戶身份鑒別或者身份認(rèn)證；e)應(yīng)保證數(shù)據(jù)通信過程中的保密性和完整性；f)在數(shù)據(jù)導(dǎo)入過程中，應(yīng)檢驗(yàn)數(shù)據(jù)質(zhì)量，質(zhì)量檢驗(yàn)內(nèi)容應(yīng)包含空間參考系、數(shù)據(jù)的完整性、邏輯一致性等質(zhì)量元素。5.7.5數(shù)據(jù)共享使用安全要求數(shù)據(jù)使用的安全要求包括但不限于以下內(nèi)容：a)使用或存儲(chǔ)依法應(yīng)當(dāng)予以保密的數(shù)據(jù)或者數(shù)據(jù)服務(wù)時(shí)，按照保密有關(guān)法律、法規(guī)規(guī)定執(zhí)b)應(yīng)對(duì)訪問數(shù)據(jù)處理系統(tǒng)、服務(wù)器操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、備份系統(tǒng)的管理員進(jìn)行身份鑒c)應(yīng)對(duì)服務(wù)器系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等重要系統(tǒng)設(shè)置用戶訪問控制策略，阻斷對(duì)應(yīng)用、系統(tǒng)等的任何非授權(quán)訪問，提出告警、并記錄審計(jì)日志；d)應(yīng)支持溯源數(shù)據(jù)的采集和存儲(chǔ)，對(duì)關(guān)鍵溯源數(shù)據(jù)進(jìn)行備份，并采取安全措施對(duì)溯源數(shù)據(jù)進(jìn)行保護(hù)；e)應(yīng)對(duì)數(shù)據(jù)存儲(chǔ)環(huán)境進(jìn)行分域分級(jí)設(shè)計(jì)，設(shè)置存儲(chǔ)機(jī)制將數(shù)據(jù)分域分級(jí)儲(chǔ)存，并建立數(shù)據(jù)冗余一致性控制策略；f)制定數(shù)據(jù)備份策略，設(shè)置數(shù)據(jù)恢復(fù)策略，在數(shù)據(jù)恢復(fù)過程中進(jìn)行完整性校驗(yàn)；g)提供者應(yīng)基于國家相關(guān)法律法規(guī)對(duì)數(shù)據(jù)使用和分析處理的相關(guān)要求，建立數(shù)據(jù)使用監(jiān)管機(jī)制，約束數(shù)據(jù)需求方對(duì)共享數(shù)據(jù)的正當(dāng)使用。6數(shù)據(jù)要求6.1元數(shù)據(jù)要求6.1.1元數(shù)據(jù)采集為了確保元數(shù)據(jù)的全面性和準(zhǔn)確性，元數(shù)據(jù)采集應(yīng)滿足以下要求：a)元數(shù)據(jù)采集應(yīng)能夠適應(yīng)異構(gòu)環(huán)境，支持從傳統(tǒng)關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái)中采集數(shù)據(jù)產(chǎn)生系統(tǒng)數(shù)據(jù)加工處理系統(tǒng)和數(shù)據(jù)應(yīng)用報(bào)表系統(tǒng)的全量元數(shù)據(jù)，包括過程中的數(shù)據(jù)實(shí)體（系統(tǒng)、庫、表、字段的描述）以及數(shù)據(jù)實(shí)體加工處理過程中的邏輯；b)平臺(tái)元數(shù)據(jù)系統(tǒng)應(yīng)支持人工輸入，允許人工的增、刪、改、查及發(fā)布。6.1.2元數(shù)據(jù)維護(hù)為了保持元數(shù)據(jù)的質(zhì)量并確保其有效管理，元數(shù)據(jù)維護(hù)應(yīng)具備以下功能：T/TMACXXX—202Xa)元數(shù)據(jù)維護(hù)應(yīng)提供對(duì)元數(shù)據(jù)的增加、刪除和修改等基本操作。對(duì)于元數(shù)據(jù)的增量維護(hù)，應(yīng)能保留歷史版本信息；b)元數(shù)據(jù)的維護(hù)應(yīng)可通過服務(wù)封裝的形式向各系統(tǒng)的其他模塊提供數(shù)據(jù)維護(hù)接口。6.1.3.元數(shù)據(jù)變更管理為了確保元數(shù)據(jù)變更的可追溯性和版本控制，元數(shù)據(jù)變更管理應(yīng)實(shí)現(xiàn)以下功能：a)元數(shù)據(jù)變更管理應(yīng)能進(jìn)行版本管理，對(duì)不同時(shí)期進(jìn)入元數(shù)據(jù)庫的統(tǒng)一實(shí)體的元數(shù)據(jù)進(jìn)行管理。基本功能應(yīng)能顯示同一實(shí)體的元數(shù)據(jù)的修改歷史。b)元數(shù)據(jù)變更在最新元數(shù)據(jù)中的改動(dòng)不影響定版元數(shù)據(jù)的正常使用；同時(shí)應(yīng)每次發(fā)布都有版本留痕，支持個(gè)版本對(duì)比分析。6.1.4.數(shù)據(jù)檢核為了保證元數(shù)據(jù)的一致性和完整性，平臺(tái)需要實(shí)施嚴(yán)格的數(shù)據(jù)檢核，具體要求包括：a)元數(shù)據(jù)應(yīng)保持其一致性。一致性檢核用來檢驗(yàn)來源系統(tǒng)元數(shù)據(jù)以及元數(shù)據(jù)之間信息是否一致的功能，應(yīng)能幫助管理人員分析出元數(shù)據(jù)管理平臺(tái)與來源系統(tǒng)之間的差異，輔助管理人員更好的維護(hù)原數(shù)據(jù)管理平臺(tái)。b)元數(shù)據(jù)應(yīng)有良好的屬性填充情況。屬性填充率檢核是用來檢驗(yàn)選定范圍內(nèi)元數(shù)據(jù)屬性的填充情況，方便用戶了解某些重要元數(shù)據(jù)的屬性填充情況。c)元數(shù)據(jù)的組合關(guān)系應(yīng)符合元模型中設(shè)置的組合和被組合關(guān)系。組合關(guān)系檢核用根據(jù)元模型中設(shè)置的組合和被組合關(guān)系對(duì)元數(shù)據(jù)進(jìn)行檢查，查找出不符合元模型定義的組合關(guān)系的元數(shù)據(jù)，例如找出沒有與任何數(shù)據(jù)庫表建立組合關(guān)系的字段。6.1.5.血緣管理為了追蹤數(shù)據(jù)間的依賴關(guān)系及其影響范圍，血緣管理功能應(yīng)達(dá)到以下要求：a)平臺(tái)數(shù)據(jù)間血緣關(guān)系應(yīng)能清晰反應(yīng)數(shù)據(jù)間的關(guān)系，包括但不限于：組合關(guān)系、依賴關(guān)系、數(shù)據(jù)流向拓普信息；b)當(dāng)平臺(tái)數(shù)據(jù)需要進(jìn)行調(diào)整時(shí)，用戶應(yīng)能通過血緣分析，根據(jù)目標(biāo)數(shù)據(jù)資源的影響范圍制定數(shù)據(jù)資源的調(diào)整策略。6.2三維數(shù)據(jù)要求三維數(shù)據(jù)參數(shù)要求應(yīng)根據(jù)GB/T51447-2021、ISO16739-1:2018IFC標(biāo)準(zhǔn)體系和DD2015-06等標(biāo)準(zhǔn)內(nèi)容進(jìn)行規(guī)范。7接口要求7.1接口標(biāo)準(zhǔn)平臺(tái)接口標(biāo)準(zhǔn)宜參考GB/T38672-2020第6章內(nèi)容進(jìn)行規(guī)范，具體要求如下：7.1.1總體要求各類接口應(yīng)滿足如下總體要求：a)開放性：符合產(chǎn)業(yè)習(xí)慣，兼容主流開原接口，減小接口定制化帶來的重新設(shè)計(jì)、適配成本；b)易用性：盡可能設(shè)計(jì)成抽象程度高、屏蔽底層實(shí)現(xiàn)、語法易理解的接口；c)擴(kuò)展性：統(tǒng)一接口可通過增加函數(shù)、操作符、語句等形式支持新的功能。T/TMACXXX—202X7.1.2平臺(tái)應(yīng)用接口要求為了確保平臺(tái)應(yīng)用接口的開放性、易用性和擴(kuò)展性，接口設(shè)計(jì)應(yīng)滿足以下要求：a)應(yīng)支持多種數(shù)據(jù)來源（業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、文件等）、多種數(shù)據(jù)類型（例如業(yè)務(wù)相關(guān)數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)）、多種數(shù)據(jù)格式（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等）的數(shù)據(jù)訪問；b)應(yīng)支持按照大數(shù)據(jù)采集樓村規(guī)則進(jìn)行數(shù)據(jù)采集；c)應(yīng)支持接口運(yùn)行情況（如主要函數(shù)調(diào)用時(shí)延）的監(jiān)控，能及時(shí)發(fā)現(xiàn)錯(cuò)誤、產(chǎn)生告警信號(hào)；d)宜支持多種數(shù)據(jù)訪問接口實(shí)例的定時(shí)（例如按天、小時(shí)、分鐘等）調(diào)用啟動(dòng)；e)宜支持對(duì)接常用數(shù)據(jù)庫采集工具、主流日志采集工具；f)宜支持對(duì)接基于系統(tǒng)應(yīng)用服務(wù)接口實(shí)現(xiàn)數(shù)據(jù)采集的工具；g)接口生成宜不收業(yè)務(wù)系統(tǒng)的開發(fā)語言、所處環(huán)境、系統(tǒng)形態(tài)等限制；h)流數(shù)據(jù)分析接口要求包括：1）應(yīng)基于SQL擴(kuò)展支持流數(shù)據(jù)的查詢和分析；2）應(yīng)支持流和表、流和流的鏈接；3）應(yīng)提供流的聚合查詢，只支持常見的聚合函數(shù)（如匯總、均值、最大、最小4）應(yīng)支持基于時(shí)間窗口的聚合查詢；5）應(yīng)支持基于時(shí)間窗口的模式識(shí)別、復(fù)雜時(shí)間分析；6）應(yīng)支持基于時(shí)間窗口的地理數(shù)據(jù)分析；7）應(yīng)支持多種時(shí)間窗口，包括但不限于跳躍窗口、滑動(dòng)窗口、會(huì)話窗口；8）宜支持基于時(shí)間窗口的進(jìn)行流的連接。i)圖數(shù)據(jù)分析接口的要求包括：1）應(yīng)兼容主流開源接口，支持標(biāo)簽屬性圖數(shù)據(jù)模型；2）應(yīng)支持基本的圖操作，包括但不限于增加或刪除頂點(diǎn)、增加或刪除邊，增加、刪除或修改頂點(diǎn)或邊的屬性，支持關(guān)聯(lián)刪除，定義屬性類型等；3）應(yīng)支持定點(diǎn)查詢、路徑查詢、子圖查詢和全圖查詢；4）應(yīng)支持查詢圖拓?fù)浣Y(jié)構(gòu)的基本指標(biāo)，包括但不限于中介中心度、緊密中心度等；5）宜提供主流開發(fā)語言接口。j)日志分析接口的要求包括：1）應(yīng)兼容主流開源組件接口；2）應(yīng)提供人工智能分析能力，包括但不限于關(guān)聯(lián)分析、異常問題識(shí)別等；3）應(yīng)支持復(fù)雜報(bào)表分析。包括但不限于來源分析、熱點(diǎn)頁面、平均響應(yīng)時(shí)長等；4）應(yīng)支持對(duì)相關(guān)指標(biāo)進(jìn)行預(yù)警設(shè)置。5）數(shù)據(jù)同步接口的要求包括：T/TMACXXX—202X6）宜支持一個(gè)系統(tǒng)一次錄入，其他公用信息系統(tǒng)的相同數(shù)據(jù)同步寫入；7）宜支持跨系統(tǒng)在業(yè)務(wù)層面信息的互通互聯(lián)工作；8）宜支持跨系統(tǒng)共享共用的數(shù)據(jù)。7.1.3平臺(tái)開發(fā)接口要求為了便于開發(fā)者集成和擴(kuò)展平臺(tái)功能，平臺(tái)提供的開發(fā)接口應(yīng)滿足以下要求：a)應(yīng)支持業(yè)界常用接口，兼容主流開原接口，支持系統(tǒng)集成；b)應(yīng)支持海量數(shù)據(jù)的分布式離線計(jì)算，支持MapReduce計(jì)算模型，支持?jǐn)?shù)據(jù)的讀取、分發(fā)、聚集、輸出等處理功能c)應(yīng)提供內(nèi)存計(jì)算的多種語言開發(fā)接口（例如Scala，Java），提供高度抽象算子構(gòu)建分布式數(shù)據(jù)處理應(yīng)用；d)應(yīng)支持分布式文件存儲(chǔ)的文件操作(包括但不限于文件創(chuàng)建、讀取、寫人、刪除、文件狀態(tài)信息查詢等)及文件夾操作(包括但不限于文件夾創(chuàng)建、刪除、狀態(tài)信息查詢、內(nèi)容統(tǒng)計(jì)信息查詢等)；e)應(yīng)支持分布式文件系統(tǒng)設(shè)置，包括但不限于設(shè)置訪問權(quán)限、設(shè)置文件所有者、設(shè)置訪問時(shí)間或者修改時(shí)間等；f)應(yīng)支持關(guān)系型數(shù)據(jù)庫的DDL、DML操作，支持標(biāo)準(zhǔn)SQL;g)應(yīng)支持多維分析數(shù)據(jù)庫以標(biāo)準(zhǔn)SQL.查詢和分析；h)應(yīng)支持海量全文檢索，提供結(jié)構(gòu)化、非結(jié)構(gòu)化文本的多條件檢索、統(tǒng)計(jì)和報(bào)表生成；i)應(yīng)支持自定義函數(shù)的定義、加載、使用機(jī)制；j)應(yīng)支持海量結(jié)構(gòu)化數(shù)據(jù)的交互式OLAP分析；k)宜支持分布式內(nèi)存計(jì)算框架接人多種數(shù)據(jù)源(例如HDFS、HBase、Hive），支持離線計(jì)算程序平滑轉(zhuǎn)接；l)宜支持分布式列式存儲(chǔ)不同類型素引(例如主鍵素引、組合索引、全文素引)的創(chuàng)建、查詢、重建。7.1.4平臺(tái)管理接口要求為了便于平臺(tái)的管理和運(yùn)維，平臺(tái)管理接口需要滿足以下要求：a)應(yīng)支持大數(shù)據(jù)組件的安裝部署、支持升級(jí)配置(包括但不限于查詢可升級(jí)的版本、需配置的參數(shù)等)；b)應(yīng)支持用戶管理，包括但不限于增加、刪除、修改用戶，增加、刪除、修改角色、用戶權(quán)限控制等；c)應(yīng)支持監(jiān)控告警，對(duì)資源使用情況、資源運(yùn)行狀態(tài)等進(jìn)行監(jiān)控，并提供多種展示方式,支持健康檢查；T/TMACXXX—202Xd)應(yīng)支持各類日志的收集和存儲(chǔ)，包括但不限于運(yùn)行日志操作日志；e)應(yīng)支持標(biāo)準(zhǔn)管理協(xié)議(例如SNMP)，提供RESTAPI.CLI等交互方式[21]。8安全要求8.1用戶管理用戶管理要求如下：a)應(yīng)對(duì)登錄用戶進(jìn)行身份標(biāo)識(shí)和鑒別，保證用戶身份標(biāo)識(shí)唯一性；b)用戶身份鑒別信息應(yīng)滿足一定的復(fù)雜度要求，并定期更換；8.2權(quán)限管理權(quán)限要求如下：a)應(yīng)按照權(quán)限最小化原則為用戶配置權(quán)限；b)應(yīng)允許同一租戶內(nèi)存在多個(gè)組織的用戶，機(jī)構(gòu)層級(jí)不受限制；c)應(yīng)允許集團(tuán)下屬企業(yè)擁有獨(dú)立的應(yīng)用環(huán)境、用戶空間和數(shù)據(jù)空間；d)數(shù)據(jù)及業(yè)務(wù)流程應(yīng)可夸跨租戶管理。對(duì)應(yīng)未來社區(qū)項(xiàng)目應(yīng)用，也可按照項(xiàng)目創(chuàng)建租戶；e)應(yīng)支持基于證書或Token的服務(wù)鑒權(quán)；f)應(yīng)提供多種策略的數(shù)據(jù)備份或恢復(fù)選項(xiàng)；g)應(yīng)支持用戶行為審計(jì)管理。8.3日志管理日志管理要求如下：a)應(yīng)提供記錄系統(tǒng)操作日志功能，記錄用戶的重要操作；b)應(yīng)保證系統(tǒng)操作日志無法刪除、修改或被覆蓋；c)操作日志應(yīng)包括日期、時(shí)間、操作者信息、操作類型、操作描述和操作結(jié)果等；d)應(yīng)提供對(duì)系統(tǒng)操作日志進(jìn)行統(tǒng)計(jì)、查詢、分析計(jì)生呈報(bào)表的功能。8.4數(shù)據(jù)安全數(shù)據(jù)安全要求除應(yīng)符合以下標(biāo)準(zhǔn)外，還應(yīng)符合中國鐵建城市更新與未來社區(qū)數(shù)字化安全導(dǎo)則全部a)應(yīng)提供數(shù)據(jù)儲(chǔ)存加密功能，支持?jǐn)?shù)據(jù)庫及數(shù)據(jù)加密；b)應(yīng)提供系統(tǒng)敏感數(shù)據(jù)加密傳輸功能，并且加密密鑰可被替換；c)宜支持?jǐn)?shù)據(jù)列級(jí)的數(shù)據(jù)加密。9應(yīng)用環(huán)境9.1軟件環(huán)境9.1.1微服務(wù)治理架構(gòu)采用SpringCloud架構(gòu)，治理組件：a）服務(wù)注冊(cè)中心：Nacos；T/TMACXXX—202Xb)服務(wù)獎(jiǎng)集合熔斷：Sentinel；c)API網(wǎng)關(guān)：SpringCloudGateway；d)負(fù)載均衡：Ribbon。9.1.2開發(fā)框架后端框架使用Springboot；前端框架使用Vue.js，ElementUI.js，iView.js。9.1.3消息中間件主要采用Kafka，局部涉及RabitMQ。9.1.4數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫：PostgreSQL；聚合分析數(shù)據(jù)庫：Druid；空間數(shù)據(jù)庫：PostGIS組件；時(shí)序數(shù)據(jù)庫：TDEngine；邊緣數(shù)據(jù)庫：influxDB。9.1.5邊緣計(jì)算架構(gòu)實(shí)現(xiàn)主要使用Balena，邊緣端接入管理選用RedNode，邊緣端OS采用YoctoLinux，邊緣端數(shù)據(jù)可視化選用Grafana，邊緣端數(shù)據(jù)庫采用influxDB。9.1.6大數(shù)據(jù)分析聚合數(shù)據(jù)儲(chǔ)存選用ApacheDruid，BI分析選用Kylin，ETL及機(jī)器學(xué)習(xí)選用MLSQL，數(shù)據(jù)可視化選用MetaBase。9.1.7三維可視化GIS后端選用GeoServer,GeoTools,PostGIS;GIS/BIM前端采用Cesium.js9.2硬件環(huán)境私有云本地部署。9.3網(wǎng)絡(luò)環(huán)境千兆光纖和千兆局域網(wǎng)。10應(yīng)用服務(wù)10.1數(shù)據(jù)分析服務(wù)10.1.1支持?jǐn)?shù)據(jù)查詢，實(shí)現(xiàn)以下功能：a)應(yīng)提供通過標(biāo)準(zhǔn)的數(shù)據(jù)庫連接接口進(jìn)行查詢的功能；b)應(yīng)提供通過RESTAPI查詢接口進(jìn)行查詢的功能；c)應(yīng)提供建立數(shù)據(jù)索引的功能，達(dá)到查詢加速的效果；d)應(yīng)支持精確查詢和模糊查詢功能。10.1.2支持機(jī)器學(xué)習(xí)，實(shí)現(xiàn)以下功能：a)應(yīng)提供數(shù)據(jù)集管理功能，可將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集：b)應(yīng)提供機(jī)器學(xué)習(xí)模型導(dǎo)人和導(dǎo)出功能；c)應(yīng)提供常用機(jī)器學(xué)習(xí)算法；T/TMACXXX—202Xd)宜支持集成第三方機(jī)器學(xué)習(xí)算法。10.1.3支持統(tǒng)計(jì)分析，實(shí)現(xiàn)以下功能：a)應(yīng)提供基本數(shù)值統(tǒng)計(jì)，如最大值、最小值、求和、總數(shù)等統(tǒng)計(jì)量；b)應(yīng)提供數(shù)據(jù)集中趨勢(shì)統(tǒng)計(jì)，如平均數(shù)、中位數(shù)、眾數(shù)等統(tǒng)計(jì)量；c)宜提供數(shù)據(jù)離散程度統(tǒng)計(jì)，如極差、方差、標(biāo)淮差等統(tǒng)計(jì)量；d)宜提供隨機(jī)變量關(guān)系的統(tǒng)計(jì)，如協(xié)方差、相關(guān)系統(tǒng)等統(tǒng)計(jì)量。10.1.4支持離線數(shù)據(jù)分析，實(shí)現(xiàn)以下功能：e)應(yīng)支持結(jié)構(gòu)化查詢語言；f)應(yīng)支持分布式計(jì)算或并行計(jì)算等計(jì)算框架；g)宜支特對(duì)海量工作任務(wù)的切分和分布式調(diào)度。10.1.5支持流數(shù)據(jù)分析，實(shí)現(xiàn)以下功能：a)應(yīng)提供按時(shí)間切片進(jìn)行批量處理的功能；b)應(yīng)支持基于事件觸發(fā)或者采樣的流式處理；c)宜支持實(shí)時(shí)流上的數(shù)據(jù)統(tǒng)計(jì)；d)宜支持流式數(shù)據(jù)的排序；e)宜支持與靜態(tài)表之間的關(guān)聯(lián)；f)宜支持多個(gè)數(shù)據(jù)流的關(guān)聯(lián)處理。10.1.6宜支持交互式聯(lián)機(jī)分析，實(shí)現(xiàn)以下功能：a)通過結(jié)構(gòu)化查詢語言對(duì)數(shù)據(jù)進(jìn)行分布式的聯(lián)機(jī)分析，如OLAP等；b)通過結(jié)構(gòu)化查詢語言對(duì)數(shù)據(jù)進(jìn)行即席查詢；c)利用可視化中間件對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行顯示；d)在交互式分析過程中定義計(jì)算公式和參數(shù)配置；e)在交互式分析過程中自動(dòng)保存和回退；f)在交互式分析過程中對(duì)分析結(jié)果的保存和發(fā)布；g)基于在線聯(lián)機(jī)分析的交互式數(shù)據(jù)分析。10.2數(shù)據(jù)可視化服務(wù)10.2.1常規(guī)數(shù)據(jù)可視化服務(wù)具備以下功能：a)應(yīng)支持使用常規(guī)圖標(biāo)展示數(shù)據(jù)，如表格、柱狀圖、餅圖等；b)宜支持第三方數(shù)據(jù)可視化工具API。10.2.2三維數(shù)據(jù)可視化服務(wù)具備以下功能：a)應(yīng)支持BIM與GIS深度融合，提供基于Web的空間數(shù)據(jù)管理與展現(xiàn)、交互操作服務(wù)；b)應(yīng)提供BIM構(gòu)件級(jí)交互操作功能，支持模型的標(biāo)注、刨切、組裝和拆卸操作；c)應(yīng)提供2D/3DGIS標(biāo)準(zhǔn)服務(wù)(WMS、WFS、WCS)，支持多種數(shù)據(jù)源(包括:傾斜攝影、遙感T/TMACXXX—202X影像、矢量地圖、點(diǎn)云、高程)的發(fā)布管理，支持動(dòng)態(tài)維護(hù)圖層數(shù)據(jù)；d)應(yīng)提供基于幾何量值的空間分析(包括日照、淹沒、土方等)以及圖上測(cè)量(包括距離、面積、周長、坡度等)；e)應(yīng)提供視頻融合服務(wù)，支持將多視頻流投射到三維場(chǎng)景，實(shí)現(xiàn)上帝視角的三維監(jiān)控；f)應(yīng)支持2D圖紙與3D模型的關(guān)聯(lián)綁定，提供二、三維聯(lián)動(dòng)操作功能；g)借助3DTiles文件格式，利用多層級(jí)瓦片技術(shù)，宜支持流暢的大場(chǎng)景Web渲染；h)借助Gltf文件格式，將模型動(dòng)畫植入應(yīng)用，宜支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的仿真展現(xiàn)；i)宜支持沉浸式漫游路線定義和上帝視角漫游路線定義；j)宜支持VR及AR應(yīng)用。T/TMACXXX—202X參考文獻(xiàn)[1]GB/T17798-2007地理空間數(shù)據(jù)交換格式[2]GB17859-1999計(jì)算機(jī)信息系統(tǒng)安全保護(hù)等級(jí)劃分準(zhǔn)則[3]GB/T18391.1-2009信息技術(shù)元數(shù)據(jù)注冊(cè)系統(tǒng)（MDR）第1部分：框架[4]GB/T20269-2006信息安全技術(shù)信息系統(tǒng)安全管理要求[5]GB/T20270-2006信息安全技術(shù)網(wǎng)絡(luò)基礎(chǔ)安全技術(shù)要求[6]GB/T20271-2016信息安全技術(shù)信息系統(tǒng)通用安全技術(shù)要求[7]GB/T22080-2016信息技術(shù)安全技術(shù)信息安全管理體系要求[8]GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求[9]GB/T22240-2020信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)定級(jí)指南[10]GB/T25069信息安全技術(shù)術(shù)語[11]GB/T28181-2016公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求[12]GB/T31916-2018信息技術(shù)云數(shù)據(jù)存儲(chǔ)和管理[13]GB/T34079-2017基于云計(jì)算的電子政務(wù)公共平臺(tái)服務(wù)規(guī)范第3部分：數(shù)據(jù)管理[14]GB/T3496