城市更新與未來社區(qū)基礎(chǔ)平臺技術(shù)要求

城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺技術(shù)要求本文件確立了數(shù)字化基礎(chǔ)數(shù)據(jù)平臺（以下統(tǒng)稱為平臺）的架構(gòu)，規(guī)定了功能、數(shù)據(jù)要求、接口要求、安全要求、應(yīng)用環(huán)境以及應(yīng)用服務(wù)。本文件適用城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺的構(gòu)建、運行維護、安全管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/TGB/TGB/T17798-200722080-201634079-2017地理空間數(shù)據(jù)交換格式信息技術(shù)安全技術(shù)信息安全管理體系要求基于云計算的電子政務(wù)公共平臺服務(wù)規(guī)范第3部分：數(shù)據(jù)管理GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型GB/T36478-2018物聯(lián)網(wǎng)信息交換和共享GB/T37043-2018智慧城市術(shù)語GB/T40689-2021智慧城市設(shè)備聯(lián)接管理與服務(wù)平臺技術(shù)要求DB23/T3304-2022大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范DB36/T1646-2022地理空間數(shù)據(jù)共享和交換規(guī)范DB52/T1540.2-2021政務(wù)數(shù)據(jù)第2部分：元數(shù)據(jù)管理規(guī)范YD/T3760-2020大數(shù)據(jù)數(shù)據(jù)管理平臺技術(shù)要求與測試方法T/CAGIS2-2020空間三維模型數(shù)據(jù)服務(wù)接口3術(shù)語、定義和縮略語3.1術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1.1元數(shù)據(jù)metadata定義和描述其他數(shù)據(jù)的數(shù)據(jù)。[來源：GB/T18391.1-2009,3.2.16]3.1.2斷點續(xù)傳breakpointresume在數(shù)據(jù)總線傳輸過程中，當(dāng)遇到網(wǎng)絡(luò)故障、傳輸資源短缺、入原始庫積壓時，狀態(tài)總線記錄接入數(shù)據(jù)中斷點及數(shù)據(jù)接入中斷狀態(tài)，控制總線在數(shù)據(jù)計入所需網(wǎng)絡(luò)、儲存等資源可用時，從排隊任務(wù)中重新啟動斷點續(xù)傳任務(wù)，分配數(shù)據(jù)總線資源，從數(shù)據(jù)斷點處接入后續(xù)數(shù)據(jù)，不需要從頭開始數(shù)據(jù)傳輸，從而節(jié)約數(shù)據(jù)傳輸時間，提高數(shù)據(jù)接入效率。23.1.3數(shù)據(jù)治理datagovernance基于數(shù)據(jù)生命周期，進行數(shù)據(jù)全面質(zhì)量管理、資產(chǎn)管理風(fēng)險管理等統(tǒng)籌與協(xié)調(diào)管控的過程。注1：多學(xué)科視角下，數(shù)據(jù)治理需要解決數(shù)據(jù)權(quán)屬關(guān)系問題，明確數(shù)據(jù)利益相關(guān)方的角系和工作任務(wù),避免數(shù)據(jù)風(fēng)險,提高數(shù)據(jù)質(zhì)量,確保數(shù)據(jù)資產(chǎn)能長期有序地注2：信息技術(shù)視角下,數(shù)據(jù)治理指對數(shù)據(jù)進行管控,處置、格式化和規(guī)范化的過程。數(shù)理的基本要素。數(shù)據(jù)治理涉及數(shù)據(jù)全生命期管理,無論數(shù)據(jù)是處于靜態(tài),動態(tài),3.2縮略語下列縮略語適用于本文件。BIM建筑信息模型（BuildingInformationModel/Modeling）GIS地理信息系統(tǒng)（GeographicInformationModel/Modeling）WMS網(wǎng)絡(luò)地圖服務(wù)（WebMapServices）WFS網(wǎng)絡(luò)要素服務(wù)（WebFeatureServices）WCS網(wǎng)絡(luò)覆蓋服務(wù)（WebCoverageServices）S3M空間三維模型（Spatial3DModel）I3M索引三維場景（Index3DScene）DWL數(shù)據(jù)操縱語言（DataManipulationLanguage）DDL數(shù)據(jù)庫模式定義語言（DataDefinitionLanguage）XML可擴展標(biāo)記語言(ExtensibleMarkupLanguage)HTTP超文本傳輸協(xié)議（HypertextTransferProtocol）HTTPS超文本傳輸安全協(xié)議（HypertextTransferProtocolSecure）MQTT消息隊列遙測傳輸協(xié)議（MessageQueuingTelemetryTransport）CoAP約束應(yīng)用協(xié)議（ConstrainedApplicationProtocol）ADS應(yīng)用數(shù)據(jù)層（ApplicationDataService）DWD明細(xì)數(shù)據(jù)層（DataWarehouseDetail）DWS匯總數(shù)據(jù)層（DataWarehouseSummary）ODS操作數(shù)據(jù)層（operationaldatastore）CDM公共維度模型層(commondatamodel)DAG有向無環(huán)圖（DirectAcyclicGraph）4平臺架構(gòu)4.1平臺設(shè)計原則4.1.1數(shù)據(jù)的一致性和標(biāo)準(zhǔn)性平臺除遵循數(shù)據(jù)庫設(shè)計的軟件行業(yè)標(biāo)準(zhǔn)外，還應(yīng)遵循國家、地方標(biāo)準(zhǔn)及行業(yè)的習(xí)慣性事實標(biāo)準(zhǔn)。此外，平臺的建設(shè)中應(yīng)充分考慮己建系統(tǒng)的數(shù)據(jù)，確保與現(xiàn)有數(shù)據(jù)的一致性和標(biāo)準(zhǔn)性。4.1.2數(shù)據(jù)的實用性和服務(wù)性平臺設(shè)計應(yīng)充分考慮實際情況和應(yīng)用特點，遵循“服務(wù)性與實用性并重的原則，通過數(shù)據(jù)整合與治理，數(shù)據(jù)高度可共享、和可根據(jù)實際需求不斷靈活組合，為業(yè)務(wù)應(yīng)用服務(wù)，數(shù)據(jù)質(zhì)量高，保證數(shù)據(jù)的實用性。4.1.3數(shù)據(jù)的獨立性和可擴展性設(shè)計時應(yīng)做到數(shù)據(jù)具有獨立性，獨立于應(yīng)用程序，使平臺的設(shè)計及結(jié)構(gòu)的變化不影響程序，反之亦然。另外，數(shù)據(jù)庫設(shè)計應(yīng)考慮其擴展性能，使得系統(tǒng)增加新應(yīng)用或新需求時，不至于引起整個平臺結(jié)構(gòu)的大變動。4.1.4數(shù)據(jù)的安全性通過設(shè)計合理和有效的備份和恢復(fù)策略，確保平臺遭遇突發(fā)事故時，能在最短的時間內(nèi)恢復(fù)。同時，通過做好對平臺的訪問授權(quán)設(shè)計，保證數(shù)據(jù)不被非法訪問。4.1.5數(shù)據(jù)的分級管理機制根據(jù)用戶訪問平臺的角色，將用戶分為多個角色，分別賦予角色訪問數(shù)據(jù)的權(quán)限和使用平臺功能的權(quán)限，嚴(yán)格控制角色登錄，實現(xiàn)數(shù)據(jù)的分級管理。4.2平臺整體架平臺整體架構(gòu)包含四個模塊和兩個體系，見圖1，四個模塊分別為應(yīng)用系統(tǒng)模塊、中樞模塊、中臺模塊以及基礎(chǔ)設(shè)施模塊，兩個體系為標(biāo)準(zhǔn)規(guī)范體系和安全管理體系?；A(chǔ)數(shù)據(jù)平臺以數(shù)據(jù)中臺為基礎(chǔ)結(jié)合高性能三維數(shù)字引擎技術(shù)、多源數(shù)據(jù)集成技術(shù)、數(shù)據(jù)融合分析技術(shù)、數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)等進行構(gòu)建，并依托標(biāo)準(zhǔn)規(guī)范體系與安全管理體系進行平臺運營維護和數(shù)據(jù)安全管理。4標(biāo)準(zhǔn)規(guī)范體標(biāo)準(zhǔn)規(guī)范體系基礎(chǔ)平臺基礎(chǔ)平臺圖1平臺整體架構(gòu)圖4.3功能架構(gòu)平臺服務(wù)功能包括但不限于數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)發(fā)布、數(shù)據(jù)共享、數(shù)據(jù)儲存等，見圖2。本平臺所有數(shù)據(jù)與應(yīng)用層在線交互時應(yīng)通過API接口由數(shù)據(jù)交互規(guī)范與數(shù)據(jù)交付標(biāo)準(zhǔn)約束。 圖2平臺功能架構(gòu)圖5平臺功能標(biāo)準(zhǔn)5.1數(shù)據(jù)收集數(shù)據(jù)收集功能要求如下：a)應(yīng)提供數(shù)據(jù)導(dǎo)入功能，支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入；b)應(yīng)支持離線數(shù)據(jù)導(dǎo)入和實時數(shù)據(jù)導(dǎo)入；c)應(yīng)提供自動定時導(dǎo)入數(shù)據(jù)功能；d)應(yīng)支持?jǐn)?shù)據(jù)傳輸過程中的斷點續(xù)傳；e)應(yīng)支持對數(shù)據(jù)的DML的抽取，抽取內(nèi)容包括insert、update、delete語句的解析和內(nèi)容抽f)應(yīng)支持對數(shù)據(jù)庫DDL的抽取，抽取內(nèi)容包括但不限于數(shù)據(jù)庫空間、用戶、角色、視圖、函數(shù)、索引、約束等，對關(guān)系型數(shù)據(jù)庫的全量采集和增量采集；g)應(yīng)支持多節(jié)點文件接力傳輸功能，實現(xiàn)多節(jié)點文件傳輸；h)應(yīng)支持過期文件數(shù)據(jù)接入系統(tǒng)中間數(shù)據(jù)緩存功能；i)應(yīng)支持多通道數(shù)據(jù)傳輸；j)應(yīng)對收集數(shù)據(jù)進行清洗，清洗數(shù)據(jù)包括但不限于，缺失數(shù)據(jù)、錯誤數(shù)據(jù)、重復(fù)數(shù)據(jù)等；k)對于實時數(shù)據(jù)收集，應(yīng)提供收集數(shù)據(jù)的關(guān)鍵信息、唯一性信息的日志儲存和查詢統(tǒng)計；應(yīng)提供數(shù)據(jù)同步檢查和校驗功能，并輸出詳細(xì)日志；應(yīng)支持一定時間范圍的收集狀態(tài)統(tǒng)計，包括對數(shù)據(jù)更新狀態(tài)、聯(lián)通狀態(tài)、數(shù)據(jù)量、校驗等情況統(tǒng)計；l)對于批量數(shù)據(jù)收集，應(yīng)提供周期性計入信息查詢和統(tǒng)計，支持格式異常數(shù)據(jù)查詢和統(tǒng)計；m)宜提供開放的數(shù)據(jù)導(dǎo)入API；n)宜提供圖形界面實現(xiàn)數(shù)據(jù)導(dǎo)入功能。5.2數(shù)據(jù)集成數(shù)據(jù)集成功能要求如下：a)應(yīng)保證實體的每次出現(xiàn)都指派一個唯一標(biāo)識符；b)應(yīng)確認(rèn)哪些實體是相通的，并將該實體的各次出現(xiàn)合并起來；c)應(yīng)明確字段結(jié)構(gòu)，盡量保證字段的一致性，其中包括但不限于字段名稱、字段數(shù)據(jù)類型、字段數(shù)據(jù)格式、字段單位、字段取值范圍等；d)應(yīng)盡量避免數(shù)據(jù)重復(fù)入庫；e)數(shù)據(jù)包括但不限于空間數(shù)據(jù)、實時數(shù)據(jù)、資產(chǎn)數(shù)據(jù)等。這些數(shù)據(jù)入庫時應(yīng)轉(zhuǎn)換為統(tǒng)一通用的標(biāo)準(zhǔn)格式，應(yīng)可進行可視化瀏覽，應(yīng)可用統(tǒng)一接口服務(wù)。其中，工程數(shù)據(jù)中的三維模型整合轉(zhuǎn)換時應(yīng)進行輕量化處理，以便于在其他平臺中進行超大模型三維可視化瀏覽。65.3數(shù)據(jù)儲存5.3.1應(yīng)提供數(shù)據(jù)儲存功能，支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)儲存。5.3.2應(yīng)提供與關(guān)系型數(shù)據(jù)庫、其他文件系統(tǒng)之間交換數(shù)據(jù)或文件的功能。5.3.3應(yīng)支持與時序數(shù)據(jù)庫的實時數(shù)據(jù)交換。5.3.4支持分布式文件儲存，實現(xiàn)以下功能：a)應(yīng)支持文件系統(tǒng)基本操作，包括上傳、下載、讀寫、復(fù)制、移動、刪除、重命名、權(quán)限修改等；b)應(yīng)提供數(shù)據(jù)塊多副本儲存、恢復(fù)功能；c)宜支持文件快速檢索功能，支持?jǐn)?shù)據(jù)資源的統(tǒng)一檢索、編目、增加和刪除操作；d)宜支持或數(shù)據(jù)壓縮儲存功能。5.3.5支持分布式列式數(shù)據(jù)儲存，實現(xiàn)以下功能：a)應(yīng)支持以鍵值形式儲存數(shù)據(jù)的功能；b)宜支持基于表、列族和列的用戶權(quán)限管理功能，權(quán)限管理操作包括讀、寫、創(chuàng)建等。5.3.6支持分布式結(jié)構(gòu)化數(shù)據(jù)儲存，實現(xiàn)以下功能：a)宜支持結(jié)構(gòu)化數(shù)據(jù)的分布式儲存，保證數(shù)據(jù)儲存的可擴展性和一致性；b)宜提供API實現(xiàn)數(shù)據(jù)的各類查詢工作；c)宜支持多表關(guān)聯(lián)。5.3.7支持分布式圖數(shù)據(jù)儲存，實現(xiàn)以下功能：a)宜支持有節(jié)點及邊組成的數(shù)據(jù)模型；b)宜支持圖查詢，支持單節(jié)點、多節(jié)點多層關(guān)系的擴先查詢；c)宜支持圖遍歷，支持最短路徑、最優(yōu)路徑便利查詢；d)宜支持圖分析。5.4數(shù)據(jù)處理5.4.1基本要求數(shù)據(jù)處理功能除應(yīng)符合GB/T38673-2020中6.4的內(nèi)容外，還應(yīng)符合5.4.2~5.4.7的要求。5.4.2數(shù)據(jù)提取非結(jié)構(gòu)化數(shù)據(jù)提取非結(jié)構(gòu)數(shù)據(jù)提取應(yīng)符合以下要求：a)應(yīng)根據(jù)非結(jié)構(gòu)化數(shù)據(jù)包含的索引格式，在集群中提取相應(yīng)數(shù)據(jù)并形成結(jié)構(gòu)化數(shù)據(jù)保存于關(guān)系型儲存中；b)應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)預(yù)設(shè)不同數(shù)據(jù)類型的相應(yīng)提取策略和規(guī)則，加載相應(yīng)的提取模塊進行非結(jié)構(gòu)化數(shù)據(jù)的提取處理。結(jié)構(gòu)化數(shù)據(jù)提取應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)預(yù)設(shè)的結(jié)構(gòu)化數(shù)據(jù)提取策略和規(guī)則，對原數(shù)據(jù)中的各類數(shù)據(jù)進行關(guān)鍵信息提取。對象化提取對象化提取應(yīng)符合以下要求：a)應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)對象提取規(guī)則對數(shù)據(jù)主題進行對象化處理；b)應(yīng)支持對象特征自動提取，根據(jù)對象特征自動建模，利用并行分布式計算資源，對數(shù)據(jù)進行對象化提取、儲存對象數(shù)據(jù)、更新對象數(shù)據(jù)；c)應(yīng)對對象化結(jié)果數(shù)據(jù)，通過對象化去重，消除冗余數(shù)據(jù)；d)應(yīng)對制定數(shù)據(jù)來源數(shù)據(jù)進行標(biāo)識的操作，在對象化提取環(huán)節(jié)，應(yīng)將標(biāo)識提取到對象化數(shù)據(jù)5.4.3數(shù)據(jù)清洗不符合數(shù)據(jù)類型：a)缺失的數(shù)據(jù)；b)錯誤的數(shù)據(jù)；c)重復(fù)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)清洗：a)文本數(shù)據(jù)清洗可通過分詞、預(yù)料標(biāo)注、字典構(gòu)建、關(guān)鍵詞識別等技術(shù)，根據(jù)相應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)特點進行數(shù)據(jù)建模，去重；b)圖片數(shù)據(jù)清洗可通過意圖找圖技術(shù)進行圖片去重；c)音頻數(shù)據(jù)清洗可通過MD5值校驗和音頻對比分析進行去重；d)視頻數(shù)據(jù)可通過關(guān)鍵幀抽取，通過意圖找圖、語音識別、MD5值校驗等技術(shù)進行去重。結(jié)構(gòu)化數(shù)據(jù)清洗：a)應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)業(yè)務(wù)規(guī)劃對冗余數(shù)據(jù)進行過濾，根據(jù)不同的去重規(guī)則和方法對數(shù)據(jù)進行去重扁頂，去除重復(fù)冗余數(shù)據(jù)；b)可通過定義過濾規(guī)則，使用流式SQL和表達式，按條件對數(shù)據(jù)進行重新組合和二次加工。5.4.4數(shù)據(jù)標(biāo)識數(shù)據(jù)標(biāo)識具備以下功能要求：c)應(yīng)支持離線和在線標(biāo)識；d)應(yīng)根據(jù)預(yù)設(shè)的策略和規(guī)則對數(shù)據(jù)進行標(biāo)識；e)宜對數(shù)據(jù)進行標(biāo)識化可以增加數(shù)據(jù)維度，拓展數(shù)據(jù)的屬性，提供建立與數(shù)據(jù)之上的抽象。5.4.5數(shù)據(jù)糾錯為了確保數(shù)據(jù)的準(zhǔn)確性和可靠性，數(shù)據(jù)糾錯功能需要達到以下要求：8a)應(yīng)對進入各類資源庫、主題庫和業(yè)務(wù)庫的數(shù)據(jù)進行準(zhǔn)確性認(rèn)定；b)應(yīng)針對有誤策略執(zhí)行回滾操作，并對相應(yīng)數(shù)據(jù)進行糾錯。5.4.6策略配置管理為了實現(xiàn)高效的數(shù)據(jù)管理和處理，平臺需要支持靈活的策略配置管理，具體要求如下：a)應(yīng)支持各類數(shù)據(jù)文件的同步、異步、多借點間文件接力傳輸；b)應(yīng)支持對文件、文件夾、文件夾下制定文件傳輸?shù)裙δ?；c)應(yīng)支持對數(shù)據(jù)文件的全量、增量傳輸，對中間過期文件的壓縮、清理，及文件的多副本儲存；d)應(yīng)支持實時數(shù)據(jù)交換機加工，實現(xiàn)數(shù)據(jù)庫、文件、JSON、XML及MQ、TLQ等之間的相互交換功能；e)應(yīng)提供調(diào)度任務(wù)實時可視化監(jiān)控；f)應(yīng)提供事件觸發(fā)調(diào)度功能，包括但不限于文件就緒觸發(fā)、變化日志觸發(fā)、HTTPS等接口或URL調(diào)度時間觸發(fā)，支持操作系統(tǒng)shell腳本，和數(shù)據(jù)庫系統(tǒng)的shell命令和SQL腳本調(diào)度功能等；g)應(yīng)提供流程調(diào)度組件，包括采樣分流組件和任務(wù)編排組件，實現(xiàn)多任務(wù)的并行、串行、混合調(diào)度；h)宜支持按年、月、周、日、小時、分鐘、秒定時調(diào)度，可選制定有效時間內(nèi)調(diào)度。5.4.7任務(wù)調(diào)度為了確保數(shù)據(jù)處理任務(wù)能夠按照預(yù)定的時間和順序被執(zhí)行，平臺的任務(wù)調(diào)度功能應(yīng)滿足以下要a)應(yīng)支持任意種類、任意數(shù)據(jù)結(jié)構(gòu)、任意目標(biāo)庫的數(shù)據(jù)提取傳輸；b)支持Kafka、webservice等消息處理機制，支持流式和離線處理；c)應(yīng)支持任意類型的數(shù)據(jù)融合任務(wù)配置，在保證數(shù)據(jù)安全的基礎(chǔ)上，根據(jù)傳輸策略，進行數(shù)據(jù)傳輸和儲存；d)應(yīng)支持過濾、融合規(guī)則自定義，包括但不限于字符串操作、字符串替換、字符串截取、NULL值替換、數(shù)據(jù)類型轉(zhuǎn)換、正則處理、公式計算，以及對關(guān)鍵字段控制、重復(fù)、異常等問題數(shù)據(jù)過濾規(guī)則等；e)宜支持基于數(shù)據(jù)元的異構(gòu)數(shù)據(jù)自動解析，并能按業(yè)務(wù)場景進行自定義配置。5.5數(shù)據(jù)管理數(shù)據(jù)治理功能中的數(shù)據(jù)采集規(guī)范宜依照GB/T36225.3-2021進行規(guī)范，其他功能要求如下：a)應(yīng)提供可靠的數(shù)據(jù)應(yīng)用規(guī)范，支持?jǐn)?shù)據(jù)應(yīng)用流程管理、數(shù)據(jù)應(yīng)用審查、數(shù)據(jù)應(yīng)用發(fā)布等；b)應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量分析和預(yù)警，甄別數(shù)據(jù)優(yōu)劣程度，對質(zhì)量較差數(shù)據(jù)進行清理，對長期不用數(shù)據(jù)進行清洗和歸檔；c)應(yīng)支持通過預(yù)定規(guī)則進行數(shù)據(jù)稽核，稽核發(fā)現(xiàn)的問題按照預(yù)定規(guī)則自動治理或者生成任務(wù)工單進行處理，并生成稽核報告；d)應(yīng)支持對數(shù)據(jù)屬性標(biāo)簽標(biāo)注功能，包括但不限于單個和批量標(biāo)注標(biāo)簽，標(biāo)簽的增加、刪除和修改等；e)應(yīng)支持?jǐn)?shù)據(jù)血緣關(guān)系管理，可自動生成和維護數(shù)據(jù)血緣關(guān)系地圖；f)應(yīng)支持敏感數(shù)據(jù)識別、標(biāo)記和脫敏，脫敏類型包括但不限于替換、截斷、掩碼、重排、日期偏移、取整等；g)應(yīng)支持?jǐn)?shù)據(jù)資源目錄動態(tài)管理，包括但不限于梳理、編制、審核、發(fā)布等；h)應(yīng)支持對不完整數(shù)據(jù)、錯誤數(shù)據(jù)、重復(fù)數(shù)據(jù)進行統(tǒng)一標(biāo)識、對比、清洗、整合和轉(zhuǎn)換等操作[27]。5.6數(shù)據(jù)發(fā)布數(shù)據(jù)發(fā)布功能要求如下：a)管理者應(yīng)通過共享交換功能發(fā)布目錄內(nèi)容，提供數(shù)據(jù)目錄內(nèi)容查詢檢索、目錄導(dǎo)航、目錄下載和目錄訂閱服務(wù)，以及目錄服務(wù)接口等；b)管理者應(yīng)通過共享交換功能發(fā)布參與共享和交換的本平臺數(shù)據(jù)文件，提供數(shù)據(jù)的查詢檢索、快速瀏覽和數(shù)據(jù)下載服務(wù)；c)當(dāng)參與共享交換的數(shù)據(jù)文件有更新時，管理者應(yīng)將數(shù)據(jù)更新情況及時反饋給數(shù)據(jù)使用者；d)管理者應(yīng)通過共享交換功能將融合后的數(shù)據(jù)發(fā)布成相應(yīng)的信息服務(wù)，使用者可以通過共享交換功能進行在線調(diào)用。5.7數(shù)據(jù)共享5.7.1在線方式為了促進數(shù)據(jù)的實時共享與交換，當(dāng)網(wǎng)絡(luò)條件允許時，推薦采用以下在線方式進行數(shù)據(jù)共享：a)通過網(wǎng)絡(luò)在線調(diào)用、訪問數(shù)據(jù)服務(wù)接口的方式或在線上傳、下載的方式，實現(xiàn)數(shù)據(jù)共享和交換；b)在線方式適用于網(wǎng)絡(luò)聯(lián)通環(huán)境下對數(shù)字化文件或服務(wù)接口進行共享和交換的場合。5.7.2離線方式考慮到不同網(wǎng)絡(luò)環(huán)境下的需求及非數(shù)字化文件的共享需要，離線數(shù)據(jù)共享方式應(yīng)遵循以下規(guī)定：a)通過對移動設(shè)備進行拷貝和對紙質(zhì)文件進行復(fù)制，實現(xiàn)數(shù)據(jù)共享和交換；b)離線方式適用于不同網(wǎng)絡(luò)環(huán)境下、需要簽收確認(rèn)或?qū)Ψ菙?shù)字化文件進行共享和交換的場合，提供者通過離線拷貝的方式，人工將數(shù)據(jù)提交到數(shù)據(jù)平臺。5.7.3共享內(nèi)容共享的數(shù)據(jù)內(nèi)容應(yīng)包括但不限于工程數(shù)據(jù)、地理數(shù)據(jù)等。5.7.4數(shù)據(jù)共享安全保障數(shù)據(jù)共享的安全要求包括但不限于以下內(nèi)容：a)應(yīng)可設(shè)定授權(quán)服務(wù)的有效期，并支持授權(quán)時間延期；b)應(yīng)遵循數(shù)據(jù)共享最小化原則，僅對業(yè)務(wù)必須的數(shù)據(jù)進行共享授權(quán)；c)應(yīng)對敏感數(shù)據(jù)進行脫敏，并對相應(yīng)的操作進行記錄；d)應(yīng)對數(shù)據(jù)交換兩端進行用戶身份鑒別或者身份認(rèn)證；e)應(yīng)保證數(shù)據(jù)通信過程中的保密性和完整性；f)在數(shù)據(jù)導(dǎo)入過程中，應(yīng)檢驗數(shù)據(jù)質(zhì)量，質(zhì)量檢驗內(nèi)容應(yīng)包含空間參考系、數(shù)據(jù)的完整性、邏輯一致性等質(zhì)量元素。5.7.5數(shù)據(jù)共享使用安全要求數(shù)據(jù)使用的安全要求包括但不限于以下內(nèi)容：a)使用或存儲依法應(yīng)當(dāng)予以保密的數(shù)據(jù)或者數(shù)據(jù)服務(wù)時，按照保密有關(guān)法律、法規(guī)規(guī)定執(zhí)b)應(yīng)對訪問數(shù)據(jù)處理系統(tǒng)、服務(wù)器操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、備份系統(tǒng)的管理員進行身份鑒c)應(yīng)對服務(wù)器系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等重要系統(tǒng)設(shè)置用戶訪問控制策略，阻斷對應(yīng)用、系統(tǒng)等的任何非授權(quán)訪問，提出告警、并記錄審計日志；d)應(yīng)支持溯源數(shù)據(jù)的采集和存儲，對關(guān)鍵溯源數(shù)據(jù)進行備份，并采取安全措施對溯源數(shù)據(jù)進行保護；e)應(yīng)對數(shù)據(jù)存儲環(huán)境進行分域分級設(shè)計，設(shè)置存儲機制將數(shù)據(jù)分域分級儲存，并建立數(shù)據(jù)冗余一致性控制策略；f)制定數(shù)據(jù)備份策略，設(shè)置數(shù)據(jù)恢復(fù)策略，在數(shù)據(jù)恢復(fù)過程中進行完整性校驗；g)提供者應(yīng)基于國家相關(guān)法律法規(guī)對數(shù)據(jù)使用和分析處理的相關(guān)要求，建立數(shù)據(jù)使用監(jiān)管機制，約束數(shù)據(jù)需求方對共享數(shù)據(jù)的正當(dāng)使用。6數(shù)據(jù)要求6.1元數(shù)據(jù)要求6.1.1元數(shù)據(jù)采集為了確保元數(shù)據(jù)的全面性和準(zhǔn)確性，元數(shù)據(jù)采集應(yīng)滿足以下要求：a)元數(shù)據(jù)采集應(yīng)能夠適應(yīng)異構(gòu)環(huán)境，支持從傳統(tǒng)關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺中采集數(shù)據(jù)產(chǎn)生系統(tǒng)數(shù)據(jù)加工處理系統(tǒng)和數(shù)據(jù)應(yīng)用報表系統(tǒng)的全量元數(shù)據(jù)，包括過程中的數(shù)據(jù)實體（系統(tǒng)、庫、表、字段的描述）以及數(shù)據(jù)實體加工處理過程中的邏輯；b)平臺元數(shù)據(jù)系統(tǒng)應(yīng)支持人工輸入，允許人工的增、刪、改、查及發(fā)布。6.1.2元數(shù)據(jù)維護為了保持元數(shù)據(jù)的質(zhì)量并確保其有效管理，元數(shù)據(jù)維護應(yīng)具備以下功能：a)元數(shù)據(jù)維護應(yīng)提供對元數(shù)據(jù)的增加、刪除和修改等基本操作。對于元數(shù)據(jù)的增量維護，應(yīng)能保留歷史版本信息；b)元數(shù)據(jù)的維護應(yīng)可通過服務(wù)封裝的形式向各系統(tǒng)的其他模塊提供數(shù)據(jù)維護接口。6.1.3.元數(shù)據(jù)變更管理為了確保元數(shù)據(jù)變更的可追溯性和版本控制，元數(shù)據(jù)變更管理應(yīng)實現(xiàn)以下功能：a)元數(shù)據(jù)變更管理應(yīng)能進行版本管理，對不同時期進入元數(shù)據(jù)庫的統(tǒng)一實體的元數(shù)據(jù)進行管理?；竟δ軕?yīng)能顯示同一實體的元數(shù)據(jù)的修改歷史。b)元數(shù)據(jù)變更在最新元數(shù)據(jù)中的改動不影響定版元數(shù)據(jù)的正常使用；同時應(yīng)每次發(fā)布都有版本留痕，支持個版本對比分析。6.1.4.數(shù)據(jù)檢核為了保證元數(shù)據(jù)的一致性和完整性，平臺需要實施嚴(yán)格的數(shù)據(jù)檢核，具體要求包括：a)元數(shù)據(jù)應(yīng)保持其一致性。一致性檢核用來檢驗來源系統(tǒng)元數(shù)據(jù)以及元數(shù)據(jù)之間信息是否一致的功能，應(yīng)能幫助管理人員分析出元數(shù)據(jù)管理平臺與來源系統(tǒng)之間的差異，輔助管理人員更好的維護原數(shù)據(jù)管理平臺。b)元數(shù)據(jù)應(yīng)有良好的屬性填充情況。屬性填充率檢核是用來檢驗選定范圍內(nèi)元數(shù)據(jù)屬性的填充情況，方便用戶了解某些重要元數(shù)據(jù)的屬性填充情況。c)元數(shù)據(jù)的組合關(guān)系應(yīng)符合元模型中設(shè)置的組合和被組合關(guān)系。組合關(guān)系檢核用根據(jù)元模型中設(shè)置的組合和被組合關(guān)系對元數(shù)據(jù)進行檢查，查找出不符合元模型定義的組合關(guān)系的元數(shù)據(jù)，例如找出沒有與任何數(shù)據(jù)庫表建立組合關(guān)系的字段。6.1.5.血緣管理為了追蹤數(shù)據(jù)間的依賴關(guān)系及其影響范圍，血緣管理功能應(yīng)達到以下要求：a)平臺數(shù)據(jù)間血緣關(guān)系應(yīng)能清晰反應(yīng)數(shù)據(jù)間的關(guān)系，包括但不限于：組合關(guān)系、依賴關(guān)系、數(shù)據(jù)流向拓普信息；b)當(dāng)平臺數(shù)據(jù)需要進行調(diào)整時，用戶應(yīng)能通過血緣分析，根據(jù)目標(biāo)數(shù)據(jù)資源的影響范圍制定數(shù)據(jù)資源的調(diào)整策略。6.2三維數(shù)據(jù)要求三維數(shù)據(jù)參數(shù)要求應(yīng)根據(jù)GB/T51447-2021、ISO16739-1:2018IFC標(biāo)準(zhǔn)體系和DD2015-06等標(biāo)準(zhǔn)內(nèi)容進行規(guī)范。7接口要求7.1接口標(biāo)準(zhǔn)平臺接口標(biāo)準(zhǔn)宜參考GB/T38672-2020第6章內(nèi)容進行規(guī)范，具體要求如下：7.1.1總體要求各類接口應(yīng)滿足如下總體要求：a)開放性：符合產(chǎn)業(yè)習(xí)慣，兼容主流開原接口，減小接口定制化帶來的重新設(shè)計、適配成本；b)易用性：盡可能設(shè)計成抽象程度高、屏蔽底層實現(xiàn)、語法易理解的接口；c)擴展性：統(tǒng)一接口可通過增加函數(shù)、操作符、語句等形式支持新的功能。7.1.2平臺應(yīng)用接口要求為了確保平臺應(yīng)用接口的開放性、易用性和擴展性，接口設(shè)計應(yīng)滿足以下要求：a)應(yīng)支持多種數(shù)據(jù)來源（業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、文件等）、多種數(shù)據(jù)類型（例如業(yè)務(wù)相關(guān)數(shù)據(jù)、監(jiān)控數(shù)據(jù)）、多種數(shù)據(jù)格式（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等）的數(shù)據(jù)訪問；b)應(yīng)支持按照大數(shù)據(jù)采集樓村規(guī)則進行數(shù)據(jù)采集；c)應(yīng)支持接口運行情況（如主要函數(shù)調(diào)用時延）的監(jiān)控，能及時發(fā)現(xiàn)錯誤、產(chǎn)生告警信號；d)宜支持多種數(shù)據(jù)訪問接口實例的定時（例如按天、小時、分鐘等）調(diào)用啟動；e)宜支持對接常用數(shù)據(jù)庫采集工具、主流日志采集工具；f)宜支持對接基于系統(tǒng)應(yīng)用服務(wù)接口實現(xiàn)數(shù)據(jù)采集的工具；g)接口生成宜不收業(yè)務(wù)系統(tǒng)的開發(fā)語言、所處環(huán)境、系統(tǒng)形態(tài)等限制；h)流數(shù)據(jù)分析接口要求包括：1）應(yīng)基于SQL擴展支持流數(shù)據(jù)的查詢和分析；2）應(yīng)支持流和表、流和流的鏈接；3）應(yīng)提供流的聚合查詢，只支持常見的聚合函數(shù)（如匯總、均值、最大、最小4）應(yīng)支持基于時間窗口的聚合查詢；5）應(yīng)支持基于時間窗口的模式識別、復(fù)雜時間分析；6）應(yīng)支持基于時間窗口的地理數(shù)據(jù)分析；7）應(yīng)支持多種時間窗口，包括但不限于跳躍窗口、滑動窗口、會話窗口；8）宜支持基于時間窗口的進行流的連接。i)圖數(shù)據(jù)分析接口的要求包括：1）應(yīng)兼容主流開源接口，支持標(biāo)簽屬性圖數(shù)據(jù)模型；2）應(yīng)支持基本的圖操作，包括但不限于增加或刪除頂點、增加或刪除邊，增加、刪除或修改頂點或邊的屬性，支持關(guān)聯(lián)刪除，定義屬性類型等；3）應(yīng)支持定點查詢、路徑查詢、子圖查詢和全圖查詢；4）應(yīng)支持查詢圖拓?fù)浣Y(jié)構(gòu)的基本指標(biāo)，包括但不限于中介中心度、緊密中心度等；5）宜提供主流開發(fā)語言接口。j)日志分析接口的要求包括：1）應(yīng)兼容主流開源組件接口；2）應(yīng)提供人工智能分析能力，包括但不限于關(guān)聯(lián)分析、異常問題識別等；3）應(yīng)支持復(fù)雜報表分析。包括但不限于來源分析、熱點頁面、平均響應(yīng)時長等；4）應(yīng)支持對相關(guān)指標(biāo)進行預(yù)警設(shè)置。5）數(shù)據(jù)同步接口的要求包括：6）宜支持一個系統(tǒng)一次錄入，其他公用信息系統(tǒng)的相同數(shù)據(jù)同步寫入；7）宜支持跨系統(tǒng)在業(yè)務(wù)層面信息的互通互聯(lián)工作；8）宜支持跨系統(tǒng)共享共用的數(shù)據(jù)。7.1.3平臺開發(fā)接口要求為了便于開發(fā)者集成和擴展平臺功能，平臺提供的開發(fā)接口應(yīng)滿足以下要求：a)應(yīng)支持業(yè)界常用接口，兼容主流開原接口，支持系統(tǒng)集成；b)應(yīng)支持海量數(shù)據(jù)的分布式離線計算，支持MapReduce計算模型，支持?jǐn)?shù)據(jù)的讀取、分發(fā)、聚集、輸出等處理功能c)應(yīng)提供內(nèi)存計算的多種語言開發(fā)接口（例如Scala，Java），提供高度抽象算子構(gòu)建分布式數(shù)據(jù)處理應(yīng)用；d)應(yīng)支持分布式文件存儲的文件操作(包括但不限于文件創(chuàng)建、讀取、寫人、刪除、文件狀態(tài)信息查詢等)及文件夾操作(包括但不限于文件夾創(chuàng)建、刪除、狀態(tài)信息查詢、內(nèi)容統(tǒng)計信息查詢等)；e)應(yīng)支持分布式文件系統(tǒng)設(shè)置，包括但不限于設(shè)置訪問權(quán)限、設(shè)置文件所有者、設(shè)置訪問時間或者修改時間等；f)應(yīng)支持關(guān)系型數(shù)據(jù)庫的DDL、DML操作，支持標(biāo)準(zhǔn)SQL;g)應(yīng)支持多維分析數(shù)據(jù)庫以標(biāo)準(zhǔn)SQL.查詢和分析；h)應(yīng)支持海量全文檢索，提供結(jié)構(gòu)化、非結(jié)構(gòu)化文本的多條件檢索、統(tǒng)計和報表生成；i)應(yīng)支持自定義函數(shù)的定義、加載、使用機制；j)應(yīng)支持海量結(jié)構(gòu)化數(shù)據(jù)的交互式OLAP分析；k)宜支持分布式內(nèi)存計算框架接人多種數(shù)據(jù)源(例如HDFS、HBase、Hive），支持離線計算程序平滑轉(zhuǎn)接；l)宜支持分布式列式存儲不同類型素引(例如主鍵素引、組合索引、全文素引)的創(chuàng)建、查詢、重建。7.1.4平臺管理接口要求為了便于平臺的管理和運維，平臺管理接口需要滿足以下要求：a)應(yīng)支持大數(shù)據(jù)組件的安裝部署、支持升級配置(包括但不限于查詢可升級的版本、需配置的參數(shù)等)；b)應(yīng)支持用戶管理，包括但不限于增加、刪除、修改用戶，增加、刪除、修改角色、用戶權(quán)限控制等；c)應(yīng)支持監(jiān)控告警，對資源使用情況、資源運行狀態(tài)等進行監(jiān)控，并提供多種展示方式,支持健康檢查；d)應(yīng)支持各類日志的收集和存儲，包括但不限于運行日志操作日志；e)應(yīng)支持標(biāo)準(zhǔn)管理協(xié)議(例如SNMP)，提供RESTAPI.CLI等交互方式[21]。8安全要求8.1用戶管理用戶管理要求如下：a)應(yīng)對登錄用戶進行身份標(biāo)識和鑒別，保證用戶身份標(biāo)識唯一性；b)用戶身份鑒別信息應(yīng)滿足一定的復(fù)雜度要求，并定期更換；8.2權(quán)限管理權(quán)限要求如下：a)應(yīng)按照權(quán)限最小化原則為用戶配置權(quán)限；b)應(yīng)允許同一租戶內(nèi)存在多個組織的用戶，機構(gòu)層級不受限制；c)應(yīng)允許集團下屬企業(yè)擁有獨立的應(yīng)用環(huán)境、用戶空間和數(shù)據(jù)空間；d)數(shù)據(jù)及業(yè)務(wù)流程應(yīng)可夸跨租戶管理。對應(yīng)未來社區(qū)項目應(yīng)用，也可按照項目創(chuàng)建租戶；e)應(yīng)支持基于證書或Token的服務(wù)鑒權(quán)；f)應(yīng)提供多種策略的數(shù)據(jù)備份或恢復(fù)選項；g)應(yīng)支持用戶行為審計管理。8.3日志管理日志管理要求如下：a)應(yīng)提供記錄系統(tǒng)操作日志功能，記錄用戶的重要操作；b)應(yīng)保證系統(tǒng)操作日志無法刪除、修改或被覆蓋；c)操作日志應(yīng)包括日期、時間、操作者信息、操作類型、操作描述和操作結(jié)果等；d)應(yīng)提供對系統(tǒng)操作日志進行統(tǒng)計、查詢、分析計生呈報表的功能。8.4數(shù)據(jù)安全數(shù)據(jù)安全要求除應(yīng)符合以下標(biāo)準(zhǔn)外，還應(yīng)符合中國鐵建城市更新與未來社區(qū)數(shù)字化安全導(dǎo)則全部a)應(yīng)提供數(shù)據(jù)儲存加密功能，支持?jǐn)?shù)據(jù)庫及數(shù)據(jù)加密；b)應(yīng)提供系統(tǒng)敏感數(shù)據(jù)加密傳輸功能，并且加密密鑰可被替換；c)宜支持?jǐn)?shù)據(jù)列級的數(shù)據(jù)加密。9應(yīng)用環(huán)境9.1軟件環(huán)境9.1.1微服務(wù)治理架構(gòu)采用SpringCloud架構(gòu)，治理組件：a）服務(wù)注冊中心：Nacos；b)服務(wù)獎集合熔斷：Sentinel；c)API網(wǎng)關(guān)：SpringCloudGateway；d)負(fù)載均衡：Ribbon。9.1.2開發(fā)框架后端框架使用Springboot；前端框架使用Vue.js，ElementUI.js，iView.js。9.1.3消息中間件主要采用Kafka，局部涉及RabitMQ。9.1.4數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫：PostgreSQL；聚合分析數(shù)據(jù)庫：Druid；空間數(shù)據(jù)庫：PostGIS組件；時序數(shù)據(jù)庫：TDEngine；邊緣數(shù)據(jù)庫：influxDB。9.1.5邊緣計算架構(gòu)實現(xiàn)主要使用Balena，邊緣端接入管理選用RedNode，邊緣端OS采用YoctoLinux，邊緣端數(shù)據(jù)可視化選用Grafana，邊緣端數(shù)據(jù)庫采用influxDB。9.1.6大數(shù)據(jù)分析聚合數(shù)據(jù)儲存選用ApacheDruid，BI分析選用Kylin，ETL及機器學(xué)習(xí)選用MLSQL，數(shù)據(jù)可視化選用MetaBase。9.1.7三維可視化GIS后端選用GeoServer,GeoTools,PostGIS;GIS/BIM前端采用Cesium.js9.2硬件環(huán)境私有云本地部署。9.3網(wǎng)絡(luò)環(huán)境千兆光纖和千兆局域網(wǎng)。10應(yīng)用服務(wù)10.1數(shù)據(jù)分析服務(wù)10.1.1支持?jǐn)?shù)據(jù)查詢，實現(xiàn)以下功能：a)應(yīng)提供通過標(biāo)準(zhǔn)的數(shù)據(jù)庫連接接口進行查詢的功能；b)應(yīng)提供通過RESTAPI查詢接口進行