城市更新與未來社區(qū)基礎平臺技術要求

城市更新與未來社區(qū)基礎數(shù)據(jù)平臺技術要求本文件確立了數(shù)字化基礎數(shù)據(jù)平臺（以下統(tǒng)稱為平臺）的架構，規(guī)定了功能、數(shù)據(jù)要求、接口要求、安全要求、應用環(huán)境以及應用服務。本文件適用城市更新與未來社區(qū)基礎數(shù)據(jù)平臺的構建、運行維護、安全管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/TGB/TGB/T17798-200722080-201634079-2017地理空間數(shù)據(jù)交換格式信息技術安全技術信息安全管理體系要求基于云計算的電子政務公共平臺服務規(guī)范第3部分：數(shù)據(jù)管理GB/T34960.5-2018信息技術服務治理第5部分：數(shù)據(jù)治理規(guī)范GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型GB/T36478-2018物聯(lián)網(wǎng)信息交換和共享GB/T37043-2018智慧城市術語GB/T40689-2021智慧城市設備聯(lián)接管理與服務平臺技術要求DB23/T3304-2022大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范DB36/T1646-2022地理空間數(shù)據(jù)共享和交換規(guī)范DB52/T1540.2-2021政務數(shù)據(jù)第2部分：元數(shù)據(jù)管理規(guī)范YD/T3760-2020大數(shù)據(jù)數(shù)據(jù)管理平臺技術要求與測試方法T/CAGIS2-2020空間三維模型數(shù)據(jù)服務接口3術語、定義和縮略語3.1術語和定義下列術語和定義適用于本文件。3.1.1元數(shù)據(jù)metadata定義和描述其他數(shù)據(jù)的數(shù)據(jù)。[來源：GB/T18391.1-2009,3.2.16]3.1.2斷點續(xù)傳breakpointresume在數(shù)據(jù)總線傳輸過程中，當遇到網(wǎng)絡故障、傳輸資源短缺、入原始庫積壓時，狀態(tài)總線記錄接入數(shù)據(jù)中斷點及數(shù)據(jù)接入中斷狀態(tài)，控制總線在數(shù)據(jù)計入所需網(wǎng)絡、儲存等資源可用時，從排隊任務中重新啟動斷點續(xù)傳任務，分配數(shù)據(jù)總線資源，從數(shù)據(jù)斷點處接入后續(xù)數(shù)據(jù)，不需要從頭開始數(shù)據(jù)傳輸，從而節(jié)約數(shù)據(jù)傳輸時間，提高數(shù)據(jù)接入效率。23.1.3數(shù)據(jù)治理datagovernance基于數(shù)據(jù)生命周期，進行數(shù)據(jù)全面質量管理、資產(chǎn)管理風險管理等統(tǒng)籌與協(xié)調管控的過程。注1：多學科視角下，數(shù)據(jù)治理需要解決數(shù)據(jù)權屬關系問題，明確數(shù)據(jù)利益相關方的角系和工作任務,避免數(shù)據(jù)風險,提高數(shù)據(jù)質量,確保數(shù)據(jù)資產(chǎn)能長期有序地注2：信息技術視角下,數(shù)據(jù)治理指對數(shù)據(jù)進行管控,處置、格式化和規(guī)范化的過程。數(shù)理的基本要素。數(shù)據(jù)治理涉及數(shù)據(jù)全生命期管理,無論數(shù)據(jù)是處于靜態(tài),動態(tài),3.2縮略語下列縮略語適用于本文件。BIM建筑信息模型（BuildingInformationModel/Modeling）GIS地理信息系統(tǒng)（GeographicInformationModel/Modeling）WMS網(wǎng)絡地圖服務（WebMapServices）WFS網(wǎng)絡要素服務（WebFeatureServices）WCS網(wǎng)絡覆蓋服務（WebCoverageServices）S3M空間三維模型（Spatial3DModel）I3M索引三維場景（Index3DScene）DWL數(shù)據(jù)操縱語言（DataManipulationLanguage）DDL數(shù)據(jù)庫模式定義語言（DataDefinitionLanguage）XML可擴展標記語言(ExtensibleMarkupLanguage)HTTP超文本傳輸協(xié)議（HypertextTransferProtocol）HTTPS超文本傳輸安全協(xié)議（HypertextTransferProtocolSecure）MQTT消息隊列遙測傳輸協(xié)議（MessageQueuingTelemetryTransport）CoAP約束應用協(xié)議（ConstrainedApplicationProtocol）ADS應用數(shù)據(jù)層（ApplicationDataService）DWD明細數(shù)據(jù)層（DataWarehouseDetail）DWS匯總數(shù)據(jù)層（DataWarehouseSummary）ODS操作數(shù)據(jù)層（operationaldatastore）CDM公共維度模型層(commondatamodel)DAG有向無環(huán)圖（DirectAcyclicGraph）4平臺架構4.1平臺設計原則4.1.1數(shù)據(jù)的一致性和標準性平臺除遵循數(shù)據(jù)庫設計的軟件行業(yè)標準外，還應遵循國家、地方標準及行業(yè)的習慣性事實標準。此外，平臺的建設中應充分考慮己建系統(tǒng)的數(shù)據(jù)，確保與現(xiàn)有數(shù)據(jù)的一致性和標準性。4.1.2數(shù)據(jù)的實用性和服務性平臺設計應充分考慮實際情況和應用特點，遵循“服務性與實用性并重的原則，通過數(shù)據(jù)整合與治理，數(shù)據(jù)高度可共享、和可根據(jù)實際需求不斷靈活組合，為業(yè)務應用服務，數(shù)據(jù)質量高，保證數(shù)據(jù)的實用性。4.1.3數(shù)據(jù)的獨立性和可擴展性設計時應做到數(shù)據(jù)具有獨立性，獨立于應用程序，使平臺的設計及結構的變化不影響程序，反之亦然。另外，數(shù)據(jù)庫設計應考慮其擴展性能，使得系統(tǒng)增加新應用或新需求時，不至于引起整個平臺結構的大變動。4.1.4數(shù)據(jù)的安全性通過設計合理和有效的備份和恢復策略，確保平臺遭遇突發(fā)事故時，能在最短的時間內(nèi)恢復。同時，通過做好對平臺的訪問授權設計，保證數(shù)據(jù)不被非法訪問。4.1.5數(shù)據(jù)的分級管理機制根據(jù)用戶訪問平臺的角色，將用戶分為多個角色，分別賦予角色訪問數(shù)據(jù)的權限和使用平臺功能的權限，嚴格控制角色登錄，實現(xiàn)數(shù)據(jù)的分級管理。4.2平臺整體架平臺整體架構包含四個模塊和兩個體系，見圖1，四個模塊分別為應用系統(tǒng)模塊、中樞模塊、中臺模塊以及基礎設施模塊，兩個體系為標準規(guī)范體系和安全管理體系?；A數(shù)據(jù)平臺以數(shù)據(jù)中臺為基礎結合高性能三維數(shù)字引擎技術、多源數(shù)據(jù)集成技術、數(shù)據(jù)融合分析技術、數(shù)據(jù)標準化技術等進行構建，并依托標準規(guī)范體系與安全管理體系進行平臺運營維護和數(shù)據(jù)安全管理。4標準規(guī)范體標準規(guī)范體系基礎平臺基礎平臺圖1平臺整體架構圖4.3功能架構平臺服務功能包括但不限于數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)發(fā)布、數(shù)據(jù)共享、數(shù)據(jù)儲存等，見圖2。本平臺所有數(shù)據(jù)與應用層在線交互時應通過API接口由數(shù)據(jù)交互規(guī)范與數(shù)據(jù)交付標準約束。 圖2平臺功能架構圖5平臺功能標準5.1數(shù)據(jù)收集數(shù)據(jù)收集功能要求如下：a)應提供數(shù)據(jù)導入功能，支持結構化數(shù)據(jù)、非結構化數(shù)據(jù)和半結構化數(shù)據(jù)導入；b)應支持離線數(shù)據(jù)導入和實時數(shù)據(jù)導入；c)應提供自動定時導入數(shù)據(jù)功能；d)應支持數(shù)據(jù)傳輸過程中的斷點續(xù)傳；e)應支持對數(shù)據(jù)的DML的抽取，抽取內(nèi)容包括insert、update、delete語句的解析和內(nèi)容抽f)應支持對數(shù)據(jù)庫DDL的抽取，抽取內(nèi)容包括但不限于數(shù)據(jù)庫空間、用戶、角色、視圖、函數(shù)、索引、約束等，對關系型數(shù)據(jù)庫的全量采集和增量采集；g)應支持多節(jié)點文件接力傳輸功能，實現(xiàn)多節(jié)點文件傳輸；h)應支持過期文件數(shù)據(jù)接入系統(tǒng)中間數(shù)據(jù)緩存功能；i)應支持多通道數(shù)據(jù)傳輸；j)應對收集數(shù)據(jù)進行清洗，清洗數(shù)據(jù)包括但不限于，缺失數(shù)據(jù)、錯誤數(shù)據(jù)、重復數(shù)據(jù)等；k)對于實時數(shù)據(jù)收集，應提供收集數(shù)據(jù)的關鍵信息、唯一性信息的日志儲存和查詢統(tǒng)計；應提供數(shù)據(jù)同步檢查和校驗功能，并輸出詳細日志；應支持一定時間范圍的收集狀態(tài)統(tǒng)計，包括對數(shù)據(jù)更新狀態(tài)、聯(lián)通狀態(tài)、數(shù)據(jù)量、校驗等情況統(tǒng)計；l)對于批量數(shù)據(jù)收集，應提供周期性計入信息查詢和統(tǒng)計，支持格式異常數(shù)據(jù)查詢和統(tǒng)計；m)宜提供開放的數(shù)據(jù)導入API；n)宜提供圖形界面實現(xiàn)數(shù)據(jù)導入功能。5.2數(shù)據(jù)集成數(shù)據(jù)集成功能要求如下：a)應保證實體的每次出現(xiàn)都指派一個唯一標識符；b)應確認哪些實體是相通的，并將該實體的各次出現(xiàn)合并起來；c)應明確字段結構，盡量保證字段的一致性，其中包括但不限于字段名稱、字段數(shù)據(jù)類型、字段數(shù)據(jù)格式、字段單位、字段取值范圍等；d)應盡量避免數(shù)據(jù)重復入庫；e)數(shù)據(jù)包括但不限于空間數(shù)據(jù)、實時數(shù)據(jù)、資產(chǎn)數(shù)據(jù)等。這些數(shù)據(jù)入庫時應轉換為統(tǒng)一通用的標準格式，應可進行可視化瀏覽，應可用統(tǒng)一接口服務。其中，工程數(shù)據(jù)中的三維模型整合轉換時應進行輕量化處理，以便于在其他平臺中進行超大模型三維可視化瀏覽。65.3數(shù)據(jù)儲存5.3.1應提供數(shù)據(jù)儲存功能，支持結構化數(shù)據(jù)、非結構化數(shù)據(jù)和半結構化數(shù)據(jù)儲存。5.3.2應提供與關系型數(shù)據(jù)庫、其他文件系統(tǒng)之間交換數(shù)據(jù)或文件的功能。5.3.3應支持與時序數(shù)據(jù)庫的實時數(shù)據(jù)交換。5.3.4支持分布式文件儲存，實現(xiàn)以下功能：a)應支持文件系統(tǒng)基本操作，包括上傳、下載、讀寫、復制、移動、刪除、重命名、權限修改等；b)應提供數(shù)據(jù)塊多副本儲存、恢復功能；c)宜支持文件快速檢索功能，支持數(shù)據(jù)資源的統(tǒng)一檢索、編目、增加和刪除操作；d)宜支持或數(shù)據(jù)壓縮儲存功能。5.3.5支持分布式列式數(shù)據(jù)儲存，實現(xiàn)以下功能：a)應支持以鍵值形式儲存數(shù)據(jù)的功能；b)宜支持基于表、列族和列的用戶權限管理功能，權限管理操作包括讀、寫、創(chuàng)建等。5.3.6支持分布式結構化數(shù)據(jù)儲存，實現(xiàn)以下功能：a)宜支持結構化數(shù)據(jù)的分布式儲存，保證數(shù)據(jù)儲存的可擴展性和一致性；b)宜提供API實現(xiàn)數(shù)據(jù)的各類查詢工作；c)宜支持多表關聯(lián)。5.3.7支持分布式圖數(shù)據(jù)儲存，實現(xiàn)以下功能：a)宜支持有節(jié)點及邊組成的數(shù)據(jù)模型；b)宜支持圖查詢，支持單節(jié)點、多節(jié)點多層關系的擴先查詢；c)宜支持圖遍歷，支持最短路徑、最優(yōu)路徑便利查詢；d)宜支持圖分析。5.4數(shù)據(jù)處理5.4.1基本要求數(shù)據(jù)處理功能除應符合GB/T38673-2020中6.4的內(nèi)容外，還應符合5.4.2~5.4.7的要求。5.4.2數(shù)據(jù)提取非結構化數(shù)據(jù)提取非結構數(shù)據(jù)提取應符合以下要求：a)應根據(jù)非結構化數(shù)據(jù)包含的索引格式，在集群中提取相應數(shù)據(jù)并形成結構化數(shù)據(jù)保存于關系型儲存中；b)應遵從數(shù)據(jù)標準，根據(jù)預設不同數(shù)據(jù)類型的相應提取策略和規(guī)則，加載相應的提取模塊進行非結構化數(shù)據(jù)的提取處理。結構化數(shù)據(jù)提取應遵從數(shù)據(jù)標準，根據(jù)預設的結構化數(shù)據(jù)提取策略和規(guī)則，對原數(shù)據(jù)中的各類數(shù)據(jù)進行關鍵信息提取。對象化提取對象化提取應符合以下要求：a)應遵從數(shù)據(jù)標準，根據(jù)對象提取規(guī)則對數(shù)據(jù)主題進行對象化處理；b)應支持對象特征自動提取，根據(jù)對象特征自動建模，利用并行分布式計算資源，對數(shù)據(jù)進行對象化提取、儲存對象數(shù)據(jù)、更新對象數(shù)據(jù)；c)應對對象化結果數(shù)據(jù)，通過對象化去重，消除冗余數(shù)據(jù)；d)應對制定數(shù)據(jù)來源數(shù)據(jù)進行標識的操作，在對象化提取環(huán)節(jié)，應將標識提取到對象化數(shù)據(jù)5.4.3數(shù)據(jù)清洗不符合數(shù)據(jù)類型：a)缺失的數(shù)據(jù)；b)錯誤的數(shù)據(jù)；c)重復的數(shù)據(jù)。非結構化數(shù)據(jù)清洗：a)文本數(shù)據(jù)清洗可通過分詞、預料標注、字典構建、關鍵詞識別等技術，根據(jù)相應的非結構化數(shù)據(jù)特點進行數(shù)據(jù)建模，去重；b)圖片數(shù)據(jù)清洗可通過意圖找圖技術進行圖片去重；c)音頻數(shù)據(jù)清洗可通過MD5值校驗和音頻對比分析進行去重；d)視頻數(shù)據(jù)可通過關鍵幀抽取，通過意圖找圖、語音識別、MD5值校驗等技術進行去重。結構化數(shù)據(jù)清洗：a)應遵從數(shù)據(jù)標準，根據(jù)業(yè)務規(guī)劃對冗余數(shù)據(jù)進行過濾，根據(jù)不同的去重規(guī)則和方法對數(shù)據(jù)進行去重扁頂，去除重復冗余數(shù)據(jù)；b)可通過定義過濾規(guī)則，使用流式SQL和表達式，按條件對數(shù)據(jù)進行重新組合和二次加工。5.4.4數(shù)據(jù)標識數(shù)據(jù)標識具備以下功能要求：c)應支持離線和在線標識；d)應根據(jù)預設的策略和規(guī)則對數(shù)據(jù)進行標識；e)宜對數(shù)據(jù)進行標識化可以增加數(shù)據(jù)維度，拓展數(shù)據(jù)的屬性，提供建立與數(shù)據(jù)之上的抽象。5.4.5數(shù)據(jù)糾錯為了確保數(shù)據(jù)的準確性和可靠性，數(shù)據(jù)糾錯功能需要達到以下要求：8a)應對進入各類資源庫、主題庫和業(yè)務庫的數(shù)據(jù)進行準確性認定；b)應針對有誤策略執(zhí)行回滾操作，并對相應數(shù)據(jù)進行糾錯。5.4.6策略配置管理為了實現(xiàn)高效的數(shù)據(jù)管理和處理，平臺需要支持靈活的策略配置管理，具體要求如下：a)應支持各類數(shù)據(jù)文件的同步、異步、多借點間文件接力傳輸；b)應支持對文件、文件夾、文件夾下制定文件傳輸?shù)裙δ?；c)應支持對數(shù)據(jù)文件的全量、增量傳輸，對中間過期文件的壓縮、清理，及文件的多副本儲存；d)應支持實時數(shù)據(jù)交換機加工，實現(xiàn)數(shù)據(jù)庫、文件、JSON、XML及MQ、TLQ等之間的相互交換功能；e)應提供調度任務實時可視化監(jiān)控；f)應提供事件觸發(fā)調度功能，包括但不限于文件就緒觸發(fā)、變化日志觸發(fā)、HTTPS等接口或URL調度時間觸發(fā)，支持操作系統(tǒng)shell腳本，和數(shù)據(jù)庫系統(tǒng)的shell命令和SQL腳本調度功能等；g)應提供流程調度組件，包括采樣分流組件和任務編排組件，實現(xiàn)多任務的并行、串行、混合調度；h)宜支持按年、月、周、日、小時、分鐘、秒定時調度，可選制定有效時間內(nèi)調度。5.4.7任務調度為了確保數(shù)據(jù)處理任務能夠按照預定的時間和順序被執(zhí)行，平臺的任務調度功能應滿足以下要a)應支持任意種類、任意數(shù)據(jù)結構、任意目標庫的數(shù)據(jù)提取傳輸；b)支持Kafka、webservice等消息處理機制，支持流式和離線處理；c)應支持任意類型的數(shù)據(jù)融合任務配置，在保證數(shù)據(jù)安全的基礎上，根據(jù)傳輸策略，進行數(shù)據(jù)傳輸和儲存；d)應支持過濾、融合規(guī)則自定義，包括但不限于字符串操作、字符串替換、字符串截取、NULL值替換、數(shù)據(jù)類型轉換、正則處理、公式計算，以及對關鍵字段控制、重復、異常等問題數(shù)據(jù)過濾規(guī)則等；e)宜支持基于數(shù)據(jù)元的異構數(shù)據(jù)自動解析，并能按業(yè)務場景進行自定義配置。5.5數(shù)據(jù)管理數(shù)據(jù)治理功能中的數(shù)據(jù)采集規(guī)范宜依照GB/T36225.3-2021進行規(guī)范，其他功能要求如下：a)應提供可靠的數(shù)據(jù)應用規(guī)范，支持數(shù)據(jù)應用流程管理、數(shù)據(jù)應用審查、數(shù)據(jù)應用發(fā)布等；b)應支持數(shù)據(jù)質量分析和預警，甄別數(shù)據(jù)優(yōu)劣程度，對質量較差數(shù)據(jù)進行清理，對長期不用數(shù)據(jù)進行清洗和歸檔；c)應支持通過預定規(guī)則進行數(shù)據(jù)稽核，稽核發(fā)現(xiàn)的問題按照預定規(guī)則自動治理或者生成任務工單進行處理，并生成稽核報告；d)應支持對數(shù)據(jù)屬性標簽標注功能，包括但不限于單個和批量標注標簽，標簽的增加、刪除和修改等；e)應支持數(shù)據(jù)血緣關系管理，可自動生成和維護數(shù)據(jù)血緣關系地圖；f)應支持敏感數(shù)據(jù)識別、標記和脫敏，脫敏類型包括但不限于替換、截斷、掩碼、重排、日期偏移、取整等；g)應支持數(shù)據(jù)資源目錄動態(tài)管理，包括但不限于梳理、編制、審核、發(fā)布等；h)應支持對不完整數(shù)據(jù)、錯誤數(shù)據(jù)、重復數(shù)據(jù)進行統(tǒng)一標識、對比、清洗、整合和轉換等操作[27]。5.6數(shù)據(jù)發(fā)布數(shù)據(jù)發(fā)布功能要求如下：a)管理者應通過共享交換功能發(fā)布目錄內(nèi)容，提供數(shù)據(jù)目錄內(nèi)容查詢檢索、目錄導航、目錄下載和目錄訂閱服務，以及目錄服務接口等；b)管理者應通過共享交換功能發(fā)布參與共享和交換的本平臺數(shù)據(jù)文件，提供數(shù)據(jù)的查詢檢索、快速瀏覽和數(shù)據(jù)下載服務；c)當參與共享交換的數(shù)據(jù)文件有更新時，管理者應將數(shù)據(jù)更新情況及時反饋給數(shù)據(jù)使用者；d)管理者應通過共享交換功能將融合后的數(shù)據(jù)發(fā)布成相應的信息服務，使用者可以通過共享交換功能進行在線調用。5.7數(shù)據(jù)共享5.7.1在線方式為了促進數(shù)據(jù)的實時共享與交換，當網(wǎng)絡條件允許時，推薦采用以下在線方式進行數(shù)據(jù)共享：a)通過網(wǎng)絡在線調用、訪問數(shù)據(jù)服務接口的方式或在線上傳、下載的方式，實現(xiàn)數(shù)據(jù)共享和交換；b)在線方式適用于網(wǎng)絡聯(lián)通環(huán)境下對數(shù)字化文件或服務接口進行共享和交換的場合。5.7.2離線方式考慮到不同網(wǎng)絡環(huán)境下的需求及非數(shù)字化文件的共享需要，離線數(shù)據(jù)共享方式應遵循以下規(guī)定：a)通過對移動設備進行拷貝和對紙質文件進行復制，實現(xiàn)數(shù)據(jù)共享和交換；b)離線方式適用于不同網(wǎng)絡環(huán)境下、需要簽收確認或對非數(shù)字化文件進行共享和交換的場合，提供者通過離線拷貝的方式，人工將數(shù)據(jù)提交到數(shù)據(jù)平臺。5.7.3共享內(nèi)容共享的數(shù)據(jù)內(nèi)容應包括但不限于工程數(shù)據(jù)、地理數(shù)據(jù)等。5.7.4數(shù)據(jù)共享安全保障數(shù)據(jù)共享的安全要求包括但不限于以下內(nèi)容：a)應可設定授權服務的有效期，并支持授權時間延期；b)應遵循數(shù)據(jù)共享最小化原則，僅對業(yè)務必須的數(shù)據(jù)進行共享授權；c)應對敏感數(shù)據(jù)進行脫敏，并對相應的操作進行記錄；d)應對數(shù)據(jù)交換兩端進行用戶身份鑒別或者身份認證；e)應保證數(shù)據(jù)通信過程中的保密性和完整性；f)在數(shù)據(jù)導入過程中，應檢驗數(shù)據(jù)質量，質量檢驗內(nèi)容應包含空間參考系、數(shù)據(jù)的完整性、邏輯一致性等質量元素。5.7.5數(shù)據(jù)共享使用安全要求數(shù)據(jù)使用的安全要求包括但不限于以下內(nèi)容：a)使用或存儲依法應當予以保密的數(shù)據(jù)或者數(shù)據(jù)服務時，按照保密有關法律、法規(guī)規(guī)定執(zhí)b)應對訪問數(shù)據(jù)處理系統(tǒng)、服務器操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、備份系統(tǒng)的管理員進行身份鑒c)應對服務器系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等重要系統(tǒng)設置用戶訪問控制策略，阻斷對應用、系統(tǒng)等的任何非授權訪問，提出告警、并記錄審計日志；d)應支持溯源數(shù)據(jù)的采集和存儲，對關鍵溯源數(shù)據(jù)進行備份，并采取安全措施對溯源數(shù)據(jù)進行保護；e)應對數(shù)據(jù)存儲環(huán)境進行分域分級設計，設置存儲機制將數(shù)據(jù)分域分級儲存，并建立數(shù)據(jù)冗余一致性控制策略；f)制定數(shù)據(jù)備份策略，設置數(shù)據(jù)恢復策略，在數(shù)據(jù)恢復過程中進行完整性校驗；g)提供者應基于國家相關法律法規(guī)對數(shù)據(jù)使用和分析處理的相關要求，建立數(shù)據(jù)使用監(jiān)管機制，約束數(shù)據(jù)需求方對共享數(shù)據(jù)的正當使用。6數(shù)據(jù)要求6.1元數(shù)據(jù)要求6.1.1元數(shù)據(jù)采集為了確保元數(shù)據(jù)的全面性和準確性，元數(shù)據(jù)采集應滿足以下要求：a)元數(shù)據(jù)采集應能夠適應異構環(huán)境，支持從傳統(tǒng)關系型數(shù)據(jù)庫和大數(shù)據(jù)平臺中采集數(shù)據(jù)產(chǎn)生系統(tǒng)數(shù)據(jù)加工處理系統(tǒng)和數(shù)據(jù)應用報表系統(tǒng)的全量元數(shù)據(jù)，包括過程中的數(shù)據(jù)實體（系統(tǒng)、庫、表、字段的描述）以及數(shù)據(jù)實體加工處理過程中的邏輯；b)平臺元數(shù)據(jù)系統(tǒng)應支持人工輸入，允許人工的增、刪、改、查及發(fā)布。6.1.2元數(shù)據(jù)維護為了保持元數(shù)據(jù)的質量并確保其有效管理，元數(shù)據(jù)維護應具備以下功能：a)元數(shù)據(jù)維護應提供對元數(shù)據(jù)的增加、刪除和修改等基本操作。對于元數(shù)據(jù)的增量維護，應能保留歷史版本信息；b)元數(shù)據(jù)的維護應可通過服務封裝的形式向各系統(tǒng)的其他模塊提供數(shù)據(jù)維護接口。6.1.3.元數(shù)據(jù)變更管理為了確保元數(shù)據(jù)變更的可追溯性和版本控制，元數(shù)據(jù)變更管理應實現(xiàn)以下功能：a)元數(shù)據(jù)變更管理應能進行版本管理，對不同時期進入元數(shù)據(jù)庫的統(tǒng)一實體的元數(shù)據(jù)進行管理?；竟δ軕茱@示同一實體的元數(shù)據(jù)的修改歷史。b)元數(shù)據(jù)變更在最新元數(shù)據(jù)中的改動不影響定版元數(shù)據(jù)的正常使用；同時應每次發(fā)布都有版本留痕，支持個版本對比分析。6.1.4.數(shù)據(jù)檢核為了保證元數(shù)據(jù)的一致性和完整性，平臺需要實施嚴格的數(shù)據(jù)檢核，具體要求包括：a)元數(shù)據(jù)應保持其一致性。一致性檢核用來檢驗來源系統(tǒng)元數(shù)據(jù)以及元數(shù)據(jù)之間信息是否一致的功能，應能幫助管理人員分析出元數(shù)據(jù)管理平臺與來源系統(tǒng)之間的差異，輔助管理人員更好的維護原數(shù)據(jù)管理平臺。b)元數(shù)據(jù)應有良好的屬性填充情況。屬性填充率檢核是用來檢驗選定范圍內(nèi)元數(shù)據(jù)屬性的填充情況，方便用戶了解某些重要元數(shù)據(jù)的屬性填充情況。c)元數(shù)據(jù)的組合關系應符合元模型中設置的組合和被組合關系。組合關系檢核用根據(jù)元模型中設置的組合和被組合關系對元數(shù)據(jù)進行檢查，查找出不符合元模型定義的組合關系的元數(shù)據(jù)，例如找出沒有與任何數(shù)據(jù)庫表建立組合關系的字段。6.1.5.血緣管理為了追蹤數(shù)據(jù)間的依賴關系及其影響范圍，血緣管理功能應達到以下要求：a)平臺數(shù)據(jù)間血緣關系應能清晰反應數(shù)據(jù)間的關系，包括但不限于：組合關系、依賴關系、數(shù)據(jù)流向拓普信息；b)當平臺數(shù)據(jù)需要進行調整時，用戶應能通過血緣分析，根據(jù)目標數(shù)據(jù)資源的影響范圍制定數(shù)據(jù)資源的調整策略。6.2三維數(shù)據(jù)要求三維數(shù)據(jù)參數(shù)要求應根據(jù)GB/T51447-2021、ISO16739-1:2018IFC標準體系和DD2015-06等標準內(nèi)容進行規(guī)范。7接口要求7.1接口標準平臺接口標準宜參考GB/T38672-2020第6章內(nèi)容進行規(guī)范，具體要求如下：7.1.1總體要求各類接口應滿足如下總體要求：a)開放性：符合產(chǎn)業(yè)習慣，兼容主流開原接口，減小接口定制化帶來的重新設計、適配成本；b)易用性：盡可能設計成抽象程度高、屏蔽底層實現(xiàn)、語法易理解的接口；c)擴展性：統(tǒng)一接口可通過增加函數(shù)、操作符、語句等形式支持新的功能。7.1.2平臺應用接口要求為了確保平臺應用接口的開放性、易用性和擴展性，接口設計應滿足以下要求：a)應支持多種數(shù)據(jù)來源（業(yè)務系統(tǒng)、數(shù)據(jù)庫、文件等）、多種數(shù)據(jù)類型（例如業(yè)務相關數(shù)據(jù)、監(jiān)控數(shù)據(jù)）、多種數(shù)據(jù)格式（結構化、半結構化、非結構化等）的數(shù)據(jù)訪問；b)應支持按照大數(shù)據(jù)采集樓村規(guī)則進行數(shù)據(jù)采集；c)應支持接口運行情況（如主要函數(shù)調用時延）的監(jiān)控，能及時發(fā)現(xiàn)錯誤、產(chǎn)生告警信號；d)宜支持多種數(shù)據(jù)訪問接口實例的定時（例如按天、小時、分鐘等）調用啟動；e)宜支持對接常用數(shù)據(jù)庫采集工具、主流日志采集工具；f)宜支持對接基于系統(tǒng)應用服務接口實現(xiàn)數(shù)據(jù)采集的工具；g)接口生成宜不收業(yè)務系統(tǒng)的開發(fā)語言、所處環(huán)境、系統(tǒng)形態(tài)等限制；h)流數(shù)據(jù)分析接口要求包括：1）應基于SQL擴展支持流數(shù)據(jù)的查詢和分析；2）應支持流和表、流和流的鏈接；3）應提供流的聚合查詢，只支持常見的聚合函數(shù)（如匯總、均值、最大、最小4）應支持基于時間窗口的聚合查詢；5）應支持基于時間窗口的模式識別、復雜時間分析；6）應支持基于時間窗口的地理數(shù)據(jù)分析；7）應支持多種時間窗口，包括但不限于跳躍窗口、滑動窗口、會話窗口；8）宜支持基于時間窗口的進行流的連接。i)圖數(shù)據(jù)分析接口的要求包括：1）應兼容主流開源接口，支持標簽屬性圖數(shù)據(jù)模型；2）應支持基本的圖操作，包括但不限于增加或刪除頂點、增加或刪除邊，增加、刪除或修改頂點或邊的屬性，支持關聯(lián)刪除，定義屬性類型等；3）應支持定點查詢、路徑查詢、子圖查詢和全圖查詢；4）應支持查詢圖拓撲結構的基本指標，包括但不限于中介中心度、緊密中心度等；5）宜提供主流開發(fā)語言接口。j)日志分析接口的要求包括：1）應兼容主流開源組件接口；2）應提供人工智能分析能力，包括但不限于關聯(lián)分析、異常問題識別等；3）應支持復雜報表分析。包括但不限于來源分析、熱點頁面、平均響應時長等；4）應支持對相關指標進行預警設置。5）數(shù)據(jù)同步接口的要求包括：6）宜支持一個系統(tǒng)一次錄入，其他公用信息系統(tǒng)的相同數(shù)據(jù)同步寫入；7）宜支持跨系統(tǒng)在業(yè)務層面信息的互通互聯(lián)工作；8）宜支持跨系統(tǒng)共享共用的數(shù)據(jù)。7.1.3平臺開發(fā)接口要求為了便于開發(fā)者集成和擴展平臺功能，平臺提供的開發(fā)接口應滿足以下要求：a)應支持業(yè)界常用接口，兼容主流開原接口，支持系統(tǒng)集成；b)應支持海量數(shù)據(jù)的分布式離線計算，支持MapReduce計算模型，支持數(shù)據(jù)的讀取、分發(fā)、聚集、輸出等處理功能c)應提供內(nèi)存計算的多種語言開發(fā)接口（例如Scala，Java），提供高度抽象算子構建分布式數(shù)據(jù)處理應用；d)應支持分布式文件存儲的文件操作(包括但不限于文件創(chuàng)建、讀取、寫人、刪除、文件狀態(tài)信息查詢等)及文件夾操作(包括但不限于文件夾創(chuàng)建、刪除、狀態(tài)信息查詢、內(nèi)容統(tǒng)計信息查詢等)；e)應支持分布式文件系統(tǒng)設置，包括但不限于設置訪問權限、設置文件所有者、設置訪問時間或者修改時間等；f)應支持關系型數(shù)據(jù)庫的DDL、DML操作，支持標準SQL;g)應支持多維分析數(shù)據(jù)庫以標準SQL.查詢和分析；h)應支持海量全文檢索，提供結構化、非結構化文本的多條件檢索、統(tǒng)計和報表生成；i)應支持自定義函數(shù)的定義、加載、使用機制；j)應支持海量結構化數(shù)據(jù)的交互式OLAP分析；k)宜支持分布式內(nèi)存計算框架接人多種數(shù)據(jù)源(例如HDFS、HBase、Hive），支持離線計算程序平滑轉接；l)宜支持分布式列式存儲不同類型素引(例如主鍵素引、組合索引、全文素引)的創(chuàng)建、查詢、重建。7.1.4平臺管理接口要求為了便于平臺的管理和運維，平臺管理接口需要滿足以下要求：a)應支持大數(shù)據(jù)組件的安裝部署、支持升級配置(包括但不限于查詢可升級的版本、需配置的參數(shù)等)；b)應支持用戶管理，包括但不限于增加、刪除、修改用戶，增加、刪除、修改角色、用戶權限控制等；c)應支持監(jiān)控告警，對資源使用情況、資源運行狀態(tài)等進行監(jiān)控，并提供多種展示方式,支持健康檢查；d)應支持各類日志的收集和存儲，包括但不限于運行日志操作日志；e)應支持標準管理協(xié)議(例如SNMP)，提供RESTAPI.CLI等交互方式[21]。8安全要求8.1用戶管理用戶管理要求如下：a)應對登錄用戶進行身份標識和鑒別，保證用戶身份標識唯一性；b)用戶身份鑒別信息應滿足一定的復雜度要求，并定期更換；8.2權限管理權限要求如下：a)應按照權限最小化原則為用戶配置權限；b)應允許同一租戶內(nèi)存在多個組織的用戶，機構層級不受限制；c)應允許集團下屬企業(yè)擁有獨立的應用環(huán)境、用戶空間和數(shù)據(jù)空間；d)數(shù)據(jù)及業(yè)務流程應可夸跨租戶管理。對應未來社區(qū)項目應用，也可按照項目創(chuàng)建租戶；e)應支持基于證書或Token的服務鑒權；f)應提供多種策略的數(shù)據(jù)備份或恢復選項；g)應支持用戶行為審計管理。8.3日志管理日志管理要求如下：a)應提供記錄系統(tǒng)操作日志功能，記錄用戶的重要操作；b)應保證系統(tǒng)操作日志無法刪除、修改或被覆蓋；c)操作日志應包括日期、時間、操作者信息、操作類型、操作描述和操作結果等；d)應提供對系統(tǒng)操作日志進行統(tǒng)計、查詢、分析計生呈報表的功能。8.4數(shù)據(jù)安全數(shù)據(jù)安全要求除應符合以下標準外，還應符合中國鐵建城市更新與未來社區(qū)數(shù)字化安全導則全部a)應提供數(shù)據(jù)儲存加密功能，支持數(shù)據(jù)庫及數(shù)據(jù)加密；b)應提供系統(tǒng)敏感數(shù)據(jù)加密傳輸功能，并且加密密鑰可被替換；c)宜支持數(shù)據(jù)列級的數(shù)據(jù)加密。9應用環(huán)境9.1軟件環(huán)境9.1.1微服務治理架構采用SpringCloud架構，治理組件：a）服務注冊中心：Nacos；b)服務獎集合熔斷：Sentinel；c)API網(wǎng)關：SpringCloudGateway；d)負載均衡：Ribbon。9.1.2開發(fā)框架后端框架使用Springboot；前端框架使用Vue.js，ElementUI.js，iView.js。9.1.3消息中間件主要采用Kafka，局部涉及RabitMQ。9.1.4數(shù)據(jù)庫關系數(shù)據(jù)庫：PostgreSQL；聚合分析數(shù)據(jù)庫：Druid；空間數(shù)據(jù)庫：PostGIS組件；時序數(shù)據(jù)庫：TDEngine；邊緣數(shù)據(jù)庫：influxDB。9.1.5邊緣計算架構實現(xiàn)主要使用Balena，邊緣端接入管理選用RedNode，邊緣端OS采用YoctoLinux，邊緣端數(shù)據(jù)可視化選用Grafana，邊緣端數(shù)據(jù)庫采用influxDB。9.1.6大數(shù)據(jù)分析聚合數(shù)據(jù)儲存選用ApacheDruid，BI分析選用Kylin，ETL及機器學習選用MLSQL，數(shù)據(jù)可視化選用MetaBase。9.1.7三維可視化GIS后端選用GeoServer,GeoTools,PostGIS;GIS/BIM前端采用Cesium.js9.2硬件環(huán)境私有云本地部署。9.3網(wǎng)絡環(huán)境千兆光纖和千兆局域網(wǎng)。10應用服務10.1數(shù)據(jù)分析服務10.1.1支持數(shù)據(jù)查詢，實現(xiàn)以下功能：a)應提供通過標準的數(shù)據(jù)庫連接接口進行查詢的功能；b)應提供通過RESTAPI查詢接口進行