基于數(shù)據(jù)湖架構(gòu)的時空大數(shù)據(jù)平臺解決方案

基于數(shù)據(jù)湖架構(gòu)的時空大數(shù)據(jù)平臺解決方案2023年解決方案應(yīng)用服務(wù)層領(lǐng)導(dǎo)決策服務(wù)資源池服務(wù)平臺層數(shù)據(jù)層（數(shù)據(jù)湖）基礎(chǔ)設(shè)施層統(tǒng)一云計算中心安全保障體系、標(biāo)準(zhǔn)規(guī)范體系多源異構(gòu)數(shù)據(jù)匯聚引擎數(shù)據(jù)區(qū)矢量數(shù)據(jù)資源池柵格數(shù)據(jù)資源池實時數(shù)據(jù)資源池歸檔數(shù)據(jù)資源池分析處理區(qū)矢量大數(shù)據(jù)分析引擎柵格大數(shù)據(jù)分析引擎實時大數(shù)據(jù)分析引擎業(yè)務(wù)流引擎模型算法庫地表形變監(jiān)測影像變化監(jiān)測城市體檢……數(shù)據(jù)管理系統(tǒng)云平臺運維管理系統(tǒng)時空信息基礎(chǔ)服務(wù)定制化業(yè)務(wù)專題服務(wù)影像在線處理分析服務(wù)云GIS應(yīng)用環(huán)境租用服務(wù)應(yīng)用系統(tǒng)快速搭建服務(wù)數(shù)據(jù)共享交換服務(wù)大數(shù)據(jù)分析挖掘服務(wù)大數(shù)據(jù)可視化服務(wù)開發(fā)接口服務(wù)時空信息云平臺門戶城市治理行業(yè)應(yīng)用公眾生活一云一湖一平臺N應(yīng)用一云

：統(tǒng)一的云計算中心依托統(tǒng)一云計算環(huán)境建設(shè)的集約模式建立全市統(tǒng)一的云計算中心，面向全市各部門提供統(tǒng)一的云服務(wù)全市所有新建應(yīng)用系統(tǒng)及非涉密時空大數(shù)據(jù)平臺，都應(yīng)部署于統(tǒng)一云計算環(huán)境在IaaS之上建立云GIS

PaaS平臺依托統(tǒng)一的云計算環(huán)境向業(yè)務(wù)部門用戶開放私有的時空數(shù)據(jù)處理、存儲、分析、服務(wù)器集群等GIS軟硬件資源服務(wù)。云GISPaaS平臺的建立和使用三個端組成：面向系統(tǒng)管理員、租戶管理員、普通用戶，滿足市、縣多級應(yīng)用需求。資源池化機制：不同的應(yīng)用場景分配不同的云GIS資源池規(guī)劃；不同的組織賬戶分配不同的云GIS資源。多租戶隔離機制：GIS計算資源、存儲資源安全隔離。云平臺監(jiān)控策略：不同角色均可以實時監(jiān)控各類云GIS資源。云GIS資源交付能力：分鐘級交付云GIS資源，彈性動態(tài)地調(diào)整計算資源。云GISPaaS平臺的建立和使用多租戶：廣東省地理信息公共服務(wù)云平臺建設(shè)業(yè)主單位：廣州地理研究所面向用戶：01-誠脈地理咨詢；02-珠海某著名企業(yè)；0某著名企業(yè)；04某著名企業(yè)；05-廣東省應(yīng)急研究中心；06-廣州地理研究所服務(wù)方式：廣州地理所統(tǒng)一建設(shè)，對各公司部門以租用的方式提供云服務(wù)。云底層：VMware

vSphere6.0虛擬化+OpenStack（億訊）現(xiàn)行規(guī)模：37個云桌面，5個云集群，7個租戶，80個用戶數(shù)以上。大規(guī)模GIS服務(wù)支撐：貴州省國土云業(yè)主單位：貴州省自然資源廳硬件規(guī)模：3500vCPU，10TB內(nèi)存，10TB存儲；服務(wù)規(guī)模：1000個；站點數(shù)10個以上用戶規(guī)模：測試1000并發(fā)云底層：華為Fusiopute虛擬化+ManageOne3.0；共享存儲：華為NAS5500V3服務(wù)方式：市級統(tǒng)一建設(shè)的一體化云GIS平臺，面向各縣級提供云服務(wù)。服務(wù)類型：01-縣級公共平臺服務(wù)；02-云服務(wù)器服務(wù)；03-云存儲服務(wù)；04-云GIS集群服務(wù)；05-云GIS數(shù)據(jù)庫服務(wù)；06-云GIS桌面服務(wù)。云底層：VMware

vSphere6.0虛擬化+VMware

vCloud

Director5.5一體化云思想：衡陽市縣一體化云平臺建設(shè)業(yè)主單位：衡陽市自然資源和規(guī)劃局多類型云GIS資源交付：浙江省時空大數(shù)據(jù)云平臺業(yè)主單位：浙江省測繪科學(xué)技術(shù)研究院開放性定制服務(wù)：第三方站點接入，實現(xiàn)第三方站點在GIStack中的交付。時空大數(shù)據(jù)云平臺：地理大數(shù)據(jù)可視化展示云底層：阿里公有云一湖

：時空信息數(shù)據(jù)湖數(shù)據(jù)湖的起源“三駕馬車”論文催生Hadoop和HBase傳統(tǒng)的Hadoop(HDFS+MapReduce)的計算存儲一體化的方式面臨收益上的瓶頸，大數(shù)據(jù)框架走向存儲和計算分離的架構(gòu)2011年，“數(shù)據(jù)湖”概念的提出，核心：支持異構(gòu)數(shù)據(jù)的匯聚、異構(gòu)數(shù)據(jù)分析框架的融合典型數(shù)據(jù)湖架構(gòu)的邏輯組成數(shù)據(jù)湖數(shù)據(jù)匯集處理&分析數(shù)據(jù)分類、編目數(shù)據(jù)管理數(shù)據(jù)可視化數(shù)據(jù)湖架構(gòu)可以在一個集中式存儲位置安全地存儲、分類和分析所有數(shù)據(jù)，且數(shù)據(jù)可以按照原始格式存儲而無需轉(zhuǎn)換為預(yù)定義結(jié)構(gòu)。時空大數(shù)據(jù)的構(gòu)成1 2 3 4遙感衛(wèi)星數(shù)據(jù)大小飛機數(shù)據(jù)視頻監(jiān)控數(shù)據(jù)氣象臺站數(shù)據(jù)空氣質(zhì)量數(shù)據(jù)傳感器類數(shù)據(jù)車輛GPS數(shù)據(jù)手機信令數(shù)據(jù)基礎(chǔ)測繪數(shù)據(jù)社會統(tǒng)計數(shù)據(jù)問卷調(diào)查數(shù)據(jù)規(guī)劃設(shè)計數(shù)據(jù)行為記錄數(shù)據(jù)社交網(wǎng)站數(shù)據(jù)數(shù)據(jù)體系：從靜態(tài)走向動態(tài)，從測繪為主到多專題匯集，打造涵蓋地上、地表、地下，呈現(xiàn)過去、現(xiàn)在、未來的時空大數(shù)據(jù)體系。來自設(shè)備 來自人 來自系統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)辦公文檔資料網(wǎng)頁資料數(shù)據(jù)交數(shù)據(jù)系統(tǒng)日志數(shù)據(jù)數(shù)據(jù)入湖：多源異構(gòu)數(shù)據(jù)匯聚數(shù)據(jù)庫IoT實時采集網(wǎng)絡(luò)爬蟲接口文件時空信息數(shù)據(jù)湖矢量數(shù)據(jù) 原始影像成果影像三維模型實景數(shù)據(jù)激光點云實時數(shù)據(jù)文檔資料……RDBMS應(yīng)用系統(tǒng)多類型文件系統(tǒng)GPS官網(wǎng)/論壇/自媒體IoTWebService離線數(shù)據(jù)采集混合多態(tài)存儲與統(tǒng)一存儲管理統(tǒng)一存儲管理成果數(shù)據(jù)區(qū)生產(chǎn)與管理數(shù)據(jù)區(qū)辦事料柵格塊存儲（關(guān)系型數(shù)據(jù)庫+SDE）對象存儲分布式存儲（HDFS）索引存儲（ES）共享文件存儲(NAS)時空大數(shù)據(jù)管理時空大數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)自動編目原始數(shù)據(jù)管理主數(shù)據(jù)管理歸檔數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)智能檢索血緣分析遙感影像數(shù)據(jù)的統(tǒng)籌與管理一平臺

：時空信息云平臺云平臺架構(gòu)設(shè)計云中心桌面平臺某著名企業(yè)平臺云平臺服務(wù)能力時空信息基礎(chǔ)服務(wù)：提供二三維地圖服務(wù)、要素服務(wù)、影像服務(wù)、地名地址匹配服務(wù)、網(wǎng)絡(luò)分析服務(wù)、地理處理服務(wù)、OGC標(biāo)準(zhǔn)服務(wù)等基礎(chǔ)服務(wù)類型。定制化業(yè)務(wù)專題服務(wù)：提供面向業(yè)務(wù)的空間分析模型搭建或數(shù)據(jù)聚合服務(wù)，用于支撐總體規(guī)劃、多規(guī)合一、規(guī)劃業(yè)務(wù)審批等。遙感影像在線分析服務(wù)：提供遙感影像數(shù)據(jù)的在線處理與分析。云GIS應(yīng)用環(huán)境租用服務(wù)：提供云GIS集群、云GIS桌面、云主機等軟件的租賃服務(wù)。應(yīng)用系統(tǒng)快速搭建服務(wù)：提供零代碼的業(yè)務(wù)應(yīng)用系統(tǒng)快速搭建服務(wù)。數(shù)據(jù)共享交換服務(wù)：提供跨業(yè)務(wù)部門的數(shù)據(jù)交換服務(wù)。數(shù)據(jù)空間化服務(wù)：基于地名地址匹配引擎，實現(xiàn)數(shù)據(jù)的空間化。大數(shù)據(jù)分析挖掘服務(wù)：提供基于矢量、影像、實時大數(shù)據(jù)的分析挖掘服務(wù)。核心服務(wù)能力時空信息基礎(chǔ)服務(wù)定制化業(yè)務(wù)專題服務(wù)提供面向業(yè)務(wù)的，

空間分析模型搭建、底圖定制或特定數(shù)據(jù)產(chǎn)品服務(wù)用于支撐和響應(yīng)不同部門的業(yè)務(wù)需求。遙感影像在線分析服務(wù)為業(yè)務(wù)用戶提供在線的影像提取分析、變化監(jiān)測等功能服務(wù)，支持多業(yè)務(wù)領(lǐng)域應(yīng)用，

如城市規(guī)劃、環(huán)境保護等。影像在線分析系統(tǒng)影像在線分析系統(tǒng)水體變化檢測植被變化檢測硬質(zhì)地表變化檢測影像共享、在線發(fā)布系統(tǒng)提供數(shù)據(jù)源云GIS應(yīng)用環(huán)境租用服務(wù)應(yīng)用系統(tǒng)快速搭建服務(wù)零代碼的應(yīng)用構(gòu)建器跨桌面和某著名企業(yè)電腦跨平臺使用豐富的功能插件，可以擴展自己的插件界面可進行定制，使之與眾不同配置信息可以保存成應(yīng)用模版數(shù)據(jù)共享交換服務(wù)數(shù)據(jù)目錄數(shù)據(jù)購物車數(shù)據(jù)訂單數(shù)據(jù)訂單審批數(shù)據(jù)下載數(shù)據(jù)空間化服務(wù)基于地名地址匹配引擎，實現(xiàn)非空間數(shù)據(jù)的空間化。大數(shù)據(jù)分析挖掘服務(wù)基于時空大數(shù)據(jù)資源和挖掘引擎，按需建立大數(shù)據(jù)分析應(yīng)用主題域。時空分布關(guān)聯(lián)分析深度挖掘統(tǒng)一服務(wù)門戶統(tǒng)一服務(wù)門戶打造一個融合資源檢索與展示、“開放式”共享交換以及用戶個性化內(nèi)容管理于一體的新型地理信息資源門戶，并具備在線智能制圖、零代碼應(yīng)用自動快速組裝、用戶按需自服務(wù)等能力。云端運維管理系統(tǒng)云平臺運維管理系統(tǒng)多租戶的管理模式云基礎(chǔ)資源監(jiān)控與管理（資源池、存儲、數(shù)據(jù)庫、鏡像模板、虛擬機配置）云平臺服務(wù)監(jiān)控與管理細粒度的權(quán)限控制黑名單與異常報警機制多維度的統(tǒng)計分析N應(yīng)用N類智慧應(yīng)用面向領(lǐng)導(dǎo)決策面向行業(yè)應(yīng)用面向城市治理面向公眾生活面向領(lǐng)導(dǎo)決策時空信息一/綜合市情：涵蓋空間基礎(chǔ)、空間規(guī)劃、自然資源、城市管理、公共專題、智能感知等專題。面向領(lǐng)導(dǎo)決策自然資源及生態(tài)環(huán)境保護履職平臺（生態(tài)審計平臺）本底庫變化庫動態(tài)巡查自然資源及生態(tài)環(huán)境保護預(yù)警自然資源與生態(tài)環(huán)境保護決策與分析組織部干部考核平臺檢察院公益訴訟平臺審計局生態(tài)審計平臺面向行業(yè)應(yīng)用自然資源管理服務(wù)系統(tǒng)數(shù)據(jù)服務(wù)：時空基礎(chǔ)數(shù)據(jù)、自然資源管理專題數(shù)據(jù)；業(yè)務(wù)模型：自然資源要素地理分布統(tǒng)計、空間開發(fā)格局分析、資源優(yōu)化配置