天地圖GaussDB的應(yīng)用實踐

1、技術(shù)創(chuàng)新，變革未來天地圖 GaussDB(for Mongo)應(yīng)用實踐國家地理信息公共服務(wù)平臺目錄01國家地理信息公共服務(wù)平臺天地圖介紹地理信息服務(wù)GaussDB(for Mongo)應(yīng)用與定制 自然資源行業(yè)數(shù)據(jù)庫需求分析0203天地圖簡介地理信息公共服務(wù)平臺天地圖是網(wǎng)絡(luò)化地理信息共享與服務(wù)門戶，其目的是將我國的國家、省、市三 級地理信息資源按照“在線協(xié)同”的理念集成、匯聚 起來，通過統(tǒng)一的門戶網(wǎng)站為用戶提供權(quán)威、標準的 在線地理信息服務(wù)。主要特點基礎(chǔ)性均等化、普惠性向社會提供政府在線地理信息服 務(wù)，服務(wù)自然資源管理與社會經(jīng)濟發(fā)展公益性匯聚了測繪地理信息成果數(shù)據(jù)、目錄元數(shù)據(jù)、標 準地圖、公開版

2、數(shù)據(jù)資源等權(quán)威性政府部門主導(dǎo)建設(shè)，數(shù)據(jù)來源權(quán)威，國界線、地名等內(nèi)容代表國家立場開放性采用國家統(tǒng)一空間坐標系和標準服務(wù)接口，技術(shù)門檻低，便于開發(fā)利用矢量地圖0.5米影像地形暈渲圖三維地形典型案例分享第三次全國國土調(diào)查在線舉證客戶端中央氣象臺臺風(fēng)網(wǎng)中國世界文化遺產(chǎn)分布國家突發(fā)事件預(yù)警信息網(wǎng)氣象數(shù)據(jù) 綜合展示地質(zhì)云國家數(shù)據(jù)網(wǎng)數(shù)據(jù)地圖國家海事交通管理信息服務(wù)平臺中國地震臺網(wǎng)速報系統(tǒng)第二次全國污染源普查信息系統(tǒng)第四次全國經(jīng)濟普查普 查區(qū)劃分與繪圖系統(tǒng)江西省安全生產(chǎn) 監(jiān)管信息系統(tǒng)全國警用地理 信息系統(tǒng)水利部水文情報預(yù)報山東省公開 數(shù)據(jù)開放網(wǎng)基于天地圖的互聯(lián)網(wǎng)在線地 理信息服務(wù)應(yīng)用超過70000個目錄01國

3、家地理信息公共服務(wù)平臺天地圖介紹地理信息服務(wù)GaussDB(for Mongo)應(yīng)用與定制自然資源行業(yè)數(shù)據(jù)庫需求分析0203在線地圖瀏覽如何實現(xiàn)金字塔模型地圖瓦片在線地圖服務(wù)數(shù)據(jù)存儲需求地圖數(shù)據(jù)內(nèi)容01數(shù)據(jù)特點02數(shù)據(jù)庫需求03柵格地圖瓦片動態(tài)矢量瓦片三維地圖瓦片文件體積小文件數(shù)量多更新頻繁更新數(shù)據(jù)量大海量存儲遷移備份擴容方便性能高效GaussDB(for Mongo)應(yīng)用實踐與定制解決大量數(shù)據(jù)數(shù)據(jù)入庫性能瓶頸問題解決瓦片數(shù)據(jù)加載導(dǎo)致備節(jié)點掛死的問題GaussDB(for Mongo)快照定制應(yīng)用混合時相影像存儲方案解決大量數(shù)據(jù)入庫與更新性能瓶頸問題問題在云下采用社區(qū)版MongoDB 3.4集

4、群導(dǎo)入瓦片數(shù)據(jù)，由于社區(qū)版采用WiredTiger存儲引擎，底層數(shù)據(jù)結(jié)構(gòu)是B+樹，插入數(shù)據(jù)時，會有大量隨機IO，寫入性能較差。導(dǎo)入300GB的某省瓦片，耗時4小時。原有開源MongoDB（ B+樹）華為增強版GaussDB（LSM樹）云上架構(gòu)解決大量數(shù)據(jù)入庫與更新性能瓶頸問題全庫數(shù)據(jù)恢復(fù)（16TB，單位：天）20151050線下云上數(shù)據(jù)入庫（300GB，單位：小時）6543210線下云上解決瓦片數(shù)據(jù)加載導(dǎo)致備節(jié)點掛死的問題問題云下采用社區(qū)版MongoDB 3.4集群保存瓦片數(shù)據(jù)。導(dǎo)入大量數(shù)據(jù)時，由于社區(qū)版MongoDB的bug(備節(jié)點在刷新臟頁時候容易進入的一些 異常邏輯里，造成cpu內(nèi)存空消

5、耗)，導(dǎo)致集群shard的備節(jié)點CPU使用率100% 從而掛死。ConfigsvrConfigsvrConfigsvr社區(qū)版MongoDB集群的 shard主備節(jié)點數(shù)據(jù)同步時， 觸發(fā)備節(jié)點CPU 100%ConfigsvrConfigsvrConfigsvrDFV DDS集群每個 shard寫數(shù)據(jù)到存儲 池，不存在往備節(jié)點寫 數(shù)據(jù)的場景華為云DFV DDSDistributed Storage PoolApplicationMongos 1Mongos 2Mongos 3Shard 1PrimaryPrimaryPrimaryShard 2 Shard N云上架構(gòu)Config ServerCo

6、nfig Server社區(qū)版MongoDBShard 1PrimarySecondarySecondaryPrimarySecondarySecondaryPrimarySecondarySecondaryShard 2 Shard NApplicationMongos 1Mongos 2Mongos 3GaussDB(for Mongo)快照應(yīng)用定制GaussDB(for Mongo)快照應(yīng)用定制華為云對GuassDB For MongoDB數(shù)據(jù)庫進行定制開發(fā)和能力升級，通過快照技術(shù)實現(xiàn)讀寫分離，滿足地圖數(shù)據(jù)更新時提供一致性服 務(wù)，快照可實現(xiàn)秒級創(chuàng)建，快照創(chuàng)建后所有讀操作自動切換為快照讀；快

7、照刪除后，所有讀操作自動切換到數(shù)據(jù)庫讀，天地圖業(yè)務(wù)對快照讀 寫分離技術(shù)無感知，不需要做任何改造，整體方案如下：VPCVPCAPP WriteAPP ReadAPP WriteAPP ReadGaussDB(for Mongo)快照應(yīng)用定制通過MongoDB集群快照技術(shù)實現(xiàn)數(shù)據(jù)庫的讀寫分離，同時可以通過創(chuàng)建多個快照副本，實現(xiàn)對不同歷史數(shù)據(jù)的查詢，在此期間不影響對數(shù)據(jù)庫的 寫入。在查詢的時候通過指定不同的快照副本，實 現(xiàn)對不同歷史數(shù)據(jù)的查詢，具體原理如右圖所示：APP WriteAPP Read應(yīng)用成效天地圖以門戶網(wǎng)站、服務(wù)接口、前置服務(wù)等形式向政府、專業(yè)部門、企業(yè)、公眾等用戶提供在線地理信息服務(wù)

8、，已廣泛應(yīng)用于自然資源、生態(tài) 環(huán)境、統(tǒng)計、應(yīng)急救災(zāi)、氣象、水利、農(nóng)業(yè)、交通、公安、安全生產(chǎn)、能源等41個中央部門，并在市政規(guī)劃、扶貧、傳媒等多個領(lǐng)域中發(fā)揮了 重要作用，有效促進了地理信息資源共享和高效利用。自然資源環(huán)境保護氣象公安衛(wèi)生多媒體交通民政文化旅游農(nóng)業(yè)扶貧安全 天地圖生產(chǎn)服務(wù)應(yīng)急救災(zāi)統(tǒng)計政務(wù)水利天地圖MongoDB數(shù)據(jù)日均請求超過5億次目錄01國家地理信息公共服務(wù)平臺天地圖介紹地理信息服務(wù)GaussDB(for Mongo)應(yīng)用與定制自然資源行業(yè)數(shù)據(jù)庫需求分析0203自然資源行業(yè)數(shù)據(jù)分析矢量數(shù)據(jù) 影像數(shù)據(jù) 三維數(shù)據(jù) 軌跡數(shù)據(jù) 表格數(shù)據(jù) 文本數(shù)據(jù) 文件數(shù)據(jù) 視頻數(shù)據(jù)數(shù)據(jù)量大數(shù)據(jù)復(fù)雜更新頻繁存量數(shù)