環(huán)保行業(yè)數(shù)據(jù)整合與應用技術(shù)培訓課件

1、環(huán)保行業(yè)數(shù)據(jù)整合與應用技術(shù)培訓空氣質(zhì)量預報數(shù)據(jù)生產(chǎn)流程NAQPMSCMAQCAMx源識別與跟蹤過程分析敏感性分析反向模擬衛(wèi)星資料模式參數(shù)優(yōu)化城市冠層模擬技術(shù)復合污染化學模塊誤差智能識別最優(yōu)插值同化集合卡爾曼濾波污染源反演集成預報產(chǎn)品污染源模型SMOKE氣象模型WRF各種觀測 氣象 空氣質(zhì)量 航測 衛(wèi)星 污染源權(quán)重平均多元回歸神經(jīng)網(wǎng)絡集合濾波空氣質(zhì)量預報重大活動預警空氣質(zhì)量預測預報應用demo環(huán)境數(shù)據(jù)整合應用污染物排放量分布激光雷達監(jiān)測衛(wèi)星遙感（AOD）O3濃度垂直剖面氣團軌跡分析污染來源追因1、環(huán)境數(shù)據(jù)整合與應用技術(shù)架構(gòu)2、環(huán)境數(shù)據(jù)類型和應用場景3、環(huán)境數(shù)據(jù)存儲與管理4、環(huán)境數(shù)據(jù)整合處理方法5

2、、環(huán)境數(shù)據(jù)分析與應用內(nèi)容概述環(huán)境數(shù)據(jù)整合與應用技術(shù)架構(gòu)環(huán)境數(shù)據(jù)整合與應用技術(shù)架構(gòu)DesktopWebDeviceServerOnlinePortalLayersWeb MapsWebScenes環(huán)境質(zhì)量監(jiān)測空氣質(zhì)量預測預報環(huán)境應急核輻射安全應用環(huán)境評估環(huán)境監(jiān)察生態(tài)保護環(huán)境模型輸出集成各類環(huán)境數(shù)據(jù)傳感網(wǎng)電子數(shù)據(jù)表影像數(shù)據(jù)數(shù)據(jù)庫環(huán)境模型數(shù)據(jù)數(shù)據(jù)分析處理數(shù)據(jù)存儲管理數(shù)據(jù)服務管理數(shù)據(jù)業(yè)務應用環(huán)境信息平臺處理集成環(huán)境數(shù)據(jù)整合處理解決方案NetCDFGRIB多維數(shù)據(jù)GRDDAT電子表格文本數(shù)據(jù)監(jiān)測點數(shù)據(jù)模型點數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)糾偏標準化數(shù)據(jù)重構(gòu)數(shù)據(jù)讀取標準化數(shù)據(jù)變換生成NC插值處理等值線抽取標準化NC標準化G

3、RIB風場數(shù)據(jù)NC各種濃度數(shù)據(jù)（TIF）等值線數(shù)據(jù)（溫、濕、氣）軌跡數(shù)據(jù)監(jiān)測點數(shù)據(jù)風場影像服務濃度影像服務溫度影像服務濕度影像服務氣壓影像服務影像服務各種等值線要素服務軌跡要素服務監(jiān)測站點要素服務要素服務 環(huán)境數(shù)據(jù)鑲嵌數(shù)據(jù)集SDE數(shù)據(jù)轉(zhuǎn)換處理數(shù)據(jù)存儲管理 服務發(fā)布環(huán)境數(shù)據(jù)整合應用流程輸出數(shù)據(jù)數(shù)據(jù)柵格化鑲嵌數(shù)據(jù)集Image Service數(shù)據(jù)再生產(chǎn)深度應用時空立方體WebSceneFeather Service統(tǒng)計挖掘環(huán)境數(shù)據(jù)類型與應用場景環(huán)境數(shù)據(jù)類型數(shù)據(jù)庫傳感網(wǎng)文本數(shù)據(jù)電子數(shù)據(jù)表矢量數(shù)據(jù) 應用LayersWeb MapsWebScenes地理信息模型Geoinformation ModelWe

4、b GIS影像數(shù)據(jù)多維數(shù)據(jù)環(huán)境多維數(shù)據(jù)應用場景海洋數(shù)據(jù) 海水溫度，鹽度，洋流氣象環(huán)境數(shù)據(jù)溫度，濕度，氣壓，風場，降水，濃度土地數(shù)據(jù)土壤含水量, NDVI，土地覆蓋風場和濕度風場和氣壓洋流擴散濃度環(huán)境數(shù)據(jù)整合應用場景環(huán)境數(shù)據(jù)整合需要解決哪些問題？多源異構(gòu)數(shù)據(jù)的集成不同環(huán)境監(jiān)測手段和設備、不同環(huán)境模型結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)的存儲管理環(huán)境歷史數(shù)據(jù)、現(xiàn)勢數(shù)據(jù)、預測數(shù)據(jù)數(shù)據(jù)快速處理與自動化業(yè)務應用對數(shù)據(jù)處理的要求環(huán)境數(shù)據(jù)存儲、管理與服務發(fā)布海量影像柵格管理鑲嵌數(shù)據(jù)集海量影像柵格管理鑲嵌數(shù)據(jù)集快速動態(tài)大規(guī)模任何格式可視化和分析大規(guī)模數(shù)據(jù)管理和共享ArcGIS影像分類實時鑲嵌圖像融合色彩平衡正射

5、校正變化分析Full Motion Video (FMV)3D量測 自動配準高級影像處理工具鑲嵌數(shù)據(jù)集（Mosaic Dataset）是ArcGIS 10推出的管理柵格數(shù)據(jù)的影像新技術(shù)。提供對數(shù)據(jù)集進行索引，并且可對集合執(zhí)行查詢。支持多種通用影像處理任務環(huán)境數(shù)據(jù)存儲與管理污染物分布U和V向量風場|流場優(yōu)勢管理大規(guī)模影像對NetCDF、GRIB多維數(shù)據(jù)支持動態(tài)鑲嵌規(guī)則與渲染規(guī)則實時柵格處理函數(shù)環(huán)境數(shù)據(jù)存儲結(jié)構(gòu)多維的鑲嵌數(shù)據(jù)集支持多文件和多變量用地理數(shù)據(jù)庫屬性表來管理多維數(shù)組，而不存儲數(shù)據(jù)本身每一行代表2維的柵格數(shù)組維度和變量名稱作為字段存儲不同區(qū)域的數(shù)據(jù)不同時間的數(shù)據(jù)不同渲染模板使用柵格函數(shù)處理

6、模板由柵格函數(shù)或者柵格函數(shù)處理鏈生成的模板用于server端或桌面端調(diào)用柵格函數(shù)處理模板(*.RFT.xml) - 單景影像的處理 - 鑲嵌數(shù)據(jù)集處理 - REST影像服務處理Image FileRaster Function ChainScreen product串聯(lián)多個柵格函數(shù)形成靈活增刪可生成柵格函數(shù)模板復用柵格函數(shù)實時處理無需更改原始數(shù)據(jù)或生成中間結(jié)果影像可以從一份原始數(shù)據(jù)創(chuàng)建多種影像產(chǎn)品，而無需額外的存儲成本和中間結(jié)果影像操作：柵格數(shù)據(jù)入庫12操作：實時處理函數(shù)定制1234文件+索引存儲 管理大規(guī)模影像柵格數(shù)據(jù)支持多維數(shù)據(jù)管理 多維環(huán)境數(shù)據(jù)入庫和展示動態(tài)鑲嵌與渲染 時空數(shù)據(jù)存儲和展示

7、實時處理函數(shù) 柵格處理計算更靈活鑲嵌數(shù)據(jù)集解決了哪些問題？環(huán)境數(shù)據(jù)整合處理方法污染物時空立方體應用剖面分析環(huán)境數(shù)據(jù)整合處理Arcpy為用戶提供了使用 Python 語言操作所有地理處理工具（包括擴展模塊）的入口，并提供了多種有用的函數(shù)和類，以用于處理、訪問和管理分析 GIS 數(shù)據(jù)。使用 Python 和 ArcPy，可以開發(fā)出大量的用于處理地理數(shù)據(jù)的實用程序。ArcGIS服務共享地理分析可視化數(shù)據(jù)管理地理處理利用ArcPy與Python方便實現(xiàn)GIS處理流程不需要學習龐大的AO接口數(shù)據(jù)管理工具（矢量、柵格） 空間數(shù)據(jù)增、刪、改、查 空間數(shù)據(jù)投影、轉(zhuǎn)換數(shù)據(jù)分析工具 插值、柵格計算、數(shù)據(jù)查找、柵格

8、變換自動化制圖工具服務管理工具環(huán)境數(shù)據(jù)整合處理常見數(shù)據(jù)格式多維數(shù)據(jù)處理NetCDF、Grib文本數(shù)據(jù)處理Excel、Grd數(shù)據(jù)庫數(shù)據(jù)處理屬性表數(shù)據(jù)處理多維數(shù)據(jù)結(jié)構(gòu)特點NetCDF(network Common Data Form)網(wǎng)絡通用數(shù)據(jù)格式是一種科學數(shù)據(jù)，包含維、變量和屬性三種描述類型。變量存儲實際數(shù)據(jù)，是一個N維數(shù)組；維給出了變量維度信息，屬性則給出了變量或數(shù)據(jù)集本身的輔助信息屬性。NetCDF可以對海量網(wǎng)格（陣列）數(shù)據(jù)進行高效地存儲、管理、獲取和分發(fā)等操作。Dimensions：/定義維數(shù)Variables：/定義變量Attributes：/屬性多維數(shù)據(jù)標準化處理單位變量名坐標系統(tǒng)時

9、間操作：多維數(shù)據(jù)標準化處理多維數(shù)據(jù)預處理入庫空間化操作：多維數(shù)據(jù)入庫模板定制123操作：環(huán)境數(shù)據(jù)渲染模板定制Excel數(shù)據(jù)處理1、Excel To Table2、創(chuàng)建XY圖層3、數(shù)組分組插值4、入庫更新屬性電子表格數(shù)據(jù)操作：Excel數(shù)據(jù)處理DB數(shù)據(jù)處理1、連接數(shù)據(jù)庫2、逐條寫入數(shù)據(jù)3、數(shù)據(jù)分組插值4、入庫更新屬性1、連接數(shù)據(jù)庫2、創(chuàng)建XY圖層3、數(shù)據(jù)分組插值4、入庫更新屬性非空間數(shù)據(jù)庫地理空間數(shù)據(jù)庫屬性表數(shù)據(jù)DB數(shù)據(jù)處理GRD數(shù)據(jù)處理大氣擴散地面溫度溫度海平面壓力輻射劑量降水Radcon模型輸出數(shù)據(jù)(GRD)風場地面風場擴散軌跡柵格轉(zhuǎn)換等值線矢量轉(zhuǎn)換多維向量GRD數(shù)據(jù)處理N個不同時刻數(shù)據(jù)單個

10、數(shù)據(jù)文件格式1、GRD文件標準化2、轉(zhuǎn)換成Numpy3、轉(zhuǎn)換成tif4、入庫更新屬性濃度數(shù)據(jù)（氣象、擴散）GRD數(shù)據(jù)處理1、GRD文件標準化2、轉(zhuǎn)換成Numpy3、轉(zhuǎn)換成NetCDF4、入庫更新屬性風場數(shù)據(jù)N個不同時刻數(shù)據(jù)單個數(shù)據(jù)文件格式不同高度GRD數(shù)據(jù)處理濃度數(shù)據(jù)GRD數(shù)據(jù)處理風場數(shù)據(jù)GRD數(shù)據(jù)處理結(jié)果氣壓分布降水分布擴散軌跡風場與大氣擴散環(huán)境數(shù)據(jù)整合處理要點有哪些？處理數(shù)據(jù)類型 多維數(shù)據(jù)、文本數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)、激光雷達數(shù)據(jù)處理數(shù)據(jù)方法 Arcpy+Python自動流程化的正確打開方式 發(fā)布GP服務，Server提供實例管理環(huán)境數(shù)據(jù)分析與應用空氣質(zhì)量預報數(shù)據(jù)展示與分析應用模型數(shù)據(jù)標準化入庫

11、鑲嵌數(shù)據(jù)集（濃度）鑲嵌數(shù)據(jù)集（風場）ArcGIS ServerArcGIS ServerImage LayerImageVectorLayer操作：影像服務發(fā)布空氣質(zhì)量預報數(shù)據(jù)展示與分析應用風場數(shù)據(jù)展示影像矢量圖層ArcGISImageServiceVectorLayer空氣質(zhì)量預報數(shù)據(jù)展示與分析應用動態(tài)播放多維數(shù)據(jù)鑲嵌規(guī)則mosaicRule:mosaicMethod:esriMosaicNone,ascending:true,mosaicOperation:MT_FIRST,multidimensionalDefinition:variableName:,dimensionName:tim

12、e,values:0,isSlice:true,variableName:,dimensionName:bottom_top,values:2,isSlice:truePM2影像服務rest請求wind影像服務rest請求mosaicRule:mosaicMethod:esriMosaicNone,ascending:true,mosaicOperation:MT_FIRST,multidimensionalDefinition:variableName:Vector-UV,dimensionName:bottom_top,values:2,isSlice:true,variableName:

13、Vector-UV,dimensionName:time,values:0,isSlice:true空氣質(zhì)量預報數(shù)據(jù)展示與分析應用鉆取分析工具空氣質(zhì)量預報數(shù)據(jù)展示與分析應用鉆取分析工具空氣質(zhì)量預報數(shù)據(jù)展示與分析應用GP服務發(fā)布Python、ArcPy APIArcCatalogArcToolboxArcMap(Share As Geoprocessing Service)或ArcPy發(fā)布Gp服務設計和制作腳本制作腳本工具調(diào)試運行、發(fā)布服務GP服務發(fā)布流程操作：GP服務發(fā)布空氣質(zhì)量在線統(tǒng)計與對比分析應用demo環(huán)境數(shù)據(jù)在線統(tǒng)計與對比分析應用思路GP服務發(fā)布結(jié)果轉(zhuǎn)換統(tǒng)計計算Python庫實現(xiàn)統(tǒng)計A

14、rcpy實現(xiàn)轉(zhuǎn)換供前端應用調(diào)用利用Python提供的眾多開源程序庫numpy、Scipy、Pandas、netCDF4Python工具通過ArcGIS發(fā)布成GP服務，滿足前端應用環(huán)境數(shù)據(jù)統(tǒng)計分析應用利器NumpyPython的開源科學計算包，用來存儲和處理大型矩陣強大的N維數(shù)組對象Array（靈活索引、合并分割）實用的線性代數(shù)和隨機數(shù)生成函數(shù)（算術(shù)運算、維度變換）多維數(shù)據(jù)與GIS可視化之間的橋梁（柵格轉(zhuǎn)化）Arcpy中Numpy轉(zhuǎn)換：NumPyArrayToRasterRasterToNumPyArrayNumPyArrayToTableTableToNumPyArrayNumPyArrayT

15、oFeatureClassFeatureClassToNumPyArray環(huán)境數(shù)據(jù)統(tǒng)計分析應用利器Numpy多維數(shù)組構(gòu)建 索引數(shù)組合并、分割維度轉(zhuǎn)換（數(shù)據(jù)降維）文件加載柵格轉(zhuǎn)換柵格矩陣運算（轉(zhuǎn)置、算術(shù)、邏輯運算）環(huán)境數(shù)據(jù)在線統(tǒng)計與對比分析應用方法數(shù)據(jù)讀取降維單幅柵格鑲嵌數(shù)據(jù)集多維數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換運算柵格計算器numpy（數(shù)組計算）pandas（科學統(tǒng)計包）Multidimension ToolsnetCDF4（多維數(shù)據(jù)包）結(jié)果轉(zhuǎn)換輸出矢量數(shù)據(jù)柵格數(shù)據(jù)數(shù)據(jù)讀取數(shù)組降維統(tǒng)計計算輸出柵格環(huán)境數(shù)據(jù)在線統(tǒng)計與對比分析應用在線統(tǒng)計提取一天24小時數(shù)據(jù)統(tǒng)計計算后維度變成(1,rowsize*colsize)環(huán)境數(shù)據(jù)在線統(tǒng)計與對比分析應用對比分析環(huán)境數(shù)據(jù)在線統(tǒng)計與對比分析應用展現(xiàn)JS濾鏡拖動展示效果環(huán)境數(shù)據(jù)分析與應用怎么做？前提 數(shù)據(jù)的整合和服務發(fā)布應用開發(fā)內(nèi)容 緊密結(jié)合用戶業(yè)務需求應用開發(fā)方法 JS API+開源資源總站空氣質(zhì)量預報預警系統(tǒng)海域放射性后果評價大范圍核物質(zhì)擴散近海岸核物質(zhì)擴散洋流動態(tài)展示該項目中整合了基于三角網(wǎng)的海洋數(shù)據(jù)，能夠無縫對