GIS系統(tǒng)性能優(yōu)化策略

1、GIS系統(tǒng)性能優(yōu)化策略行業(yè)技術(shù)部 劉春影通常，我們會遇到這些性能問題？針對GIS系統(tǒng)：現(xiàn)有設(shè)施能夠支持多少并發(fā)響應(yīng)時間小于1秒時，需要何種硬件配置系統(tǒng)剛上線時速度較快，一段時間后訪問較慢針對GIS Server：和某GIS Server PK時，響應(yīng)時間不盡如人意一個Site站點，發(fā)布多少個服務(wù)才合理一個服務(wù)配置多少個實例數(shù)才合適其實，性能伴隨系統(tǒng)的整個生命周期需求階段：了解數(shù)據(jù)情況、用戶情況設(shè)計階段：服務(wù)設(shè)計、架構(gòu)設(shè)計、硬件選型、容量規(guī)劃開發(fā)階段：單元測試、代碼優(yōu)化部署階段：測試及監(jiān)控 性能術(shù)語 案例分享 軟件性能 平臺性能內(nèi)容介紹性能術(shù)語性能和伸縮性 伸縮性：負(fù)載增加時，系統(tǒng)維持現(xiàn)有性能的

2、能力 性能：“點擊”以后，多久能看到顯示結(jié)果衡量性能的關(guān)鍵指標(biāo) 響應(yīng)時間（Response time）：發(fā)送一次請求到接收請求這一過程所用的時間 吞吐量（throughput）：一定時間內(nèi)處理的所有請求的數(shù)量，由系統(tǒng)響應(yīng)時間和用戶思考時間共同衡量的關(guān)鍵影響因素：GIS Server處理能力磁盤I/O網(wǎng)絡(luò)帶寬性能術(shù)語事務(wù)：是用來渲染一個新的用戶顯示的處理過程，如執(zhí)行一次地圖預(yù)覽系統(tǒng)容量：特定的硬件配置所能支持的最大吞吐量系統(tǒng)利用率：當(dāng)前的吞吐量和系統(tǒng)容量的比率負(fù)載步長：每次增加多少虛擬用戶數(shù)服務(wù)時間：是平均工作事務(wù)處理時間（衡量軟件性能的關(guān)鍵標(biāo)準(zhǔn)）案例分享典型的GIS系統(tǒng)架構(gòu)案例性能問題：1.系

3、統(tǒng)加載慢2.執(zhí)行操作響應(yīng)時間慢圖層數(shù)：1個點圖層、5個面圖層；要素數(shù)：幾千個要素符號：字體符號開發(fā)框架：FlexViewer框架，各種swf文件約幾十K幾百KGIS Server：10.0（服務(wù)發(fā)布過多）硬件資源：資源不足導(dǎo)致性能下降（內(nèi)存使用高達(dá)89%、存儲超過90%）App Server：Web容器內(nèi)存較低問題分析容量規(guī)劃問題數(shù)據(jù)組織問題代碼組織問題網(wǎng)絡(luò)帶寬：我們通常所說帶寬的單位是兆比特，而不是兆字節(jié)比如， 10Mbit帶寬，是 10Mbit （比特），而不是10MB （字節(jié)）而1MB=8 * 1Mbit所以，10Mbit /s = 1.25MB /s=1.25*1024KB /s=12

4、80KB/s假設(shè)有200人使用，最大和最小傳輸速率分別為：Max = 1280KB/sMin = 1280KB/s / 200 = 6.4KB/s通常，假設(shè)有10%的人同時使用網(wǎng)絡(luò)，即只有20人，那么速率為：速率 = 1280KB/s/20 = 64KB/s那么下載上頁的index.swf文件的時間為：500KB/ 64KB/s = 7.8秒問題分析底圖加載：問題分析屏幕分辨率為 ：1680*1050 = 1764000圖片大?。?256* 256 =65536加載圖片數(shù)：27個單個圖片大小約：15KB總圖片大小為約：405KB下載時間約：405KB/64KB/S=6.3秒服務(wù)配置：優(yōu)化過程配

5、置：每個site站點發(fā)布的服務(wù)數(shù)量少實例：默認(rèn)啟動實例資源：主機(jī)配置高響應(yīng)：更快的響應(yīng)時間Server 10.0私有云環(huán)境優(yōu)化過程數(shù)據(jù)組織：數(shù)據(jù)平滑處理、刪除不必要的屬性、建立索引等服務(wù)優(yōu)化：減少復(fù)雜的制圖表達(dá)效果、減少動態(tài)標(biāo)注的使用拆分圖層：避免大量圖層同時展現(xiàn)符號：使用簡單符號顯示控制：不要同時加載全部圖層代碼優(yōu)化：代碼精簡、前端顯示圖片壓縮軟件性能軟件性能影響因素地圖文檔調(diào)整工作流基準(zhǔn)顯示復(fù)雜性數(shù)據(jù)密度數(shù)據(jù)緩存輸出格式服務(wù)配置服務(wù)組織，數(shù)據(jù)密度 高復(fù)雜地圖文檔36個圖層（點、線、面）每個圖層有幾千-幾萬要素全部顯示PostgreSQL 預(yù)覽顯示時間為10秒 低復(fù)雜地圖文檔2個圖層（線、面

6、）每個圖層有幾十個要素全部顯示fileGDB數(shù)據(jù)庫 預(yù)覽顯示時間為0.21秒服務(wù)組織，輸出格式對于柵格數(shù)據(jù)，JPEG壓縮方式性能更優(yōu)對于矢量數(shù)據(jù)，PNG壓縮方式性能更優(yōu)34.2PNGBMPJPGPNG32gif響應(yīng)時間響應(yīng)時間服務(wù)組織，利用緩存動態(tài)+緩存圖層(展示由可操作的渲染圖層與切片的底圖疊加形成)可操作圖層來自于動態(tài)數(shù)據(jù)源緩存的底圖可以來自于ArcGIS Online刪除地圖文檔中引用的其他服務(wù)服務(wù)組織，重視消息Analyze： 解決錯誤 處理警告（會影響地圖繪制和顯示性能） 重視消息：潛在性能問題 具備Ar

7、cGIS 10.1 for Server的新特性 以64位本地應(yīng)用程序的形式運行，軟件性能得到大的提升 減少單點故障，自動配置管理，提升了處理故障恢復(fù)，使得架構(gòu)更加的健壯 可以通過具有管理權(quán)限的REST admin API進(jìn)行管理編輯 采用自適應(yīng)網(wǎng)站配置管理，專門服務(wù)彈性云部署 全新的Java軟件組件體系結(jié)構(gòu)，Linux環(huán)境支持更加友好服務(wù)配置，ArcGIS 10.2 for Server新特性 新特性 增加site站點導(dǎo)出備份功能 強(qiáng)制處理警告消息服務(wù)配置，ArcGIS 10.2 for Server新特性服務(wù)配置：進(jìn)程設(shè)置高隔離：8 Instances8個SOC.exe進(jìn)程低隔離：8 In

8、stances2個SOC.exe進(jìn)程進(jìn)程設(shè)置響應(yīng)時間吞吐事務(wù)數(shù)每秒點擊數(shù)高隔離1.50146388122727.1低隔離1.79140964121425.9低隔離：可以有效改善服務(wù)器內(nèi)存使用情況進(jìn)程崩潰時，銷毀運行其中的所有實例高隔離： 進(jìn)程失敗時，只會影響一個instance響應(yīng)時間短、吞吐量高實際選擇哪種方式視需求而定服務(wù)配置，實例設(shè)置每臺GIS Server：當(dāng)服務(wù)啟動時，默認(rèn)啟動最小實例數(shù)啟動另外的實例，當(dāng)：現(xiàn)有實例都處于busy狀態(tài)啟動的實例總數(shù)不會超過最大實例數(shù)運行中的實例：只占用內(nèi)存，不占用CPU使用中的實例：即占用內(nèi)存，又占用CPU服務(wù)配置，實例設(shè)置偶爾使用：服務(wù)不經(jīng)常用到少數(shù)

9、人在短時間內(nèi)使用Min/Max值設(shè)置為0/1空閑實例運行時間依業(yè)務(wù)需求設(shè)置經(jīng)常使用：-每天都進(jìn)行服務(wù)請求-Min/Max設(shè)置為相等-配置足夠的實例數(shù)才能達(dá)到峰值吞吐-服務(wù)實例配置過多會增加響應(yīng)時間注意事項：-對于復(fù)雜的地理處理服務(wù)，最大實例數(shù)設(shè)置小一些（以保護(hù)site站點資源）-在峰值吞吐期間，避免頻繁免的啟動和停止ArcSOC進(jìn)程服務(wù)配置，實例設(shè)置示例介紹：集群：ServerA+ServerB配置：4core/8RAM請求：Export地圖并發(fā)用戶數(shù)：10個運行時間：5分鐘實例數(shù)：從232個020000400006000080000100000120000140000246810121416

10、32吞吐01234567246810 12 14 16 32響應(yīng)時間最佳實例數(shù)：8 Instances站點監(jiān)控：站點資源使用情況服務(wù)監(jiān)控：服務(wù)事務(wù)處理量及使用時間服務(wù)配置，性能監(jiān)控System Test簡介System Test：產(chǎn)品定位安裝配置產(chǎn)品使用System Test（系統(tǒng)測試工具）信息：ServerA+ServerBArcGIS 10.1 for ServerCentOS62CPU+4G內(nèi)存存儲盤陣演示演示0.00010.00020.00030.00040.00050.00060.00070.00080.00090.00041424Transactions/Sec Vs. Step

11、LoadTransactions/SecTrendLine數(shù)據(jù)源【fileGDB、SDE、數(shù)據(jù)存儲位置】數(shù)據(jù)組織【地圖文檔配置】部署方案【集群、單機(jī)】服務(wù)配置【instance數(shù)、停止其他不使用的服務(wù)】硬件環(huán)境調(diào)整【計算、存儲、網(wǎng)絡(luò)、虛擬化環(huán)境等】測試工具選擇【壓力測試工具】腳本編輯【參數(shù)調(diào)整】測試結(jié)果分析【迭代測試】服務(wù)配置，測試注意事項以往經(jīng)驗得知，在軟件方案選擇方面一定要慎重，充分理解了軟件性能可以減少實施過程中的風(fēng)險，并減低總體成本，節(jié)省用戶時間和金錢。如果服務(wù)創(chuàng)建時間過長，可以進(jìn)行池化處理，把服務(wù)對象裝載到內(nèi)存中如果服務(wù)等待時間過長或超時，可以設(shè)置最大等待時間，或增加服務(wù)對象個數(shù)如果

12、服務(wù)使用時間太長，需要檢查應(yīng)用程序代碼是否正確，或者客戶端操作過于復(fù)雜查看ArcGIS Server日志，進(jìn)行相應(yīng)處理，以提高性能如果資源允許，盡量選擇池化，增加客戶端并發(fā)數(shù)軟件傳輸負(fù)載及性能調(diào)整都是從多次測試中得到的結(jié)論小結(jié)平臺性能l 部署方式l 硬件環(huán)境l 虛擬化平臺組件系統(tǒng)總體性能取決于平臺各組件之間的關(guān)系部署方式Web系統(tǒng)架構(gòu)設(shè)計分組有單層、雙層、三層配置簡單的配置更容易維護(hù)和支持復(fù)雜的配置能滿足高容量和系統(tǒng)可用性需求部署方式單機(jī)部署-所有Web軟件組件部署在同一平臺層 簡單系統(tǒng)開發(fā) 原型測試 初始化部署模式GIS Serverhttp:6080Server dirctory &

13、; Config-StoreArcGIS Server SiteWeb ServerWeb AdaptorDatabase部署方式 多機(jī)部署 Web Server單獨托管在平臺層 數(shù)據(jù)庫組件部署在另一個單獨的平臺 GIS Server單獨部署GIS Server http:6080Server dirctory & Config-StoreServer SiteWeb ServerWeb AdaptorGIS Server Ahttp:60804000-4007DatabaseDMZ內(nèi)網(wǎng)Reverse Proxy部署方式GIS Server http:6080Server dircto

14、ry Config-StoreServer SiteWeb ServerWeb AdaptorGIS Server Ahttp:60804000-4004+Web ServerWeb AdaptorDatabase 高可用性部署 Web Server單獨托管在平臺層 數(shù)據(jù)庫組件部署在另一個單獨的平臺 GIS Server單獨部署NLB虛擬化環(huán)境部署Vblock：是Cisco、EMC、Vmware聯(lián)盟發(fā)布的新一代數(shù)據(jù)中心虛擬化解決方案打包產(chǎn)品特點：統(tǒng)一計算、統(tǒng)一存儲、虛擬化虛擬化部署優(yōu)勢提高物理主機(jī)的資源使用率，降低總成本(能源消耗、維護(hù)等)利用虛擬化技術(shù)提供的HA和FT，減少宕機(jī)時間并快速恢復(fù)

15、、遷移、備份虛擬機(jī)Esri為在虛擬化環(huán)境中使用ArcGIS軟件出現(xiàn)的任何問題提供技術(shù)支持，前提必須是使用官方支持的操作系統(tǒng)，因為這些已經(jīng)經(jīng)過Esri和這些廠商之間的嚴(yán)格測試，尤其是VCE Vblock環(huán)境的測試，有相應(yīng)的質(zhì)量保證便于從測試開發(fā)環(huán)境到生產(chǎn)環(huán)境之間的遷移，加速開發(fā)部署的過程據(jù)美國Esri調(diào)查統(tǒng)計目前只有不到4%的用戶決定不將ArcGIS軟件部署在虛擬化環(huán)境，超過一半的用戶已經(jīng)或者計劃實施虛擬化。一臺物理機(jī)做虛擬化之后，期間運行的虛擬機(jī)占用的總體資源要低于系統(tǒng)總資源的85%對不同的場景需求規(guī)劃不同配置的物理硬件資源，例如主頻較高的CPU主機(jī)可用于切圖、GP等服務(wù)的托管通常為1個CPU

16、配置2GB內(nèi)存，虛擬化環(huán)境中基本規(guī)則也一樣，具體可以根據(jù)特定的數(shù)據(jù)和服務(wù)通過測試決定最終參數(shù)可以在一個站點上發(fā)布多個服務(wù)，站點擴(kuò)展節(jié)點時需要在新的節(jié)點上池化所有這些的實例，可能導(dǎo)致添加新機(jī)器節(jié)點時間過長不要動態(tài)改變DNS或者h(yuǎn)ostname虛擬化部署注意事項配置4個2核的VM，還是配置2個4核的VM，根據(jù)實際處理需求設(shè)定磁盤必須有RAID5或RAID10的支持，一般常規(guī)的SAN都可以用于支持不要在單塊物理磁盤上運行多個虛擬機(jī)虛擬化環(huán)境支持HA和FT方案確保一個站點中的所有節(jié)點虛機(jī)都在同一個網(wǎng)絡(luò)配置中，尤其是網(wǎng)絡(luò)被虛擬化之后尤其需要注意，存在NAT網(wǎng)絡(luò)設(shè)置的情況下尤其如此虛擬化部署注意事項硬件環(huán)

17、境 SPEC：標(biāo)準(zhǔn)性能評估機(jī)構(gòu)（standard performance evaluation corporation）官網(wǎng)：/spec/ESRI軟件支持Intel Linux和windows部署提高了峰值吞吐能力，降低了軟件許可成本SPEC基準(zhǔn)用于核心處理器的速度硬件環(huán)境內(nèi)存，就像水，平常感覺不到多重要，關(guān)鍵時候才會發(fā)現(xiàn)它的價值沒有足夠的內(nèi)存，應(yīng)用程序會變慢沒有足夠的交換空間，應(yīng)用就不能啟動物理內(nèi)存不足時，程序會崩潰太多服務(wù)部署在同一臺服務(wù)器情況下，負(fù)載超過了最佳性能和可用內(nèi)存的限制應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器也需要配置合理內(nèi)存硬件環(huán)境存儲：磁盤是計算機(jī)存留下

18、來的最后的機(jī)械設(shè)備之一磁盤存取是一個機(jī)械過程，是計算機(jī)上最慢的操作當(dāng)采用緩存技術(shù)實施GIS時，要求更高的磁盤訪問要求虛擬化部署時，（本地磁盤+磁盤陣列）要做Raid影像數(shù)據(jù)存儲，要做容量規(guī)劃，分析現(xiàn)有數(shù)據(jù)資源、數(shù)據(jù)增長趨勢等硬件環(huán)境網(wǎng)絡(luò)延遲：每個單一通訊數(shù)據(jù)包的往返時間許多應(yīng)用程序需要幾個連續(xù)的往返傳輸?shù)椒?wù)器并返回以完成顯示事務(wù)。每個往返就是一個會話，并且大多數(shù)應(yīng)用程序都需要幾個連續(xù)的往返傳輸?shù)椒?wù)器以完成顯示事務(wù)應(yīng)用程序會話越多，網(wǎng)絡(luò)延遲時間就越長從而影響顯示性能網(wǎng)絡(luò)延遲不會在局域網(wǎng)絡(luò)中出現(xiàn)總的延遲時間=延遲x會話次數(shù)利用率=流量/帶寬流量=傳輸數(shù)據(jù)大小/響應(yīng)時間網(wǎng)絡(luò)響應(yīng)時間=傳輸+排隊時間+延遲網(wǎng)絡(luò)利用率超過60%將有助于網(wǎng)絡(luò)資源的競爭 服務(wù)器渲染時間相較于網(wǎng)絡(luò)連接而言是一個較小的因素硬件環(huán)境GIS UserDBMSCPU Time0.56 secCPU Time0.06 se