天氣預(yù)報模型

1、天氣預(yù)報模型：軟件體系結(jié)構(gòu)與性能J.MICHALAKES,J.DUDHIA,D.GILL,T.HENDERSON,J.KLEMP,W.SKAMAROCK,W.WANG中小尺度氣象部門，國家大氣研究中心，Boulder，美國科羅拉多803072004年5月第一個非測試版的天氣研究和預(yù)報（WRF）建模系統(tǒng)是為大氣研究和運行NWP用戶設(shè)計和實施全功能的下一代建模系統(tǒng)的一個關(guān)鍵的里程碑社區(qū)。以效率，可移植性，可維護性和可擴展性作為基巖需求，WRF軟件框架允許增量和合理的快速開發(fā)，同時保持總體一致性和堅持架構(gòu)及其接口。WRF2.0版本支持該模型設(shè)想的全部功能，包括在一系列高性能計算平臺，多個動態(tài)核心和物

2、理選項上的高效可擴展性能，低開銷雙向交互嵌套，移動嵌套，模型耦合，以及與其他常見模型基礎(chǔ)設(shè)施工作（如ESMF）的互操作性。介紹WRF項目已經(jīng)開發(fā)了下一代中尺度預(yù)報模型和同化系統(tǒng)，以推進中尺度降水系統(tǒng)的理解和預(yù)測，并促進研究和運營預(yù)測社區(qū)之間的更緊密的聯(lián)系。隨著2004年5月向社區(qū)發(fā)布WRF2.0版本，將WRF建模系統(tǒng)廣泛傳播給大量用戶，并將其應(yīng)用于各種領(lǐng)域，包括風(fēng)暴規(guī)模研究和預(yù)測，空氣質(zhì)量模擬，.IfgqrEc-EPastpraeessingVisSD,NCARGraphics,GrADS.RIP4,etc.圖1WRF系統(tǒng)示意圖野火模擬，颶風(fēng)和熱帶風(fēng)暴預(yù)測，區(qū)域氣候和作戰(zhàn)數(shù)字天氣預(yù)報正在良好進

3、行。2004年年底，注冊下載次數(shù)超過2,500件。來自20個國家的93個機構(gòu)的173名參與者于2004年6月在NCAR參加了年度WRF用戶研討會，并聽取了28次涉及以WRF模式開展工作的科學(xué)報告。在N0AA國家環(huán)境預(yù)測中心和美國空軍氣象局，正在進行WRF的運行實施。已經(jīng)形成了N0AA/NCAR/DoD聯(lián)合發(fā)展試驗中心，以促進研究界的新發(fā)展的持續(xù)測試，評估和過渡在NCEP,AFWA和美國海軍通過在各中心建立的操作測試中心的操作。如圖1所示，WRF系統(tǒng)包括WRF模型本身，用于為理想化，實數(shù)據(jù)和單向嵌套預(yù)測產(chǎn)生初始和橫向邊界條件的預(yù)處理器，用于分析和可視化的后處理器，以及三維變化數(shù)據(jù)同化（3DVAR

4、）程序。除了標準初始化（SI）程序之外，每個預(yù)處理器和3DVAR是使用WRF高級軟件框架（ASF）實現(xiàn)的并行程序。程序之間的數(shù)據(jù)流通過ASF的I/0和模型耦合API輸入和輸出。WRF模型（圖中的大框）包含兩個動態(tài)內(nèi)核，為機構(gòu)和應(yīng)用程序提供額外的靈活性。NCAR開發(fā)的高級研究WRF（ARW;最初的歐拉質(zhì)量或“EM”核）使用時分高階Runga-Kutta方法來整合可壓縮非靜力方程的保守公式陰。ARW作為WRF第2版為研究界提供支持，正在美國空軍氣象局正在運行實施。NOAA/NCEP的WRF的操作實現(xiàn)使用適應(yīng)于來自非流體靜力中尺度模型（NMM）的WRFASF的動力學(xué)。WRFASF實現(xiàn)了WRF軟件架構(gòu)

5、，是WRF模型和3DVAR系統(tǒng)開發(fā)的基礎(chǔ)。它具有模塊化的層次化軟件組織，可以將科學(xué)代碼與并行性以及其他架構(gòu)，實現(xiàn)和安裝相關(guān)的問題隔離開來。這種設(shè)計對于管理一系列用戶，應(yīng)用程序和平臺的單源代碼模型的復(fù)雜性也至關(guān)重要。本文介紹WRF軟件的實現(xiàn)和性能，包括WRF2.0中提供的新功能：雙向交互和移動嵌套，支持模型耦合，以及與新興社區(qū)建?；A(chǔ)設(shè)施（如地球系統(tǒng)建模框架）的互操作性。WRF高級軟件框架WRFASF包括多個可分離層和支持組件：驅(qū)動器層，中介層，模型層，稱為注冊表的元編程實用程序，以及用于處理器間通信，數(shù)據(jù)格式的外部包的應(yīng)用程序接口（API）I/O。WRFASF的好處是促進快速開發(fā)，易于擴展，充

6、分利用WRF社區(qū)的開發(fā)工作，軟件重用，以及適應(yīng)社區(qū)模型基礎(chǔ)設(shè)施（如ESMF）。驅(qū)動層處理模型域數(shù)據(jù)結(jié)構(gòu)的運行時分配和并行分解;組織，管理，交互和控制嵌套域，包括模型中的主時間循環(huán)；高級別接口到模型域上的I/O操作；以及當(dāng)WRF是更大耦合的應(yīng)用系統(tǒng)的一部分時與其他組件的接口。在驅(qū)動程序中，每個域都抽象地表示為單個對象：Fortran90派生數(shù)據(jù)類型，包含動態(tài)分配的狀態(tài)數(shù)據(jù)，指向嵌套層次結(jié)構(gòu)中的其他域。嵌套表示為根源于頂級（最粗糙分辨率）域的域的樹。每個模型時間步長涉及遞歸深度優(yōu)先遍歷這棵樹，推進每個節(jié)點及其子節(jié)點到下一個模型時間。強制，反饋和嵌套移動也在驅(qū)動程序中處理。中介層包含單個模型域上的特

7、定動態(tài)核心的一個時間步長。動態(tài)核心的求解例程包含對模型層例程的完整集合調(diào)用以及處理器間通信（暈輪更新，并行轉(zhuǎn)置等）和多線程的調(diào)用。當(dāng)前的WRF實現(xiàn)使用RSL通信庫12，而RSL通信庫又使用消息傳遞接口（MPI）通信包。在使用OpenMP的求解例程中還規(guī)定了片上的共享存儲器并行性-分布式內(nèi)存補丁內(nèi)的第二級域分解。模型層包括構(gòu)成模型的實際計算例程：平流，擴散，物理參數(shù)化等。模型層子程序通過標準模型層接口調(diào)用：所有狀態(tài)數(shù)據(jù)作為參數(shù)，連同正在計算的圖塊的三個網(wǎng)格維度中的每一個中的起始和結(jié)束索引一起被傳遞。模型層子例程可以不包括I/O,停止語句，多線程或處理器間通信，確保它們可以針對任何瓦片分解或在瓦片

8、上執(zhí)行的順序被連貫地執(zhí)行。模型層接口是ASF與在模型層工作的程序員/科學(xué)家之間的合同。遵守接口確保結(jié)合到WRF中的模型層包將在框架本身被移植到的任何并行計算機上工作。具有數(shù)據(jù)依賴性的模型層例程依賴于中介層在它們被調(diào)用之前執(zhí)行必要的處理器間通信。程序員通過向注冊表添加條目來描述通信類型和模式，然后插入符號以在求解例程中的適當(dāng)位置執(zhí)行通信。注冊表是關(guān)于WRF數(shù)據(jù)結(jié)構(gòu)的信息的簡明數(shù)據(jù)庫，以及用于從數(shù)據(jù)庫中的符號自動生成大部分WRFParentDomain圖2嵌套分解與通訊代碼的機制。注冊表數(shù)據(jù)庫是表的集合，列出并描述了WRF狀態(tài)變量和數(shù)組及其屬性，例如維度，時間級數(shù)，與特定動態(tài)核心的關(guān)聯(lián)，與特定物理

9、包的關(guān)聯(lián)，輸入的成員資格，輸出，或重新啟動數(shù)據(jù)集，對數(shù)據(jù)進行通信操作，以及一些描述性元數(shù)據(jù)，例如變量或數(shù)組表示的內(nèi)容及其單位。從該數(shù)據(jù)庫，注冊表生成用于基礎(chǔ)設(shè)施的層之間的接口的代碼，用于通信和嵌套的打包和解包代碼以及對于模型I/0代碼的例程的逐字段調(diào)用，否則將極其耗時并且容易進行手動寫入和管理。在WRF中添加或修改狀態(tài)變量或數(shù)組是在注冊表中修改一行或兩行的問題。目前，注冊管理機構(gòu)自動生成總共250萬條WRF代碼中的60萬條。外部軟件包的API也是WRF軟件框架的一部分。這些允許WRF使用不同的軟件包用于自描述數(shù)據(jù)格式，模型耦合工具包和庫，以及通過簡單地將外部軟件包適配到接口來進行處理器間通信的

10、庫。清潔API還支持在其他方向重用；例如，地球系統(tǒng)建?？蚣荛_發(fā)人員正在調(diào)整WRFI/OAPI以在ESMF軟件中使用。WRF基礎(chǔ)設(shè)施的文檔，包括注冊表的參考文檔，WRFI/O應(yīng)用程序接口規(guī)范以及基于Web的WRF代碼和文檔瀏覽器6在線維護。WRF的其他軟件文檔正在進行中。巢和移動巢嵌套是網(wǎng)格細化的一種形式，其允許將昂貴的較高分辨率計算集中在感興趣區(qū)域上。WRF2.0包括對單向和雙向交互嵌套域的支持。WRF中的嵌套是非旋轉(zhuǎn)和對齊的，使得父網(wǎng)格點與下面的嵌套上的點重合，這消除了對更復(fù)雜的廣義重新格柵計算的需要。嵌套配置在運行時通過名稱列表指定。WRFASF支持在模擬期間的任何時間創(chuàng)建和刪除嵌套，但是

11、如果運行需要嵌套分辨率地形或其他下邊界數(shù)據(jù)的輸入，則WRF模型當(dāng)前被限制為開始嵌套;這個限制將在不久的將來得到解決。巢可以伸縮（嵌套在巢內(nèi)）到任意水平的細化水平。垂直細化尚未實現(xiàn)。精化比是整數(shù)，通常為1：3。在2.0.3版本中發(fā)布了移動嵌套的原型實現(xiàn)。這個版本用于4公里移動巢模擬颶風(fēng)伊萬（2004年9月）。可以在線查看動畫。高效和可擴展的嵌套實現(xiàn)是一個關(guān)鍵問題。嵌套模擬中的所有域都在同一組進程上分解，嵌套域與父進程同步運行。交換強制和反饋信息需要通信以在每個父時間步驟中跨進程散布和收集數(shù)據(jù)。此外，父域數(shù)據(jù)到嵌套點的插值是負載不平衡的，因為它僅在父域和嵌套共享的域的區(qū)域上發(fā)生。這通過首先將父域數(shù)

12、據(jù)重新布置到存儲對應(yīng)的嵌套域點的過程而被部分地減輕，允許在本地和在更大數(shù)量的過程上執(zhí)行內(nèi)插。圖2示出了覆蓋嵌套邊界（包括用于西北巢角的“a”和“b”）的過程的父域數(shù)據(jù)被傳送到計算嵌套邊界（包括過程“c”）的過程。通過同一組進程）。在重排父域數(shù)據(jù)之后，在嵌套邊界處理上局部地執(zhí)行父-嵌套網(wǎng)格插值。嵌套開銷通過將同等大小的父域和嵌套域運行為雙向交互域，然后分別作為獨立的單域運行來衡量。嵌套的開銷在5%和8%之間，取決于過程的數(shù)量，以及在并行MM5模型中觀察到的15%開銷的目標內(nèi)。大多數(shù)開銷出現(xiàn)與內(nèi)插的成本相關(guān)，其使用相對昂貴的非線性算法。移動嵌套的方法與雙向嵌套相同，一些額外的邏輯添加到框架和模型代

13、碼：確定是否是移動的時間，如果是，移動的方向和距離。調(diào)整嵌套點上的點與父域上的對應(yīng)點之間的關(guān)系。在嵌套移動的相反方向上在嵌套的2維和3維狀態(tài)數(shù)組中移動數(shù)據(jù)。當(dāng)嵌套移動到相對于父域的新位置時，初始化嵌套的前邊緣。在上述步驟1中需要另外的工作以結(jié)合自動特征跟隨嵌套移動機制，并且在步驟4中允許運行時間攝取嵌套分辨率下邊界數(shù)據(jù)，例如在移動的前邊緣上的地形和土地利用巢。最后，將解決將移動耦合到諸如海洋模型的外部模型的問題。4.1/O和型號耦合WRFASF中的I/0和模型耦合API在WRF模型和用于I/0和數(shù)據(jù)格式化的外部軟件包之間提供了一個統(tǒng)一的，與軟件包無關(guān)的接口。用于NetCDF，并行HDF5，本地

14、二進制和GRIB1I/0的API的實現(xiàn)可運行時分配給框架的I/O流.WRFI/0和模型耦合API也支持模型耦合，在下和PRISM耦合框架7中完善的一個想法。“耦合作為I/0”是有吸引力的，因為它允許在已經(jīng)存在用于I/0的模型的控制結(jié)構(gòu)和接口內(nèi)封裝組件數(shù)據(jù)交換的細節(jié)。它需要對模型本身很少（如果有的話）修改，它容易且有效地適應(yīng)于不同形式的耦合（順序或并行），它可以在在線和離線模式之間透明地（從應(yīng)用的角度）切換，耦合，并且它自然地適合于諸如網(wǎng)格計算的分布式計算環(huán)境。已經(jīng)開發(fā)了WRFI/0和模型耦合API的兩個模型耦合實現(xiàn)：模型耦合工具包（MCT）10是社區(qū)氣候系統(tǒng)模型（CCSM）耦合器的基礎(chǔ);模型耦

15、合環(huán)境庫（MCEL）2是基于C0RBA的基于客戶端-服務(wù)器的耦合框架。WindSth鬲Wlv.U.VWRFUll-VioSAVANsveHeightAudirJirctinmoLSOMAP(rRCr圖3黃海模擬的耦合圖顯示W(wǎng)RF（大氣），ADCIRC（海洋環(huán)流），SWAN（波模型）和LS0M（沉積物光學(xué)）。WRF的U和V速度為空氣；U和來自ADCIRC的是水。WRFI/0和模型耦合API的MCT實現(xiàn)支持對WRF和區(qū)域海洋建模系統(tǒng)（R0MS）之間緊密耦合到適度耦合的相互作用的邊界條件的定期，計劃的交換。WRF風(fēng)應(yīng)力和熱通量被發(fā)送到海洋模型，并且從R0MS接收海表面溫度。執(zhí)行WRF/R0MS耦合的

16、三個性能基準，并且耦合開銷是標稱的，遠低于耦合系統(tǒng)的總運行時間的1%。耦合的WRF/ROMS系統(tǒng)已被用于后續(xù)的科學(xué)研究，涉及14中描述的理想化的颶風(fēng)渦流。WRF/ROMSMCT實現(xiàn)已經(jīng)在Globus工具包中的MPICH-G2庫在基本的計算網(wǎng)格上進行了演示.1ROMS在西雅圖NOAA太平洋海洋環(huán)境實驗室（PMEL）的一個IntelLinux節(jié)點上運行；WRF在博爾德NOAA預(yù)報系統(tǒng)實驗室（FSL）的四個Linux節(jié)點上。即使在地理分布式系統(tǒng)中，使用基于Globus的MCT的WRF/ROMS耦合的開銷也小于2%。WRFI/O和模型耦合API的MCEL實現(xiàn)支持具有更寬范圍的空間和時間尺度或者不規(guī)則的

17、數(shù)據(jù)驅(qū)動的相互作用的模型集合的耦合。圖3顯示了1999年11月的一個高風(fēng)力事件的黃海沿海環(huán)境的四模型模擬的輸出.WRF耦合到由ADCIRC海洋和SWAN波模型組成的系統(tǒng)。ADCIRC和SWAN反過來提供了一個模擬潛水員可見度的沉積和光學(xué)模型1。使用非結(jié)構(gòu)化網(wǎng)格的ADCIRC也通過WRFI/OAPI與MCEL接口，以證明其適用于其他模型和網(wǎng)格系統(tǒng)。MCEL支持并發(fā)耦合，意味著組件在不同組的處理器上同時運行。圖4顯示了組件之間的相互作用的時序。與MCT一樣，測量的耦合開銷很小。WRF，大氣，是模擬的主要成本。因此，我們從WRF大氣的角度測量耦合開銷。從WRF測量的耦合的成本在每個方向上每次交換僅為

18、15-20毫秒。使用WRF在4個處理器上運行，耦合開銷可以忽略不計-小于總運行時間的一半。在32個處理器上，耦合的開銷低于運行成本的5%。I1TICVoilelT=01=3T-2圖4四個并發(fā)執(zhí)行模型之間的數(shù)據(jù)交互時間表。耦合間隔T為1小時。地球系統(tǒng)建?？蚣?，一個新興的基于社區(qū)的標準和軟件基礎(chǔ)設(shè)施采用不同的方法來建模耦合。與將耦合處理為I/O的形式相反，ESMF組件被重構(gòu)以符合頂級“符合ESMF”的組件接口。這允許基于ESMF的驅(qū)動程序控制模型初始化，集成和最終化。通過將導(dǎo)入和導(dǎo)出狀態(tài)對象傳遞通過組件的頂層接口，可以在組件之間交換耦合數(shù)據(jù)。目前不支持多可執(zhí)行的執(zhí)行和與分布式和網(wǎng)格計算環(huán)境的兼容性

19、。WRF適用于支持頂層接口要求，作為ESMF耦合組件進行互操作，但也將通過I/O類耦合機制通過WRFI/O和模型耦合API繼續(xù)互操作。實現(xiàn)一種通過WRFI/O和模型耦合API呈現(xiàn)自身的ESMF耦合的形式也正在被探索。性能WRF軟件的關(guān)鍵目標是在共享，分布式存儲器和混合并行架構(gòu)以及向量和標量處理器類型上的可移植性和效率。WRFASF支持兩級分解策略，首先通過分布式內(nèi)存補丁分解每個模型域，然后在每個補丁內(nèi)通過共享內(nèi)存磁貼分解?？蚣芎湍Ｐ蛯咏涌谠试S驅(qū)動層在任意形狀和大小的矩形補丁和瓦片上分解域，為結(jié)構(gòu)化計算盡可能有效地提供最大的靈活性。為了實現(xiàn)WRF性能可移植性的目標，在各種目標計算機平臺上進行常規(guī)

20、基準測試。圖5表示2004年年底WRF性能的快照;最新的結(jié)果被維護并在web上定期更新.1圖中的測試用例是在美國大陸（CONUS）域上的48小時，12km的解決方案。該域的計算成本是每平均時間步長（72秒）大約220億個浮點操作。性能被定義為模型速度，忽略I/O和初始化成本，直接測量為在模型積分的代表性時段內(nèi)每時間步長的平均成本，并且被表示為標準化浮點速率和模擬速度。這些是速度的等效測量，但是浮點速率表示速度作為相對于理論峰值能力的效率的測量，而模擬速度，模擬時間與實際時間的比率作為實際時間的測量更相關(guān)途徑。這個WRF基準的目的是證明目標架構(gòu)上的WRF模型的計算性能和擴展?；鶞手荚谔峁┯糜诒容^

21、不同架構(gòu)的性能和用于將WRF計算性能和縮放與其他類似模型進行比較的手段。鑒于高性能計算硬件的不斷發(fā)展和不斷增加的多樣性，定義什么被計為一個過程是很重要的。對于這個基準，并行過程是指令和相關(guān)狀態(tài)的最細粒度序列，其產(chǎn)生解的可分離和不相交部分。通常，進程的數(shù)量是在給定運行期間并行執(zhí)行的WRF瓦片的數(shù)量。175WRF也EMCor#425k3OGk35,DX=12kmDT=72feHP(ODOO.IA6415GHf,呂氏為t陽用T1點$隠邯XIiJROClh-PlL.,3.2GHz：flUynetilffbE上佰FSL；PEOJ善ulzl|.7GHzFmte鍛邙卩CEPHFMphiE厳amto(PSC|

22、003M3翎151INMi冏序n険eWiRws舉圖52004年底WRF性能結(jié)果。結(jié)論自從2004年發(fā)布以來,WRF第2版已經(jīng)在研究和運營社群中越來越多地采用。除了為中尺度模擬和數(shù)據(jù)同化提供一個共同的工具，WRF項目也開始服務(wù)于更廣泛的目標，促進溝通，合作和協(xié)作，特別是在區(qū)域氣候，空氣質(zhì)量模擬和數(shù)值的WRF工作組天氣預(yù)報研究。WRF軟件通過持續(xù)的工作，包括研討會，教程，幫助臺服務(wù)和在線文檔為用戶社區(qū)提供支持。NCEP和空軍氣象局的運行實施正在進行中，NOAA/NCAR/NCAR聯(lián)合發(fā)展測試中心促進了WRF項目將研究轉(zhuǎn)化為運行的目標。多機構(gòu)WRF開發(fā)工作的核心是WRFASF：個靈活，可維護，可擴展

23、的框架，允許對各種用戶，機構(gòu)和應(yīng)用程序的WRF軟件進行快速開發(fā)，支持和維護。在全系列高性能計算系統(tǒng)上的可移植性和效率是一個關(guān)鍵目標。最后，WRFASF及其接口的模塊化設(shè)計有助于將WRF與PRISM和ESMF等社區(qū)模型基礎(chǔ)設(shè)施工作進行模型耦合和集成。致謝M.Yang(NCSA),T.Black,N.Surgi.andS.G.Gopalakrishnan(NOAA/-NCEP),D.Schaffer,J.Middlecoff,G.Grell(NOAA/FSL),M.Bettencourt(AFRL),ShuyiChenandDavidNolan(U.Miami),AlanWallcraft(NRL

24、),ChrisMoore(NOAA/PMEL).JINZhiyan(CMA),D.Barker,A.Bourgeois,C.Deluca,R.Loft(NCAR),J.Wegiel(AFWA),T.Hutchinson(WSI),R.JacobandJ.Larson(ANL).參考文獻Allard,R.,C.Barron,C.A.Blain,P.Hogan,T.Keen,L.Smedstad,A.Wallcraft,C.Berger,S.Howington,J.Smith,R.Signell,M.Bettencourt,andM.Cobb,“HighFidelitySimulationofLi

25、ttoralEnvironments,”inproceedingsofUGC2002,June2002.Bettencourt,M.T.DistributedModelCouplingFramework,inproceedingsofHPDC-11,July2002.(http:/www./gannon/-hpdc/hpdcll.html)Black,T.,E.Rogers,Z.Janjic,H.Chuang,andG.DiMego.ForecastguidancefromNCEPshighresolutionnonhydrostaticmesoscalemodel.Preprints15thConferenceonNumericalWeatherPrediction,SanAntonio,TX,Amer.Meteor.Soc.,J23-J24.2002.Coats,C.J.,J.N.McHenry,A