項目管理-外包方案-樣例

氣象信息化系統(tǒng)工程高性能計算模式移植優(yōu)化項目-模式移植和模式優(yōu)化子系統(tǒng)外包方案氣象信息化系統(tǒng)工程高性能計算模式移植優(yōu)化項目模式移植和模式優(yōu)化子系統(tǒng)外包方案目錄TOC\o"1-4"\h\z\u1 引言 61.1 項目簡介 61.2 外包原因 62 項目建設(shè)內(nèi)容 72.1 模式移植子系統(tǒng) 72.1.1 子系統(tǒng)概述 72.1.2 子系統(tǒng)組成 72.1.3 子系統(tǒng)接口 82.1.3.1. 內(nèi)部接口 82.1.3.2. 外部接口 82.1.4 計算流程設(shè)計模塊 82.1.4.1. 模塊概述 82.1.4.2. 模塊組成 82.1.4.3. 工作流分解 82.1.4.4. 資源需求評估 92.1.4.5. 資源配置 92.1.5 數(shù)據(jù)預(yù)處理模塊 92.1.5.1. 模塊概述 92.1.5.2. 模塊組成 92.1.5.3. 計算規(guī)模設(shè)計 92.1.5.4. 數(shù)據(jù)收集 92.1.5.5. 數(shù)據(jù)轉(zhuǎn)換 102.1.5.6. 數(shù)據(jù)可用性檢查 102.1.6 模式編譯模塊 102.1.6.1. 模塊概述 102.1.6.2. 模塊組成 102.1.6.3. 編譯器優(yōu)選 102.1.6.4. 編譯選項適配 102.1.6.5. 系統(tǒng)文件適配 112.1.7 程序代碼修改模塊 112.1.7.1. 模塊概述 112.1.7.2. 模塊組成 112.1.7.3. 程序漏洞修正 112.1.7.4. 語法兼容性修訂 112.1.7.5. 計算函數(shù)適配性修改 112.1.8 結(jié)果驗證模塊 122.1.8.1. 模塊概述 122.1.8.2. 模塊組成 122.1.8.3. 數(shù)值偏差驗證 122.1.8.4. 模擬效果驗證 122.1.8.5. 關(guān)鍵要素統(tǒng)計量驗證 122.1.9 性能測試模塊 122.1.9.1. 模塊概述 122.1.9.2. 模塊組成 132.1.9.3. 穩(wěn)定性測試 132.1.9.4. 計算性能測試 132.1.9.5. 可擴展性測試 132.1.10 產(chǎn)品后處理模塊 132.1.10.1. 模塊概述 132.1.10.2. 模塊組成 132.1.10.3. 計算結(jié)果檢查 142.1.10.4. 預(yù)報量篩選 142.1.10.5. 產(chǎn)品制作 142.1.10.6. 產(chǎn)品檢查 142.2 模式優(yōu)化子系統(tǒng) 142.2.1 子系統(tǒng)概述 142.2.2 子系統(tǒng)組成 152.2.3 子系統(tǒng)接口 162.2.3.1. 內(nèi)部接口 162.2.3.2. 外部接口 162.2.4 性能分析模塊 162.2.4.1. 模塊概述 162.2.4.2. 模塊組成 162.2.4.3. 計算性能分析 162.2.4.4. 通信性能分析 162.2.4.5. I/O性能分析 172.2.5 系統(tǒng)層優(yōu)化模塊 172.2.5.1 模塊概述 172.2.5.2 模塊組成 172.2.5.3 交換網(wǎng)絡(luò)配置 172.2.5.4 I/O系統(tǒng)配置 172.2.5.5 系統(tǒng)進程/線程部署 182.2.5.6 環(huán)境參數(shù)設(shè)置 182.2.6 應(yīng)用層優(yōu)化模塊 182.2.6.1 模塊概述 182.2.6.2 模塊組成 182.2.6.3 數(shù)值算法優(yōu)化 182.2.6.4 并行方案優(yōu)化 192.2.6.5 指令級優(yōu)化 192.2.6.6 OpenMP線程級優(yōu)化 192.2.6.7 MPI進程通信優(yōu)化 192.2.6.8 耦合通信優(yōu)化 192.2.6.9 耦合插值優(yōu)化 202.2.6.10 數(shù)據(jù)輸入優(yōu)化 202.2.6.11 數(shù)據(jù)輸出優(yōu)化 202.2.6.12 負載均衡優(yōu)化 202.2.6.13 定制優(yōu)化 202.2.6.14 科學(xué)計算庫應(yīng)用 212.2.7 微架構(gòu)層優(yōu)化模塊 212.2.7.1 模塊概述 212.2.7.2 模塊組成 212.2.7.3 循環(huán)結(jié)構(gòu)優(yōu)化 212.2.7.4 數(shù)據(jù)結(jié)構(gòu)優(yōu)化 212.2.7.5 函數(shù)調(diào)用優(yōu)化 212.2.8 結(jié)果驗證模塊 222.2.8.1 模塊概述 222.2.8.2 模塊組成 222.2.8.3 數(shù)值偏差驗證 222.2.8.4 模擬效果驗證 222.2.8.5 關(guān)鍵要素統(tǒng)計量驗證 222.2.9 性能測試模塊 232.2.8.6 模塊概述 232.2.8.7 模塊組成 232.2.8.8 穩(wěn)定性測試 232.2.8.9 計算性能測試 232.2.8.10 可擴展性測試 232.3 技術(shù)性能指標 242.3.1 模式移植子系統(tǒng) 242.3.1.1 模式運行時效結(jié)果正確性 242.3.1.2 正確性要求 242.3.1.3 模式穩(wěn)定性要求 252.3.2 模式優(yōu)化子系統(tǒng) 252.3.2.1 模式運行時效 252.3.2.2 正確性要求 262.3.2.3 模式穩(wěn)定性要求 262.4 非功能需求 262.4.1 系統(tǒng)可用性要求 262.4.2 系統(tǒng)安全性要求 272.4.3 模式代碼要求 273 項目外包管理要求 273.1 外包進度要求 273.2 外包交付成果 283.3 外包管理要求 284 工作量估算 295 外包金額估算 296 意向外包公司 306.1 外包公司介紹 30

引言項目簡介基于項目新建的高性能計算機系統(tǒng)，實現(xiàn)模式在新的高性能計算機系統(tǒng)上的移植并優(yōu)化模式運行性能，提高運行效率，探索應(yīng)用新技術(shù)，充分挖掘計算潛力，發(fā)揮高性能計算機系統(tǒng)的最佳效益，為數(shù)值預(yù)報模式系統(tǒng)業(yè)務(wù)和研發(fā)提供高效良好的計算支撐環(huán)境。高性能計算模式移植優(yōu)化項目建設(shè)內(nèi)容包括模式移植、模式優(yōu)化等2部分內(nèi)容。外包原因具體外包原因如下：1）我方技術(shù)人員對模式移植和優(yōu)化工作缺少相關(guān)經(jīng)驗，沒有足夠的技術(shù)儲備來實施此工作；2）客戶對此部分任務(wù)的質(zhì)量、進度要求高，我方自行研發(fā)存在進度風(fēng)險。綜合評估后，自建成本及風(fēng)險高于外包。

項目建設(shè)內(nèi)容模式移植子系統(tǒng)子系統(tǒng)概述表3.1.1模式移植清單序號業(yè)務(wù)科研應(yīng)用名稱1全球同化預(yù)報系統(tǒng)（CMA-GFS）2中尺度天氣數(shù)值預(yù)報系統(tǒng)（CMA-MESO3KM）3區(qū)域臺風(fēng)數(shù)值預(yù)報系統(tǒng)（CMA-TYM）4全球集合預(yù)報系統(tǒng)（CMA-GEPS）5區(qū)域集合預(yù)報系統(tǒng)（CMA-REPS）6海浪數(shù)值預(yù)報系統(tǒng)7亞洲沙塵暴數(shù)值預(yù)報系統(tǒng)（CMA-CUACE-Dust）8化學(xué)天氣數(shù)值預(yù)報系統(tǒng)（CMA-CUACE-Haze）9核應(yīng)急擴散模式10次季節(jié)-季節(jié)-年際尺度一體化氣候模式預(yù)測業(yè)務(wù)系統(tǒng)（CMA-CPS）目前，中國氣象局業(yè)務(wù)科研用數(shù)值模式主要包括表3.1.1中所列模式，每個模式又具有存在計算特征差異的不同版本。模式移植子系統(tǒng)主要功能是面對高性能計算系統(tǒng)軟硬件多樣性和復(fù)雜性，為模式發(fā)展提供良好的技術(shù)支撐，保障其在新的計算系統(tǒng)能夠穩(wěn)定高效的運行與持續(xù)發(fā)展。子系統(tǒng)組成子系統(tǒng)由多個模塊組成，總體上包含計算流程設(shè)計、數(shù)據(jù)預(yù)處理、模式編譯、代碼修改、結(jié)果驗證、性能測試及產(chǎn)品后處理等模塊。其中每一模塊由若干功能模塊組成。計算流程設(shè)計模塊包括工作流分解、資源需求評估、資源配置等功能。數(shù)據(jù)預(yù)處理模塊包括計算規(guī)模設(shè)計、數(shù)據(jù)收集、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)可用性檢查等功能。模式編譯模塊包括編譯器優(yōu)選、編譯選項適配、系統(tǒng)文件適配等功能。程序代碼修改模塊包括程序漏洞修正、語法兼容性修訂、計算函數(shù)適配性修改等功能。結(jié)果驗證模塊包括數(shù)值偏差驗證、模擬效果驗證、關(guān)鍵要素統(tǒng)計量驗證等功能。性能測試模塊包括穩(wěn)定性測試、計算性能測試、可擴展性測試等功能。產(chǎn)品后處理模塊包括計算結(jié)果檢查、預(yù)報量篩選、產(chǎn)品制作、產(chǎn)品檢查等功能。子系統(tǒng)接口內(nèi)部接口與模式優(yōu)化子系統(tǒng)的接口：模式移植子系統(tǒng)向模式優(yōu)化子系統(tǒng)提供移植成功的模式代碼及模式數(shù)據(jù)。外部接口該子系統(tǒng)建立和運行基于高性能計算機系統(tǒng)的軟硬件，使模式可以在高性能計算機系統(tǒng)穩(wěn)定運行并得到合理結(jié)果。計算流程設(shè)計模塊模塊概述分解模式計算流程，對各個模塊軟硬件資源需求進行合理評估，依據(jù)新的計算系統(tǒng)特性，為其配置資源。模塊組成計算流程設(shè)計模塊主要由工作流分解、資源需求評估和資源配置等功能組成。工作流分解根據(jù)模式計算任務(wù)階段對其工作流程進行劃分，包括數(shù)據(jù)收集、預(yù)處理、模式計算、后處理及產(chǎn)品生成等主要部分。資源需求評估根據(jù)每個計算部分應(yīng)用特點及其計算規(guī)模，對其運行方式進行評估，對所需處理器資源、內(nèi)存配置及作業(yè)優(yōu)先級別等系統(tǒng)配置進行評估，對公用存儲、專用存儲、臨時存儲、在線存儲及近線存儲等不同類型和級別的存儲資源進行評估。資源配置根據(jù)資源需求評估結(jié)果，按照最優(yōu)計算及存儲方案為其提供資源。分配適應(yīng)優(yōu)先級的計算作業(yè)隊列、可使用計算資源數(shù)量、可提交作業(yè)個數(shù)，按需分配各類存儲資源。確保在滿足模式系統(tǒng)需求的同時，使資源使用效益達到最大。數(shù)據(jù)預(yù)處理模塊模塊概述對模式運行所需數(shù)據(jù)進行統(tǒng)計，根據(jù)需求確定模式計算規(guī)模，對所需數(shù)據(jù)進行收集、轉(zhuǎn)換及可用性檢查等工作。模塊組成數(shù)據(jù)預(yù)處理模塊主要由計算規(guī)模設(shè)計、數(shù)據(jù)收集、轉(zhuǎn)換、可用性檢查等功能組成。計算規(guī)模設(shè)計根據(jù)模式運行需求，設(shè)計其運行所需輸入數(shù)據(jù)的空間分辨率、時間分辨率及時間序列。數(shù)據(jù)收集根據(jù)模式運行需求，對其運行所需初始場、邊界場、靜態(tài)數(shù)據(jù)等數(shù)據(jù)進行收集，并按模式運行所需求的存儲層次與規(guī)則進行存儲，根據(jù)數(shù)據(jù)提供方式、時間及頻次，建立自動作業(yè)，確保數(shù)據(jù)收集的完備性和實時性。數(shù)據(jù)轉(zhuǎn)換根據(jù)模式運行需求，對收集到的各類數(shù)據(jù)進行必要的編碼、解碼、插值、格式轉(zhuǎn)換、拆分或合并等工作，按照模式讀入所需數(shù)據(jù)各物理量場進行排列組合，確保模式可讀取正確有效數(shù)據(jù)。數(shù)據(jù)可用性檢查對轉(zhuǎn)換后的數(shù)據(jù)進行一致性檢查，檢查數(shù)據(jù)表現(xiàn)的準確性、數(shù)據(jù)包含內(nèi)容的正確性和完整性、數(shù)據(jù)記錄的可讀性以及數(shù)據(jù)的同一性及規(guī)范性。模式編譯模塊模塊概述為模式選擇合適的并行環(huán)境，編譯器，預(yù)編譯器，設(shè)定最優(yōu)編譯選項，確定所需頭文件、庫文件及其他系統(tǒng)文件。模塊組成模式編譯模塊主要由編譯器優(yōu)選、編譯選項適配、系統(tǒng)文件適配等功能組成。編譯器優(yōu)選根據(jù)模式編程語言特性，選擇與系統(tǒng)硬件適配的功能齊全、性能最優(yōu)、兼容性好、應(yīng)用范圍廣泛的編譯器，并進一步選擇其最新可穩(wěn)定運行版本，確定與模式相適應(yīng)的編譯器。編譯選項適配根據(jù)模式編程語言特性，分析代碼兼容性、健壯性，計算精度及性能需求，確定合適的編譯選項。系統(tǒng)文件適配根據(jù)模式需求及選擇的編譯器與編譯選項確定所需的系統(tǒng)、并行環(huán)境及應(yīng)用程序等所需用到的頭文件、庫文件及其他文件。確認模式所需各文件版本及其所在位置，并加入系統(tǒng)相應(yīng)環(huán)境變量或模式配置文件中。程序代碼修改模塊模塊概述在移植過程中對模式代碼存在的漏洞進行修正，對模式代碼與現(xiàn)有系統(tǒng)的不兼容部分進行修訂，對所需計算函數(shù)進行適配性修改。模塊組成程序代碼修改模塊主要由程序漏洞修復(fù)、語法兼容性修訂、計算函數(shù)適配性修改等功能組成。程序漏洞修正對模式原有代碼存在的在原系統(tǒng)具有隱蔽性沒有表現(xiàn)出來的問題進行排查、修正，確保模式可正確運行。語法兼容性修訂對模式原有代碼存在的與新系統(tǒng)不兼容的問題進行修訂，提升程序兼容性，使其可同時適應(yīng)原有系統(tǒng)與新系統(tǒng)。計算函數(shù)適配性修改對模式程序在原系統(tǒng)調(diào)用的外部計算函數(shù)功能及性能需求進行分析，并在新系統(tǒng)為其提供相同版本或替代版本，確保函數(shù)可被正確調(diào)用、執(zhí)行，獲得與原來一致或相近的效果。結(jié)果驗證模塊模塊概述對模式運行結(jié)果與原系統(tǒng)結(jié)果進行數(shù)值偏差的驗證、模擬效果是否合理的驗證并進行關(guān)鍵要素統(tǒng)計量計算。模塊組成結(jié)果驗證模塊由數(shù)值偏差驗證、模擬效果驗證、關(guān)鍵要素統(tǒng)計量驗證等功能組成。數(shù)值偏差驗證對模式計算結(jié)果的數(shù)值與原系統(tǒng)結(jié)果之間進行比較，判斷是否存在差異或差異出現(xiàn)的位置、時間及量級，考慮接受程度，分析偏差存在的原因，并考慮相應(yīng)解決方案，盡量避免或減少差異。模擬效果驗證對模式模擬結(jié)果與原系統(tǒng)結(jié)果進行比較，通過典型要素場空間形勢分布觀察二者是否存在偏差或偏差存在位置、時間及量級，考慮接受程度，分析偏差存在的原因，并考慮相應(yīng)解決方案，盡量避免或減少差異。關(guān)鍵要素統(tǒng)計量驗證對模式模擬結(jié)果與原系統(tǒng)結(jié)果中關(guān)鍵要素進行相關(guān)系數(shù)等統(tǒng)計量的驗證。性能測試模塊模塊概述對移植后的模式運行的穩(wěn)定性、計算性能和可擴展性進行測試，是否滿足需求，是否進行優(yōu)化。模塊組成性能測試模塊由穩(wěn)定性測試、計算性能測試、可擴展性測試等功能組成。穩(wěn)定性測試模式進行多次運行，測試是否存在內(nèi)存泄露、測試數(shù)據(jù)復(fù)雜度、進程/線程靈活配置、不同并行規(guī)?？烧＝Y(jié)束,得到二進制相同的計算結(jié)果。模式進行長時間積分，可正常結(jié)束，得到合理結(jié)果。計算性能測試采用不同編譯選項，不同進程/線程配置，不同節(jié)點使用方式等多方面對模式計算性能進行測試，判斷其是否達到應(yīng)用需求，從中確定性能瓶頸，可作為進一步優(yōu)化的基礎(chǔ)信息。可擴展性測試模式在新系統(tǒng)節(jié)點滿負荷，多階梯測試不同并行規(guī)模運行，得到其在新系統(tǒng)的并行可擴展性，獲得最佳并行度，對影響可擴展性因素進行分析，可作為進一步優(yōu)化的基礎(chǔ)信息。產(chǎn)品后處理模塊模塊概述對模式計算結(jié)果進行檢查，從中篩選出用于產(chǎn)品的預(yù)報量，經(jīng)過處理生成模式產(chǎn)品，并對產(chǎn)品數(shù)量及質(zhì)量進行檢查。模塊組成產(chǎn)品后處理模塊由計算結(jié)果檢查、預(yù)報量篩選、產(chǎn)品制作、產(chǎn)品檢查等功能組成。計算結(jié)果檢查對模式移植后，運行生成的各時次，各種類型及格式的數(shù)值計算結(jié)果文件的數(shù)量、大小、內(nèi)容進行檢查，判斷其一致性及完整性，是否可正確讀取，模式是否正確運行結(jié)束，并按需求輸出所需結(jié)果文件。預(yù)報量篩選從原始模式輸出計算結(jié)果文件中，按需求提取產(chǎn)品所需預(yù)報量時間序列，并結(jié)合產(chǎn)品制造接口，進行插值、格式轉(zhuǎn)換及數(shù)據(jù)拆分、重組等操作。產(chǎn)品制作對提取出的預(yù)報變量文件進行數(shù)據(jù)計算、不同時空分辨率的物理場統(tǒng)計分析求解極值、相關(guān)、均方根誤差等關(guān)鍵指標與相應(yīng)指數(shù)、采用專業(yè)繪圖工具完成圖形繪制，形成數(shù)值型、圖片等不同類型預(yù)報產(chǎn)品。產(chǎn)品檢查對生成產(chǎn)品的數(shù)量、質(zhì)量、大小及內(nèi)容等進行檢查，判斷其一致性及完整性，是否可正確讀取。并按規(guī)定目錄存放，按照需求進行產(chǎn)品自動分發(fā)，并實施監(jiān)控，對所占用存儲資源進行定時清理。模式優(yōu)化子系統(tǒng)子系統(tǒng)概述模式優(yōu)化子系統(tǒng)主要功能是從中國氣象局業(yè)務(wù)科研用數(shù)值模式中選擇最重要且具有發(fā)展前景的模式系統(tǒng)，包括表3.2.1中所列模式，基于模式發(fā)展現(xiàn)狀并考慮其未來發(fā)展規(guī)劃，對模式進行全方位性能調(diào)優(yōu)。表3.2.2模式優(yōu)化清單序號業(yè)務(wù)科研應(yīng)用名稱1全球同化預(yù)報系統(tǒng)（CMA-GFS）2中尺度天氣數(shù)值預(yù)報系統(tǒng)（CMA-MESO1KM）3區(qū)域臺風(fēng)數(shù)值預(yù)報系統(tǒng)（CMA-TYM）4全球集合預(yù)報系統(tǒng)（CMA-GEPS）5區(qū)域集合預(yù)報系統(tǒng)（CMA-REPS）6海浪數(shù)值預(yù)報系統(tǒng)7亞洲沙塵暴數(shù)值預(yù)報系統(tǒng)（CMA-CUACE-Dust）8化學(xué)天氣數(shù)值預(yù)報系統(tǒng)（CMA-CUACE-Haze）9核應(yīng)急擴散模式10次季節(jié)-季節(jié)-年際尺度一體化氣候模式預(yù)測業(yè)務(wù)系統(tǒng)（CMA-CPS）11高精度可擴展數(shù)值天氣預(yù)報模式（MCV）子系統(tǒng)組成子系統(tǒng)由多個模塊組成，總體上包含性能分析、系統(tǒng)層優(yōu)化、應(yīng)用層優(yōu)化、微架構(gòu)層優(yōu)化、結(jié)果驗證、性能測試等模塊。其中每一模塊由若干功能模塊組成。性能分析模塊包括計算性能分析、訪存性能分析、通信性能分析、I/O性能分析等功能。系統(tǒng)層優(yōu)化模塊包括處理器配置、內(nèi)存配置、交換網(wǎng)絡(luò)配置、文件系統(tǒng)配置、系統(tǒng)進程/線程部署、環(huán)境參數(shù)設(shè)置等功能。應(yīng)用層優(yōu)化模塊包括指令級優(yōu)化、OpenMP線程級優(yōu)化、MPI進程通信、耦合技術(shù)、數(shù)據(jù)訪問策略、負載均衡調(diào)優(yōu)、科學(xué)計算庫應(yīng)用等功能。微架構(gòu)層優(yōu)化模塊包括循環(huán)結(jié)構(gòu)調(diào)優(yōu)、數(shù)據(jù)結(jié)構(gòu)調(diào)優(yōu)、函數(shù)調(diào)用調(diào)優(yōu)等功能。結(jié)果驗證模塊包括數(shù)值偏差驗證、模擬效果驗證、關(guān)鍵要素統(tǒng)計量驗證等功能。性能測試模塊包括穩(wěn)定性測試、計算性能測試、可擴展性測試等功能。子系統(tǒng)接口內(nèi)部接口與模式移植子系統(tǒng)的接口：模式優(yōu)化子系統(tǒng)使用模式移植子系統(tǒng)提供的移植成功的模式代碼及模式數(shù)據(jù)。外部接口該子系統(tǒng)建立和運行基于高性能計算機系統(tǒng)的軟硬件，使模式可以在高性能計算機系統(tǒng)穩(wěn)定、高效運行并得到合理結(jié)果。性能分析模塊模塊概述對模式計算性能、通信性能、I/O性能等進行分析，確定性能瓶頸，為模式優(yōu)化方案的制定提供基礎(chǔ)信息。模塊組成性能分析模塊由計算性能分析、通信性能分析、I/O性能分析等功能組成。計算性能分析采用性能分析工具或手動插入監(jiān)控代碼，捕捉模式運行過程中的基本計算行為，對程序包含的各函數(shù)計算的墻鐘時間，函數(shù)調(diào)用次數(shù)及關(guān)系等進行統(tǒng)計，確定最耗時的函數(shù)及其調(diào)用關(guān)系，作為進一步優(yōu)化的參考信息。通信性能分析采用性能分析工具或手動插入監(jiān)控代碼，捕捉模式運行過程中的基本通信行為，對主要通信函數(shù)耗時、發(fā)送及接收次數(shù)、數(shù)據(jù)量等進行統(tǒng)計，確定熱點通信函數(shù)，分析通信占比，作為制定通信優(yōu)化方案參考信息。I/O性能分析通過性能分析工具或手動插入監(jiān)控代碼，捕捉模式運行過程中基本I/O行為，對主要輸入、輸出數(shù)據(jù)方式、頻次、數(shù)據(jù)量及數(shù)據(jù)類型等進行統(tǒng)計，確定其數(shù)據(jù)訪問瓶頸，分析I/O占比，作為制定I/O優(yōu)化方案參考信息。系統(tǒng)層優(yōu)化模塊模塊概述針對模式計算過程表現(xiàn)出的對進程間高速數(shù)據(jù)交換及數(shù)據(jù)訪問需求，通過系統(tǒng)硬件參數(shù)設(shè)置與并行環(huán)境配置相結(jié)合，充分利用系統(tǒng)資源的優(yōu)勢，實現(xiàn)系統(tǒng)層優(yōu)化。模塊組成系統(tǒng)層優(yōu)化模塊由交換網(wǎng)絡(luò)配置、I/O系統(tǒng)配置、系統(tǒng)進程/線程部署、環(huán)境參數(shù)設(shè)置等功能組成。交換網(wǎng)絡(luò)配置依據(jù)高性能計算網(wǎng)絡(luò)技術(shù)現(xiàn)狀、系統(tǒng)配置規(guī)模、節(jié)點數(shù)、單節(jié)點計算核心數(shù)等設(shè)計最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)及拓撲，使得模式計算過程中進程間點到點或集合通信可在系統(tǒng)層獲得最優(yōu)路徑、交換質(zhì)量與可靠性保障。I/O系統(tǒng)配置依據(jù)高性能存儲技術(shù)現(xiàn)狀、存儲系統(tǒng)配置規(guī)模、管理方式、存儲介質(zhì)、文件系統(tǒng)類型及特性等設(shè)計最優(yōu)的數(shù)據(jù)存儲策略，使模式計算過程中數(shù)據(jù)串行、并行讀寫可在系統(tǒng)層獲得最優(yōu)路徑、交換質(zhì)量與可靠性保障。系統(tǒng)進程/線程部署針對不同模式MPI進程通信、OpenMP線程通信或混合并行運行方式與系統(tǒng)硬件配置的適應(yīng)關(guān)系，考慮節(jié)點配置及高速互聯(lián)網(wǎng)絡(luò)拓撲結(jié)構(gòu)，設(shè)定不同進程/線程配置，測試確定最優(yōu)組合。環(huán)境參數(shù)設(shè)置依據(jù)不同操作系統(tǒng)、計算處理器、內(nèi)存、數(shù)據(jù)交換網(wǎng)絡(luò)、存儲等硬件及并行環(huán)境、編譯器、作業(yè)管理調(diào)度等軟件的配置，設(shè)定系統(tǒng)環(huán)境參數(shù)，為模式提供運行環(huán)境的優(yōu)化。應(yīng)用層優(yōu)化模塊模塊概述對模式在指令、線程、進程等不同并行層次，數(shù)值算法、并行方案、通信、I/O、多模式耦合技術(shù)、負載均衡、科學(xué)計算庫應(yīng)用等不同角度對模式整體開展不同粒度的并行優(yōu)化。模塊組成應(yīng)用層優(yōu)化模塊由數(shù)值算法、并行方案、指令級優(yōu)化、OpenMP線程級優(yōu)化、MPI進程通信優(yōu)化、耦合技術(shù)、數(shù)據(jù)訪問策略、負載均衡調(diào)優(yōu)、科學(xué)計算庫應(yīng)用等功能組成。數(shù)值算法優(yōu)化考慮模式高分辨率，計算穩(wěn)定性，高精度等發(fā)展需求，對主要模式目前所采用的求解器、多維度空間離散化方法，時間積分方法，初始化方法等數(shù)值算法進行優(yōu)化，促進高分辨率模式發(fā)展。并行方案優(yōu)化對應(yīng)主要模式采用的水平、垂直空間離散方法、網(wǎng)格設(shè)計劃分方法、時間積分方案及主要物理過程計算實現(xiàn)等特點，對模式動力框架及物理過程計算并行剖分方案進行優(yōu)化，提高模式并行可擴展性。指令級優(yōu)化選擇模式計算核心段算法，依據(jù)不同計算處理器芯片硬件設(shè)計、并行環(huán)境及編譯器，開展不同指令集應(yīng)用測試、編譯器自動向量化、編譯指示向量化及手寫向量化優(yōu)化。OpenMP線程級優(yōu)化選擇模式計算核心段算法，依據(jù)不同計算芯片、編譯器及并行環(huán)境，考慮線程創(chuàng)建及同步開銷，優(yōu)化負載均衡、注重局部性，開展編譯器自動并行、編譯指示并行及手寫并行化優(yōu)化。MPI進程通信優(yōu)化依據(jù)模式并行剖分策略，對通信瓶頸，開展針對性的對點對點通信優(yōu)化、集合通信優(yōu)化、異步通信優(yōu)化，采用通信避免算法對部分算法進行重構(gòu)，降低全局通信開銷。耦合通信優(yōu)化對多圈層耦合模式耦合過程中的并行通信、異步通信、通信數(shù)據(jù)量、通信頻次、通信負載等功能與性能進行優(yōu)化，避免通信消息小且多的情況，優(yōu)化通信負載平衡。耦合插值優(yōu)化對多圈層耦合模式耦合過程中的通量計算、水平及垂直網(wǎng)格插值、權(quán)重管理、可擴展性、易用性等功能與性能進行優(yōu)化，可靈活配置耦合變量在不同網(wǎng)格間的插值方案，提供適用插值算法。數(shù)據(jù)輸入優(yōu)化對高分辨率模式采用的輸入數(shù)據(jù)格式進行分析，對現(xiàn)有串行數(shù)據(jù)輸入接口進行重構(gòu)，實現(xiàn)同步或異步并行化數(shù)據(jù)讀入，實現(xiàn)多進程并發(fā)數(shù)據(jù)訪問，并設(shè)計實現(xiàn)與計算規(guī)模及處理器配置相協(xié)調(diào)的并行輸入方案。數(shù)據(jù)輸出優(yōu)化對高分辨率模式采用的輸出數(shù)據(jù)格式進行分析，對現(xiàn)有串行數(shù)據(jù)輸出接口進行重構(gòu)，實現(xiàn)同步或異步并行化數(shù)據(jù)寫出，實現(xiàn)多進程并發(fā)數(shù)據(jù)訪問，并設(shè)計實現(xiàn)與計算規(guī)模及處理器配置相協(xié)調(diào)的并行輸出方案。負載均衡優(yōu)化分析測試模式內(nèi)部進程或模式之間并行策略及負載，對由于不同模擬時間、不同計算過程及過程內(nèi)計算量配置不均衡導(dǎo)致的各進程間出現(xiàn)的計算負載不均衡現(xiàn)象進行調(diào)整，對模式計算及數(shù)據(jù)訪問配比進行測試，調(diào)整數(shù)據(jù)訪問負載。定制優(yōu)化充分利用新系統(tǒng)計算資源優(yōu)勢，針對提供的處理器、交換網(wǎng)絡(luò)、內(nèi)存等硬件，作業(yè)調(diào)度管理、并行環(huán)境及編譯器等軟硬件特殊優(yōu)化方法，對模式進行定制優(yōu)化，同時考慮模式代碼的兼容性和可移植性?？茖W(xué)計算庫應(yīng)用對模式代碼采用的計算方法進行分析，選擇系統(tǒng)提供的通用計算函數(shù)庫替換，保障計算精度與模擬效果，并獲得更優(yōu)的計算性能，同時考慮模式代碼的兼容性和可移植性。微架構(gòu)層優(yōu)化模塊模塊概述結(jié)合不同系統(tǒng)處理器芯片架構(gòu)、編譯器及并行環(huán)境，對模式程序語言實現(xiàn)方法進行優(yōu)化，主要考慮循環(huán)結(jié)構(gòu)、數(shù)據(jù)結(jié)構(gòu)、函數(shù)調(diào)用等方面。模塊組成微架構(gòu)層優(yōu)化模塊由循環(huán)結(jié)構(gòu)、數(shù)據(jù)結(jié)構(gòu)、函數(shù)調(diào)用等功能組成。循環(huán)結(jié)構(gòu)優(yōu)化依據(jù)模式核心段的算法及其實現(xiàn)方法，選擇計算量集中的主要循環(huán)結(jié)構(gòu)進行展開、合并、分塊等優(yōu)化改造，使其充分利用流水線技術(shù)，保持連續(xù)訪存，提升計算效率。數(shù)據(jù)結(jié)構(gòu)優(yōu)化分析模式算法，根據(jù)程序?qū)崿F(xiàn)語言與編譯器版本及特性，采用結(jié)構(gòu)體、指針等高效數(shù)據(jù)結(jié)構(gòu)對程序代碼進行優(yōu)化，并精簡程序代碼，優(yōu)化內(nèi)存使用，提升計算效率。函數(shù)調(diào)用優(yōu)化對模式核心計算過程熱點函數(shù)調(diào)用出現(xiàn)的位置、調(diào)用路徑、調(diào)用頻次、函數(shù)體規(guī)模、實現(xiàn)功能等進行分析，采用算法改造減少函數(shù)調(diào)用次數(shù)、內(nèi)聯(lián)等技術(shù)進行優(yōu)化。結(jié)果驗證模塊模塊概述對模式優(yōu)化后的運行結(jié)果與原結(jié)果進行數(shù)值偏差的驗證、模擬效果是否合理的驗證并進行關(guān)鍵要素統(tǒng)計量計算。模塊組成結(jié)果驗證模塊由數(shù)值偏差驗證、模擬效果驗證、關(guān)鍵要素統(tǒng)計量驗證等功能組成。數(shù)值偏差驗證對模式優(yōu)化后的計算結(jié)果的數(shù)值與原結(jié)果之間進行比較，判斷是否存在差異或差異出現(xiàn)的位置、時間及量級，考慮接受程度，分析偏差存在的原因，并考慮相應(yīng)解決方案，盡量避免或減少差異。模擬效果驗證對模式優(yōu)化后的模擬結(jié)果與原結(jié)果進行比較，通過典型要素場空間形勢分布觀察二者是否存在偏差或偏差存在位置、時間及量級，考慮接受程度，分析偏差存在的原因，并考慮相應(yīng)解決方案，盡量避免或減少差異。關(guān)鍵要素統(tǒng)計量驗證對模式優(yōu)化后的模擬結(jié)果與原結(jié)果中關(guān)鍵要素進行相關(guān)系數(shù)等統(tǒng)計量的驗證。性能測試模塊模塊概述對優(yōu)化后的模式運行的穩(wěn)定性、計算性能和可擴展性進行測試，是否滿足需求，是否進一步優(yōu)化。模塊組成性能測試模塊由穩(wěn)定性測試、計算性能測試、可擴展性測試等功能組成。穩(wěn)定性測試模式進行多次運行，測試是否存在內(nèi)存泄露、測試數(shù)據(jù)復(fù)雜度、進程/線程靈活配置、不同并行規(guī)?？烧＝Y(jié)束,得到二進制相同的計算結(jié)果。模式進行長時間積分，可正常結(jié)束，得到合理結(jié)果。計算性能測試采用不同編譯選項，不同進程/線程配置，不同節(jié)點使用方式等多方面對模式計算性能進行測試，判斷其是否達到應(yīng)用需求，從中確定性能瓶頸，可作為進一步優(yōu)化的基礎(chǔ)信息?？蓴U展性測試模式在新系統(tǒng)節(jié)點滿負荷，多階梯測試不同并行規(guī)模運行，得到其在新系統(tǒng)的并行可擴展性，獲得最佳并行度，對影響可擴展性因素進行分析，可作為進一步優(yōu)化的基礎(chǔ)信息。技術(shù)性能指標模式移植子系統(tǒng)模式運行時效結(jié)果正確性業(yè)務(wù)模式在新系統(tǒng)上運行需要保證業(yè)務(wù)當前運行時效要求。表4.1.1模式運行時效要求序號業(yè)務(wù)應(yīng)用名稱運行時效★1全球同化預(yù)報系統(tǒng)（CMA-GFS）80分鐘/12800核★2中尺度天氣數(shù)值預(yù)報系統(tǒng)（CMA-MESO3KM）170分鐘/4096核3區(qū)域臺風(fēng)數(shù)值預(yù)報系統(tǒng)（CMA-TYM）80分鐘/4096核4全球集合預(yù)報系統(tǒng)（CMA-GEPS）180分鐘/1024核5區(qū)域集合預(yù)報系統(tǒng)（CMA-REPS）160分鐘/1024核6海浪數(shù)值預(yù)報系統(tǒng)25分鐘/128核7亞洲沙塵暴數(shù)值預(yù)報系統(tǒng)（CMA-CUACE-Dust）26分鐘/128核8化學(xué)天氣數(shù)值預(yù)報系統(tǒng)（CMA-CUACE-Haze）260分鐘/1280核9核應(yīng)急擴散模式30分鐘/128核★10次季節(jié)-季節(jié)-年際尺度一體化氣候模式預(yù)測業(yè)務(wù)系統(tǒng)（CMA-CPS）次季節(jié)：4個樣本各12小時/697核季節(jié)：21個樣本各48小時/697核正確性要求表4.1.2模式運行正確性要求序號業(yè)務(wù)科研應(yīng)用名稱分辨率正確性考核指標★1全球同化預(yù)報系統(tǒng)（CMA-GFS）12.5KM冬夏兩個季節(jié)的連續(xù)同化預(yù)報試驗，10天預(yù)報北半球500hPa高度場的ACC與現(xiàn)有派-曙光誤差小于3%★2中尺度天氣數(shù)值預(yù)報系統(tǒng)（CMA-MESO3KM）3KM夏季的同化預(yù)報試驗，2天預(yù)報降水評分與現(xiàn)有派-曙光誤差小于3%3區(qū)域臺風(fēng)數(shù)值預(yù)報系統(tǒng)（CMA-TYM）9KM夏季的同化預(yù)報試驗，5天預(yù)報臺風(fēng)路徑與強度評分與現(xiàn)有派-曙光誤差小于3%4全球集合預(yù)報系統(tǒng)（CMA-GEPS）50KM31成員冬夏兩個季節(jié)的預(yù)報試驗，10天預(yù)報北半球500hPa高度場集合平均的ACC與現(xiàn)有派-曙光誤差小于3%5區(qū)域集合預(yù)報系統(tǒng)（CMA-REPS）10KM15成員夏季的預(yù)報試驗，2天預(yù)報集合平均的降水評分與現(xiàn)有派-曙光誤差小于3%★6次季節(jié)-季節(jié)-年際尺度一體化氣候模式預(yù)測業(yè)務(wù)系統(tǒng)（CMA-CPS）年平均降水分布、表面溫度分布、海表溫度分布和北半球海冰密集度分布同基準值相對誤差絕對值<5%模式穩(wěn)定性要求★全球同化預(yù)報系統(tǒng)（CMA-GFS）12.5KM分辨率下冬夏兩個季節(jié)的連續(xù)同化預(yù)報試驗，穩(wěn)定性大于98%?！镏谐叨忍鞖鈹?shù)值預(yù)報系統(tǒng)（CMA-MESO）3KM分辨率下夏季的同化預(yù)報試驗，穩(wěn)定性大于98%。模式優(yōu)化子系統(tǒng)模式運行時效表4.2.2模式優(yōu)化后運行時效序號應(yīng)用名稱主模式運行時間★1全球同化預(yù)報系統(tǒng)（CMA-GFS）相同計算規(guī)模下，優(yōu)化后的主模式運行時間相較在派-曙光系統(tǒng)上減少30%以上★2中尺度天氣數(shù)值預(yù)報系統(tǒng)（CMA-MESO1KM）3區(qū)域臺風(fēng)數(shù)值預(yù)報系統(tǒng)（CMA-TYM）4全球集合預(yù)報系統(tǒng)（CMA-GEPS）5區(qū)域集合預(yù)報系統(tǒng)（CMA-REPS）★6次季節(jié)-季節(jié)-年際尺度一體化氣候模式預(yù)測業(yè)務(wù)系統(tǒng)（CMA-CPS）★7高精度可擴展數(shù)值天氣預(yù)報模式（MCV）正確性要求表4.2.2模式運行正確性要求序號業(yè)務(wù)科研應(yīng)用名稱分辨率正確性考核指標★1全球同化預(yù)報系統(tǒng)（CMA-GFS）12.5KM冬夏兩個季節(jié)的連續(xù)同化預(yù)報試驗，10天預(yù)報北半球500hPa高度場的ACC與現(xiàn)有派-曙光誤差小于3%★2中尺度天氣數(shù)值預(yù)報系統(tǒng)（CMA-MESO1KM）1KM夏季的同化預(yù)報試驗，2天預(yù)報降水評分與現(xiàn)有派-曙光誤差小于3%3區(qū)域臺風(fēng)數(shù)值預(yù)報系統(tǒng)（CMA-TYM）9KM夏季的同化預(yù)報試驗，5天預(yù)報臺風(fēng)路徑與強度評分與現(xiàn)有派-曙光誤差小于3%★4次季節(jié)-季節(jié)-年際尺度一體化氣候模式預(yù)測業(yè)務(wù)系統(tǒng)（CMA-CPS）年平均降水分布、表面溫度分布、海表溫度分布和北半球海冰密集度分布同基準值相對誤差絕對值<5%模式穩(wěn)定性要求★全球同化預(yù)報系統(tǒng)（CM