航空航天空氣動(dòng)力學(xué)高性能計(jì)算解決方案54

1、航空航天空氣動(dòng)力學(xué)高性能計(jì)算解決方案摘要：CFD高性能計(jì)算技術(shù)正在成為航空航天飛行器空氣動(dòng)力學(xué)設(shè)計(jì)過程中除風(fēng)洞試驗(yàn)以外最重要的方法，曙光公司在高性能計(jì)算領(lǐng)域的深厚積累能夠?yàn)橛脩籼峁┒喾N規(guī)模的集群系統(tǒng)解決方案。最新推出的TC2600刀片集群系統(tǒng)具有高性能、高可靠性、低能耗和低占地面積的優(yōu)勢、是符合“高效能計(jì)算”思想的最佳解決方案。1 概述傳統(tǒng)的飛行器氣動(dòng)布局設(shè)計(jì)主要依賴?yán)碚撗芯抗浪?、設(shè)計(jì)師的經(jīng)驗(yàn)以及大量的風(fēng)洞試驗(yàn)結(jié)果，風(fēng)洞試驗(yàn)是主要設(shè)計(jì)工具。計(jì)算機(jī)技術(shù)的迅猛發(fā)展推動(dòng)了航空空氣動(dòng)力學(xué)的革命。目前正在大力發(fā)展的計(jì)算流體力學(xué)將以突破對黏流流場物理現(xiàn)象的模擬能力為重點(diǎn)，尤其是精確預(yù)測流動(dòng)分離點(diǎn)和轉(zhuǎn)捩過程

2、以及湍流流動(dòng)。1.1. 國外發(fā)展概況美國美國在空氣動(dòng)力學(xué)研究與發(fā)展領(lǐng)域一直處于世界領(lǐng)先地位，在探索新概念飛行器、航空新技術(shù)、新研究和試驗(yàn)方法上也具有明顯優(yōu)勢。美國對空氣動(dòng)力學(xué)技術(shù)的投資堪稱世界第一，為促進(jìn)氣動(dòng)技術(shù)的發(fā)展，先后建造了一大批用于各類飛行器研制的氣動(dòng)力地面試驗(yàn)設(shè)施，現(xiàn)有高、低速搭配、尺寸配套的科研生產(chǎn)型風(fēng)洞70多座。長期以來，美國充分利用其處于世界先進(jìn)水平的計(jì)算機(jī)軟硬件技術(shù)優(yōu)勢，大力開展計(jì)算流體力學(xué)（CFD）技術(shù)研究，投資建立數(shù)值模擬中心，推廣CFD技術(shù)的工程應(yīng)用。特別是航空、航天飛行器的氣動(dòng)設(shè)計(jì)中，采用先進(jìn)的CFD技術(shù)使設(shè)計(jì)周期和成本大幅度降低，設(shè)計(jì)質(zhì)量迅速提高，飛機(jī)氣動(dòng)性能不斷改

3、進(jìn)。歐洲總體上講，歐洲，主要是德國、法國和英國在空氣動(dòng)力學(xué)發(fā)展研究方面稍遜于美國。由于經(jīng)濟(jì)原因，在高超聲速飛行器研究上，歐洲明顯落后于美國，但歐洲的氣動(dòng)試驗(yàn)設(shè)施在某些方面比美國先進(jìn)，比如歐洲的跨聲速風(fēng)洞，其試驗(yàn)?zāi)芰驮囼?yàn)效率明顯高于美國現(xiàn)有的風(fēng)洞。英國航空航天界人士認(rèn)為，目前空氣動(dòng)力學(xué)已達(dá)到非常先進(jìn)的階段，但還不成熟，業(yè)界未來的目標(biāo)應(yīng)該在于開發(fā)未來先進(jìn)的、快速的和適用的方法，用于設(shè)計(jì)可顯著改善氣動(dòng)效率和降低成本的機(jī)翼，為應(yīng)用行業(yè)帶來顯著的效益。CFD方法的研究進(jìn)展在其中應(yīng)保持優(yōu)先性，其研究的方向仍然是繼續(xù)提高計(jì)算精度和應(yīng)用能力，特別是在粘黏性和非定常流的模擬計(jì)算上。俄羅斯作為世界航空航天大國，

4、俄羅斯在空氣動(dòng)力學(xué)的理論研究和試驗(yàn)?zāi)芰Ψ矫嬉恢迸c美國并駕齊驅(qū)，特別是在基礎(chǔ)理論研究方面具有一定優(yōu)勢，但在計(jì)算流體力學(xué)方面進(jìn)展落后于美國。從美國與俄羅斯以及西歐與俄羅斯在氣動(dòng)技術(shù)研究發(fā)展方面的合作項(xiàng)目上可看出，俄羅斯主要提供新的設(shè)計(jì)思想和理論方法，而相應(yīng)的試驗(yàn)和計(jì)算軟件開發(fā)一般由美國或西歐承擔(dān)。中國新中國自建立以來，一直把發(fā)展航天航空技術(shù)放在作為國家戰(zhàn)略高度，在老一輩空氣動(dòng)力學(xué)專家的帶領(lǐng)下，中國在過去幾十年的時(shí)間里，在空氣動(dòng)力學(xué)方面的研究已經(jīng)取得了重大的研究成果，并直接使我國躋身航天航空大國之列。目前中國航天航空研發(fā)機(jī)構(gòu)主要包括三個(gè)部分：航天科技集團(tuán)和航天科工集團(tuán)下屬各研究院，如航天一院、二院、

5、三院、十一院等，其研究涉及飛行器設(shè)計(jì)、洲際導(dǎo)彈、載人航天等多個(gè)方面，是我國航天航空研究的主力軍。其次就是國防科工委下屬的各個(gè)重點(diǎn)高等院校，包括北京航空航天大學(xué)、西北工業(yè)大學(xué)、哈爾濱工業(yè)大學(xué)等，此外，清華大學(xué)、上海交通大學(xué)等國內(nèi)知名高校也紛紛開設(shè)了航天航空氣動(dòng)力學(xué)專業(yè)。我國軍用、民用飛機(jī)設(shè)計(jì)的主力軍無疑是國內(nèi)幾大飛機(jī)設(shè)計(jì)院：西飛、成飛、沈飛等，并且在我國已經(jīng)形成了陜西閻良、四川成都、遼寧沈陽、等幾個(gè)航空研發(fā)基地，近年來已經(jīng)開發(fā)出飛豹、殲10、空中加油機(jī)、支線飛機(jī)等高新技術(shù)產(chǎn)品，并在積極努力開發(fā)中國自主知識產(chǎn)權(quán)的大飛機(jī)設(shè)計(jì)。1.2. CFD方法發(fā)展與挑戰(zhàn)隨著CFD技術(shù)的迅猛發(fā)展及其在軍、民飛行器氣

6、動(dòng)力設(shè)計(jì)中的廣泛應(yīng)用，預(yù)測給定外形繞流的無粘CFD流場技術(shù)已非常成熟并成功應(yīng)用于先進(jìn)戰(zhàn)斗機(jī)的全機(jī)模擬中。一個(gè)典型的例子是，美國的F-22飛機(jī)在試飛時(shí)出現(xiàn)垂尾抖振現(xiàn)象，風(fēng)洞試驗(yàn)研究未能準(zhǔn)確確定其產(chǎn)生的根源，而CFD卻準(zhǔn)確預(yù)測出這是由于進(jìn)氣道產(chǎn)生的第二個(gè)分離渦拖出后掃到了垂尾造成的抖振，進(jìn)而使設(shè)計(jì)人員能據(jù)此采取相應(yīng)措施予以解決。CFD算法在19701985年期間發(fā)展迅速，之后發(fā)展相對平緩，特別是工程應(yīng)用進(jìn)展比較緩慢，僅僅是在提高計(jì)算解的速度上有了一定改進(jìn)。改善CFD算法不僅要求提高計(jì)算速度還需要增加計(jì)算精度，從CFD發(fā)展歷史看，改善計(jì)算精度往往是以成倍增加計(jì)算時(shí)間為代價(jià)的。因此，必須均衡發(fā)展，提高

7、計(jì)算精度而不增加時(shí)間是未來CFD算法的挑戰(zhàn)。CFD發(fā)展的最終目的是不用進(jìn)行昂貴的地面試驗(yàn)和飛行試驗(yàn)就能驗(yàn)證新的技術(shù)或新的飛機(jī)概念，能夠成為設(shè)計(jì)師在經(jīng)濟(jì)可承受性范圍內(nèi)精確預(yù)測氣動(dòng)力、力矩和載荷的可靠工具。達(dá)到這一能力的主要障礙是對黏流流場物理現(xiàn)象的模擬能力，尤其是精確預(yù)測流動(dòng)分離點(diǎn)和轉(zhuǎn)捩過程以及湍流流動(dòng)。隨著CFD在空氣動(dòng)力設(shè)計(jì)中越來越重要的工具作用，出現(xiàn)了對風(fēng)洞試驗(yàn)不正確的認(rèn)識，甚至有人認(rèn)為，未來在氣動(dòng)設(shè)計(jì)中CFD可以取代風(fēng)洞試驗(yàn)。但事實(shí)證明這種認(rèn)識是錯(cuò)誤的。調(diào)查表明，在CFD應(yīng)用于飛機(jī)設(shè)計(jì)前，隨著新型號飛機(jī)復(fù)雜程度的增加，需求的風(fēng)洞試驗(yàn)小時(shí)數(shù)增長很快，有了CFD后增長率趨于平緩，但仍不可能少

8、于10000小時(shí)，而且對于高度復(fù)雜的先進(jìn)軍用飛機(jī)來說，需要的風(fēng)洞試驗(yàn)小時(shí)數(shù)將更為可觀。例如，美國在發(fā)展第四代先進(jìn)戰(zhàn)斗機(jī)F-22過程中，在1991年到1996年5年間，利用23種模型在15座不同類型的風(fēng)洞進(jìn)行了75項(xiàng)試驗(yàn)，累積17689小時(shí)。此外在原型機(jī)YF-22的演示/驗(yàn)證階段進(jìn)行了19195小時(shí)的氣動(dòng)布局風(fēng)洞試驗(yàn)，在預(yù)先演示/驗(yàn)證階段還進(jìn)行了7005小時(shí)的風(fēng)洞，合計(jì)共進(jìn)行了43889小時(shí)的風(fēng)洞試驗(yàn)。風(fēng)洞試驗(yàn)不可或缺的關(guān)鍵原因是由于現(xiàn)代飛機(jī)涉及多學(xué)科的綜合，一些復(fù)雜的干擾現(xiàn)象根本無法用CFD來模擬，所以CFD難以取代風(fēng)洞的作用，但對于衍生型飛機(jī)設(shè)計(jì)，CFD則可以顯著降低風(fēng)洞試驗(yàn)小時(shí)。 2 方案

9、曙光公司作為國內(nèi)頂尖的高性能計(jì)算系統(tǒng)供應(yīng)商，多年來致力于為我國航空航天界提供優(yōu)秀的高性能計(jì)算解決方案，推動(dòng)國內(nèi)空氣動(dòng)力學(xué)數(shù)值模擬研究的發(fā)展，曙光高性能計(jì)算機(jī)在載人航天、衛(wèi)星測控、天文觀測、導(dǎo)彈研發(fā)、航空發(fā)動(dòng)機(jī)設(shè)計(jì)、軍用民用飛機(jī)設(shè)計(jì)等航空航天領(lǐng)域大量應(yīng)用，為國家天文臺、紫金山天文臺、北京衛(wèi)星控制指揮中心、酒泉衛(wèi)星發(fā)射中心、西安衛(wèi)星發(fā)射中心等提供專業(yè)服務(wù)。曙光超級計(jì)算機(jī)參與了“神舟五號”、“神舟六號”載人飛船從發(fā)射到回收的全過程，在目標(biāo)軌道計(jì)算、空間碎片定軌計(jì)算、控制飛船入軌、發(fā)射氣象氣候監(jiān)測、飛船發(fā)射窗口分析等方面發(fā)揮重要作用。目前曙光公司的高性能計(jì)算解決方案包括天潮4000A、天潮4000L和

10、天潮4000W，它們都采用集群架構(gòu)。毫無疑問，集群技術(shù)極大的推動(dòng)了高性能計(jì)算的發(fā)展，從2002年開始，無論是集群的數(shù)量還是集群的銷售額都獲得了快速增長，目前已經(jīng)成為了高性能計(jì)算的主流體系結(jié)構(gòu)，在國內(nèi)TOP100中占有90%以上的分額。然而集群的發(fā)展正面臨著越來越多的挑戰(zhàn)，據(jù)IDC的一份統(tǒng)計(jì)報(bào)告指出，集群系統(tǒng)的東電和散熱已經(jīng)成為制約其發(fā)展的首要問題，其次是系統(tǒng)可管理能力。不斷增長的計(jì)算需求使得高性能集群系統(tǒng)的占地面積和功耗越來越大，以上海超算為例，500多個(gè)計(jì)算節(jié)點(diǎn)占地面積達(dá)到一個(gè)籃球場大小，每年的電費(fèi)也高達(dá)幾百萬元。實(shí)際上，國內(nèi)大多數(shù)用戶正在面臨著買的起用戶不起的尷尬局面。2007年5月份，曙

11、光公司轉(zhuǎn)為百萬億次高性能計(jì)算機(jī)曙光5000研發(fā)的核心節(jié)點(diǎn)機(jī)系統(tǒng)TC2600刀片服務(wù)器正式發(fā)布，以TC2600為核心，結(jié)合曙光4000系列集群技術(shù)的成為最符合“高效能計(jì)算”思想的解決方案?！案咝苡?jì)算”隨著高性能計(jì)算向高性能服務(wù)轉(zhuǎn)變，超級計(jì)算機(jī)系統(tǒng)追求的目標(biāo)也將從“高性能”(High Performance)走向“高效能”(High Productivity)。即超級計(jì)算機(jī)的研發(fā)重視系統(tǒng)的實(shí)際效率，可靠性、可用性、好用性，努力提高單位面積的性能，降低單位面積的功耗和造價(jià)；更加重視高端計(jì)算的總體擁有成本(應(yīng)用系統(tǒng)生命周期內(nèi)的成本+擁有/獲得成本)；愈來愈復(fù)雜的高端系統(tǒng)需要自動(dòng)化、人性化的環(huán)境支撐(

12、系統(tǒng)的自管理、自配置、自優(yōu)化和自愈性等)。曙光刀片服務(wù)器正是基于這一理念進(jìn)行設(shè)計(jì)的。 優(yōu)異的系統(tǒng)平衡架構(gòu)設(shè)計(jì) TC2600刀片服務(wù)設(shè)計(jì)之初，充分分析了機(jī)架式機(jī)群系統(tǒng)以及市場十幾款廠家的刀片服務(wù)器產(chǎn)品，對其架構(gòu)的優(yōu)缺點(diǎn)進(jìn)行分析，進(jìn)行了詳細(xì)的功率計(jì)算，對CPU、硬盤內(nèi)存發(fā)展趨勢進(jìn)行分析，對目前主流高速互連技術(shù)進(jìn)行分析，采用7U10片的系統(tǒng)架構(gòu)，同時(shí)保證計(jì)算密度同系統(tǒng)I/O帶寬、散熱能力等方面的平衡設(shè)計(jì)。 在背板帶寬和延遲方面，是刀片服務(wù)器性能瓶頸。而在曙光刀片服務(wù)器系統(tǒng)中，整個(gè)刀片背板總帶寬為950Gb，信號延遲為納秒級，大大提高了計(jì)算系統(tǒng)帶寬并降低延遲，很好的實(shí)現(xiàn)了計(jì)算能力同I/O能力的平衡問題

13、。同時(shí)，創(chuàng)新的把PCI-E總線引入背板。因?yàn)楸嘲逍盘枮镻CI-E，在背板的后端，可以根據(jù)系統(tǒng)需要靈活的設(shè)計(jì)各種高速交換設(shè)備，比如InfiniBand交換、Myrinet交換、ASIC交換、FC交換等。 在處理器計(jì)算能力上，目前推出的產(chǎn)品對每個(gè)刀片支持兩個(gè)雙核或四核心AMD Opteron處理器，在每個(gè)機(jī)柜內(nèi)可以實(shí)現(xiàn)最多80個(gè)處理器核心的計(jì)算能力，浮點(diǎn)峰值計(jì)算能力最高可以達(dá)到8000億次每秒/刀片機(jī)箱（采用2.5GHz主頻的四核Barcalona處理器）！節(jié)能設(shè)計(jì)提高能耗比 為降低功耗，曙光刀片服務(wù)器采用先進(jìn)的多渠道節(jié)能技術(shù)，主要體現(xiàn)在3個(gè)層面： l 根據(jù)實(shí)時(shí)功耗確定工作電源個(gè)數(shù)，使電源工作在最

14、佳效率曲線上。 l 結(jié)合AMD領(lǐng)先的“PowerNow”技術(shù)修改計(jì)算刀片操作系統(tǒng)內(nèi)核，實(shí)現(xiàn)節(jié)能。 l 專用散熱通道和自適應(yīng)的風(fēng)扇設(shè)計(jì)降低散熱能耗需求，保證系統(tǒng)散熱和計(jì)算密度達(dá)到平衡。 高性能的Infiniband模塊設(shè)計(jì)曙光TC2600刀片主要面向大規(guī)模集群計(jì)算市場，除了內(nèi)嵌的千兆交換機(jī)模塊和PassThrough模塊外，還可以提供對20G高速Infiniband網(wǎng)絡(luò)的支持。曙光IB模塊和IBM、HP等公司的做法不同，在該模塊內(nèi)集成了10個(gè)HCA卡芯片和1塊24口交換機(jī)芯片，無須為每個(gè)刀片再配置HCA子卡，集成度更高，由于全部自主設(shè)計(jì)，較傳統(tǒng)的利用HCA子卡+外置交換機(jī)的方式具有更低的成本。創(chuàng)

15、新的IOE擴(kuò)展模塊I/O擴(kuò)展能力一直以來都是刀片服務(wù)器的一大詬病，刀片服務(wù)器產(chǎn)品在需要擴(kuò)展其它插件的時(shí)候，一般都借助于主板子卡的擴(kuò)展形式，而且只能進(jìn)行單一功能的擴(kuò)展。曙光TC2600創(chuàng)新性的I/O擴(kuò)展模塊打破了一直以來刀片服務(wù)器I/O擴(kuò)展方式的限制。TC2600為每個(gè)刀片獨(dú)立配置了PCI-E擴(kuò)展插槽，能夠兼容網(wǎng)卡、FC HBA、iSCSI HBA、Infiniband HCA等業(yè)界絕大部分PCI-E板卡，為刀片服務(wù)器系統(tǒng)的I/O擴(kuò)展提供了更為靈活的選擇。方案選擇曙光TC2600刀片服務(wù)器單機(jī)柜內(nèi)典型配置可以支持80個(gè)并行計(jì)算核心和80GB內(nèi)存，可以支持最多8000萬網(wǎng)格單元的空氣動(dòng)力學(xué)CFD模

16、擬（顯式求解或分離求解）。以Fluent軟件為例，下表給出了不同計(jì)算模式下計(jì)算模型對系統(tǒng)硬件資源主要是內(nèi)存的需求：算法segregated implicitcoupled implicitcoupled implicit燃燒coupled explicit燃燒coupled explicit百萬網(wǎng)格內(nèi)存需求2.4 GB6.5GB甚至更多，依賴于燃燒反應(yīng)復(fù)雜度1GB在系統(tǒng)內(nèi)存能夠容納計(jì)算模型的前提下，處理器的數(shù)量和性能影響到計(jì)算的快慢，如某計(jì)算模型耗用的內(nèi)存為16GB，可以用1個(gè)16GB內(nèi)存的雙路節(jié)點(diǎn)計(jì)算，也可以用2個(gè)8GB內(nèi)存的雙路節(jié)點(diǎn)或4個(gè)4GB內(nèi)存的雙路節(jié)點(diǎn)，多數(shù)情況下計(jì)算速度會(huì)隨著節(jié)點(diǎn)數(shù)

17、量的增加而大幅度提高。如下圖所示，F(xiàn)luent在TC2600刀片服務(wù)器上有著很好的加速比。對于Fll1，從4-16CPU加速比達(dá)到線速；對于Fll2和Fll3，由于題目規(guī)模較大，從4-32CPU都保持線速（其中Fll3需要4GB以上內(nèi)存，無法運(yùn)行在1個(gè)節(jié)點(diǎn)上）。因此，應(yīng)該從內(nèi)存和處理器兩個(gè)層面來綜合考慮一個(gè)計(jì)算模型應(yīng)該選用哪種規(guī)模的硬件配置。我們以大、中、小三種規(guī)模準(zhǔn)備了3套基于TC2600刀片服務(wù)器的集群方案供用戶選擇：規(guī)模配置小1個(gè)BladeEngine刀片機(jī)箱，配置2個(gè)4端口千兆交換機(jī)模塊；4-10個(gè)CPU Blade計(jì)算刀片，配置雙路AMD雙核或四核處理器、1GB內(nèi)存/CPU核心、SA

18、TA2硬盤中2-6個(gè)BladeEngine刀片機(jī)箱，配置1個(gè)4端口千兆交換機(jī)模塊和1個(gè)10端口千兆PassThrough模塊；16-60個(gè)CPU Blade計(jì)算刀片，配置雙路AMD雙核或四核處理器、1GB內(nèi)存/CPU核心、SATA2硬盤或SAS硬盤1個(gè)A620r-F管理存儲(chǔ)節(jié)點(diǎn)1套千兆計(jì)算網(wǎng)線速交換交換機(jī)連接刀片機(jī)箱的Passthrough模塊1套千兆管理網(wǎng)交換機(jī)連接刀片機(jī)箱的交換機(jī)模塊大7-14個(gè)BladeEngine刀片機(jī)箱，配置1個(gè)4端口千兆交換機(jī)模塊；64-140個(gè)CPU Blade計(jì)算刀片，配置雙路AMD雙核或四核處理器、1GB內(nèi)存/CPU核心、SATA2硬盤或SAS硬盤2個(gè)A620r-F管理存儲(chǔ)節(jié)點(diǎn)96-144端口