高性能計算中心NXNastran部署和客戶案例分享課件

1、高性能計算中心NX Nastran部署和客戶案例分享wangzongle.NX Nastran并行計算能力和方法客戶并行計算案例介紹NX Nastran在高性能計算中心的部署NX Nastran并行計算未來發(fā)展Agenda.NX Nastran并行計算能力和方法客戶并行計算案例介紹NX Nastran在高性能計算中心的部署NX Nastran并行計算未來發(fā)展AgendaDMP (分布式并行計算)優(yōu)勢更少的計算時間更少的硬件資源需求硬件環(huán)境工作集群 多處理器、多I/O通道工程問題 非常大型的有限元模型非常寬泛的頻率范圍要求利用模型分割方法進(jìn)行并行計算幾何分割、頻率分割、或者同時和SMP（共享內(nèi)存

2、式并行）比較硬件環(huán)境分布式內(nèi)存跨越多個工作站 (cluster) vs.單機(jī)多核工作站，共享內(nèi)存運(yùn)行級別 高階: 模型分割方法 vs.低階: 分割矩陣和向量計算軟件機(jī)制信息傳輸機(jī)制MPI vs.進(jìn)程，系統(tǒng)調(diào)用擴(kuò)展性多CPU ( 2 to 256) vs.少CPU ( 2 to 8 )vs.DMP 靜態(tài)計算GDStat分割幾何模型為多個部分在互相關(guān)聯(lián)的各部分內(nèi)部進(jìn)行計算分割原則是在各部分之間最少的邊界各部分的計算結(jié)果通過MPI進(jìn)行通訊 LDStat分割方程右面的載荷向量模型包括大量的載荷條件的時候、可以加速計算任務(wù)DMP 模態(tài)計算GDModes對幾何模型分塊 FDModes 對計算頻率范圍分塊在

3、互相關(guān)聯(lián)的頻率范圍內(nèi)部進(jìn)行計算HDModes按照交叉原則，同時進(jìn)行幾何分塊和頻率范圍分塊RDModes 利用遞歸分塊將系統(tǒng)矩陣分為多個層級的子結(jié)構(gòu)和其他方法不同，由于子結(jié)構(gòu)的縮減，模態(tài)計算結(jié)果有些許變化典型DMP應(yīng)用場景LDStat 航空航天系統(tǒng) 通常具備100-1000種載荷工況計算要求 GDModes 白車身 主要由殼網(wǎng)格組成的復(fù)雜結(jié)構(gòu)模型FDModes 白車身及動力總成 頻率范圍非常寬泛，要求模態(tài)數(shù)量足夠多HDModes/RDModes 白車身及動力總成 可以接受近似計算結(jié)果 NX Nastran遞歸模態(tài)加速計算計算選項(xiàng)dmp 參與計算的處理器的數(shù)量設(shè)計dmp=1 進(jìn)行串行計算、計算效率

4、比傳統(tǒng)的模態(tài)計算速度要快nrec分割子結(jié)構(gòu)的數(shù)量最好是2的指數(shù)，例如2,4,128,256，默認(rèn)為nrec=1，自動選擇rdscale子結(jié)構(gòu)模態(tài)范圍系數(shù)默認(rèn)為 2.0; 子結(jié)構(gòu)計算頻率范圍是整個模型頻率范圍的2倍；增加該系數(shù)，提高計算精度，降低計算速度RDSPARSE parameter控制是否采用稀疏矩陣進(jìn)行響應(yīng)計算的數(shù)據(jù)恢復(fù)，默認(rèn)為YES如果只需要對一小部分關(guān)注點(diǎn)進(jìn)行響應(yīng)結(jié)果計算，稀疏矩陣數(shù)據(jù)恢復(fù)非常有效RDModes 計算白車身模型Model Description1.3M grid points1,2M elements6.5M degrees of freedomSolution S

5、ettingsModes 0 300 Hz (about 1000 modes)Full eigenvalue recoveryNREC = 512RDSCALE = 2.0Cluster SystemSiemens HP ClusterLinux OS64 CPUsUC Berkeley Cluster900 CPUsRDModes 計算白車身模型CPU Time Savings Using More ProcessorsRuns performed on UC Berkeley ClusterRDModes 計算白車身模型Computational Cost for Solving for

6、 More ModesRuns performed on Siemens HP Cluster using 64 processorsSolving for more modes only marginally adds to computational cost. RDModes 計算白車身模型稀疏矩陣數(shù)據(jù)恢復(fù)輸出結(jié)構(gòu)只在部分響應(yīng)位置時，此方法效率最高前端矩陣分割以及后端模態(tài)振型分割結(jié)構(gòu)提高響應(yīng)計算效率根據(jù)輸出請求，自動選擇稀疏矩陣恢復(fù) SOURCE: NAFEMS (2014, Americas Conference)快速頻率響應(yīng)分析快速模態(tài)法頻率響應(yīng)分析當(dāng)結(jié)構(gòu)阻尼矩陣屬于低階矩陣時特別有

7、效當(dāng)結(jié)構(gòu)阻尼定義在少量單元上時特別有效快速直接法頻率響應(yīng)分析迭代求解 PvL (Pad via. Lanczos)當(dāng)響應(yīng)需要在大量頻率點(diǎn)上計算時相對標(biāo)準(zhǔn)方法計算頻率響應(yīng)-65%-9%NX Nastran首席算法科學(xué)家Dr. Louis Komzsik Siemens PLM Chief Numerical Analyst.NX Nastran并行計算能力和方法洛陽613客戶并行計算案例介紹NX Nastran在高性能計算中心的部署NX Nastran并行計算未來發(fā)展AgendaNX Nastran支持并行計算操作系統(tǒng)Platform (Build Types) Supported 64-bit

8、 Operating Systems - -INTEL Windows Win Server 2008 R2 Win Server 2012 R2 Windows 7 SP1 Windows 8.1 Windows 10X86_64 Linux SUSE SLES 11 SP1(Opteron/Xeon) SUSE SLES 11 SP4 SUSE SLES 12 SUSE SLES 12 SP2 Red Hat ES 6.2 Red Hat ES 6.9 Red Hat ES 7.0 Red Hat ES 7.4 Centos 6 Centos 7.3Linux平臺NX Nastran軟件安

9、裝利用NX Nastran進(jìn)行跨節(jié)點(diǎn)的并行計算，需要按照以下方式進(jìn)行軟件安裝： 安裝NX Nastran程序在全局文件系統(tǒng)，該文件系統(tǒng)對每一個節(jié)點(diǎn)都是一樣的，這是目前最容易的安裝方式，缺點(diǎn)是數(shù)據(jù)交換壓力較大，需要采用高速網(wǎng)絡(luò)，否則數(shù)據(jù)交換影響并行計算的效率； 安裝NX Nastran程序在每一個參與計算的節(jié)點(diǎn)，每一個節(jié)點(diǎn)具備自己的文件系統(tǒng)。缺點(diǎn)就是安裝和管理困難，但是網(wǎng)絡(luò)數(shù)據(jù)交換容易. 前述兩種的混合安裝方式. 注意: 不管哪種安裝方式，啟動nastran命令的目錄必須是完全一樣的，或者在每一個節(jié)點(diǎn)的PATH環(huán)境變量定義一樣的目錄.Linux操作系統(tǒng)安裝前提從NX nastran9.1版本開始

10、，在linux操作系統(tǒng)運(yùn)行Nastran計算需要安裝libnuma.so.1 ，該服務(wù)包含在下面軟件包：. For Redhat EL, the package is numactl. For SuSE Enterprise, the package is libnuma1.計算機(jī)架構(gòu)區(qū)分SMP硬件架構(gòu)DMP硬件架構(gòu)每個節(jié)點(diǎn)有自己的CPU,memory,disk數(shù)據(jù)互不干擾，可以單獨(dú)運(yùn)行通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換易于擴(kuò)展memory，disk單機(jī)具備多個CPU，共享內(nèi)存和I/O總線多個CPU可以單獨(dú)運(yùn)行，但是所有操作其他CPU可見不容易擴(kuò)展無法并行常見原因：Rsh、rcp/ssh、scp基于網(wǎng)絡(luò)安全

11、，目前很多用戶的系統(tǒng)環(huán)境設(shè)置為SSH/SCP功能實(shí)現(xiàn)各節(jié)點(diǎn)之間的無密碼訪問；如果要在SSH/SCP環(huán)境實(shí)現(xiàn)DMP并行計算，那么需要使用IntelMPI才能實(shí)現(xiàn)并行，而在LAM環(huán)境無法實(shí)現(xiàn)并行計算；原因：目前在Nastran的安裝文件默認(rèn)支持rsh、rcp，如果在運(yùn)行SSH/SCP的系統(tǒng)環(huán)境，無法運(yùn)行DMP并行計算任務(wù)，也無法通過遠(yuǎn)程節(jié)點(diǎn)運(yùn)行任務(wù)。運(yùn)行環(huán)境設(shè)置：你可以無密碼訪問任何參與計算的節(jié)點(diǎn)，而不需要輸入密碼，例如你輸入如下命令rsh -1 date 應(yīng)該馬上得到輸出結(jié)果為： Thu STP 17 13:06:49 EST 2018 解決方法：a. The environment varia

12、ble MPI_REMSH is set to ssh. b. The argument s.rsh=ssh is included on the nastran command line. c. The argument s.rcp=scp is included on the nastran command line. 無法并行常見原因：Infiniband互聯(lián)網(wǎng)絡(luò)協(xié)議如果用戶的各節(jié)點(diǎn)采用infiniband互聯(lián)網(wǎng)格，那么nastran運(yùn)行DMP運(yùn)行并行需要采用IntelMPI并行機(jī)制；如果采用LAMMPI機(jī)制，那么無法啟動并行計算 原因：lmp7.1才能支持infiniband互聯(lián)網(wǎng)協(xié)議

13、，而目前nastran并行命令（analysis.dmp）所編譯包括的mpi library屬于lam7.0.4，所以無法支持infiniband網(wǎng)絡(luò)解決辦法：升級lammpi到最新版本，從而支持現(xiàn)有infiniband網(wǎng)絡(luò)利用hpmpi并行計算協(xié)議，可以實(shí)現(xiàn)在infiniband網(wǎng)絡(luò)運(yùn)行DMPWindows單機(jī)版運(yùn)行DMP命令NX Nastran12開始，用戶不再需要進(jìn)行環(huán)境設(shè)置，可以直接在單機(jī)包括多核的系統(tǒng)運(yùn)行DMP命令，前提是系統(tǒng)安裝MPI服務(wù)功能；.NX Nastran并行計算能力和方法客戶并行計算案例介紹NX Nastran在高性能計算中心的部署NX Nastran并行計算未來發(fā)展A

14、genda高性能中心架構(gòu)圖安裝高性能計算硬件：1、胖節(jié)點(diǎn)：3臺其中圖形顯示節(jié)點(diǎn)，進(jìn)行結(jié)果的處理和顯示操作1臺兩臺進(jìn)行NX Nastran并行計算任務(wù)和熱流并行計算任務(wù)熱流并行計算安裝linux版本NX11軟件NX Nastran11安裝Windows版本求解器軟件2、計算中心硬件配置采用刀片配置16*8核數(shù)3、本地客戶端采用Xmanager進(jìn)行數(shù)據(jù)傳輸和任務(wù)提交，通過胖節(jié)點(diǎn)進(jìn)行DMP任務(wù)執(zhí)行高性能計算中心架構(gòu)機(jī)房硬件中心配置計算中心NX Nastran程序運(yùn)行結(jié)果NX Nastran并行計算程序安裝1、安裝企業(yè)版linux計算程序到刀片集群2、安裝胖節(jié)點(diǎn)獨(dú)立版計算程序3、安裝linux版本NX

15、軟件，進(jìn)行熱流并行計算4、匹配PBS進(jìn)行任務(wù)調(diào)度和資源管理批處理任務(wù)監(jiān)控集群式求解任務(wù)提交共享文件夾CAE 結(jié)果JT展示后處理獲取數(shù)據(jù)準(zhǔn)備數(shù)據(jù)理想化數(shù)據(jù)更新數(shù)據(jù)前處理數(shù)據(jù)解算數(shù)據(jù)后處理數(shù)據(jù)報表報告與PBS Pro 計算管理軟件平臺集成可配置本地解算器計算啟動可配置實(shí)現(xiàn)遠(yuǎn)程解算器計算啟動高性能計算平臺集成并行計算NX Nastran應(yīng)用推廣Linear ModalDynamicsNonlinearAeroelasticityLaminate CompositesAcousticsNVHOptimizationRotor DynamicsParallel ProcessingThermalCust

16、omSolutionsMulti-physicsNASTRANSuperelementsConnection ModelingOpen EnvironmentDurabilityOptimizationCorrelationAcoustics.NX Nastran并行計算能力和方法客戶并行計算案例介紹NX Nastran在高性能計算中心的部署NX Nastran并行計算未來發(fā)展Agenda云 可以配置計算資源的共享池美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）定義：云計算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問， 進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用

17、軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。Managed by vendorYou manageStorageServersNetworkingO/SMiddlewareVirtualizationApplicationsRuntimeDataManaged by vendorStorageServersNetworkingO/SMiddlewareVirtualizationApplicationsRuntimeDataStorageServersNetworkingMiddlewareVirtualizationDataApplicatio

18、nsRuntimeManaged by vendorYou manageO/S云服務(wù)的模式Platform(as a Service)Software(as a Service)Infrastructure(as a Service)Increasing Cloud ServicesTraditional Compute Configuration(not cloud based) StorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYou manageSiemens PLM Software Cl

19、oud FrameworkSaaS Configurations程序: NX Nastran用戶不需要購買軟件許可Rescale 云端提供此類服務(wù)按需付費(fèi)適合所有類型的企業(yè)PaaS Configurations(BYOL Bring Your Own License)程序: NX Nastran用戶采購軟件許可Rescale 云端提供此類服務(wù)利用數(shù)據(jù)通道，Rescale允許用戶按需獲取許可適合所有類型的企業(yè)IaaS Configurations程序: Teamcenter and all NX Products用戶采購軟件許可，包括云服務(wù)許可經(jīng)過驗(yàn)證的云服務(wù)商 (Amazon)特別適合大企業(yè)通

20、過西門子或者代理商購買許可永久許可/年度維護(hù); 或者按月/年租用 許可在公司內(nèi)部管理和維護(hù)傳統(tǒng) NX Nastran 商業(yè)模式傳統(tǒng)永久或者預(yù)訂許可通過西門子或者代理商購買許可永久許可/年度維護(hù); 或者按月/年租用 許可在公司內(nèi)部管理和維護(hù)新的NX Nastran 許可模式按使用小時付費(fèi)通過Rescale購買并行計算（一次可以計算多個任務(wù)）如果進(jìn)行DOE計算，可以優(yōu)惠根據(jù)使用時間付費(fèi)1-12月通過Rescale購買串行計算（一次計算一個任務(wù)）價格類似于從西門子預(yù)訂許可的費(fèi)用PaaS(BYOL)SaaS永久或者預(yù)訂許可SaaS 按月預(yù)訂SaaS 按需付費(fèi)BYOL 自己購買的許可管理模式使用已經(jīng)購買的NX Nastran許可，增加計算資源的靈活性利用Rescale平臺在內(nèi)部，后者外部使用自己的許可提供安全通道連接Rescale到你的服務(wù)許可管理站點(diǎn)利用云平臺的計算資源，高效的計算你的仿真任務(wù)All types of NX Nastran solutions supportedSecure SSH tunnel for License Check In-Out用戶內(nèi)部網(wǎng)絡(luò)EngineerDesktopFlex LMLicense