水工結(jié)構(gòu)數(shù)值仿真中的有限元分析研究綜述

1、水工結(jié)構(gòu)數(shù)值仿真中的有限元分析研究綜述隨著我國(guó)水利水電工程建設(shè)的向西推進(jìn)，在建或擬建超大規(guī)模大壩數(shù)量不斷增多，再加上西南山區(qū)復(fù)雜地質(zhì)條件、高地應(yīng)力的影響，復(fù)雜力學(xué)問(wèn)題求解分析的深入，水工結(jié)構(gòu)工程科學(xué)計(jì)算的瓶頸;日趨嚴(yán)重，傳統(tǒng)Von Neumann體系下計(jì)算機(jī)計(jì)算能力已不能滿(mǎn)足需求。即使將模型及算法簡(jiǎn)化，一次計(jì)算仍然需要幾小時(shí)、幾天乃至數(shù)十天的時(shí)間，嚴(yán)重制約著水利學(xué)科的發(fā)展。因此急需采用已在其他諸如氣象預(yù)報(bào)、分子動(dòng)力學(xué)、新藥研制等領(lǐng)域廣泛應(yīng)用的高性能并行計(jì)算，為水工結(jié)構(gòu)工程的數(shù)值仿真研究提供新的技術(shù)支撐。雖然并行計(jì)算自20世紀(jì)70年代起就已有學(xué)者研究，但其應(yīng)用于水工結(jié)構(gòu)數(shù)值仿真中的時(shí)間較晚。水工

2、問(wèn)題主要以有限元為分析方法，因而目前研究主要針對(duì)有限元展開(kāi)，并取得了一定成果。1水工有限元并行計(jì)算的3種策略在水工結(jié)構(gòu)工程中，有限元分析已成為不可或缺的方法。針對(duì)有限元的計(jì)算步驟，常用的有限元并行計(jì)算方法可以分為方程組并行求解、區(qū)域分解方法和EBE（Element-by-element）方法1.1.1方程組并行求解線(xiàn)性方程組是許多水工數(shù)值仿真問(wèn)題的核心。理論上，有限元分析最終都?xì)w結(jié)到求解線(xiàn)性方程組Ax=b,A為整體剛度矩陣，x為待求結(jié)點(diǎn)位移向量，b為區(qū)域荷載向量。對(duì)于線(xiàn)性的結(jié)構(gòu)力學(xué)分析，剛度矩陣A是對(duì)稱(chēng)正定的，而且往往是稀疏帶狀的。有限元計(jì)算過(guò)程中，方程組的求解占據(jù)了大部分計(jì)算時(shí)間。即使是對(duì)于

3、最簡(jiǎn)單的靜力分析，代數(shù)方程組的求解時(shí)間也占整個(gè)分析時(shí)間的70%以上，動(dòng)力分析則要占到90%以上2.因此，將上述方程組求解并行化成為提高計(jì)算效率的簡(jiǎn)單、有效方法。對(duì)于方程組Ax=b的并行求解，有兩方面工作需要做：一是并行計(jì)算剛度矩陣A的分解；二是并行求解相應(yīng)的三角形方程組，此部分較容易實(shí)現(xiàn)。對(duì)于矩陣A的分解，可以采用Cholesky分解。張健飛、姜弘道3研究了帶狀對(duì)稱(chēng)正定矩陣A在等帶寬存儲(chǔ)方式下的并行Cholesky分解算法，并采用提前發(fā)送（Send Ahead）的策略減少了通信時(shí)間。數(shù)值試驗(yàn)表明該算法具有較高的加速比和效率。但這種并行化的方法在計(jì)算過(guò)程中往往會(huì)引入大量的非零元素的填充，降低了矩

4、陣的稀疏性，同時(shí)對(duì)內(nèi)存需求也很大。當(dāng)計(jì)算量大時(shí)，采用分布式并行計(jì)算的數(shù)據(jù)交換量也大，因而限制了數(shù)值仿真問(wèn)題的規(guī)模。1.2區(qū)域分解由于在迭代過(guò)程中需要大量的數(shù)據(jù)交換，采用方程組并行求解會(huì)大大降低計(jì)算速度，導(dǎo)致并行效率的降低，尤其是在分布式內(nèi)存并行系統(tǒng)中。因而對(duì)于分布式內(nèi)存并行系統(tǒng)，采用區(qū)域分解算法有利于提升大型水工結(jié)構(gòu)仿真計(jì)算速度。區(qū)域分解算法（Domain Decomposition Meth-od）作為一種偏微分方程數(shù)值解的新技術(shù)在20世紀(jì)80年代驟然興起。它是為適應(yīng)并行計(jì)算機(jī)工作原理而生成的一種算法。在并行計(jì)算中，區(qū)域分解算法又被稱(chēng)為分而治之;策略，即將一個(gè)大型的計(jì)算問(wèn)題依據(jù)某種方法將其分

5、解成為許多個(gè)小問(wèn)題，再利用對(duì)應(yīng)多個(gè)并行機(jī)來(lái)求解這些小問(wèn)題，最終將問(wèn)題解決4.在水工數(shù)值仿真問(wèn)題中，通常將大壩、地基、水工閘門(mén)等規(guī)模較大的水工結(jié)構(gòu)建模，將有限元網(wǎng)格分解為若干子結(jié)構(gòu)，再在這些子結(jié)構(gòu)上進(jìn)行相應(yīng)的有限元計(jì)算，最后匯總得到整個(gè)模型的解。水工有限元計(jì)算問(wèn)題中，一個(gè)區(qū)域的系統(tǒng)方程為同時(shí)，相應(yīng)的荷載向量也按同樣原理進(jìn)行分解。這樣，式（1）的求解就可轉(zhuǎn)化到子區(qū)域上進(jìn)行，從而整個(gè)有限元計(jì)算就可并行求解。1.3 EBE方法進(jìn)行有限元計(jì)算時(shí)，采用方程組并行求解實(shí)現(xiàn)比較容易，但當(dāng)問(wèn)題規(guī)模增大時(shí)，內(nèi)存的需求也會(huì)相應(yīng)增大，此外還可能涉及內(nèi)外存交換技術(shù)，導(dǎo)致計(jì)算速度的降低；而區(qū)域分解方法往往只能在計(jì)算區(qū)域比

6、較規(guī)則且剖分的子結(jié)構(gòu)較好時(shí)才能獲得很高的并行效率。對(duì)于三維問(wèn)題，區(qū)域分解算法仍是一個(gè)沒(méi)有得到很好解決的問(wèn)題5.有限元EBE（element-by-element）方法則能很好地解決上述方法所面臨的問(wèn)題。它不進(jìn)行整體剛度矩陣和整體荷載向量的集成，所有計(jì)算均在單元一級(jí)上進(jìn)行，因此可以實(shí)現(xiàn)有限元整個(gè)計(jì)算過(guò)程的并行化5.對(duì)于一個(gè)水工有限元數(shù)值仿真問(wèn)題，在將求解區(qū)域進(jìn)行有限元網(wǎng)格離散化后，得到如下方程組：假設(shè)Ae與be為單元e對(duì)整個(gè)問(wèn)題的貢獻(xiàn)，因而它們具有和整體矩陣相同的維數(shù)，從而可將式（4）改寫(xiě)成：其中：Ae為僅在與單元e相關(guān)的位置元素才不為0的極度稀疏矩陣。在實(shí)際計(jì)算時(shí)，僅需存儲(chǔ)Ae的壓縮形式。同時(shí)

7、，邊界條件經(jīng)過(guò)處理也很容易施加到單元一級(jí)上。這樣，所有的計(jì)算均可在單元一級(jí)上相互獨(dú)立地進(jìn)行，這也就是EBE的基本思想。在求解過(guò)程中，需先對(duì)矩陣A進(jìn)行預(yù)處理。適用于EBE方法的預(yù)處理技術(shù)可分為兩類(lèi)：一類(lèi)是將對(duì)整體剛度矩陣的預(yù)處理技術(shù)應(yīng)用到共軛梯度法（CG）中，包括Jacobi預(yù)處理和多項(xiàng)式預(yù)處理；一類(lèi)是基于矩陣的分裂獲取一個(gè)A的近似來(lái)作為預(yù)處理矩陣。EBE并行求解時(shí)，具體的計(jì)算過(guò)程可歸納如下：1）對(duì)每一個(gè)單元，計(jì)算單元?jiǎng)偠染仃嚭拖鄳?yīng)的右端荷載向量，并施加邊界條件。2）采用基于EBE策略的預(yù)處理共軛梯度法（EBE-PCG）求解方程組，得到單元節(jié)點(diǎn)位移。3）利用單元節(jié)點(diǎn)位移計(jì)算單元應(yīng)變和應(yīng)力。4）單

8、元節(jié)點(diǎn)位移集成總體節(jié)點(diǎn)位移并輸出。其中，在采用EBE-PCG方法求解方程組時(shí)，各個(gè)處理器之間需要交換與邊界節(jié)點(diǎn)（各處理器間有關(guān)聯(lián)的節(jié)點(diǎn)）有關(guān)的數(shù)據(jù)，實(shí)現(xiàn)時(shí)可采用壓縮形式進(jìn)行傳輸。當(dāng)計(jì)算規(guī)模增大時(shí)，可以保證處理器間需交換的數(shù)據(jù)量不會(huì)隨之增大。2并行實(shí)現(xiàn)的方法2.1 PC網(wǎng)絡(luò)機(jī)群PC網(wǎng)絡(luò)機(jī)群主要是利用高速通訊網(wǎng)絡(luò)將一組高性能PC機(jī)按某種結(jié)構(gòu)連接起來(lái)，進(jìn)行統(tǒng)一調(diào)度、協(xié)調(diào)處理，從而實(shí)現(xiàn)高效并行計(jì)算。PC網(wǎng)絡(luò)機(jī)群具有可擴(kuò)展性、高性?xún)r(jià)比、用戶(hù)編程方便等特點(diǎn)。機(jī)群系統(tǒng)采用通用網(wǎng)絡(luò)連接，因而當(dāng)計(jì)算需要時(shí)易于擴(kuò)大機(jī)群規(guī)模。其次，PC機(jī)群采用廉價(jià)的PC機(jī)搭建而成，相對(duì)價(jià)格高昂的巨型機(jī)經(jīng)濟(jì)適用。此外，PC機(jī)群多采用

9、WINDOWS操作系統(tǒng)，因而科研人員在熟悉的編程環(huán)境下易于開(kāi)發(fā)調(diào)試并行計(jì)算程序，并進(jìn)行相應(yīng)問(wèn)題的求解?；谏鲜鎏攸c(diǎn)，在土木水利工程方面，許多科研人員搭建了PC網(wǎng)絡(luò)機(jī)群并進(jìn)行了并行計(jì)算在該領(lǐng)域的應(yīng)用研究。張友良等6利用100Mbps高速以太網(wǎng)絡(luò)聯(lián)結(jié)若干臺(tái)個(gè)人計(jì)算機(jī)搭建了并行系統(tǒng)平臺(tái)，在此平臺(tái)上基于消息傳遞機(jī)制的MPI系統(tǒng)進(jìn)行并行有限元程序開(kāi)發(fā)，對(duì)水布婭地下廠(chǎng)房三維模型進(jìn)行了模擬。茹忠亮等7搭建了PC機(jī)群，采用C+語(yǔ)言與MPI環(huán)境開(kāi)發(fā)了并行有限元計(jì)算程序，利用6臺(tái)計(jì)算機(jī)對(duì)247 871個(gè)單元的有限元模型進(jìn)行了并行求解，并行加速比達(dá)到5.26,驗(yàn)證了程序的可靠性和高效性。2.2高性能計(jì)算集群高性能計(jì)算集群又稱(chēng)分布存儲(chǔ)式并行計(jì)算系統(tǒng)，是由多個(gè)互相連接的獨(dú)立計(jì)算機(jī)組成的系統(tǒng)。有別于PC網(wǎng)絡(luò)機(jī)群，高性能計(jì)算集群主要是指由商業(yè)公司開(kāi)發(fā)的大型系統(tǒng)，如曙光集群、HP集群等。它 主 要 采 用Linux操 作 系 統(tǒng)，常 見(jiàn) 的 有SuSeLinux、Redhat Enterprise Linux等。在并行計(jì)算技術(shù)的發(fā)展過(guò)程中，基于X86架構(gòu)的服務(wù)器機(jī)群系統(tǒng)因其具備良好的可擴(kuò)展性、更高的