基于hpf的并行編譯系統(tǒng)的研究與應用

基于hpf的并行編譯系統(tǒng)的研究與應用

并行處理技術隨著油氣勘探和地震勘探開發(fā)的深入，地震數(shù)據的采集量變得越來越大（最新的高分辨率勘探可以達到幾十億兆到數(shù)百億兆兆）。當然，這僅僅是輸入數(shù)據，處理過程中還會增加更多的中間數(shù)據，加上地震資料處理本身是一個十分復雜的處理過程，這使得最終完成地震資料處理、得到高質量的解釋成果所需的計算量大大增加。因此，地震資料科學的、大規(guī)模的并行處理已變得越來越迫切。并行處理簡單地說就是用多臺處理機共同完成某一處理任務。根據存儲方式不同，高性能的并行計算模式可以分為共享存儲和分布存儲兩種方式。其中，共享存儲的編程標準有Open-MP、X3H5、POSIX等。但由于共享存儲要求存儲地址統(tǒng)一編址，硬件成本較高，系統(tǒng)可擴展性不強。因此，目前用得最多，同時代表今后發(fā)展趨勢的是分布存儲方式。分布存儲有消息傳遞并行和數(shù)據并行兩種方式，典型的編程語言為消息傳遞界面MPI(MessagePassingInterface）、并行虛擬機PVM(ParallelVirtualMachine）和HPF(HighPerformanceFortran）。不同于MPI和PVM,HPF是在FORTRAN90基礎上發(fā)展起來的一種數(shù)據并行語言。1993年經HPFF論壇推出后，目前世界上許多著名的公司、高校和研究單位均在致力于這方面的研究。由于HPF具有程序改寫方便、書寫格式自由、可移植性好、可擴展性強等特點，非常適合于大規(guī)模的工業(yè)開發(fā)和應用。文章即是利用國家863項目等高科技成果，在合作開發(fā)的、基于HPF的、以Linux為操作系統(tǒng)的微機群上，實現(xiàn)了地震資料的并行處理，并已取得很好的應用效果。1hpf的內部結構和技術支持1.1phpf2.0概述HPF是1992-1993由HPF論壇開發(fā)的一個規(guī)范。1993年5月，HPF推出第一版本HPF1.0,1996年10月形成第二版本HPF2.0。目前，在此規(guī)范基礎上，世界上已開發(fā)出不少針對不同對象和規(guī)模的編譯系統(tǒng)。文章使用的是北京大學的p＿HPF系統(tǒng)。它由兩大部分組成：一是并行編譯器（Compiler），二是運行支持（Runtime），其中編譯器是源到源的。如圖1，一個HPF程序經過并行編譯器后，就成為各處理機的節(jié)點程序，節(jié)點程序加上運行時庫函數(shù)經F77編譯器編譯連接后就成為各處理機運行的執(zhí)行碼。1.2aris、pc、hp-ux、beowa、三維測試平臺p＿HPF系統(tǒng)已應用于IBM/RS6000、SUN/SOLARIS、PC/SOLARIS、PC/LINUX、HP/HP-UX、BEOWULF、曙光DAWN1000A和曙光DAWN2000等測試平臺。下面簡要闡述它其中的幾項關鍵技術：1.2.1p.hpf數(shù)據分布形式p＿HPF具有按塊（BLOCK）、循環(huán)（CYCLIC）和遍歷（COL-LAPSE）三種數(shù)據分布形式，用戶可根據實際需要選擇。1.2.2矩陣函數(shù)的生成HPF提供多種并行計算功能，最常用的有三種：FORALL結構，如下面這樣的語句FORALL(I=1:N,J=1:N)A(I,J)=B(I,J）觹C(I,J）用一條語句即可實現(xiàn)矩陣的乘法；眾多的內部并行函數(shù)，如SIN(A(1:100））實現(xiàn)的是100個元素同時求正弦；INDEPENDENT指導語句，它可以強制指定DO循環(huán)為并行計算還是串行計算。1.2.3remak通信HPF編譯系統(tǒng)主要采用以下三種通信方式：None通信；Shift通信，如果兩個數(shù)組X和Y的數(shù)據分布在某一維上有一個偏移量shift＿amount時，那么X和Y之間就滿足Shift通信的條件；Remap通信，除了前兩種通信模式，同形的數(shù)組通信都可以歸為Remap通信。為了提高并行效率，用戶應盡量減少通信量。1.2.4海量數(shù)據的處理HPF系統(tǒng)從HPF語言、編譯支持和運行支持三個方面實現(xiàn)了對核外數(shù)組和核外計算的擴充，實現(xiàn)了對海量數(shù)據的處理支持。采用數(shù)據篩選、行列優(yōu)先、數(shù)據預取、文件與數(shù)組的映射等優(yōu)化策略，來提高并行程序執(zhí)行核外計算的效率。2簡單標準測試程序和加速比分析2.1矩陣積分法的測試程序測試程序中只簡單地作矩陣相乘：C=A×B；采用節(jié)點數(shù)為8。并行程序主要用到FORALL和MAXMUL(A,B）內部函數(shù)，程序段如下：2.2并行效率分析表1給出了8個節(jié)點的并行加速比測試結果，數(shù)據由小到大按不同規(guī)模給定。從表1中可以看到，對于大數(shù)據組，并行效率十分明顯，有的還是超加速比。這是因為Swap交換區(qū)和高速緩沖區(qū)Cache起了作用。這一點對于地震資料大規(guī)模并行處理具有重要的指導意義。3實際地震資料的處理3.1主要的并行法地震資料由于自身數(shù)據的特點，決定了它是一種非常適合并行處理的數(shù)據。在實際處理中，經常把大數(shù)據體分解為若干相互獨立的批處理作業(yè)，各作業(yè)之間常常以測線為界。另外，各種道集，如CDP、CRP和CSP等均可以組成獨立的分割數(shù)據，用來進行并行處理。再者，地震數(shù)據還可以進行各種變換，如傅氏變換、f-k變換和小波變換等，這些變換本身可以進行并行計算，其變換域的數(shù)據往往也適合并行處理。還有，許多數(shù)學運算，如矩陣的轉置、方差和特征值的求取等，也適合并行處理。3.2設置及并行效率利用HPF，文章已完成了許多串行處理模塊的并行化設計。這些并行程序包括高通濾波、自動去廢炮廢道、頻率吸收補償、真振幅恢復、信號增強、多項式擬合去噪、正交分解擬合去噪、三維波場道內插和疊前深度偏移等。結合課題要求，在作者自行研制開發(fā)的以Linux為操作系統(tǒng)、以HPF為編程語言的微機群并行機上，已完成了勝利油田WY、DYJ和TJ三塊三維地震資料的處理，取得了3～7倍的并行效率。下面對疊前和疊后資料處理，各舉一個典型的例子重點加以說明。3.2.1頻率波數(shù)域的變換三維波場道內插是偏移處理前的重要工作，它也是疊前資料并行處理中一個值得研究的模塊。就計算過程來說，它要用三次傅氏正變換將三維地震數(shù)據變換到頻率波數(shù)域，再在變換域實現(xiàn)插值，最后用三次傅氏反變換返回到時空域，所以計算量是比較大的。就數(shù)據作用域來說，它既要用到時間域，又要用到測線域，還要用到CDP域，對于一個三元組的數(shù)組，必定要進行行列優(yōu)先權的變換。圖3給出了它的并行實現(xiàn)流程，應用由此編制的并行程序，對TJ三維工區(qū)進行了實際計算，工區(qū)數(shù)據大小為15GB，采用節(jié)點數(shù)為8個，并行時間為9277s，相對串行時間48159s，加速比為5.2。3.2.2后一種方法的對比通過國內外文獻調研，作者發(fā)現(xiàn)并行處理在石油工業(yè)中最重要的應用就是疊前深度偏移，甚至可以稱為一枝獨秀。象CGG這樣著名的石油公司，都為偏移處理專門配備微機集群。其基本的考慮是相對其它處理模塊，疊前深度偏移計算量太大了，完成一塊100平方公里的三維資料通常要幾個月的時間。疊前深度偏移主要有三大類方法：Kirchhoff偏移法、有限差分法和傅氏變換法，后兩種方法又可以派生出一些更細的方法。文章以共炮道集的分步傅立葉偏移法為例，集中進行了研究。該方法的基本思路：數(shù)據按不同的炮集分割，并分別進行偏移，最后將成像結果疊加輸出（圖4）。所謂的分步傅立葉偏移是指單炮偏移成像過程中要用到兩次相移處理，一次在頻率波數(shù)域，另一次在空間頻率域。由于三維工區(qū)本身有許多炮，而每炮都要對每個深度點的炮點道集做波場正向延拓、接收點道集做波場反向延拓。在每個延拓步，又要做三次傅氏正變換和一次頻率波數(shù)域的相移處理，兩次傅氏反變換和一次頻率空間域的相移處理，一次頻率空間域的波場求和，其間還要計算每一層的參考速度場，所以偏移處理需要的時間特別長。以WY地區(qū)資料為例，該區(qū)有629炮，每炮240道，4ms采樣，6s長記錄，單機串行計算每炮需要4個小時，整個工區(qū)計算完畢需要三個多月（105天）。事實上，以上工區(qū)還是較小的，換一個大的，計算時間還會進一步增加，不能滿足實際生產需要，所以必須進行并行計算。文章采用8個節(jié)點的微機集群處理后，僅用半個月即完成了任務。由于偏移處理相對大量的計算時間，通信時間很少，所以整機獲得了高加速比（6.8），取得了很好的并行效率。4基于hpf的地震并行語言(1）隨著油田勘探開發(fā)的深入，地震資料的數(shù)據量和處理量越來越大，地震資料要進行大規(guī)模并行處