分布并行計算機技術課程論文模板

1、分布并行計算機技術課程論文1. 針對 網站的特點，給出滿足該應用需求的設計方案。 要求至少包括：體系結構、核心硬件及數量、互聯網絡、作業(yè)調度方法、系統(tǒng)管理方法等設計方案及其分析，說明你的方案能否滿足應用需求。答： 訂票網站具有分時段、分區(qū)域、高并發(fā)等特點，官方公布日均 PV 達 10 億，在高峰時段有千萬 PV的訪問量 . 如何確保在高峰時段正常提供服務是一個非常大的挑戰(zhàn)， 放眼春運期間網上訂票系統(tǒng)， 表現為頁面訪問延時大、 登錄異常、支付失敗等問題。根據以上特點提出如下設計方案：(1) 體系結構采用大規(guī)模并行處理系統(tǒng)，由成百上千計算節(jié)點組成并行處理計算機系統(tǒng)，每個計算節(jié)點配置一個或多個處理器

2、，各個節(jié)點相對獨立， 有各自獨立的內存模塊和操作系統(tǒng)。 用交換機組成一個三維雙向環(huán)網互聯，每個三維網絡連接多個節(jié)點，三維網絡之間用以千兆還通道構建的核心網絡連接，核心網絡同時連接外設及互聯網。圖 1 體系結構如上圖 1 通過云計算平臺虛擬化技術，將若干 X86 服務器的內存集中起來，組成最高可達數十 TB 的內存資源池，將全部數據加載到內存中， 進行內存計算。計算過程本身不需要讀寫磁盤， 只是定期將數據同步或異步方式寫到磁盤。 在分布式集群中保存了多份數據， 任何一臺機器故障， 其它機器上還有備份數據， 因此通常不用擔心數據丟失， 而且有磁盤數據作為備份。 同時把內存數據持久化到各種傳統(tǒng)的關系

3、數據庫、 Hadoop 庫和其它文件系統(tǒng)中。(2)核心硬件及數量按照計算需求采用共計 15 個計算節(jié)點 ，每節(jié)點配備一顆 Xeon E5 12 核心的中央處理器，總共 180 個核心。中央處理器為英特爾提供的， 運作時鐘頻率為 2.2GHz 的 Xeon E5-2692v2 12 核心處理器，基于英特爾 Ivy Bridge 微架構（ Ivy Bridge-EX 核心），采用 22 納米制程，峰值性能 0.2112TFLOPS。每個節(jié)點擁有 1TB內存，總內存為10TB。(2)互聯網絡互聯網絡分節(jié)點內部的通信和節(jié)點之間的互聯兩部分。1）節(jié)點內部的通信在節(jié)點內部使用總線和共享存儲器進行信息的交換

4、。在 64G 的公共內存中劃出一塊公共的通信緩沖區(qū)，在這個緩沖區(qū)內維持 1 個消息隊列，分別對應于每個 CPU。每個原件以固定的周期查詢自己的消息隊列，來檢查是否有傳遞給自己的消息；每個器件于其他器件通信時將消息放入相應的消息隊列即可。2）節(jié)點之間的互聯節(jié)點之間的互聯網絡采用千兆以太網相互連通，每個節(jié)點上安置一個網卡。核心網絡使用以太網交換機連成多個三維立方結構（圖 2 所示），但不僅局限于 8 個節(jié)點。交換機、圖 2 交換機之間的立方體結構每臺交換機和若干個節(jié)點相連（圖 3 所示），若干立方體之間使用路由器連接，路由器之間形成最核心的網絡（圖 4 所示）。即每個交換機組成的立方體相當于一個局

5、域網，路由器負責連接不同的局域網。節(jié)點的地址使用網卡的硬件地址。路由器中的路由表采用完全自適應算法，動態(tài)的添加和修改路由表。圖 3 交換機與節(jié)點之間的鏈接圖 5 路由器之間的核心網絡(3) 作業(yè)調度作業(yè)調度按照先來先服務的原則，在節(jié)點中選取滿足作業(yè)所需資源的節(jié)點分配給作業(yè)，如果該節(jié)點的負載大于最大負載，則此節(jié)點此時不再分配作業(yè)，如果該節(jié)點的負載小于最小負載，則將作業(yè)分配給此節(jié)點，最大負載與最小負載閾值設定可以根據系統(tǒng)管理員經驗值所得，節(jié)點的最小負載保證隊列中所有作業(yè)在此負載的節(jié)點上可以執(zhí)行。如果此節(jié)點的負載在最大負載與最小負載之間，則根據節(jié)點上最長作業(yè)的結束時間為依據，找出作業(yè)結束時間最早的節(jié)

6、點，將作業(yè)派發(fā)到該節(jié)點。該調度算法可以有效地避免系統(tǒng)中出現節(jié)點負載過重或過輕的情況，提高系統(tǒng)負載均衡效率。(4) 系統(tǒng)管理方法1. 崗位管理(1) 高性能與網格計算平臺現場維護工作包括系統(tǒng)平臺維護、應用維護、網絡設備維護、平臺監(jiān)控、安全管理、客戶綜合服務等方面。維護人員應具備服務器、網絡設備、數據庫、操作系統(tǒng)、應用軟件、計算機安全等維護技能，具備較強的故障及應急處理能力。(2) 高性能與網格計算平臺崗位采用崗位人員后備制度：一個崗位配備兩名以上系統(tǒng)管理員，一個管理員主要負責平臺日常的管理工作，其他管理員（助理管理員）應掌握平臺情況和管理知識，并在主要管理員外出的時候擔負管理平臺的職責。 高性能

7、與網格計算平臺重大故障恢復或配置變更操作必須在兩名以上管理員在場的情況下才能進行。(3)平臺環(huán)境的運行維護，必須保證節(jié)點資源的正常運行。維護人員應該確保在5x87× 24 小時在線，保證應用系統(tǒng)或 7x24 個人通信的暢通以及2小時到達現場的能力。2.作業(yè)管理管理員根據用戶及其作業(yè)內容設定用戶作業(yè)及其使用計算資源的優(yōu)先級。短作業(yè)適當提高優(yōu)先等級，以便減少系統(tǒng)平均周轉時間。3. 配置變更和故障管理1)變更是指網絡設備、服務器設備、應用系統(tǒng)等軟硬件的版本、程序、配置等的改變。變更分為一般變更、重大變更和緊急變更。2)管理員進行生產服務器的配置變更操作，必須執(zhí)行服務器配置變更管理，事前必須

8、經過詳盡的測試和計劃。3)變更需要對節(jié)點計算資源設備臨時關機或暫停計算服務 ,需至少提前 1 天發(fā)通知，通知的內容包括：停止服務的原因與時間，預計恢復正常服務的時間。4)故障分為用戶故障和系統(tǒng)故障兩類。用戶故障是指由于用戶終端方面原因引起的使用上的故障。系統(tǒng)故障是指由于系統(tǒng)軟、硬件原因而引起的使用上的故障。此處特指系統(tǒng)故障。5)發(fā)生故障，應及時通知用戶，并通過互聯網絡發(fā)布通告。6)系統(tǒng)管理員應該對系統(tǒng)運行進行定期檢查。4. 安全管理1) 服務器超級用戶的密碼要定期更換，密碼設定要有一定的規(guī)定，不能少于八位。超級用戶密碼必須登記在冊并按有關規(guī)定妥善保管，系統(tǒng)管理員不得對任何無關人員泄露。用戶密碼

9、由相關用戶自行設定，系統(tǒng)管理員要嚴守保密制度，不得泄漏用戶密碼。2) 系統(tǒng)管理員必須定期安裝操作系統(tǒng)、應用程序的補丁包，對于高危高風險的補丁包應該按照要求及時安裝。3) 所有服務器必須安裝防病毒軟件，并及時升級病毒定義文件。管理員應該定期對服務器進行全面的病毒檢測， 發(fā)現問題應及時向中心安全管理員匯報并協(xié)同解決。4) 所有服務器必須實施日志管理制度，按照有關規(guī)定保存系統(tǒng)和應用程序日志。5) 管理員必須定期對服務器進行操作系統(tǒng)、應用程序和數據的備份。按照不同的服務等級，對不同的服務器實施離線備份、在線備份、熱備份和雙機熱備等不同的備份策略。6) 管理員應對服務器進行資源監(jiān)控，包括硬件、系統(tǒng)資源和

10、應用資源的監(jiān)控。硬件監(jiān)控，應該利用硬件廠商提供的監(jiān)控軟件；系統(tǒng)資源監(jiān)控，主要針對 CPU、內存、 I/O 活動情況的監(jiān)控；針對應用資源，主要利用應用程序的監(jiān)控功能。管理員應該利用各種資源監(jiān)控手段確保服務器能力，保障服務等級。2. 利用自己實驗室通過以太網互聯的計算機組成一個集群，對 Linpack 解線性方程組的程序（基于 MPI）進行適應性修改使其在該集群上運行。給出具體的測試方案、源程序程序及測試結果（ C/C+、Fortran 均可）。答：Linpack測試包括三類， Linpack100 、Linpack1000 和 HPL。Linpack100求解規(guī)模為100 階的稠密線性代數方程組

11、，它只允許采用編譯優(yōu)化選項進行優(yōu)化，不得更改代碼，甚至代碼中的注釋也不得修改。Linpack1000 要求求解規(guī)模為 1000 階的線性代數方程組，達到指定的精度要求，可以在不改變計算量的前提下做算法和代碼上做優(yōu)化。HPL即 High Performance Linpack ，也叫高度并行計算基準測試，它對數組大小N 沒有限制，求解問題的規(guī)?？梢愿淖儯舅惴ǎㄓ嬎懔浚┎豢筛淖兺?，可以采用其它任何優(yōu)化方法。前兩種測試運行規(guī)模較小，已不是很適合現代計算機的發(fā)展，因此現在使用較多的測試標準為 HPL，而且階次 N 也是 linpack測試必須指明的參數。 HPL是針對現代并行計算機提出的測試方式

12、。用戶在不修改任意測試程序的基礎上，可以調節(jié)問題規(guī)模大小N( 矩陣大小 ) 、使用到的 CPU數目、使用各種優(yōu)化方法等來執(zhí)行該測試程序，以獲取最佳的性能。HPL采用高斯消元法求解線性方程組。當求解問題規(guī)模為N 時，浮點運算次數為 (2/3 * N3 2*N2) 。因此，只要給出問題規(guī)模N，測得系統(tǒng)計算時間 T，峰值 =計算量 (2/3 * N3 2*N2)/ 計算時間 T，測試結果以浮點運算每秒（Flops ）給出。本次測試將在 linux系統(tǒng)下基于 MPICH2搭建采用 HPL來測試集群的計算性能，具體步驟如下：一 并行環(huán)境MPI 的建立1. 創(chuàng)建 SSH信任連接（ 1）更改 /etc.ho

13、sts文件#vi /etc/hosts打開 hosts 文件，更改如下：（ 2） 在 node1 下生成 SSH秘鑰對#ssh-keygen -t rsa /連續(xù)回車即可產生.ssh 文件#ls -a查看是否有 .ssh 文件夾（ 3） 進入 .ssh 目錄 #cd .ssh（ 4） 生成 authorizen_keys 文件 #cp id_rsa.pub authorized_keys（ 5） 退出到 root 目錄#cd（ 6）建立本身信任連接#ssh node1按提示輸入yes（ 7） 設置 node2#ssh-keygen -t rsa生成 .ssh文件夾/root/.ssh拷貝nod

14、e1 上的 .ssh文件夾覆蓋本地的拷貝node1上的 hosts 文件覆蓋本地的#ssh node1提示處輸入yes 回車設置剩下的node 方法與 node2 相同（ 8） 確認五臺機器的信任連接已建立對每個節(jié)點執(zhí)行：#ssh node1#ssh node2#ssh node3#ssh node4#ssh node5在提示處輸入 yes 回車，最后確定無需輸入密碼并且沒有任何提示信息即可登陸。2. 安裝 MPICH2(在每個節(jié)點root目錄下，而且所有節(jié)點上的目錄一樣)(1) 解壓縮或者(2) 創(chuàng)建安裝目錄#mkdir /usr/MPICH-instsll(3) 進入 mpich2 解壓目

15、錄(4) 設置安裝目錄#./configure -prefix=/usr/MPICH-install(5) 編譯#make(6) 安裝#make install(7) 退出到 root 目錄#cd .(8) 通過編輯 .bashrc 文件修改環(huán)境變量#vi .bashrc修改后的 .bashrc文件如下：# .bashrc# User specific aliases and functions alias rm='rm -i'alias cp='cp -i' alias mv='mv -i'PATH="$PATH:/usr/MPICH

16、-install/bin"新增加的#Source global definitionsif -f /etc/bashrc ; then./etc/bashrcfi(9) 測試環(huán)境變量設置#which mpd #which mpicc #which mpiexec #which mpirun修改 /etc/mpd.conf 文件，內容為 secretword=myword #vi /etc/mpd.conf設置文件讀取權限和修改時間#touch /etc/mpd.conf#chmod 600 /etc/mpd.conf（ 11）創(chuàng)建主機名稱集合文件 /root/mpd.hosts #v

17、i mpd.hosts文件內容如下： node1node2node3node4node53. 測試(1) 本地測試#mpd & 啟動#mpdtrace 觀看啟動機器#mpdallexit退出(2) 通過 mpd.hosts 運行集群系統(tǒng)#mpdboot -n number -f mpd.hostsnumber為要起動的機器個數#mpdtrace#mpdallexit(3) 測試運行 MPICH的例子程序#mpdboot -n 5 -f mpd.hosts 啟動 5 臺機器 #mpiexec -n number /usr/MPICH-install/examples/cpinumber

18、為使用的進程數#mpdallexit二 BLAS 的安裝1.下載 blas.tar和 cblas.tar。需要先安裝blas ，后安裝cblas 。2. blas.tar 解壓縮后直接 make，生成 blas_LINUX.a 靜態(tài)庫。3. cblas.tar 解壓縮后，選擇 MakeFile.LINUX 作為配置文件，另存為或者鏈接為 MakeFile.inc 。修改 MakeFile.inc 中的配置： BLLIB 和 CBDIR 的路徑。第一個是blas_LINUX.a所在的路徑。BLLIB = /*/blas_LINUX.a第二個是CBLAS 解壓的存放路徑。CBDIR = /*/CBLAS最后執(zhí)行 make all ，在 /*/CBLAS/lib/LINUX 里面生成 cblas_LINUX.a4. 我們所關注的就是這兩個 .a 庫文件的鏈接路徑。三 HPL 的安裝，編譯與運行1.從 HPL官網下載hpl.tgz2.tar -xzvf hpl.tar/創(chuàng)建一個 "hpl" 目錄3.進入 /hpl/setup目錄 , 選擇一個合適的 mak