高性能計算解決方案常見技術(shù)問題集

1、 DOCPROPERTY Product&Project Name FusionCompute（2.0） DOCPROPERTY DocumentName 產(chǎn)品概述華為專有和保密信息 版權(quán)所有 華為技術(shù)有限公司文檔版本 DOCPROPERTY DocumentVersion 01 ( DOCPROPERTY ReleaseDate 2013-04-10)高性能計算解決方案常見技術(shù)問題集 TIME yyyy-M-d 2018-4-11華為保密信息,未經(jīng)授權(quán)禁止擴散第頁目 錄 TOC o 1-3 h z u HYPERLINK l _Toc511247998 1高性能計算HPC基礎(chǔ)篇 PAGERE

2、F _Toc511247998 h 5 HYPERLINK l _Toc511247999 1.1HPC 是什么？ PAGEREF _Toc511247999 h 5 HYPERLINK l _Toc511248000 1.2高性能計算HPC系統(tǒng)主要有那幾部分組成？ PAGEREF _Toc511248000 h 5 HYPERLINK l _Toc511248001 1.3典型高性能計算HPC組網(wǎng)拓?fù)鋱D PAGEREF _Toc511248001 h 6 HYPERLINK l _Toc511248002 1.4高性能計算HPC系統(tǒng)技術(shù)特點是什么？ PAGEREF _Toc511248002

3、 h 6 HYPERLINK l _Toc511248003 2高性能計算HPC系統(tǒng)技術(shù)之計算 PAGEREF _Toc511248003 h 7 HYPERLINK l _Toc511248004 2.1高性能計算HPC集群中計算節(jié)點分幾種？ PAGEREF _Toc511248004 h 7 HYPERLINK l _Toc511248005 2.2MPI節(jié)點和胖節(jié)點的差異是什么？ PAGEREF _Toc511248005 h 7 HYPERLINK l _Toc511248006 2.3GPU是什么？ PAGEREF _Toc511248006 h 7 HYPERLINK l _Toc

4、511248007 2.4GPU加速節(jié)點有哪些廠家？ PAGEREF _Toc511248007 h 7 HYPERLINK l _Toc511248008 2.5目前市場上可銷售的GPU卡有哪些？ PAGEREF _Toc511248008 h 7 HYPERLINK l _Toc511248009 2.6計算性能的衡量指標(biāo)？ PAGEREF _Toc511248009 h 8 HYPERLINK l _Toc511248010 2.7Linpack HPC什么？ PAGEREF _Toc511248010 h 8 HYPERLINK l _Toc511248011 2.8雙列直插式內(nèi)存(D

5、IMM)有幾種類型？ PAGEREF _Toc511248011 h 9 HYPERLINK l _Toc511248012 2.9NVDIMM是什么？ PAGEREF _Toc511248012 h 9 HYPERLINK l _Toc511248013 3高性能計算HPC系統(tǒng)技術(shù)之互聯(lián)網(wǎng)路 PAGEREF _Toc511248013 h 9 HYPERLINK l _Toc511248014 3.1IB是什么？ PAGEREF _Toc511248014 h 9 HYPERLINK l _Toc511248015 3.2高性能計算HPC系統(tǒng)為什么要使用IB互聯(lián)？ PAGEREF _Toc5

6、11248015 h 10 HYPERLINK l _Toc511248016 3.3RDMA是什么？ PAGEREF _Toc511248016 h 10 HYPERLINK l _Toc511248017 3.4IB的互聯(lián)數(shù)率多大？ PAGEREF _Toc511248017 h 10 HYPERLINK l _Toc511248018 3.5IB的產(chǎn)品主要有哪些？ PAGEREF _Toc511248018 h 11 HYPERLINK l _Toc511248019 3.6什么是HCA？ PAGEREF _Toc511248019 h 11 HYPERLINK l _Toc511248

7、020 3.7iWARP 是什么？ PAGEREF _Toc511248020 h 11 HYPERLINK l _Toc511248021 3.8RoCE是什么？ PAGEREF _Toc511248021 h 11 HYPERLINK l _Toc511248022 4高性能計算HPC系統(tǒng)技術(shù)之存儲 PAGEREF _Toc511248022 h 12 HYPERLINK l _Toc511248023 4.1什么是lustre？ PAGEREF _Toc511248023 h 13 HYPERLINK l _Toc511248024 4.2Lustre的文件系統(tǒng)有哪些組件？ PAGERE

8、F _Toc511248024 h 13 HYPERLINK l _Toc511248025 4.3MDS、MDT、OSS、OST是什么？ PAGEREF _Toc511248025 h 14 HYPERLINK l _Toc511248026 4.4Panasas是什么？ PAGEREF _Toc511248026 h 15 HYPERLINK l _Toc511248027 4.5GPFS是什么？ PAGEREF _Toc511248027 h 15 HYPERLINK l _Toc511248028 5高性能計算HPC系統(tǒng)技術(shù)之集群軟件 PAGEREF _Toc511248028 h 1

9、6 HYPERLINK l _Toc511248029 5.1集群軟件一般具有哪些功能？ PAGEREF _Toc511248029 h 16 HYPERLINK l _Toc511248030 5.2目前當(dāng)前市場主要有哪些集群軟件？ PAGEREF _Toc511248030 h 16 HYPERLINK l _Toc511248031 6高性能計算HPC系統(tǒng)技術(shù)之應(yīng)用（客戶）軟件 PAGEREF _Toc511248031 h 16 HYPERLINK l _Toc511248032 6.1MPI、OpenMPI和OpenMP的區(qū)別 PAGEREF _Toc511248032 h 16 H

10、YPERLINK l _Toc511248033 6.2SMP、NUMA、MPP體系結(jié)構(gòu)介紹 PAGEREF _Toc511248033 h 17 HYPERLINK l _Toc511248034 1. SMP (Symmetric Multi-Processor) PAGEREF _Toc511248034 h 17 HYPERLINK l _Toc511248035 2. NUMA(Non-Uniform Memory Access) PAGEREF _Toc511248035 h 18 HYPERLINK l _Toc511248036 3. MPP(Massive Parallel

11、Processing) PAGEREF _Toc511248036 h 20 HYPERLINK l _Toc511248037 4. NUMA、MPP、SMP之間性能的區(qū)別 PAGEREF _Toc511248037 h 21 HYPERLINK l _Toc511248038 5. MPP和SMP、NUMA應(yīng)用之間的區(qū)別 PAGEREF _Toc511248038 h 21 HYPERLINK l _Toc511248039 6.3高能能計算集群應(yīng)用分幾類？ PAGEREF _Toc511248039 h 22 HYPERLINK l _Toc511248040 6.4高能能計算HPC 常

12、用種應(yīng)用領(lǐng)域有哪些？ PAGEREF _Toc511248040 h 22 HYPERLINK l _Toc511248041 6.5CAE 仿真軟件主要有哪些？ PAGEREF _Toc511248041 h 22 HYPERLINK l _Toc511248042 6.6隱式有限元分析(IFEA)和顯式有限元分析(EFEA)有什么區(qū)別？ PAGEREF _Toc511248042 h 23 HYPERLINK l _Toc511248043 6.7什么是CFD？ PAGEREF _Toc511248043 h 24 HYPERLINK l _Toc511248044 6.8Nastran

13、是什么？ PAGEREF _Toc511248044 h 24 HYPERLINK l _Toc511248045 6.9NWP 是什么？ PAGEREF _Toc511248045 h 24高性能計算HPC基礎(chǔ)篇HPC 是什么？高性能計算(High performance computing，縮寫HPC) 指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組織的幾臺計算機（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。有許多類型的HPC 系統(tǒng)，其范圍從標(biāo)準(zhǔn)計算機的大型集群，到高度專用的硬件。大多數(shù)基于 HYPERLINK /view/302477.htm t _blank 集群的HPC系統(tǒng)

14、使用高性能網(wǎng)絡(luò)互連，基本的網(wǎng)絡(luò)拓?fù)浜徒M織可以使用一個簡單的 HYPERLINK /view/649188.htm t _blank 總線拓?fù)涓咝阅苡嬎鉎PC系統(tǒng)主要有那幾部分組成？HPC系統(tǒng)由計算、存儲、網(wǎng)絡(luò)、集群軟件四部分組成：典型高性能計算HPC組網(wǎng)拓?fù)鋱D 高性能計算HPC系統(tǒng)技術(shù)特點是什么？HPC系統(tǒng)目前主流處理器是X86處理器，操作系統(tǒng)是linux 系統(tǒng)、構(gòu)建方式采用刀片系統(tǒng)，互聯(lián)網(wǎng)絡(luò)使用IB和10GE。高性能計算HPC系統(tǒng)技術(shù)之計算高性能計算HPC集群中計算節(jié)點分幾種？ 一般 分3 種，MPI節(jié)點、胖節(jié)點、GPU加速節(jié)點。 MPI節(jié)點和胖節(jié)點的差異是什么？ 雙路節(jié)點稱為瘦節(jié)點（MPI

15、節(jié)點），雙路以上稱為胖節(jié)點；胖節(jié)點配置大容量內(nèi)存；集群中胖節(jié)點的數(shù)量要根據(jù)實際應(yīng)用需求而定。GPU是什么？GPU英文全稱Graphic Processing Unit，中文翻譯為“ HYPERLINK /view/5395837.htm t _blank 圖形處理器”。 在浮點運算、并行計算等部分計算方面，GPU可以提供數(shù)十倍乃至于上百倍于CPU的性能。GPU加速節(jié)點有哪些廠家？ 目前GPU廠家只有三家 Nvidia GPU / AMD GPU/Intel Xeon PHI。可選擇的GPU種類比較少。目前市場上可銷售的GPU卡有哪些？NVIDA 的GPU卡分圖形卡和計算卡，圖形卡有NVIDA

16、K2000與K4000，計算卡K20X/K40M/K80 。Intel 的GPU是Intel Xeon Phi 系列，屬于計算卡，主要產(chǎn)品有Phi 5110P 、Phi 3210P、Phi 7120P、Phi 31S1P。AMD 的GPU是圖形和計算合一，主要產(chǎn)品有W5000、W9100、S7000、S9000、S10000。在HPC系統(tǒng)中，主要使用時計算卡。計算性能的衡量指標(biāo)？一個MFLOPS（megaFLOPS）等于每秒一佰萬（=106）次的 HYPERLINK /view/901.htm t _blank 浮點運算，一個GFLOPS（gigaFLOPS）等于每秒拾億（=109）次的 HY

17、PERLINK /view/901.htm t _blank 浮點運算，一個TFLOPS（teraFLOPS）等于每秒一萬億（=1012）次的 HYPERLINK /view/901.htm t _blank 浮點運算，(1太拉)，一個PFLOPS（petaFLOPS）等于每秒一千萬億（=1015）次的 HYPERLINK /view/901.htm t _blank 浮點運算，一個EFLOPS（exaFLOPS）等于每秒一佰京（=1018）次的 HYPERLINK /view/901.htm t _blank 浮點運算。Linpack HPC什么？Linpack HPC 是性能測試工具。LI

18、NPACK是線性系統(tǒng)軟件包(Linear system package) 的縮寫， 主要開始于 1974 年 4 月， 美國 Argonne 國家實驗室應(yīng)用數(shù)學(xué)所主任 Jim Pool， 在一系列非正式的討論會中評估，建立一套專門解線性系統(tǒng)問題之?dāng)?shù)學(xué)軟件的可能性。業(yè)界還有其他多種測試基準(zhǔn)，有的是基于實際的應(yīng)用種類如TPC-C，有的是測試系統(tǒng)的某一部分的性能，如測試硬盤吞吐能力的IOmeter，測試內(nèi)存帶寬的stream。至目前為止， LINPACK 還是廣泛地應(yīng)用于解各種數(shù)學(xué)和工程問題。也由于它高效率的運算， 使得其它幾種數(shù)學(xué)軟件例如IMSL、MATLAB 紛紛加以引用來處理矩陣問題，所以足見

19、其在科學(xué)計算上有舉足輕重的地位。Linpack現(xiàn)在在國際上已經(jīng)成為最流行的用于測試高性能計算機系統(tǒng)浮點性能的benchmark。通過利用高性能計算機，用高斯消元法求解N元一次稠密線性代數(shù)方程組的測試，評價高性能計算機的浮點性能。雙列直插式內(nèi)存(DIMM)有幾種類型？有三種DIMM內(nèi)存可用：UDIMM內(nèi)存、RDIMM內(nèi)存和LRDIMM內(nèi)存。在處理較大型工作負(fù)載時，無緩沖DIMM( UDIMM )速度快、廉價但不穩(wěn)定。寄存器式DIMM( RDIMM )內(nèi)存穩(wěn)定、擴展性好、昂貴，而且對內(nèi)存控制器的電氣壓力小。它們同樣在許多傳統(tǒng)服務(wù)器上使用。降載 DIMM( LRDIMM )內(nèi)存是寄存器式內(nèi)存( RD

20、IMM )的替代品，它們能提供高內(nèi)存速度，降低服務(wù)器內(nèi)存總線的負(fù)載，而且功耗更低。LRDIMM內(nèi)存成本比 RDIMM內(nèi)存高非常多，但在高性能計算架構(gòu)中十分常見。NVDIMM是什么？NVDIMM由BBU(Battery Backed Up) HYPERLINK /view/3824.htm t _blank DIMM演變而來。 HYPERLINK /view/2070771.htm t _blank BBU采用后備電池以維持普通揮發(fā)性內(nèi)存中的內(nèi)容幾小時之久。但是，電池含有重金屬，廢棄處置和對環(huán)境的污染，不符合綠色能源的要求。由超級電容作為動力源的NVDIMM應(yīng)運而生。并且NVDIMM使用非揮發(fā)性

21、的flash存儲介質(zhì)來保存數(shù)據(jù)，數(shù)據(jù)能夠保存的時間更長。高性能計算HPC系統(tǒng)技術(shù)之互聯(lián)網(wǎng)路IB是什么？InfiniBand架構(gòu)是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù)，InfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的，它的主要設(shè)計目的是針對服務(wù)器端的連接問題的。因此，InfiniBand技術(shù)將會被應(yīng)用于服務(wù)器與服務(wù)器（比如復(fù)制，分布式工作等），服務(wù)器和存儲設(shè)備（比如SAN和直接存儲附件）以及服務(wù)器和網(wǎng)絡(luò)之間（比如LAN， WANs和the Internet）的通信。高性能計算HPC系統(tǒng)為什么要使用IB互聯(lián)？IB協(xié)議棧簡單，處理效率高，管理簡單，對RDMA支持好，功耗低，時延低。RDMA是什么？ H

22、YPERLINK /view/2194201.htm t _blank RDMA(Remote Direct Memory Access) HYPERLINK /view/45517.htm t _blank 技術(shù)全稱遠(yuǎn)程直接數(shù)據(jù)存取，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)絡(luò)把數(shù)據(jù)直接傳入 HYPERLINK /view/3314.htm t _blank 計算機的存儲區(qū)，將數(shù)據(jù)從一個系統(tǒng)快速移動到遠(yuǎn)程系統(tǒng)存儲器中，實現(xiàn)ZERO-COPY。IB的互聯(lián)數(shù)率多大？IB目前支持FDR和QDR，華為可以提供56Gb/s互聯(lián)解決方案。IB的產(chǎn)品主要有哪些？目前只有Mexll

23、aon、Intel、Qlogic 提供IB產(chǎn)品，Mexllaon是主要玩家，處于主導(dǎo)地位。什么是HCA？Host Channel Adapters (HCA) ，IB連接的設(shè)備終結(jié)點，提供傳輸功能和Verb接口。 Target Channel Adapters (TCA)，HCA的子集，基本上用于存儲 。iWARP 是什么？iWARP (Internet wide-area RDMA protocol)是由IETF組織定義的一種能在以太網(wǎng)上使用RDMA技術(shù)的網(wǎng)絡(luò)技術(shù)。iWARP is RDMA over Ethernet over TCP/IP。RoCE是什么？RoCE是由IBTA標(biāo)準(zhǔn)化組織定

24、義的一種在以太網(wǎng)上采用RDMA技術(shù)的網(wǎng)絡(luò)互聯(lián)技術(shù)。 RoCE網(wǎng)絡(luò)的傳輸層和網(wǎng)絡(luò)層采用InfiniBand網(wǎng)絡(luò)的傳輸層和網(wǎng)絡(luò)層，在鏈路層用Ethernet的鏈路層替換InfiniBand網(wǎng)絡(luò)的鏈路層。這樣它既具有InfiniBand網(wǎng)絡(luò)的低時延、低CPU利用率等特點，又能夠很好的兼容于Ethernet網(wǎng)絡(luò)，和InfiniBand使用相同的verbs對應(yīng)用提供服務(wù)。高性能計算HPC系統(tǒng)技術(shù)之存儲TOP500 HPC系統(tǒng)中存儲主要使用分布式文件系統(tǒng),分布式文件系統(tǒng)（Distributed File System）可以有效解決數(shù)據(jù)的存儲和管理難題：將固定于某個地點的某個文件系統(tǒng)，擴展到任意多個地點/多

25、個文件系統(tǒng)，眾多的節(jié)點組成一個文件系統(tǒng)網(wǎng)絡(luò)。每個節(jié)點可以分布在不同的地點，通過網(wǎng)絡(luò)進(jìn)行節(jié)點間的通信和數(shù)據(jù)傳輸。人們在使用分布式文件系統(tǒng)時，無需關(guān)心數(shù)據(jù)是存儲在哪個節(jié)點上、或者是從哪個節(jié)點從獲取的，只需要像使用本地文件系統(tǒng)一樣管理和存儲文件系統(tǒng)中的數(shù)據(jù)。分布式文件系統(tǒng)的設(shè)計基于客戶機/服務(wù)器模式。一個典型的網(wǎng)絡(luò)可能包括多個供多用戶訪問的服務(wù)器。當(dāng)前比較流行的分布式文件系統(tǒng)包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS什么是lustre？Lustre 體系結(jié)構(gòu)是一個為集群設(shè)計的存儲體系結(jié)構(gòu)。

26、其核心組件是運行在Linux 操作系統(tǒng)上、支持標(biāo)準(zhǔn)的POSIX* UNIX 文件系統(tǒng)接口、并遵循GPL2.0 許可的Lustre 文件系統(tǒng)。據(jù)IDC 的統(tǒng)計，Lustre 是在HPC 領(lǐng)域應(yīng)用最廣的文件系統(tǒng)，世界上最快的50 個超算網(wǎng)站有60%都使用Lustre。Lustre的文件系統(tǒng)有哪些組件？Lustre 文件系統(tǒng)的主要組件有：MDS、MDT、OSS、OST、Client。各個組件間的鏈接關(guān)系如圖所示。MDS、MDT、OSS、OST是什么？MDS（Metadata Server）：MDS 負(fù)責(zé)管理Lustre 文件系統(tǒng)的文件名、目錄、權(quán)限、文件結(jié)構(gòu)等元數(shù)據(jù)信息，MDS 生成的元數(shù)據(jù)存儲在一

27、個或者多個MDT 上，并為每個Client提供服務(wù)。MDS 可以有多個，但只有一個為主MDS，其余MDS 工作在備份模式。MDT（Metadata Target）：每個文件系統(tǒng)都有一個MDT，MDT 可以是MDS 本地硬盤（只有一個MDS 時）、也可以是遠(yuǎn)端存儲的一個LUN 設(shè)備。一個MDT 可以通過同時映射給兩臺主機，供多個MDS 進(jìn)行訪問，但同一時刻只能有一個MDS 進(jìn)行訪問，通過這種方式可以實現(xiàn)MDS 的高可用性。OSS（Object Storage Servers）：OSS 為Client 提供文件I/O 服務(wù)，客戶端從MDS 獲取元數(shù)據(jù)信息后，從OSS 訪問文件數(shù)據(jù)，文件數(shù)據(jù)最終存儲

28、在與OSS 相連的OST 上。OST（Object Storage Target）：用戶文件存儲在一個或者多個對象中，每個對象對應(yīng)一個獨立的OST，每個文件可以存儲在一個OST 上，也可以跨越多個OST 進(jìn)行存儲。一個OST 可以通過同時映射給兩臺主機實現(xiàn)OSS 的高可用性。Panasas是什么？Panasas是業(yè)界最早的基于對象技術(shù)的高性能存儲系統(tǒng)。和所有基于對象存儲的并行存儲系統(tǒng)一樣，Panasas也由client端、管理節(jié)點、數(shù)據(jù)節(jié)點（對象存儲節(jié)點）組成。但和其它系統(tǒng)不同的是，Panasas是包括定制硬件設(shè)計的性能優(yōu)越、功能完善、成熟的商業(yè)產(chǎn)品。GPFS是什么？GPFS(General

29、Parallel File System ,GPFS) 是 IBM 公司第一個 HYPERLINK /view/4421417.htm t _blank 共享文件系統(tǒng)，起源于 IBM SP 系統(tǒng)上使用的虛擬共享磁盤技術(shù)( VSD )。作為這項技術(shù)的核心， GPFS 是一個并行的 HYPERLINK /view/2212064.htm t _blank 磁盤文件系統(tǒng)，它保證在資源組內(nèi)的所有 HYPERLINK /view/47398.htm t _blank 節(jié)點可以并行訪問整個文件系統(tǒng)；而且針對此文件系統(tǒng)的服務(wù)操作，可以同時安全地在使用此文件系統(tǒng)的多個節(jié)點上實現(xiàn)。IBM在HPC方案的存儲方案推

30、薦GPFS。高性能計算HPC系統(tǒng)技術(shù)之集群軟件集群軟件一般具有哪些功能？作業(yè)調(diào)度、集群監(jiān)控、集群管理、能耗管理、統(tǒng)計分析、告警管理、流程管理、故障管理目前當(dāng)前市場主要有哪些集群軟件？BCM（Bright Cluster Manager）、CHESS(Clustertech HPC Environment Software Stack)、JH、IBM Platform HPC、CMU（HP）、Gridview（曙光） 。高性能計算HPC系統(tǒng)技術(shù)之應(yīng)用（客戶）軟件MPI、OpenMPI和OpenMP的區(qū)別MPI:英文全稱是Message Passing Interface，信息傳遞接口，是獨立于語

31、言的通信協(xié)議（標(biāo)準(zhǔn)）。MPI的實現(xiàn)有MPICH，MPI-1，MPI-2，openMPI，intelMPI，platformMPI等等openMPI：英文全稱是open Message Passing Interface。openMPI是MPI的一種實現(xiàn)，一種庫項目。OpenMP：英文全稱是Open Multiprocessing，一種應(yīng)用程序界面（API，即Application Program Interface），是一種并行的實現(xiàn)和方法，也可以認(rèn)為是共享存儲結(jié)構(gòu)上的一種編程模型，可用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計的一套指導(dǎo)性注釋 （Compiler Directive）。在當(dāng)前的并行機

32、子中，openMP和openMPI都是需要的，openMP用于本地的并行計算（共享內(nèi)存內(nèi)存架構(gòu)），支持目前所有平臺上的c,fortran等的共享內(nèi)存式并行計算，它相當(dāng)于是給出了一個讓并行編程更加容易實現(xiàn)的模型，而openMPI則是用于機器之間的通 信（分布式內(nèi)存架構(gòu)）。 HYPERLINK /yubo/archive/2010/04/23/1718810.html SMP、NUMA、MPP體系結(jié)構(gòu)介紹 從系統(tǒng)架構(gòu)來看，目前的商用服務(wù)器大體可以分為三類，即對稱多處理器結(jié)構(gòu) (SMP ： Symmetric Multi-Processor) ，非一致存儲訪問結(jié)構(gòu) (NUMA ： Non-Unifo

33、rm Memory Access) ，以及海量并行處理結(jié)構(gòu) (MPP ： Massive Parallel Processing) 。它們的特征分別描述如下： 1. SMP (Symmetric Multi-Processor) SMP (Symmetric Multi Processing),對稱多處理系統(tǒng)內(nèi)有許多緊耦合多處理器，在這樣的系統(tǒng)中，所有的CPU共享全部資源，如總線，內(nèi)存和I/O系統(tǒng)等，操作系統(tǒng)或管理數(shù)據(jù)庫的復(fù)本只有一個，這種系統(tǒng)有一個最大的特點就是共享所有資源。多個CPU之間沒有區(qū)別，平等地訪問內(nèi)存、外設(shè)、一個操作系統(tǒng)。操作系統(tǒng)管理著一個隊列，每個處理器依次處理隊列中的進(jìn)程。如

34、果兩個處理器同時請求訪問一個資源（例如同一段內(nèi)存地址），由硬件、軟件的鎖機制去解決資源爭用問題。 Access to RAM is serialized; this and HYPERLINK /wiki/Cache_coherency cache coherency issues causes performance to lag slightly behind the number of additional processors in the system. 圖 1.SMP 服務(wù)器 CPU 利用率狀態(tài)所謂對稱多處理器結(jié)構(gòu)，是指服務(wù)器中多個 CPU 對稱工作，無主次或從屬關(guān)系。各 CPU

35、共享相同的物理內(nèi)存，每個 CPU 訪問內(nèi)存中的任何地址所需時間是相同的，因此 SMP 也被稱為一致存儲器訪問結(jié)構(gòu) (UMA ： Uniform Memory Access) 。對 SMP 服務(wù)器進(jìn)行擴展的方式包括增加內(nèi)存、使用更快的 CPU 、增加 CPU 、擴充 I/O( 槽口數(shù)與總線數(shù) ) 以及添加更多的外部設(shè)備 ( 通常是磁盤存儲 ) 。 SMP 服務(wù)器的主要特征是共享，系統(tǒng)中所有資源 (CPU 、內(nèi)存、 I/O 等 ) 都是共享的。也正是由于這種特征，導(dǎo)致了SMP 服務(wù)器的主要問題，那就是它的擴展能力非常有限。對于 SMP 服務(wù)器而言，每一個共享的環(huán)節(jié)都可能造成 SMP 服務(wù)器擴展時的

36、瓶頸，而最受限制的則是內(nèi)存。由于每個 CPU 必須通過相同的內(nèi)存總線訪問相同的內(nèi)存資源，因此隨著 CPU 數(shù)量的增加，內(nèi)存訪問沖突將迅速增加，最終會造成CPU資源的浪費，使CPU性能的有效性大大降低。實驗證明，SMP 服務(wù)器 CPU 利用率最好的情況是2至4個CPU 。 2. NUMA(Non-Uniform Memory Access) 由于 SMP 在擴展能力上的限制，人們開始探究如何進(jìn)行有效地擴展從而構(gòu)建大型系統(tǒng)的技術(shù)， NUMA 就是這種努力下的結(jié)果之一。利用 NUMA 技術(shù)，可以把幾十個 CPU( 甚至上百個 CPU) 組合在一個服務(wù)器內(nèi)。其 CPU 模塊結(jié)構(gòu)如圖 2 所示： 圖 2

37、.NUMA 服務(wù)器 CPU 模塊結(jié)構(gòu)NUMA服務(wù)器的基本特征是具有多個 CPU模塊，每個CPU模塊由多個CPU(如4個)組成，并且具有獨立的本地內(nèi)存、 I/O槽口等。由于其節(jié)點之間可以通過互聯(lián)模塊 ( 如稱為 Crossbar Switch) 進(jìn)行連接和信息交互，因此每個CPU可以訪問整個系統(tǒng)的內(nèi)存(這是NUMA系統(tǒng)與MPP系統(tǒng)的重要差別) 。顯然，訪問本地內(nèi)存的速度將遠(yuǎn)遠(yuǎn)高于訪問遠(yuǎn)地內(nèi)存(系統(tǒng)內(nèi)其它節(jié)點的內(nèi)存)的速度，這也是非一致存儲訪問NUMA的由來。由于這個特點，為了更好地發(fā)揮系統(tǒng)性能，開發(fā)應(yīng)用程序時需要盡量減少不同CPU模塊之間的信息交互。 利用NUMA技術(shù)，可以較好地解決原來SMP系

38、統(tǒng)的擴展問題，在一個物理服務(wù)器內(nèi)可以支持上百個 CPU。比較典型的NUMA服務(wù)器的例子包括HP的Superdome、SUN15K、IBMp690等。 但NUMA技術(shù)同樣有一定缺陷，由于訪問遠(yuǎn)地內(nèi)存的延時遠(yuǎn)遠(yuǎn)超過本地內(nèi)存，因此當(dāng)CPU 數(shù)量增加時，系統(tǒng)性能無法線性增加。如HP公司發(fā)布Superdome服務(wù)器時，曾公布了它與HP其它UNIX服務(wù)器的相對性能值，結(jié)果發(fā)現(xiàn)，64路CPU的Superdome (NUMA結(jié)構(gòu))的相對性能值是20，而8路N4000( 共享的SMP結(jié)構(gòu))的相對性能值是6.3。從這個結(jié)果可以看到，8倍數(shù)量的CPU換來的只是3倍性能的提升。 3. MPP(Massive Para

39、llel Processing)和 NUMA 不同， MPP 提供了另外一種進(jìn)行系統(tǒng)擴展的方式，它由多個 SMP 服務(wù)器通過一定的節(jié)點互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶的角度來看是一個服務(wù)器系統(tǒng)。其基本特征是由多個 SMP 服務(wù)器 ( 每個 SMP 服務(wù)器稱節(jié)點 ) 通過節(jié)點互聯(lián)網(wǎng)絡(luò)連接而成，每個節(jié)點只訪問自己的本地資源 ( 內(nèi)存、存儲等 ) ，是一種完全無共享 (Share Nothing) 結(jié)構(gòu)，因而擴展能力最好，理論上其擴展無限制，目前的技術(shù)可實現(xiàn) 512 個節(jié)點互聯(lián)，數(shù)千個 CPU 。目前業(yè)界對節(jié)點互聯(lián)網(wǎng)絡(luò)暫無標(biāo)準(zhǔn)，如 NCR 的 Bynet ， IBM 的 SPSwi

40、tch ，它們都采用了不同的內(nèi)部實現(xiàn)機制。但節(jié)點互聯(lián)網(wǎng)僅供 MPP 服務(wù)器內(nèi)部使用，對用戶而言是透明的。 在 MPP 系統(tǒng)中，每個 SMP 節(jié)點也可以運行自己的操作系統(tǒng)、數(shù)據(jù)庫等。但和 NUMA 不同的是，它不存在異地內(nèi)存訪問的問題。換言之，每個節(jié)點內(nèi)的 CPU 不能訪問另一個節(jié)點的內(nèi)存。節(jié)點之間的信息交互是通過節(jié)點互聯(lián)網(wǎng)絡(luò)實現(xiàn)的，這個過程一般稱為數(shù)據(jù)重分配 (Data Redistribution) 。 但是 MPP 服務(wù)器需要一種復(fù)雜的機制來調(diào)度和平衡各個節(jié)點的負(fù)載和并行處理過程。目前一些基于 MPP 技術(shù)的服務(wù)器往往通過系統(tǒng)級軟件 ( 如數(shù)據(jù)庫 ) 來屏蔽這種復(fù)雜性。舉例來說， NCR

41、的 Teradata 就是基于 MPP 技術(shù)的一個關(guān)系數(shù)據(jù)庫軟件，基于此數(shù)據(jù)庫來開發(fā)應(yīng)用時，不管后臺服務(wù)器由多少個節(jié)點組成，開發(fā)人員所面對的都是同一個數(shù)據(jù)庫系統(tǒng)，而不需要考慮如何調(diào)度其中某幾個節(jié)點的負(fù)載。 MPP (Massively Parallel Processing)，大規(guī)模并行處理系統(tǒng)，這樣的系統(tǒng)是由許多松耦合的處理單元組成的，要注意的是這里指的是處理單元而不是處理器。每個單元內(nèi)的 CPU都有自己私有的資源，如總線，內(nèi)存，硬盤等。在每個單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫的實例復(fù)本。這種結(jié)構(gòu)最大的特點在于不共享資源。 4. NUMA、MPP、SMP之間性能的區(qū)別 NUMA的節(jié)點互聯(lián)機制是在

42、同一個物理服務(wù)器內(nèi)部實現(xiàn)的，當(dāng)某個CPU需要進(jìn)行遠(yuǎn)地內(nèi)存訪問時，它必須等待，這也是NUMA服務(wù)器無法實現(xiàn)CPU增加時性能線性擴展。 MPP的節(jié)點互聯(lián)機制是在不同的SMP服務(wù)器外部通過I/O實現(xiàn)的，每個節(jié)點只訪問本地內(nèi)存和存儲，節(jié)點之間的信息交互與節(jié)點本身的處理是并行進(jìn)行的。因此MPP在增加節(jié)點時性能基本上可以實現(xiàn)線性擴展。 SMP所有的CPU資源是共享的，因此完全實現(xiàn)線性擴展。 5. MPP和SMP、NUMA應(yīng)用之間的區(qū)別 NUMA架構(gòu)的優(yōu)勢： NUMA 架構(gòu)來看，它可以在一個物理服務(wù)器內(nèi)集成許多CPU，使系統(tǒng)具有較高的事務(wù)處理能力，由于遠(yuǎn)地內(nèi)存訪問時延遠(yuǎn)長于本地內(nèi)存訪問，因此需要盡量減少不同

43、 CPU模塊之間的數(shù)據(jù)交互。顯然，NUMA架構(gòu)更適用于OLTP事務(wù)處理環(huán)境，當(dāng)用于數(shù)據(jù)倉庫環(huán)境時，由于大量復(fù)雜的數(shù)據(jù)處理必然導(dǎo)致大量的數(shù)據(jù)交互，將 使CPU的利用率大大降低。MPP的優(yōu)勢： MPP 系統(tǒng)不共享資源，因此對它而言，資源比SMP要多，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時，MPP的效率要比SMP好。由于MPP系統(tǒng)因為要在不同處理單元之間 傳送信息，在通訊時間少的時候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢，達(dá)到高效率。也就是說：操作相互之間沒有什么關(guān)系，處理單元之間需要進(jìn)行的通信比較 少，那采用MPP系統(tǒng)就要好。因此，MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢。SMP的優(yōu)勢： MPP系統(tǒng)因為

44、要在不同處理單元之間傳送信息，所以它的效率要比SMP要差一點。在通訊時間多的時候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢。因此當(dāng)前使用的OTLP程序中，用戶訪問一個中心數(shù)據(jù)庫，如果采用SMP系統(tǒng)結(jié)構(gòu)，它的效率要比采用MPP結(jié)構(gòu)要快得多。高能能計算集群應(yīng)用分幾類？按應(yīng)用類型分為如下4類：科學(xué)計算型集群、負(fù)載均衡型集群、高可用型集群、并行數(shù)據(jù)庫型集群應(yīng)用需求對應(yīng)的應(yīng)用領(lǐng)域：計算密集型應(yīng)用（Computing-intensive)：大型科學(xué)工程計算，數(shù)值模擬等。應(yīng)用領(lǐng)域：石油、氣象、CAE、核能、制藥、環(huán)境監(jiān)測分析、系統(tǒng)仿真等。數(shù)據(jù)密集型應(yīng)用（Data-intensive)：數(shù)字圖書館，數(shù)據(jù)倉庫，數(shù)據(jù)挖

45、掘，計算可視化等。應(yīng)用領(lǐng)域：圖書館、銀行、證券、稅務(wù)、決策支持系統(tǒng)等。通信密集型應(yīng)用（Network-intensive)：協(xié)同工作，網(wǎng)格計算，遙控和遠(yuǎn)程診斷等。應(yīng)用領(lǐng)域：網(wǎng)站、信息中心、搜索引擎、電信、流媒體等。高能能計算HPC 常用種應(yīng)用領(lǐng)域有哪些？ CAE 仿真、動漫渲染、物理化學(xué)、石油勘探、生命科學(xué)、氣象環(huán)境。CAE 仿真軟件主要有哪些？類別 公司 軟件介紹 流體動力 Ansys FluentCFD分析的領(lǐng)導(dǎo)者，航空、汽車、建筑等，應(yīng)用范圍廣。 Ansys CFXAnsys收購的另外一款CFD軟件，強項在于旋轉(zhuǎn)機械。 OpenFOAM 開源軟件，在教育領(lǐng)域有著比較廣泛的應(yīng)用。 CD-adapco Star-CCM+STAR-CCM+ 不僅僅只是一個 CFD 求解器，它還是一個解決流體或固體流、傳熱和應(yīng)力等相關(guān)問題的完整工程過程。和Fluent競爭 EXA Powerflow 能夠進(jìn)行流體的瞬態(tài)仿真，需要資源高，在汽車噪聲仿真的細(xì)分領(lǐng)域有著獨特優(yōu)勢。 結(jié)構(gòu)力學(xué) Abaqus 包含顯式求解器、隱式求解器、前后處理工具 Ansys MechanicalAnsys的主要結(jié)構(gòu)仿真軟件。 LS