高性能計(jì)算習(xí)題及答案

1、高性能計(jì)算練習(xí)題1、 一下哪種編程方式適合在單機(jī)內(nèi)并行？哪種適合在多機(jī)間并行？單機(jī)：Threading線(xiàn)程、OpenMP；多機(jī)：MPI。2、 例題：HPC集群的峰值計(jì)算能力：一套配置256個(gè)雙路X5670處理器計(jì)算節(jié)點(diǎn)的HPC集群。X5560:2.93GHz Intel XS5670 Westmere六核處理器，目前主流的Intel處理器每時(shí)鐘周期提供4個(gè)雙精度浮點(diǎn)計(jì)算。峰值計(jì)算性能：2.93GHz*4Flops/Hz*6Core*2CPU*256節(jié)點(diǎn)=36003.8GFlops。Gflops=10億次，所以36003Gflops=36.003TFlops=36.003萬(wàn)億次每秒的峰值性能。3

2、、 Top500排名的依據(jù)是什么？High Performance Linpack(HPL)測(cè)試結(jié)果4、 目前最流行的GPU開(kāi)發(fā)環(huán)境是什么？CUDA5、 一套配置200TFlops的HPC集群，如果用雙路2.93GHz Intel westmere六核處理器X5670來(lái)構(gòu)建，需要用多少個(gè)計(jì)算節(jié)點(diǎn)？計(jì)算節(jié)點(diǎn)數(shù)=200TFlops/(2*2.93GHz*6*4Flops/Hz)=14226、 天河1A參與TOP500排名的實(shí)測(cè)速度是多少，效率是多少？2.57PFlops 55%7、 RDMA如何實(shí)現(xiàn)？ RDMA(Remote Direct Memory Access)，數(shù)據(jù)發(fā)送接收時(shí)，不用將數(shù)據(jù)拷

3、貝到緩沖區(qū)中，而直接將數(shù)據(jù)發(fā)送到對(duì)方。繞過(guò)了核心，實(shí)現(xiàn)了零拷貝。8、InfiniBand的最低通訊延遲是多少？1-1.3usec MPI end-to-end，0.9-1us InfiniBand latency for RDMA operations9、GPU-Direct如何加速應(yīng)用程序運(yùn)行速度？通過(guò)除去InfiniBand和GPU之間的內(nèi)存拷貝來(lái)加速程序運(yùn)行。GPUs provide cost effective way for building supercomputers【GPUs提供高效方式建立超級(jí)計(jì)算機(jī)】Dense packaging of compute flops with

4、high memory bandwidth 【使用高端內(nèi)存帶寬的密級(jí)封裝浮點(diǎn)計(jì)算】10、網(wǎng)絡(luò)設(shè)備的哪個(gè)特性決定了MPI_Allreduce性能？集群大小，Time for MPI_Allreduce keeps increasing as cluster size scales，也就是說(shuō)集群的規(guī)模決定了MPI_Allreduce的性能。11、現(xiàn)排名世界第一的超級(jí)計(jì)算機(jī)的運(yùn)行速度？K computer: 10PFlops 也就是10千萬(wàn)億次,93%12、以下哪些可以算作是嵌入式設(shè)備：A 路由器 B機(jī)器人 C微波爐 D筆記本電腦13、選擇嵌入式操作系統(tǒng)的頭兩個(gè)因素是： A 成本 B 售后服務(wù) C可

5、獲得源代碼 D相關(guān)社區(qū) E開(kāi)發(fā)工具14、構(gòu)建嵌入式Linux的主要挑戰(zhàn)是： A 需要廣博的知識(shí)面 B深度定制的復(fù)雜性 C日益增加的維護(hù)成本 D穩(wěn)定性與安全性 E開(kāi)源項(xiàng)目通常質(zhì)量低下15、The Yocto Project的主要目的是：A. 構(gòu)建一個(gè)統(tǒng)一的嵌入式Linux社區(qū) B. 提供高質(zhì)量的工具幫助你輕松構(gòu)建嵌入式Linux， 從而專(zhuān)注于其上的研究工作 C. 包括一組經(jīng)過(guò)測(cè)試的metadata，指導(dǎo)最核心的一些開(kāi)源項(xiàng)目的交叉編譯過(guò)程 D. 提供靈活的擴(kuò)展接口，可以方便的導(dǎo)入新的項(xiàng)目， 或是新的板級(jí)支持包(BSP)16、請(qǐng)描述交叉編譯一個(gè)開(kāi)源項(xiàng)目需要完成哪些工作？ Patch-Configur

6、e-Compile-Install-Sysroot-Package-Do_rootfs17. Top500排名的依據(jù)是什么？答：High Performance Linpack(HPL)測(cè)試結(jié)果18.Write codes to create a thread to compute the sum of the elements of an array.答：Create a thread to complete the sum of the elements of an array.struct arguments double *array;int size;double *sum;int

7、main(int argc, char *argv) double array100; double sum; pthread_t worker_thread; struct arguments *arg; arg = (struct arguments *)calloc(1,sizeof(struct arguments); arg-array = array; arg-size=100; arg-sum = ∑ if (pthread_create(&worker_thread, NULL, do_work, (void *)arg) fprintf(stderr,”Error w

8、hile creating threadn”); exit(1); .void *do_work(void *arg) struct arguments *argument; int i, size; double *array; double *sum; argument = (struct arguments*)arg; size = argument-size; array = argument-array; sum = argument-sum; *sum = 0; for (i=0;i pncomputing sum sn（2）Assignmentnthread k sums sk

9、= f (Ak*n/p) + + f(A(k+1)*n/p-1) nthread 1 sums s = s1+ + sp (for simplicity of this example)nthread 1 communicates s to other threadsn（3）Orchestration nstarting up threadsncommunicating, synchronizing with thread 1n（4）Mappingnprocessor j runs thread jMFlops：Millions of floating point operations /se

10、cPOSIX ：Portable Operating System Interface of Unix可移植操作系統(tǒng)接口33. Thread線(xiàn)程：可作為獨(dú)立單元被調(diào)度的一連串代碼。（process進(jìn)程）34. 編寫(xiě)多線(xiàn)程代碼時(shí)要注意的問(wèn)題（1）負(fù)載均衡（2）正確的存取共享變量（通過(guò)互斥代碼或互斥鎖實(shí)現(xiàn)）35. 用戶(hù)級(jí)線(xiàn)程：多對(duì)一映射。不需要系統(tǒng)支持，操作開(kāi)銷(xiāo)小。一個(gè)線(xiàn)程阻塞時(shí)其他線(xiàn)程也要阻塞。內(nèi)核級(jí)線(xiàn)程：一對(duì)一映射。每個(gè)內(nèi)核線(xiàn)程調(diào)度相互獨(dú)立，OS完成線(xiàn)程的操作。在一個(gè)處理器上每個(gè)內(nèi)核線(xiàn)程可并行執(zhí)行，一個(gè)線(xiàn)程阻塞時(shí)其他線(xiàn)程也可以被調(diào)度。線(xiàn)程調(diào)度開(kāi)銷(xiāo)大，OS要適應(yīng)線(xiàn)程數(shù)目的變化。36. 多線(xiàn)程pt

11、hread_t ：the type of a threadpthread_create() ：creates a threadpthread_mutex_t ：the type of a mutex lockpthread_mutex_lock() ：lock a mutexpthread_self() ：Returns the thread identifier for the calling threadint pthread_create ( pthread_t *thread , pthread_attr_t *attr, void * (*start_routine) (void *

12、) , void *arg); （1）計(jì)算數(shù)組元素之和struct arguments double *array;int size;double *sum;int main(int argc, char *argv) double array100; double sum; pthread_t worker_thread; struct arguments *arg; arg = (struct arguments *)calloc(1,sizeof(struct arguments); arg-array = array; arg-size=100; arg-sum = ∑ if

13、(pthread_create(&worker_thread, NULL , do_work, (void *)arg) fprintf(stderr,”Error while creating threadn”); exit(1); .void *do_work(void *arg) struct arguments *argument; int i, size; double *array; double *sum; argument = (struct arguments*)arg; size = argument-size; array = argument-array; sum =

14、argument-sum; *sum = 0; for (i=0;iarray = array; arg-size=100; arg-sum = ∑ if (pthread_create(&worker_thread, NULL , do_work, (void *)arg) fprintf(stderr,”Error while creating threadn”); exit(1); .if (pthread_join(worker_thread, &return_value) fprintf(stderr,”Error while waiting for threadn”); e

15、xit(1); RDMA，Remote Direct Memory Access,遠(yuǎn)程直接存儲(chǔ)器存儲(chǔ)，通過(guò)Zero-copy和Kernel bypass技術(shù)實(shí)現(xiàn)。37. InfiniBand 的最低通訊延遲是多少？高吞吐率（40Gb/s 點(diǎn)對(duì)點(diǎn)和120Gb/s連接；消息傳遞接近90M/s；發(fā)送接收和RDMA操作通過(guò)0復(fù)制），低延遲（11.3usec MPI 端對(duì)端；RDMA操作0.91us Infiniband延遲）38. 計(jì)算科學(xué)與理論科學(xué)和實(shí)驗(yàn)科學(xué)是人類(lèi)認(rèn)識(shí)自然的三大支柱。39. 應(yīng)用領(lǐng)域：美國(guó)HPCC計(jì)劃，包括：磁記錄技術(shù)、新藥設(shè)計(jì)、高速民航、催化作用、燃料燃燒、海洋建模、臭氧損耗、數(shù)字

16、解析、大氣污染、蛋白質(zhì)結(jié)構(gòu)設(shè)計(jì)、圖像理解、密碼破譯。40. HPC衡量單位：十億次Gflop/s，萬(wàn)億次Tflop/s，千萬(wàn)億次Pflop/s。41. Linpack是國(guó)際上最流行的用于測(cè)試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的benchmark。通過(guò)對(duì)高性能計(jì)算機(jī)采用高斯消元法求解一元N次稠密線(xiàn)性代數(shù)方程組的測(cè)試，評(píng)價(jià)高性能計(jì)算機(jī)的浮點(diǎn)性能。42. 共享存儲(chǔ)對(duì)稱(chēng)多處理機(jī)系統(tǒng)(SMP，Shared Memory Processor)，任意處理器可直接訪(fǎng)問(wèn)任意內(nèi)存地址,且訪(fǎng)問(wèn)延遲、帶寬、幾率都是等價(jià)的; 系統(tǒng)是對(duì)稱(chēng)的。43. Cluster集群：將多個(gè)計(jì)算機(jī)系統(tǒng)通過(guò)網(wǎng)絡(luò)連接起來(lái)如同一個(gè)系統(tǒng)一樣提供服務(wù)，可以

17、獲得高并行處理能力、高可用性、負(fù)載均衡和管理便捷性。44. Cluster技術(shù)進(jìn)步的必然：高性能處理器、高速網(wǎng)絡(luò)、集群OS和管理系統(tǒng)、并行/分布計(jì)算工具以及軟件。 45. 并行計(jì)算Parallel computing: 單一系統(tǒng)，眾核處理同一任務(wù)；分布式計(jì)算Distributed computing: 將多系統(tǒng)用調(diào)度器松散的結(jié)合起來(lái)，處理相關(guān)任務(wù)；網(wǎng)格計(jì)算Grid Computing: 用軟件和網(wǎng)絡(luò)將多系統(tǒng)和多處理器緊耦合，共同處理同一任務(wù)或相關(guān)任務(wù)。46. 并行計(jì)算的兩大優(yōu)勢(shì):處理器總體性能更強(qiáng)，總體內(nèi)存更大。47. 并行式計(jì)算的分類(lèi)：1）shared memory （共享內(nèi)存），可以分為統(tǒng)

18、一內(nèi)存訪(fǎng)問(wèn) Uniform memory access (UMA)即所有處理器訪(fǎng)存相同和Non-uniform memory access (NUMA)訪(fǎng)存延遲取決于數(shù)據(jù)存儲(chǔ)位置；2）distributed memory （分布式內(nèi)存）?？煞譃榇笠?guī)模并行處理器 Massively Parallel Processor (MPP)和集群Cluster。48. 對(duì)稱(chēng)多處理器SMP與全局內(nèi)存通過(guò)總線(xiàn)或交叉開(kāi)關(guān)crossbar互聯(lián)。優(yōu)點(diǎn)編程模型簡(jiǎn)單，問(wèn)題總線(xiàn)帶寬會(huì)飽和，交叉開(kāi)關(guān)規(guī)模會(huì)隨處理器個(gè)數(shù)增加而增大。缺點(diǎn)不宜擴(kuò)展，限制了SMP的規(guī)模。49 集群優(yōu)勢(shì)：通用的高性能、高可用性、高擴(kuò)展性和高性?xún)r(jià)比。5

19、0. 分布式內(nèi)存編程模型：MPI51. 共享內(nèi)存編程模型：OpenMP，Pthreads52. 并行粒度：PVM/MPI、Threads、Compilers、CPU。53. 消息傳遞是當(dāng)前并行計(jì)算領(lǐng)域的一個(gè)非常重要的并行程序設(shè)計(jì)方式.54. MPI是一個(gè)庫(kù)，而不是一門(mén)語(yǔ)言；MPI是一種消息傳遞編程模型，是提供一個(gè)實(shí)際可用的、可移植的、高效的和靈活的消息傳遞接口標(biāo)準(zhǔn).55. 消息傳送機(jī)制：阻塞方式，必須等到消息從本地送出之后才可以執(zhí)行后續(xù)的語(yǔ)句；非阻塞方式，不須等到消息從本地送出就可以執(zhí)行后續(xù)的語(yǔ)句，并不保證資源的可再用性。56. 并行加速的木桶理論：一個(gè)給定問(wèn)題中的并行加速比受此問(wèn)題的串行部分

20、限制。57. 對(duì)于并行計(jì)算來(lái)說(shuō)，最危險(xiǎn)的缺陷就是將一個(gè)計(jì)算問(wèn)題變成了一個(gè)通信問(wèn)題：這種問(wèn)題一般發(fā)生在各個(gè)節(jié)點(diǎn)為了保持同步而傳輸數(shù)據(jù)的時(shí)間超過(guò)了CPU進(jìn)行計(jì)算的時(shí)間，常見(jiàn)網(wǎng)絡(luò)Infiniband，10GE，GE，Myrinet。58. GPU，C-G混合架構(gòu)。第二次課：蔣運(yùn)宏59. VMM，Virtual Machine Monitor，虛擬機(jī)監(jiān)控程序。60. VMM的基本特征：Equivalence（等價(jià)），Isolation（隔離），Efficiency（高效）。61. VMM需要能夠控制整個(gè)物理平臺(tái)，通過(guò)“Ring Deprivileging”實(shí)現(xiàn)CPU控制。62. 可虛擬化的指令集：特權(quán)

21、指令，敏感指令。劉通：63. 什么是SuperComputing：biggest，fastest。About Size and Speed。64. Supercomputing用在對(duì)物理現(xiàn)象的仿真，數(shù)據(jù)挖掘，虛擬化。65. HPC的組件：硬件、軟件、應(yīng)用程序和人。66. Remote DMA：Zero-copy，Kernel bypass67. TCP/IP Networks: Overhead and Latency （負(fù)載和延遲）68. InfiniBand的高性能體現(xiàn)在：高的吞吐量（highest throughput，40Gb/s node to node and 120Gb/s sw

22、itch to switch，Nearly 90M MPI messages per second，Send/receive and RDMA operations with zero-copy），低的延遲（lowest latency，1-1.3usec MPI end-to-end，0.9-1us InfiniBand latency for RDMA operations），低的CPU負(fù)載（Lowest CPU overhead）69. 影響可擴(kuò)展性的關(guān)鍵元素：硬件，軟件，程序本身70. 隨著系統(tǒng)大小的增加，通信時(shí)間所占的比例持續(xù)增加71. Mostly used MPI functio

23、ns，MPI最常用的函數(shù)：MPI_Wait, MPI_Allreduce, and MPI_Bcast 72. InfiniBand provides higher utilization, performance and scalability，提供了更高的利用率，性能和可擴(kuò)展能力。王璟：73. 基本概念：并行計(jì)算(Parallel Computing），高端計(jì)算(High-end Parallel Computing)，高性能計(jì)算(High Performance Computing)，超級(jí)計(jì)算(Super Computing)74. 為何要做HPC：科學(xué)和工程問(wèn)題的數(shù)值模擬與仿真，要求:

24、在合理的時(shí)限內(nèi)完成計(jì)算任務(wù)。75. 如何滿(mǎn)足高精度計(jì)算的需求？ 并行計(jì)算，降低單個(gè)問(wèn)題求解的時(shí)間，增加問(wèn)題求解規(guī)模，提高吞吐率(多機(jī)同時(shí)執(zhí)行多個(gè)串行程序).76. 高性能計(jì)算機(jī)：由多個(gè)計(jì)算單元組成，運(yùn)算速度快、存儲(chǔ)容量大、可靠性高的計(jì)算機(jī)系統(tǒng)。77. 科研創(chuàng)新的三大支柱：，理論分析，計(jì)算模擬，觀(guān)察實(shí)驗(yàn)。78. HPC應(yīng)用：汽車(chē)制造，氣象預(yù)報(bào)，生物制藥，飛機(jī)制造，動(dòng)畫(huà)渲染，金融計(jì)算，石油勘探。79. 并行計(jì)算的硬件體系：并行計(jì)算機(jī)就是由多個(gè)處理單元組成的計(jì)算機(jī)系統(tǒng)，這些處理單元相互通信和協(xié)作以快速、高效求解大型復(fù)雜問(wèn)題。80. 結(jié)構(gòu)模型：a）PVP；b）SMP； c）MPP（Massively

25、Parallel Processor，大規(guī)模并行處理器）；d）DSM（distributed shared memory,動(dòng)態(tài)分布式存儲(chǔ)）；e）Cluster/COW；81. 訪(fǎng)存模型：多處理機(jī)（單地址空間共享存儲(chǔ)器），UMA: Uniform Memory Access，NUMA: Nonuniform Memory Access；多計(jì)算機(jī)（多地址空間非共享存儲(chǔ)器），NORMA:No-Remote Memory Access。82.程序設(shè)計(jì)模型：a）隱式并行（Implicit Parallel），就是各種并行編程語(yǔ)言，如Fortran90, HPF(1992)；共享變量（Shared Var

26、iable），如POSIX threads線(xiàn)程模型，OpenMP；消息傳遞（Message Passing），如MPI （Message Passing Interface），PVM（Parallel Virtual Machine）。InfiniBand：以交換為核心；交換機(jī)是InfiniBand中的基本組件；點(diǎn)到點(diǎn)的交換結(jié)構(gòu)：解決了共享總線(xiàn)、容錯(cuò)性和可擴(kuò)展性問(wèn)題；具有物理層低功耗特點(diǎn)和箱外帶寬連接能力。InfiniBand的特點(diǎn)：高速度；遠(yuǎn)程直接內(nèi)存存取功能；傳輸卸載；CPU加速-GPU；網(wǎng)絡(luò)加速-InfiniBand；內(nèi)存加速-虛擬存儲(chǔ)；GPU（Graphic Processing Un

27、it），用于個(gè)人計(jì)算機(jī)、工作站和游戲機(jī)的專(zhuān)用圖像顯示設(shè)備顯示卡或主板集成。CPU更多資源用于緩存；GPU更多資源用于數(shù)據(jù)計(jì)算,適合具備可預(yù)測(cè)計(jì)算模式的應(yīng)用.HPC面臨的挑戰(zhàn)：a）計(jì)算功耗比，即通用性和效率之間尋找一個(gè)平衡點(diǎn)；b）更高的并行度；c）足夠價(jià)值的艾級(jí)應(yīng)用；d）容錯(cuò)；e）所依賴(lài)的器件革命何時(shí)發(fā)生；f）與新興應(yīng)用的關(guān)系；g）高性能應(yīng)用軟件產(chǎn)業(yè)；83、集群技術(shù)的優(yōu)勢(shì)：通用的高性能：節(jié)點(diǎn)采用傳統(tǒng)服務(wù)器平臺(tái)，通用的硬件、操作系統(tǒng)，適應(yīng)性強(qiáng) 高可用性：高度的設(shè)備冗余，CPU、內(nèi)存、磁盤(pán)、節(jié)點(diǎn)機(jī) 高可擴(kuò)展性：以交換設(shè)備為核心，節(jié)點(diǎn)機(jī)、存儲(chǔ)可靈活填減 更高的性?xún)r(jià)比：通用設(shè)備，統(tǒng)一的標(biāo)準(zhǔn)84、MPI：

28、Massage Passing Interface:是消息傳遞函數(shù)庫(kù)的標(biāo)準(zhǔn)規(guī)范.MPI是一個(gè)庫(kù)，而不是一門(mén)語(yǔ)言；MPI是一種消息傳遞編程模型，并成為這種編程模型的代表和事實(shí)上的標(biāo)準(zhǔn)； MPI是一種標(biāo)準(zhǔn)或規(guī)范的代表，而不特指某一個(gè)對(duì)它的具體實(shí)現(xiàn)；目標(biāo): 是提供一個(gè)實(shí)際可用的、可移植的、高效的和靈活的消息傳遞接口標(biāo)準(zhǔn).MPI提供C/C+和Fortran語(yǔ)言的綁定1.基本縮寫(xiě)（HPC）與高性能計(jì)算相關(guān)的縮寫(xiě)5個(gè)2.ConcurrencyPipelineRISC會(huì)畫(huà)圖 illustration3.How to improve performance?Coding.How I speed up my c

29、ode?4.A Trivial Example load-balance speed up5.線(xiàn)程 PThread: POSIX Thread一、名詞解釋HPCC：High Performance Computing and Communications（高性能計(jì)算和通信）RISC: Reduced Instruction Set Computing（精簡(jiǎn)指令集）ILP： Instruction Level Parallelism指令集并行SMP：Symmetric Multi-Processors對(duì)稱(chēng)多處理器SMT：Simultaneous Multi Threading同步多線(xiàn)程MPP：M

30、assively Parallel Processor大規(guī)模并行處理器SISD：single instruction single data單指令單數(shù)據(jù)SIMD：single instruction multiple dta單指令多數(shù)據(jù)MIMD：multiple instructions multiple dataMISD：multiple instructions single dataMSP：Multi-Streaming vector Processor多串流向量處理器MIPS：Millions of instructions / sec每秒百萬(wàn)條指令DAGs：Directed Acyc

31、lic GraphsFCFS：First Come First ServeEASY：Extensible Argonne Scheduling System可擴(kuò)展的Argonne調(diào)度系統(tǒng)CUDA ：Compute Unified Device Architecture 通用并行計(jì)算架構(gòu)并行計(jì)算提出的原因：1、提高性能和存儲(chǔ)能力2、使用戶(hù)和計(jì)算機(jī)之間相互協(xié)調(diào)3、獲得一個(gè)問(wèn)題的邏輯結(jié)構(gòu)4、處理獨(dú)立的物理設(shè)備并行的三大問(wèn)題：性能，準(zhǔn)確性，可編程性ProgrammabilityMPI ：Massage Passing Interface 是消息傳遞函數(shù)庫(kù)的標(biāo)準(zhǔn)規(guī)范.1. Parallel computing ：?jiǎn)我幌到y(tǒng)，眾核處理同一任務(wù)。時(shí)間上的并行就是指流水線(xiàn)技術(shù)，而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。2. 并行計(jì)算優(yōu)勢(shì)：處理器總體性能更強(qiáng)；總體內(nèi)存更大。3. HPC集群峰值計(jì)算能力：一套配置256個(gè)雙路X5560處理器計(jì)算節(jié)點(diǎn)的HPC集群，X5560： 2.8GHz Intel X5560 Nehalem四核處理器，目前主流的處理器每時(shí)鐘周期提供4個(gè)雙