高能物理數(shù)據(jù)處理與高性能計(jì)算應(yīng)用

1、高能物理數(shù)據(jù)處理與高性能計(jì)算應(yīng)用高能物理計(jì)算挑戰(zhàn)2高能物理的目標(biāo)探索物質(zhì)微觀結(jié)構(gòu)、宇宙起源等自然規(guī)律、新物理尋找為什么物質(zhì)有質(zhì)量？標(biāo)準(zhǔn)模型不能 解釋W(xué),Z玻色子為什么有質(zhì)量為什么宇宙中觀測(cè)到的物質(zhì)只有理論預(yù)言的4%？反物質(zhì)在哪里？為什么自然 界的正反物質(zhì)是不對(duì)稱的？宇宙大爆炸剛發(fā)生時(shí)的物質(zhì) 形態(tài)是什么樣的？3高能物理科學(xué)研究物質(zhì)結(jié)構(gòu)組成（理論）夸克、輕子、玻色子強(qiáng)力、弱力、電磁力、萬(wàn)有引力粒子加速器（裝置）粒子物理研究的重要手段之一BEPCII，LHC，CEPC等等探測(cè)器 （實(shí)驗(yàn)）探測(cè)各類粒子，用于科學(xué)研究BESIII, JUNO, LHAASO,ATLAS, CMS 數(shù)據(jù)分析（科學(xué)發(fā)現(xiàn)）暗物

2、質(zhì)/暗能量宇宙起源高能物理研究三大前沿能量前沿大型強(qiáng)子對(duì)撞機(jī)（LHC）及其探測(cè)器（ATLAS, Alice、CMS, LHCb）的物理實(shí)驗(yàn)為代表精度前沿中微子實(shí)驗(yàn)（美國(guó)DUNE, 中國(guó)大亞灣、 江門(mén)中微子實(shí)驗(yàn)等），muon反常磁矩測(cè) 量等宇宙前沿宇宙線測(cè)量，宇宙起源和演化、暗物質(zhì)暗能量等5CERN的大型強(qiáng)子對(duì)撞機(jī)LHCHiggs, SUSY,Strings, Dark Matter,.6LHC數(shù)據(jù)與存儲(chǔ)2016: 49.4 PB LHC raw data/58 PB all experiments/73 PB total200 PB on Disk3.3 Bil files400GB/s di

3、sk IO300 PB on tape totally7中國(guó)高能物理實(shí)驗(yàn)、北京正負(fù)電子對(duì)撞機(jī)BECPII已經(jīng)積累近10PB大亞灣中微子實(shí)驗(yàn)200TB/年已經(jīng)積累1PB以上數(shù)據(jù)江門(mén)中微子實(shí)驗(yàn)JUNO地下500米實(shí)驗(yàn)大廳2020年運(yùn)行，每年將產(chǎn)生2PB數(shù)據(jù)高海拔宇宙線實(shí)驗(yàn)LHAASO位于四川稻城海子山，海拔4400米2018年開(kāi)始部分運(yùn)行，建成后每年將產(chǎn)生6PB數(shù)據(jù)HXMT（“慧眼”衛(wèi)星）、CSNS（中國(guó)散裂中子源）HEPS（高能同步輻射光源）等等8高性能計(jì)算和大數(shù)據(jù)處理高能物理科學(xué)研究能否成功依賴于計(jì)算技術(shù)的發(fā)展實(shí)驗(yàn)采集到的數(shù)據(jù)需要強(qiáng)大的計(jì)算系統(tǒng)對(duì)其進(jìn)行分析處理物理模擬及理論計(jì)算需要強(qiáng)大的高性能

4、計(jì)算支撐不同的數(shù)據(jù)處理任務(wù)采用不同的計(jì)算模式粒子加速器和探測(cè)器的計(jì)算機(jī)模擬設(shè)計(jì)：計(jì)算密集型粒子探測(cè)器觀測(cè)到的海量科學(xué)數(shù)據(jù)的分析處理：數(shù)據(jù)密集型高能物理理論研究中的高強(qiáng)度的科學(xué)計(jì)算：計(jì)算密集型例如格點(diǎn)量子色動(dòng)力學(xué)（格點(diǎn)QCD)和計(jì)算宇宙學(xué)9美國(guó)高能物理HPC計(jì)算現(xiàn)狀和未來(lái)需求計(jì)算任務(wù)當(dāng)前計(jì)算量（核小時(shí)/年）2025年需求（核小時(shí)/年）當(dāng)前存儲(chǔ)（磁盤(pán)）2025年存儲(chǔ)（磁盤(pán)）2025年網(wǎng)絡(luò)加速器建模10M-100M10G-100G計(jì)算宇宙學(xué)100M-1G100G-1000G10PB100PB300Gb/s格點(diǎn)QCD1G100G-1000G1PB10PB理論物理1M-10M100M-1G宇宙前沿10M

5、-100M1G-10G1PB10-100PB能量前沿100M10G-100G1PB100PB300Gb/s強(qiáng)度前沿10M100M-1G1PB10-100PB300Gb/sSource: /abs/1603.09303到2025年，高能物理前沿研究所需的計(jì)算量將比目前提高2個(gè)數(shù)量級(jí) 需要數(shù)千萬(wàn)甚至上億個(gè)CPU核10高能物理計(jì)算的技術(shù)演變?yōu)閼?yīng)對(duì)大數(shù)據(jù)，計(jì)算技術(shù)一直在不斷的演化發(fā)展可擴(kuò)展性，高可靠性，大規(guī)模，高性能，易用性，20年前: 本地集群Beowulf cluster、存儲(chǔ)區(qū)域網(wǎng)絡(luò)、局域網(wǎng)15年前, 廣域網(wǎng)上的分布式計(jì)算網(wǎng)格計(jì)算、 分布式存儲(chǔ)系統(tǒng)、廣域網(wǎng)數(shù)據(jù)傳輸10年前，云計(jì)算與大數(shù)據(jù)技術(shù)虛擬

6、化、云計(jì)算、Map-Reduce，NoSQL、BigTable、現(xiàn)階段，新技術(shù)融合發(fā)展高性能計(jì)算、網(wǎng)格計(jì)算、云計(jì)算、志愿計(jì)算、大數(shù)據(jù)、人工智能、 11國(guó)際高能物理網(wǎng)格WLCGApril 2017:63 MoUs167 sites; 42 countriesCPU：5.2 M HepSpec06今天最快CPU: 50萬(wàn)核實(shí)際上超過(guò)70萬(wàn)核（有些CPU使用超過(guò)5年）存儲(chǔ)：985PBDisk： 395 PBTape： 590 PBIan Bird WLCG201712國(guó)內(nèi)（高能所）WLCG站點(diǎn)1,600 CPU核，640TB磁盤(pán)存儲(chǔ)空間（另有15000CPU核, 16PB存儲(chǔ)用 于本地使用）到歐洲和

7、北美10Gb/s網(wǎng)絡(luò)帶寬被評(píng)為國(guó)際Leadership網(wǎng)格站點(diǎn)站點(diǎn)運(yùn)行水平名列前茅每年提供超過(guò)1000萬(wàn)CPU小時(shí)的計(jì) 算服務(wù)每年完成超過(guò)550萬(wàn)個(gè)計(jì)算作業(yè)每年與歐洲及北美之間的數(shù)據(jù)交換超 過(guò)3PB高能所站點(diǎn)為Higgs粒子的發(fā)現(xiàn)做出了貢獻(xiàn)13計(jì)算資源全面整合ARC CECondorDiracATLAS PanDA/BESGrid系 統(tǒng)高能物理應(yīng)用系統(tǒng)分布式資源調(diào)度分布式IT資源BoincScGrid ERACNICCondor ClusterIHEPOpenstack CloudCERNDesktop Grid CASHOME超算集群云計(jì)算志愿計(jì)算資源調(diào)度14高能物理高性能應(yīng)用軟件15國(guó)內(nèi)外

8、高能物理軟件研究現(xiàn)狀大規(guī)模并行計(jì)算已成為高能物理領(lǐng)域的迫切需求格點(diǎn)量子色動(dòng)力學(xué)（QCD）、高能量前沿、高精度前沿等有巨大計(jì)算需求大規(guī)模并行計(jì)算是提高計(jì)算效率、滿足計(jì)算需求的重要手段面臨著巨大的挑戰(zhàn)系統(tǒng)協(xié)同、密集型通信、海量數(shù)據(jù)訪問(wèn)與管理等國(guó)內(nèi)外都非常重視高能物理領(lǐng)域的軟件研發(fā)美國(guó)為例，高能物理研究一直是受到重點(diǎn)支持的高性能科學(xué)計(jì)算應(yīng)用領(lǐng)域我國(guó)國(guó)家重點(diǎn)研發(fā)計(jì)劃“高性能計(jì)算專項(xiàng)”支持了高能物理高性能應(yīng)用項(xiàng)目國(guó)際高能物理軟件聯(lián)盟HSF: HEP Software FoundationIRIS-HEP: Institute for Research and Innovation in Software

9、 for HighEnergy Physics，2018年啟動(dòng)，美國(guó)NSF資助2500萬(wàn)美元國(guó)內(nèi)外超級(jí)計(jì)算機(jī)發(fā)展迅速美國(guó)：Mira, Edison, Titan, Cori, Theta, Trinity, Summit, Sierra, 中國(guó)：銀河、天河、神威、曙光、16高能物理高性能應(yīng)用軟件研制國(guó)家重點(diǎn)研發(fā)計(jì)劃“高性能計(jì)算”重點(diǎn)專項(xiàng)“面向高能物理領(lǐng)域科學(xué)發(fā)現(xiàn)的高性能應(yīng)用軟件系統(tǒng)研制”高能所、中山大學(xué)、中科院網(wǎng)絡(luò)中心、浙大、北航等基于國(guó)產(chǎn)超級(jí)計(jì)算機(jī)，研制一套高能物理高性能應(yīng)用軟件系統(tǒng)，支持我 國(guó)的高能物理科學(xué)研究重點(diǎn)針對(duì)高能物理前沿應(yīng)用與科研院所用戶進(jìn)行應(yīng)用推廣超級(jí)計(jì)算環(huán)境高能物理高性能 應(yīng)

10、用軟件系統(tǒng)公共庫(kù)與工具格點(diǎn)QCD物理模擬分波分析前沿應(yīng)用（QCD、BES）應(yīng)用推廣科研用戶（中科院、北大）17格點(diǎn)QCD概覽描述強(qiáng)相互作用的正確理論是量子色動(dòng)力學(xué)(QCD)格點(diǎn)QCD是從第一原理出發(fā)研究QCD非微擾性質(zhì)的方法格點(diǎn)QCD 數(shù)值模擬計(jì)算是耗費(fèi)計(jì)算資源最多的科研領(lǐng)域之一格點(diǎn)QCD是與高能物理實(shí)驗(yàn)和理論 研究并列的第三分支格點(diǎn)QCD對(duì)強(qiáng)相互作用研究、標(biāo)準(zhǔn) 模型精確檢驗(yàn)和新物理尋找等有十分 重要的理論意義高能物理實(shí)驗(yàn)研究也急需格點(diǎn)QCD進(jìn)行理論配合研究。漸進(jìn)自由中國(guó)的大科學(xué)裝置BEPCII/BESIII的夸克禁閉18高性能計(jì)算在格點(diǎn)QCD中的應(yīng)用N L3 TPl , Al ,l 8 4

11、N;i ,i ,i 12N; *i ,*i ,i 12NM U :12N 12N (matrix)QU M U M U QCD拉氏量產(chǎn)生QCD物質(zhì)的狀態(tài)（組態(tài)）物理觀測(cè)量的統(tǒng)計(jì)平均大規(guī)模數(shù)值模擬（Monte Carlo重點(diǎn)抽樣 ）數(shù)據(jù)分析，得到最終物理結(jié)果算法特點(diǎn)：利用Monte Carlo數(shù)值求解近 鄰相互作用的多自由度體系的 統(tǒng)計(jì)問(wèn)題計(jì)算過(guò)程：計(jì)算密集型，高并行度高可擴(kuò)展性，計(jì)算量大計(jì)算規(guī)模：L3T 1283256可以劃分為84 的子格子131072核并行19格點(diǎn)QCD面臨的問(wèn)題格點(diǎn)QCD研究等物理模擬計(jì)算高度依賴于超級(jí)計(jì)算能力格點(diǎn)QCD現(xiàn)有萬(wàn)核的并行計(jì)算僅能支持48484896的格點(diǎn)規(guī)模

12、，目前難以進(jìn)行與北京譜儀BESIII實(shí)驗(yàn)密切相關(guān)的物理問(wèn)題研究項(xiàng)目目標(biāo)256256256512大小的格點(diǎn)規(guī)模（200萬(wàn)核并行）在格 點(diǎn)劃分、國(guó)產(chǎn)超算平臺(tái)支撐、計(jì)算效率等方面提出較大的挑戰(zhàn)QCD一直是HPC重點(diǎn)應(yīng)用，于1988,1998,2006年三次獲得戈登貝爾獎(jiǎng)格點(diǎn)規(guī)模計(jì)算規(guī)模48484896萬(wàn)核256256256512200萬(wàn)核更接近物理實(shí)際，處于國(guó)際領(lǐng)先地位現(xiàn)狀目標(biāo)20軟件研發(fā)與移植基于國(guó)家超算無(wú)錫中心的神威“太湖之光” ，采用40,960枚神威SW26010型片上異構(gòu)處理器；兼顧天河二號(hào)國(guó)產(chǎn)GPDSP協(xié)處理器采用MPI進(jìn)程與athread線程二級(jí)并行方案D-slash是費(fèi)米子矩陣乘向量

13、計(jì)算，是最常用的基本函數(shù)，也是消耗絕 大部分計(jì)算資源的主要函數(shù)，先使用MPI實(shí)現(xiàn)基于主核或CPU的進(jìn)程并 行，再使用athread或OpenMP實(shí)現(xiàn)在從核或協(xié)處理器上的并行計(jì)算以GPUPWA軟件為基礎(chǔ)，基于OpenACC重新開(kāi)發(fā)似然函數(shù)的異構(gòu)計(jì)算部分，實(shí)現(xiàn)在GPU和國(guó)產(chǎn)協(xié)處理器上的數(shù)據(jù)并行21關(guān)鍵技術(shù)問(wèn)題問(wèn)題1：“太湖之光”主從核結(jié)構(gòu)的使用效率格點(diǎn)QCD中稀疏矩陣乘向量運(yùn)算的高效并行實(shí)現(xiàn)重點(diǎn)解決“太湖之光”芯片組中從核上有限的緩存和格點(diǎn)QCD的內(nèi)部自由度眾多之間的矛盾問(wèn)題2：海量密集型高能物理數(shù)據(jù)高性能訪問(wèn)海量的數(shù)據(jù)訪問(wèn)導(dǎo)致I/O瓶頸問(wèn)題，并行計(jì)算效率降低傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和訪問(wèn)效率低問(wèn)題3：超大

14、規(guī)模并行計(jì)算中求解線性系統(tǒng)的算法研究舍入誤差和臨界慢化、Mutligrid 算法和Domain Decomposition算法應(yīng) 用22QCD在太湖之光上的移植單主核單核組多核組（MPI）主要代碼框架從核的Dslash操作從核的若干Krylov子空間求解算法主核MPI通信主核的并行文件讀寫(xiě)與數(shù)據(jù)調(diào)度全局規(guī)約參數(shù)化Dslash自動(dòng)代碼生成器LQCD二維示意圖四維格點(diǎn)的二維展開(kāi)請(qǐng)關(guān)注10月19日分會(huì)報(bào)告：基于申威眾核處理器的格點(diǎn)量子色動(dòng)力學(xué)并行加速計(jì)算方法23優(yōu)化效果單主核版本與單核組從核版 本運(yùn)行時(shí)間對(duì)比：版本時(shí)間（s）加速比單主核3.31165單核組從核0.02單主核版本與從核優(yōu)化MPI 版本

15、運(yùn)行時(shí)間對(duì)比：版本時(shí)間（s）加速比單主核57.7325.43MPI2.27目前的從核優(yōu)化策略取得了良好 的效果，從核優(yōu)化版本相較單主 核版本的加速比達(dá)到了165倍在從核優(yōu)化的基礎(chǔ)上，將程序擴(kuò) 展到16個(gè)核組上，相應(yīng)的單主核 版本程序的數(shù)據(jù)量也增大16倍。 運(yùn)行時(shí)間有所提升，加速比達(dá) 25.4324主要工作貢獻(xiàn)通過(guò)分析LQCD的應(yīng)用特征及數(shù)值特征，首次在神威平臺(tái)上實(shí)現(xiàn)了成功移植及運(yùn)行通過(guò)使用向量化、指令流水線、寄存器通訊機(jī)制等手段在申威26010處 理器上實(shí)現(xiàn)了異構(gòu)眾核并行，并實(shí)現(xiàn)了不錯(cuò)的加速比在實(shí)現(xiàn)從核陣列并行化的基礎(chǔ)上，進(jìn)一步使用MPI實(shí)現(xiàn)了多核組連并運(yùn) 行，以此實(shí)現(xiàn)了一定的并行規(guī)模下一步將

16、使用stencil技術(shù)，增大數(shù)據(jù)量，進(jìn)一步發(fā)掘LDM與寄存器通訊 機(jī)制的功能，以更加充分地利用從核陣列的并行計(jì)算能力，提高運(yùn)行效 率；進(jìn)一步消除MPI通訊的瓶頸阻礙，以期進(jìn)一步擴(kuò)大并行規(guī)模，充分挖掘 神威平臺(tái)的整體計(jì)算能力25QCD在天河三號(hào)原型機(jī)上的運(yùn)行測(cè)試用例格子大小不變，TxLxLxL固定，變化單個(gè)cpu核上子格子大小每個(gè)節(jié)點(diǎn)使用32個(gè)飛騰處理器核心，共測(cè)試到3456個(gè)節(jié)點(diǎn)，共110592個(gè)CPU核心不同節(jié)點(diǎn)數(shù)對(duì)應(yīng)963192格子上總的計(jì)算能力保持穩(wěn)定（左）對(duì)應(yīng)963192格子，總的計(jì)算能力隨節(jié)點(diǎn)數(shù)基本呈線性增長(zhǎng)（右）26強(qiáng)子物理分波分析軟件分波分析軟件是強(qiáng)子譜學(xué)、特別是尋找和研究新型強(qiáng)

17、子的關(guān)鍵工具，采用GPU/MIC異構(gòu)計(jì)算技術(shù)解決大量擬合計(jì)算瓶頸完成基于OpenAcc的分波分析軟件的初步實(shí)現(xiàn)完善基于OpenCL的GPUPWA分波分析軟件，形成相關(guān)文檔；在曙光E級(jí) 原型機(jī)上成功運(yùn)行單節(jié)點(diǎn)運(yùn)行顯示曙光原型機(jī)比高能所現(xiàn)有服務(wù)器(AMD HD7950或 NvidiaK80)的性能提高7-8倍PWA OpenAcc version：/ihepbox/index.php/s/MVwdCG7uRHgKKka PWA OpenCL version：/ihepbox/index.php/s/ARxr7cMTK7WZQGC/projects/gpupwa27高能物理高性能計(jì)算軟件集成方案抽象高能物理應(yīng)用的工作流和應(yīng)用邏輯，實(shí)現(xiàn)統(tǒng)一跨超算平臺(tái)軟件集成；整合密集計(jì)算與數(shù)據(jù)分析，關(guān)注用戶資源管理、作業(yè)管理與數(shù)據(jù)分析展示；基于高層、統(tǒng)一和較完