BESIII探測(cè)器

1、4.12數(shù)據(jù)獲取系統(tǒng)4.12.1 BESIII數(shù)據(jù)量估計(jì)BEPCII的設(shè)計(jì)亮度為1033cm-sec-,預(yù)期在J/巾能區(qū)通過(guò)一級(jí)觸發(fā)判選后的事例率高達(dá)4000Hz。BEPCII亮度兩個(gè)數(shù)量級(jí)的提高和BESIII探測(cè)器的升級(jí)需要采用流水線的電子學(xué)系統(tǒng)，因此BESIII數(shù)據(jù)獲取系統(tǒng)(DAQ)的設(shè)計(jì)目標(biāo)是完成高事例率(不超過(guò)4000Hz)下的數(shù)據(jù)讀出和處理。DAQ系統(tǒng)的性能需求是由觸發(fā)率和事例大小決定的，也就是說(shuō)，可以通過(guò)對(duì)探測(cè)器數(shù)據(jù)量的估計(jì)來(lái)決定DAQ系統(tǒng)的設(shè)計(jì)方案。下面根據(jù)探測(cè)器的指標(biāo)對(duì)數(shù)據(jù)量進(jìn)行初步的估計(jì)，BESIII總電子學(xué)信道數(shù)將超過(guò)3萬(wàn)路，其中ADC和TDC類型的有2萬(wàn)多路。如果MDC時(shí)

2、間信號(hào)通道按平均15%“著火”率計(jì)算，EMC按平均17%“著火”率計(jì)算，MUC按平均1%“著火”率計(jì)算，剩下的按平均10%“著火”率計(jì)算，可以得到表4.12-1數(shù)據(jù)量估算參數(shù)。表4.12-1BESIII探測(cè)器數(shù)據(jù)量估計(jì)探測(cè)器子系統(tǒng)信道數(shù)VME機(jī)箱讀出數(shù)據(jù)量(Mbyte/s)機(jī)群處理數(shù)據(jù)量(MByte/s)記帶數(shù)據(jù)量(Mbyte/s)MDC(T+Q)1360046.62821EMC627224.81713TOF+CCT8962.31.61.2MUC90882.41.61.2觸發(fā)4006.46.44.8小計(jì)3025682.554.641.2因此，BESIII數(shù)據(jù)獲取系統(tǒng)需要完成超過(guò)每秒80Mbyt

3、es的數(shù)據(jù)讀出任務(wù)，經(jīng)PowerPC和讀出PC機(jī)對(duì)事例進(jìn)行初步組裝，去除冗余的字頭、字尾和出錯(cuò)等信息后,在線計(jì)算機(jī)機(jī)群需要處理的數(shù)據(jù)量超過(guò)每秒50Mbytes,最后通過(guò)軟件觸發(fā)判選的記帶數(shù)據(jù)量超過(guò)每秒40MBytes。由此可見(jiàn)，分級(jí)事例組裝技術(shù)不僅可以逐級(jí)減少數(shù)據(jù)量，而且可以有效地利用網(wǎng)絡(luò)資源。與國(guó)外目前運(yùn)行的同類系統(tǒng)相比，不論在規(guī)模還是在性能方面，BESIII數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)指標(biāo)都是相當(dāng)高的，實(shí)現(xiàn)的技術(shù)難度比較大，研制周期長(zhǎng)。因此，在系統(tǒng)設(shè)計(jì)策略方面必須采用成熟的和先進(jìn)的技術(shù)，特別需要注重總線技術(shù)、網(wǎng)絡(luò)技術(shù)和計(jì)算機(jī)技術(shù)的未來(lái)發(fā)展。4.12.2 系統(tǒng)的主要任務(wù)BESIII數(shù)據(jù)獲取系統(tǒng)的主要任

4、務(wù)是獲取通過(guò)一級(jí)觸發(fā)判選后的前端電子學(xué)事例數(shù)據(jù)，經(jīng)過(guò)兩級(jí)計(jì)算機(jī)預(yù)處理和高速網(wǎng)絡(luò)傳輸，將分布在各電子學(xué)(VME)讀出機(jī)箱中的事例數(shù)據(jù)段迅速地匯集到在線計(jì)算機(jī)系統(tǒng)上進(jìn)行事例包裝和過(guò)濾，整理成為完整的有效事例，最終將標(biāo)記的事例數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳送到計(jì)算中心記錄到永久介質(zhì)上。為了從前端電子學(xué)系統(tǒng)中快速讀出數(shù)據(jù)并使系統(tǒng)死時(shí)間盡可能地小，BESIII數(shù)據(jù)獲取系統(tǒng)設(shè)計(jì)將大量采用多級(jí)數(shù)據(jù)緩沖技術(shù)、并行處理技術(shù)、VME總線高速讀出技術(shù)以及網(wǎng)絡(luò)傳輸技術(shù)。多級(jí)數(shù)據(jù)緩沖可以有效地減小由于高能物理實(shí)驗(yàn)事例產(chǎn)生的隨機(jī)性而引起的死時(shí)間，基于網(wǎng)絡(luò)交換機(jī)的并行數(shù)據(jù)傳送可以提高數(shù)據(jù)流量和完成事例的并行處理。為此，BESIII數(shù)據(jù)獲取

5、系統(tǒng)必須實(shí)現(xiàn)下列任務(wù)：(1)實(shí)現(xiàn)讀出機(jī)箱中VME設(shè)備(ADC和TDC插件)的高速數(shù)據(jù)采集，最充分地利用VME總線的帶寬資源，采用CBLT(ChainedBlockTransfer)DMA傳輸技術(shù)將前端電子學(xué)插件中的數(shù)據(jù)段讀出并匯集成事例段；(2)設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)獲取系統(tǒng)對(duì)前端電子學(xué)讀出系統(tǒng)、觸發(fā)系統(tǒng)、事例數(shù)據(jù)流控制系統(tǒng)、在線系統(tǒng)、運(yùn)行控制及監(jiān)測(cè)系統(tǒng)的接口；(3)提供并實(shí)現(xiàn)保證數(shù)據(jù)正確讀出/傳輸所需的硬件和軟件所有協(xié)議；(4)實(shí)現(xiàn)上位機(jī)系統(tǒng)，完成全系統(tǒng)運(yùn)行控制、信息監(jiān)測(cè)和狀態(tài)調(diào)整功能。提供完善的系統(tǒng)運(yùn)行“報(bào)錯(cuò)”功能，包括：無(wú)效或錯(cuò)誤的操作、緩沖區(qū)溢出、各種故障等；(5)實(shí)現(xiàn)在線基本軟件系統(tǒng)，包含事

6、例組裝、事例過(guò)濾和在線分析等重要數(shù)據(jù)處理軟件以及直方圖和單事例顯示等功能；(6)完成大容量、高速度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)任務(wù)，最終將事例數(shù)據(jù)送到計(jì)算中心記錄到永久介質(zhì)上；(7)提供系統(tǒng)在線刻度、電子學(xué)讀出系統(tǒng)校準(zhǔn)和網(wǎng)絡(luò)環(huán)境監(jiān)測(cè)等輔助支持系統(tǒng)；(8)根據(jù)BESIII的數(shù)據(jù)貯存需求和其它數(shù)據(jù)監(jiān)測(cè)需求，設(shè)計(jì)并實(shí)現(xiàn)在線數(shù)據(jù)庫(kù)管理系統(tǒng)，并與離線分析數(shù)據(jù)庫(kù)管理系統(tǒng)連接，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)更新。4.12.3 系統(tǒng)構(gòu)成BESIII數(shù)據(jù)獲取系統(tǒng)是基于前端電子學(xué)和觸發(fā)/判選的硬件系統(tǒng)，由讀出系統(tǒng)、在線系統(tǒng)和校準(zhǔn)系統(tǒng)及其它輔助/服務(wù)系統(tǒng)組成。在系統(tǒng)構(gòu)造方面，BESIII數(shù)據(jù)獲取系統(tǒng)必須成為高可靠性、高穩(wěn)定性、易升級(jí)、易擴(kuò)充的系統(tǒng)。系

7、統(tǒng)設(shè)備配置和軟件開(kāi)發(fā)工具著眼于未來(lái)技術(shù)發(fā)展趨勢(shì)，盡可能采用市場(chǎng)上性能/價(jià)格比最好的商業(yè)化產(chǎn)品。BESIII數(shù)據(jù)獲取系統(tǒng)大規(guī)模運(yùn)用先進(jìn)的計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)，采用多級(jí)并行處理方案。最低一級(jí)為基于VME總線系統(tǒng)的讀出機(jī)箱，由前端電子學(xué)讀出插件(TDC和ADC等)和一個(gè)作為控制器使用的處理機(jī)組成。每個(gè)VME讀出機(jī)箱中的前端電子學(xué)讀出插件數(shù)不超過(guò)16個(gè)，電子學(xué)信道數(shù)不超過(guò)1024個(gè)。VME處理機(jī)擬采用MVME2431單板計(jì)算機(jī)，用以完成數(shù)據(jù)的采集、處理、監(jiān)視和傳輸。若干個(gè)讀出機(jī)箱通過(guò)Ethernet網(wǎng)絡(luò)的100MSwitch連接到讀出計(jì)算機(jī)，組成一個(gè)讀出分支。所有讀出分支通過(guò)1G以上Switch連接到在線

8、計(jì)算機(jī)群，形成數(shù)據(jù)獲取系統(tǒng)的數(shù)據(jù)流主干通路。來(lái)自各讀出分支的子事例數(shù)據(jù)包通過(guò)在線計(jì)算機(jī)群匯總成完整事例，并進(jìn)行標(biāo)記、處理和監(jiān)測(cè)，直到安全記錄到永久介質(zhì)上（參見(jiàn)圖4.12-1）。BESIII數(shù)據(jù)獲取系統(tǒng)提供其它控制與測(cè)試功能的支持。在系統(tǒng)設(shè)計(jì)過(guò)程中，需要明確定義并實(shí)現(xiàn)BESIII數(shù)據(jù)獲取系統(tǒng)與前端電子學(xué)系統(tǒng)和觸發(fā)系統(tǒng)的接口及驅(qū)動(dòng)方式。從設(shè)計(jì)階段開(kāi)始就要充分考慮如何實(shí)現(xiàn)整個(gè)系統(tǒng)和分系統(tǒng)的控制、校準(zhǔn)和測(cè)試功能。止匕外，還要提供對(duì)磁鐵電源、電子學(xué)電源、高壓系統(tǒng)、加速器參數(shù)的記錄、系統(tǒng)初始化、程序/參量的下載、運(yùn)行命令的送達(dá)與執(zhí)行等一系列系統(tǒng)服務(wù)功能。Sloragc、把rriFnlcSurvur1fr-

9、Branch1PuiWvfPXPGw1thMultdCPU/bfudtil.XirwHairkCh100M1000MwiirkrSLtworkLinkLinikTriKEcrFftnOut圖4.12-1BESIII數(shù)據(jù)獲取系統(tǒng)示意圖BESIII數(shù)據(jù)獲取系統(tǒng)的軟件是一個(gè)龐大的軟件工程，必須考慮軟件的質(zhì)量和標(biāo)準(zhǔn)化方面的技術(shù)實(shí)施。要依賴于強(qiáng)有力的軟件工程管理辦法和配置軟件工程開(kāi)發(fā)/管理工具。讀出機(jī)箱的軟件開(kāi)發(fā)環(huán)境將采用實(shí)時(shí)操作系統(tǒng)VxWorks及其C程序語(yǔ)言，讀出計(jì)算機(jī)和在線計(jì)算機(jī)系統(tǒng)的軟件開(kāi)發(fā)環(huán)境將采用Unix/Linux及其C和C+程序語(yǔ)言。為了保存和使用運(yùn)行參數(shù)，標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)技術(shù)將被用于BES

10、III數(shù)據(jù)獲取系統(tǒng)。4.12.4 系統(tǒng)配置需求BESIII數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)具有一定的復(fù)雜性，主要原因是一級(jí)觸發(fā)事例率指標(biāo)是BESII的200倍，事例數(shù)據(jù)長(zhǎng)度是BESII的6倍。在系統(tǒng)配置需求方面存在兩個(gè)關(guān)鍵技術(shù)問(wèn)題：（1）在讀出系統(tǒng)配置方面，解決數(shù)據(jù)Bandwidth和數(shù)據(jù)流量的匹配問(wèn)題；（2）在系統(tǒng)構(gòu)造方面，解決在復(fù)雜的并行計(jì)算環(huán)境下，與前端電子學(xué)及觸發(fā)系統(tǒng)一起構(gòu)造成一個(gè)集成化的可操作數(shù)據(jù)獲取系統(tǒng)問(wèn)題，包括實(shí)現(xiàn)分系統(tǒng)局部測(cè)試和系統(tǒng)初始化、控制及監(jiān)測(cè)等一系列任務(wù)。根據(jù)各探測(cè)器讀出電子學(xué)子系統(tǒng)和觸發(fā)系統(tǒng)提供的需求信息，BESIII數(shù)據(jù)獲取系統(tǒng)的讀出基本配置參見(jiàn)表4.12-2。讀出機(jī)箱個(gè)數(shù)約48

11、個(gè)，讀出分支不超過(guò)16個(gè)。預(yù)計(jì)的在線計(jì)算機(jī)群需要30臺(tái)以上的PC機(jī)，大型數(shù)據(jù)存儲(chǔ)系統(tǒng)達(dá)至ij（240TByte/5年）運(yùn)行能力。設(shè)計(jì)中的BESIII數(shù)據(jù)獲取系統(tǒng)，考慮到數(shù)據(jù)分布的不均勻性，要使系統(tǒng)以最小死時(shí)間開(kāi)銷(xiāo)的代價(jià)完成數(shù)據(jù)獲取任務(wù)，預(yù)期讀出機(jī)箱的數(shù)據(jù)平均通過(guò)能力要達(dá)到3.2MBytes/sea因此，必須采用高速的VME總線讀出方法和高速Ethernet網(wǎng)絡(luò)技術(shù)。表4.12-2讀出設(shè)備配置表子系統(tǒng)名稱通道數(shù)讀出插件數(shù)讀出機(jī)箱數(shù)讀出分支數(shù)MDC(T+QMC6272208164TOF+CCT(T+Q)8962821MUC90884041觸發(fā)400160102總計(jì)3025

12、68044812為了保證事例數(shù)據(jù)正確地采集并傳送到在線計(jì)算機(jī)系統(tǒng)，在讀出機(jī)箱和讀出分支上要對(duì)原始事例數(shù)據(jù)段進(jìn)行初步組裝。前端電子學(xué)和觸發(fā)系統(tǒng)的數(shù)據(jù)讀出方式及數(shù)據(jù)格式要求采取比較一致性的設(shè)計(jì)要求，以便對(duì)事例數(shù)據(jù)段進(jìn)行正確的處理和包裝。BESIII數(shù)據(jù)獲取系統(tǒng)的可操作性，取決于系統(tǒng)設(shè)備的連接、邏輯信號(hào)約定和軟件集成設(shè)計(jì)。電子學(xué)系統(tǒng)和觸發(fā)系統(tǒng)提供一切必備的操作硬件條件。BESIII數(shù)據(jù)獲取系統(tǒng)在軟件設(shè)計(jì)過(guò)程中，要準(zhǔn)確理解和覆行硬件功能，最大限度地發(fā)揮全部硬件資源的作用。為了增強(qiáng)系統(tǒng)運(yùn)行的可操作性，盡可能將軟件系統(tǒng)的功能集成為一體。止匕外，任務(wù)恢復(fù)以及一般功能插件“出錯(cuò)”處理和“死道”處理等功能，對(duì)B

13、ESIII數(shù)據(jù)獲取系統(tǒng)來(lái)說(shuō)是必備的。為了保證大規(guī)模軟件開(kāi)發(fā)的質(zhì)量和性能，軟件開(kāi)發(fā)工具將采用可靠的商業(yè)軟件產(chǎn)品。要按照軟件工程的標(biāo)準(zhǔn)進(jìn)行軟件設(shè)計(jì)、實(shí)施和管理。軟件系統(tǒng)要具備可維護(hù)性、可擴(kuò)展性和可移植性。另外，保留完整的原始資料并完成最終文檔資料的整理，也是BESIII數(shù)據(jù)獲取系統(tǒng)軟件工程的重要組成部分。4.12.5 讀出系統(tǒng)BESIII數(shù)據(jù)獲取系統(tǒng)的關(guān)鍵技術(shù)問(wèn)題是實(shí)現(xiàn)來(lái)自前端電子學(xué)的事例數(shù)據(jù)高速讀出。由于讀出機(jī)箱VME總線的讀出速度和計(jì)算機(jī)節(jié)點(diǎn)間的網(wǎng)絡(luò)傳輸速度受到設(shè)備帶寬的限制，最容易在系統(tǒng)中形成數(shù)據(jù)流“瓶頸”。根據(jù)對(duì)特定I/O設(shè)備的測(cè)試結(jié)果，使用MVME2431處理機(jī)編程訪問(wèn)VME設(shè)備，單次直

14、接“讀”操作的時(shí)間周期為1N渺以上(其中800ns為處理機(jī)占用的時(shí)間，其余為設(shè)備占用時(shí)間)，32Bit讀出速度至多為3MBytes/sec；DMA方式的32Bit讀出速度可達(dá)到13MBytes/Sec以上(即，每個(gè)讀周期300ns)。由此看來(lái)，選擇采用DMA方式進(jìn)行讀出才可能滿足BESIII數(shù)據(jù)獲取系統(tǒng)的需要。與讀出系統(tǒng)有關(guān)的還包括網(wǎng)絡(luò)傳輸能力。根據(jù)測(cè)試，點(diǎn)對(duì)點(diǎn)的100M網(wǎng)絡(luò)傳輸速度可以達(dá)到10MBytes/sea為了實(shí)現(xiàn)這樣高的速度，除了采用12口100M的Switch以外，在讀出計(jì)算機(jī)上要采用多網(wǎng)卡方案。讀出計(jì)算機(jī)上的另一個(gè)千兆網(wǎng)卡則連接到在線千兆Switch上。使用這種方法構(gòu)成的讀出分支

15、，其主要功能是：(1)匯集讀出機(jī)箱中的事例數(shù)據(jù)片段，組成帶標(biāo)志的子事例數(shù)據(jù)包；(2)數(shù)據(jù)及命令流控制與傳輸；(3)實(shí)現(xiàn)事例數(shù)據(jù)流從100M網(wǎng)絡(luò)段到1G網(wǎng)絡(luò)段的傳輸，最終迅速安全地到達(dá)在線計(jì)算機(jī)群。讀出系統(tǒng)的性能主要取決于讀出機(jī)箱的數(shù)據(jù)通過(guò)能力一一在單位時(shí)間內(nèi)完成VME總線數(shù)據(jù)讀出、數(shù)據(jù)預(yù)處理、數(shù)據(jù)網(wǎng)絡(luò)發(fā)送這三方面任務(wù)的綜合能力。數(shù)據(jù)預(yù)處理通過(guò)對(duì)事例初步組裝可以有效地壓縮冗余的字頭、字尾和觸發(fā)號(hào)，減輕數(shù)據(jù)網(wǎng)絡(luò)傳送的壓力。讀出系統(tǒng)的數(shù)據(jù)通過(guò)能力與前端電子學(xué)插件設(shè)計(jì)有關(guān)。根據(jù)目前電子學(xué)讀出系統(tǒng)的方案設(shè)計(jì)，可以考慮以下讀出方案：采用CBLT(ChainedBlockTransfer)DMA方式讀出，要

16、求前端電子學(xué)插件數(shù)據(jù)緩沖器是一個(gè)足夠深度的GlobalBuffer,可以存儲(chǔ)多個(gè)“零壓縮”后的事例數(shù)據(jù)，每個(gè)數(shù)據(jù)占一個(gè)32Bit長(zhǎng)字(包含通道號(hào)和數(shù)據(jù)字)。CBLT方式可以只啟動(dòng)一次DMA就讀出整個(gè)機(jī)箱中所有插件的數(shù)據(jù)，大大減少啟動(dòng)DMA的次數(shù)，另外多個(gè)事例匯總讀出也可以有效提高DMA傳輸效率。但采用此方法，需要增加硬件設(shè)計(jì)的復(fù)雜性。由于子探測(cè)器MDC的電子學(xué)系統(tǒng)的時(shí)間和電荷測(cè)量在同一個(gè)插件中完成，而且準(zhǔn)備采用CERN的HPTDC作為時(shí)間測(cè)量的主要器件，工作原理不同于普通TDC電路，具有多次擊中功能，需要讀出額外的字頭、字尾和出錯(cuò)等信息，預(yù)計(jì)電路板級(jí)的數(shù)據(jù)量將大幅度增加。因此，電子學(xué)硬件設(shè)計(jì)需

17、要采用64位CBLTDMA讀出。讀出系統(tǒng)選用了具有良好性/價(jià)比的VME處理機(jī)MVME2431作為讀出機(jī)箱的控制器。該處理機(jī)使用PowerPC750為MPU,具備350MHz時(shí)鐘、32M存儲(chǔ)器、9M閃存、10M/100M網(wǎng)口、D64（MBLT）/D32/D16/D8VME-PCI總線接口和DMA控制器等配置。讀出機(jī)箱控制器的主要作用是完成高速數(shù)據(jù)讀出任務(wù)。除此之外，還要完成下載軟件、讀出配置、中斷處理、任務(wù)調(diào)度、設(shè)備控制、監(jiān)測(cè)、校準(zhǔn)、調(diào)試、局部測(cè)試等功能操作。以上配置基本可以滿足設(shè)計(jì)需要。根據(jù)目前設(shè)備能力（主要是VME訪問(wèn)速度和網(wǎng)絡(luò)速度）的測(cè)算，各電子學(xué)子系統(tǒng)的讀出機(jī)箱性能的更進(jìn)一步提升，將采取

18、設(shè)備升級(jí)的措施來(lái)解決。如，更多地采用VME64或VME64x總線標(biāo)準(zhǔn)進(jìn)行系統(tǒng)設(shè)計(jì)。讀出機(jī)箱控制器的軟件開(kāi)發(fā)采用VxWorks實(shí)時(shí)操作系統(tǒng)和C語(yǔ)言。讀出計(jì)算機(jī)的軟件開(kāi)發(fā)采用Linux及其C和C+語(yǔ)言開(kāi)發(fā)環(huán)境。4.12.6 在線系統(tǒng)BESIII在線系統(tǒng)的任務(wù)是將通過(guò)第一級(jí)觸發(fā)判選后的事例數(shù)據(jù)傳送到在線計(jì)算機(jī)群進(jìn)行事例組裝和篩選（軟件觸發(fā)），最后將通過(guò)軟件觸發(fā)的事例數(shù)據(jù)送到計(jì)算中心寫(xiě)到存儲(chǔ)介質(zhì)中。BESIII在線系統(tǒng)包括事例組裝、事例篩選、事例分類、數(shù)據(jù)存儲(chǔ)、運(yùn)行控制、單事例顯示、直方圖顯示和進(jìn)程監(jiān)測(cè)等（參見(jiàn)圖4.12-2）。（1）事例數(shù)據(jù)組裝BESIII的事例數(shù)據(jù)獲取將采用分級(jí)事例組裝技術(shù)如圖4.

19、12-2所示，第一級(jí)事例組裝過(guò)程是電子學(xué)讀出機(jī)箱級(jí)的數(shù)據(jù)集中，當(dāng)觸發(fā)系統(tǒng)給出好事例信號(hào)時(shí)，VME機(jī)箱中的PowerPC將經(jīng)過(guò)電子學(xué)插件級(jí)初步處理后的數(shù)據(jù)從電子學(xué)插件中讀出，經(jīng)過(guò)非線性校正后組裝成該讀出機(jī)箱的數(shù)據(jù)段，存放在緩沖器中。各個(gè)讀出機(jī)箱數(shù)據(jù)段的組裝是并行地進(jìn)行的。第二級(jí)事例組裝過(guò)程是讀出分支級(jí)的數(shù)據(jù)裝配，即對(duì)適當(dāng)數(shù)目的讀出機(jī)箱進(jìn)行編組，同一編組內(nèi)的每個(gè)讀出機(jī)箱通過(guò)快速以太網(wǎng)交換機(jī)（100Mbps）與一臺(tái)多CPU、多網(wǎng)卡的讀出PC機(jī)相連,把存儲(chǔ)在同一編組內(nèi)的各個(gè)讀出機(jī)箱緩沖器內(nèi)的數(shù)據(jù)段傳送到PC機(jī)上，組裝成該讀出分支的數(shù)據(jù)塊，并存儲(chǔ)在讀出PC機(jī)的內(nèi)存中。根據(jù)讀出通道數(shù)，各個(gè)子探測(cè)器的讀出電

20、子學(xué)可以編為一個(gè)或多個(gè)讀出分支。第三級(jí)事例組裝過(guò)程是事例級(jí)的數(shù)據(jù)組裝，BESIII在線系統(tǒng)把分散存儲(chǔ)在各讀出PC機(jī)內(nèi)存中的數(shù)據(jù)塊通過(guò)千兆以太網(wǎng)交換機(jī)，傳送到計(jì)算機(jī)群的某一個(gè)節(jié)點(diǎn)，該節(jié)點(diǎn)的計(jì)算機(jī)將這些數(shù)據(jù)塊組裝成一個(gè)完整的事例數(shù)據(jù)，并對(duì)事例數(shù)據(jù)進(jìn)行篩選，最后把篩選過(guò)的事例數(shù)據(jù)傳送到在線文件服務(wù)器上進(jìn)行編號(hào)。CD*o數(shù)據(jù)片數(shù)據(jù)段數(shù)據(jù)塊事例事例組裝級(jí)第一級(jí)觸發(fā)判選前端電子學(xué)單元讀出機(jī)箱交換機(jī)PC機(jī)交換機(jī)事例篩選計(jì)算機(jī)群硬件平臺(tái)圖4.12-2BESIII數(shù)據(jù)獲取系統(tǒng)事例組裝的拓?fù)鋱D以太網(wǎng)交換機(jī)作為并行事例組裝器的技術(shù)可以把一個(gè)讀出分支關(guān)于一個(gè)事例的數(shù)據(jù)塊送到計(jì)算機(jī)群的某一個(gè)節(jié)點(diǎn)，同時(shí)把其它讀出分支關(guān)于

21、其它事例的數(shù)據(jù)塊送到計(jì)算機(jī)群的另外一些節(jié)點(diǎn)，這樣可以實(shí)現(xiàn)高速并行事例組裝。并行事例組裝器的優(yōu)點(diǎn)是高度平行、可擴(kuò)展性好，主要采用市售設(shè)備，可靠性、通用性和性能價(jià)格比都好。交換機(jī)固有的延遲響應(yīng)時(shí)間對(duì)數(shù)據(jù)傳送有影響，因此應(yīng)盡可能地發(fā)送大的數(shù)據(jù)包以減少發(fā)送次數(shù)。采用多級(jí)事例組裝技術(shù)，數(shù)據(jù)從分散的前端讀出單元到事例篩選計(jì)算機(jī)群的傳輸過(guò)程中逐步集中，在一定程度上緩解了交換機(jī)的壓力。但是在如此高的事例率下，為了最大程度地減小交換機(jī)的總延遲響應(yīng)時(shí)間，必要時(shí)可以把多個(gè)事例的數(shù)據(jù)段和數(shù)據(jù)塊捆綁在一起進(jìn)行傳送。(2)在線數(shù)據(jù)流程BESIII在線系統(tǒng)的數(shù)據(jù)流向如圖4.12-3所示，具體描述如下：1 .讀出PC機(jī)對(duì)數(shù)據(jù)

22、進(jìn)行讀出分支級(jí)的裝配后，通知在線計(jì)算機(jī)群管理器某一事例號(hào)的事例數(shù)據(jù)塊已準(zhǔn)備好，等待讀出；2 .在線計(jì)算機(jī)群管理器收到所有的讀出PC機(jī)發(fā)來(lái)的事例準(zhǔn)備好信號(hào)后，通知其中空閑的計(jì)算機(jī)群節(jié)點(diǎn)n讀出對(duì)應(yīng)事例號(hào)的數(shù)據(jù)塊；3 .計(jì)算機(jī)群節(jié)點(diǎn)n從所有的讀出PC機(jī)中讀出對(duì)應(yīng)事例號(hào)的數(shù)據(jù)塊；4 .計(jì)算機(jī)群節(jié)點(diǎn)n對(duì)該事例數(shù)據(jù)塊進(jìn)行組裝、格式轉(zhuǎn)換、在線篩選和分類等處理，并將結(jié)果送到在線文件服務(wù)器；5 .在線文件服務(wù)器收到計(jì)算機(jī)群節(jié)點(diǎn)n送來(lái)的事例數(shù)據(jù)后，通知在線計(jì)算機(jī)群管理器對(duì)應(yīng)事例號(hào)的數(shù)據(jù)已處理完畢，累計(jì)一定的事例后進(jìn)行存盤(pán)、傳送到計(jì)算中心進(jìn)行記帶操作等；6.通知計(jì)算機(jī)群節(jié)點(diǎn)n和所有讀出PC機(jī)釋放對(duì)應(yīng)事例號(hào)的數(shù)據(jù)緩存

23、。單事例顯示運(yùn)行控制直方圖顯示100版換機(jī)文件服務(wù)器1網(wǎng)絡(luò)連接控制命令事例數(shù)據(jù)磁帶庫(kù)計(jì)算機(jī)群節(jié)點(diǎn)1計(jì)算機(jī)群節(jié)點(diǎn)2計(jì)算機(jī)群節(jié)點(diǎn)N口磁帶庫(kù)讀出PC1圖4.12-3BESIII在線數(shù)據(jù)獲取系統(tǒng)數(shù)據(jù)流向圖在線計(jì)算機(jī)群管理器選用可靠性高的工作站。計(jì)算機(jī)群管理器內(nèi)有兩個(gè)隊(duì)列，一是從讀出PC機(jī)得到的待組裝事例號(hào)隊(duì)列，另一個(gè)是從機(jī)群來(lái)的空閑節(jié)點(diǎn)隊(duì)列。計(jì)算機(jī)群管理器根據(jù)這兩個(gè)隊(duì)列通知指定的計(jì)算機(jī)群節(jié)點(diǎn)到各讀出PC機(jī)讀取某一事例的數(shù)據(jù)塊，必須保證同一個(gè)事例號(hào)的數(shù)據(jù)塊都傳送到同一臺(tái)計(jì)算機(jī)機(jī)群節(jié)點(diǎn)中。所有數(shù)據(jù)處理的任務(wù)都在該計(jì)算機(jī)群節(jié)點(diǎn)完成。(3)事例篩選在線事例篩選也被稱為第三級(jí)軟件觸發(fā)判選，即在計(jì)算機(jī)群節(jié)點(diǎn)上完成

24、事例組裝任務(wù)后，用軟件方法對(duì)事例進(jìn)行篩選，進(jìn)一步地壓縮本底，以減小數(shù)據(jù)的記帶率。與硬件觸發(fā)判選相比，軟件篩選可以采用更為靈活、復(fù)雜的算法，如主漂移室的快速?gòu)桔E擬合、電磁量能器簇射團(tuán)的快速尋找等。利用從主漂移室的簡(jiǎn)單尋跡過(guò)程中獲取的事例頂點(diǎn)信息，可以壓縮遠(yuǎn)離對(duì)撞點(diǎn)的、由束流丟失等原因造成的本底事例和宇宙線事例；聯(lián)合主漂移室的徑跡信息和電磁量能器的簇射團(tuán)信息，可以直接挑選出Bhabha事例樣本，用來(lái)進(jìn)行探測(cè)器的刻度和加速器亮度的測(cè)量；結(jié)合小子計(jì)數(shù)器的信息，可以直接選出以樣本，用來(lái)刻度以子計(jì)數(shù)器。在事例篩選過(guò)程中，在線機(jī)群將填充和累積事例數(shù)據(jù)的直方圖，并對(duì)事例按強(qiáng)子、Bhabha仙u宇宙線等事例類型

25、進(jìn)行分類，供上位機(jī)的查詢和監(jiān)測(cè)。按是否對(duì)事例進(jìn)行初始重建分類，篩選算法可采用以下兩種方式之一：按硬件觸發(fā)的原則用全事例數(shù)據(jù)進(jìn)行數(shù)字式觸發(fā)判選；發(fā)展更復(fù)雜的篩選算法，進(jìn)行快速的徑跡重建。若按本底篩選率為50%計(jì)算，最后記到磁帶上的事例率將降低到3000Hz左右O在線機(jī)群由高性能PC機(jī)構(gòu)成。由于PC機(jī)的CPU功能強(qiáng)大，在線機(jī)群將來(lái)也可以對(duì)篩選過(guò)的事例進(jìn)行實(shí)時(shí)的在線重建，但必須用和離線分析完全一樣的程序，而且僅僅是第一輪重建，以后還要離線進(jìn)行幾輪重建。在線重建中所使用的刻度常數(shù)是從上一個(gè)RUN的數(shù)據(jù)中得出的。(4)事例數(shù)據(jù)存儲(chǔ)經(jīng)過(guò)在線事例篩選后，BESIII數(shù)據(jù)獲取系統(tǒng)要記錄的事例率約為3000Hz

26、,預(yù)期記帶率超過(guò)40MBytes/sec。事例數(shù)據(jù)經(jīng)千兆以太網(wǎng)交換機(jī)傳送到在線文件服務(wù)器上進(jìn)行編號(hào)并存儲(chǔ)。在線文件服務(wù)器是兩臺(tái)高性能、多CPU、多網(wǎng)卡的工作站，裝有磁盤(pán)陣列。事例數(shù)據(jù)按RUN號(hào)組裝后，形成磁盤(pán)文件，然后通過(guò)網(wǎng)絡(luò)發(fā)送到計(jì)算中心轉(zhuǎn)儲(chǔ)到永久介質(zhì)上。(5)上位機(jī)系統(tǒng)上位機(jī)系統(tǒng)負(fù)責(zé)實(shí)驗(yàn)進(jìn)程的監(jiān)測(cè)和運(yùn)行控制，提供人機(jī)交互。上位機(jī)由多臺(tái)高性能工作站和PC機(jī)組成，分別承擔(dān)不同的任務(wù)，如運(yùn)行控制、單事例顯示、直方圖顯示和運(yùn)行狀態(tài)顯示等。1) 運(yùn)行控制作為人機(jī)接口接受各種運(yùn)行命令(如刻度、臺(tái)階、運(yùn)行取數(shù)等)，通過(guò)網(wǎng)絡(luò)向各讀出PC機(jī)和計(jì)算機(jī)群各節(jié)點(diǎn)發(fā)出相應(yīng)的命令，各讀出PC機(jī)和計(jì)算機(jī)群各節(jié)點(diǎn)的PC機(jī)

27、調(diào)用相應(yīng)的程序并執(zhí)行之。實(shí)驗(yàn)參數(shù)以及數(shù)據(jù)獲取系統(tǒng)的構(gòu)成參數(shù)也由上位機(jī)控制。2) 數(shù)據(jù)監(jiān)測(cè)由于在線機(jī)群有足夠的處理能力，將在對(duì)每一個(gè)事例進(jìn)行篩選的同時(shí)做各種探測(cè)器參數(shù)的直方圖積累，并對(duì)事例進(jìn)行分類。上位機(jī)可以監(jiān)測(cè)某一個(gè)在線機(jī)群節(jié)點(diǎn)上累積的直方圖，還可以監(jiān)測(cè)所有節(jié)點(diǎn)獲取的直方圖之和以及對(duì)各個(gè)節(jié)點(diǎn)隨機(jī)抽樣的單事例顯示圖。結(jié)合亮度探測(cè)器的計(jì)數(shù)率和事例的分類信息，上位機(jī)計(jì)算并顯示各種物理過(guò)程的在線產(chǎn)生截面和物理積分亮度等。另外，上位機(jī)要對(duì)各種計(jì)數(shù)率(如亮度、觸發(fā)事例率、死時(shí)間和各子探測(cè)器的計(jì)數(shù)率等)做定時(shí)監(jiān)測(cè)，顯示它們隨時(shí)間的變化過(guò)程，必要時(shí)發(fā)出報(bào)警。上位機(jī)還將顯示并處理各個(gè)子系統(tǒng)和在線機(jī)群各節(jié)點(diǎn)的“報(bào)錯(cuò)”信息。(6)數(shù)據(jù)庫(kù)管理系統(tǒng)BESIII