2023高性能計(jì)算機(jī)浸沒(méi)式液冷系統(tǒng)技術(shù)要求

高性能計(jì)算機(jī)浸沒(méi)式液冷系統(tǒng)技術(shù)要求目??次前?言 IV范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)和定義 1浸沒(méi)式液冷系統(tǒng)構(gòu)成 2冷卻介質(zhì) 2概述 3總體要求 3單相浸沒(méi)式冷卻介質(zhì) 3相變浸沒(méi)式冷卻介質(zhì) 3液冷IT設(shè)備冷卻子系統(tǒng) 3系統(tǒng)構(gòu)成 4單相浸沒(méi)式 4相變浸沒(méi)式 5液冷連接子系統(tǒng) 6系統(tǒng)構(gòu)成 6總體要求 6管路 6分集液器 6接頭 6閥門 6冷量分配單元（CDU） 7系統(tǒng)構(gòu)成 7技術(shù)要求 7室外冷卻子系統(tǒng) 7液冷監(jiān)控子系統(tǒng) 8總體要求 8浸沒(méi)腔體監(jiān)控 8CDU監(jiān)控 8漏液監(jiān)測(cè) 8機(jī)房環(huán)境監(jiān)控 8室外冷卻子系統(tǒng)監(jiān)控 8液冷系統(tǒng)供電 9II液冷系統(tǒng)運(yùn)維 9總體要求 9冷卻介質(zhì) 9液冷關(guān)鍵部件及系統(tǒng)維護(hù) 10液冷系統(tǒng)測(cè)試 10III高性能計(jì)算機(jī)浸沒(méi)式液冷系統(tǒng)技術(shù)要求范圍規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T17519化學(xué)品安全技術(shù)說(shuō)明書(shū)編寫(xiě)指南GB/T21603化學(xué)品急性經(jīng)皮毒性試驗(yàn)方法GB/T21605化學(xué)品急性吸入毒性試驗(yàn)方法GB/T21606化學(xué)品急性經(jīng)口毒性試驗(yàn)方法GB/T21609/腐蝕性試驗(yàn)表GB/T21615危險(xiǎn)品易燃液體閉杯閃點(diǎn)試驗(yàn)方法GB30000.18化學(xué)品分類和標(biāo)簽規(guī)范第18部分：急性毒性GB/T3536石油產(chǎn)品閃點(diǎn)和燃點(diǎn)的測(cè)定克利夫蘭開(kāi)口杯法GB50052供配電系統(tǒng)設(shè)計(jì)規(guī)范GB50174數(shù)據(jù)中心設(shè)計(jì)規(guī)范YD/T3979數(shù)據(jù)中心浸沒(méi)式液冷服務(wù)器技術(shù)要求和測(cè)試方法NB/T47003.1鋼質(zhì)焊接常壓容器術(shù)語(yǔ)和定義YD/T3979界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1液冷liquidcoolingITIT設(shè)備元器件產(chǎn)生的熱量帶走的一種冷卻方法。適用于需提高計(jì)算能力、能源效率、部署密度等應(yīng)用場(chǎng)景。3.2液冷IT設(shè)備liquidcoolingITequipment采用液冷技術(shù)實(shí)現(xiàn)散熱的IT設(shè)備，包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備等。3.31冷量分配單元（CDU）coolantdistributionunit用于二次側(cè)高溫冷卻介質(zhì)與一次側(cè)冷源進(jìn)行換熱，并對(duì)液冷IT設(shè)備提供冷量分配和智能管理的模塊。其中汽-液換熱CDU又稱CDM（coolantdistributionmodule），主要應(yīng)用于相變浸沒(méi)式液冷。3.4二次側(cè)冷卻系統(tǒng)secondarysidecoolingsystem為液冷系統(tǒng)內(nèi)部的腔體散熱的裝置，與一次側(cè)冷卻系統(tǒng)連接進(jìn)行熱交換。注：濾系統(tǒng)，閥門，液體質(zhì)量監(jiān)測(cè)傳感器，水泄漏檢測(cè)傳感器等。3.5相變浸沒(méi)式液冷phase-changeimmersionliquidcooling3.6single-phaseimmersionliquidcooling浸沒(méi)式液冷系統(tǒng)構(gòu)成IT圖1浸沒(méi)式液冷系統(tǒng)示意圖冷卻介質(zhì)2概述總體要求碳氟類化合物應(yīng)符合以下規(guī)定：性能要求冷卻介質(zhì)具體物性參數(shù)如下：——性狀應(yīng)為無(wú)色無(wú)味，透明狀——凝固點(diǎn)應(yīng)≤-40℃——相對(duì)介電常數(shù)（1kHz）應(yīng)≤2.5——擊穿電壓應(yīng)≥35kV200kgm（2℃，1）——比熱應(yīng)≥1.0kJ/kg.K（20℃，1個(gè)標(biāo)準(zhǔn)大氣壓）——冷卻介質(zhì)運(yùn)動(dòng)粘度在電子元器件正常運(yùn)行溫度區(qū)間內(nèi)變化率應(yīng)小于50%；（包括導(dǎo)電、電磁輻射、電氣信號(hào)穩(wěn)定性等）產(chǎn)生明顯影響；兼容性：冷卻介質(zhì)不應(yīng)與IT設(shè)備常用的非金屬材質(zhì)和金屬材質(zhì)發(fā)生化學(xué)反應(yīng)或溶解析出。安全性要求GB/T216153536的規(guī)定執(zhí)行；GB/T1751930000.1821605、GB/T21603、GB/T21606、GB/T21609執(zhí)行；（包括亞急性毒性和亞慢性毒性O(shè)DP、低GWP的冷卻介質(zhì)。單相浸沒(méi)式冷卻介質(zhì)單相浸沒(méi)式碳氟類化合物性能要求如下：a）沸點(diǎn)范圍應(yīng)≥105℃（常壓）；b）運(yùn)動(dòng)粘度宜≤2.0cSt（常壓、25℃）。相變浸沒(méi)式冷卻介質(zhì)相變浸沒(méi)式碳氟類化合物性能要求如下：a）沸點(diǎn)范圍應(yīng)在45~70℃之間（20℃，1個(gè)標(biāo)準(zhǔn)大氣壓）；b）汽化潛熱應(yīng)≥80kJ/kg；c）運(yùn)動(dòng)粘度宜≤0.5cSt（常壓、25℃）。IT3系統(tǒng)構(gòu)成液冷IT設(shè)備冷卻子系統(tǒng)主要由浸沒(méi)腔體、附件（用于供電、信號(hào)傳輸、監(jiān)測(cè)等配件）組成。IT單相浸沒(méi)式浸沒(méi)腔體浸沒(méi)腔體滿足以下要求：浸沒(méi)腔體應(yīng)設(shè)有供液口和回液口、排液口，及電氣、信號(hào)線纜等穿壁接口；進(jìn)行穿壁密封處理。正常運(yùn)行時(shí)冷卻介質(zhì)無(wú)泄漏，液體揮發(fā)泄漏量應(yīng)低于機(jī)房安全要求值。電氣、信號(hào)連接器應(yīng)獨(dú)立可插拔；IT設(shè)備滿載運(yùn)行時(shí)不發(fā)生破損、變形、振動(dòng)。腔體的設(shè)計(jì)、測(cè)試和驗(yàn)收參考NB/T47003.1的要求；浸沒(méi)腔體內(nèi)應(yīng)有合理的流道設(shè)計(jì)，以保證各IT設(shè)備進(jìn)液流量均衡穩(wěn)定、液體溫度均勻；（見(jiàn)圖2）；內(nèi)部空間可設(shè)置多個(gè)獨(dú)立的分區(qū)，各分區(qū)既可單獨(dú)運(yùn)行，也可同時(shí)使用。柜內(nèi)IT設(shè)備不在位（維修）時(shí)，柜內(nèi)宜有相應(yīng)的填充塊，以有效控制流經(jīng)其他節(jié)點(diǎn)的流量及柜內(nèi)液位；柜體承重設(shè)計(jì)應(yīng)考慮滿載時(shí)充液后重量。圖2臥式機(jī)柜示意圖IT滿足以下要求：液冷IT設(shè)備所用材質(zhì)應(yīng)與冷卻介質(zhì)兼容；液冷IT設(shè)備內(nèi)部布局及散熱器應(yīng)適應(yīng)冷卻介質(zhì)流動(dòng)，以達(dá)到最佳散熱效果和最高功率密度；4液冷IT液冷IT設(shè)備應(yīng)和浸沒(méi)腔體有良好固定，并能配合機(jī)柜結(jié)構(gòu)設(shè)計(jì)實(shí)現(xiàn)便捷的插拔維護(hù)操作；e）IT設(shè)備可更換部件及I/O接口宜設(shè)計(jì)在前面板以便維護(hù)，在部件熱插拔時(shí)應(yīng)不影響其他節(jié)點(diǎn)正常使用。相變浸沒(méi)式浸沒(méi)腔體浸沒(méi)腔體滿足以下要求：IT設(shè)備滿載運(yùn)行時(shí)不發(fā)生破損、變形、振動(dòng)；刀片式浸沒(méi)腔體的電氣、信號(hào)連接器以及供液、回氣接頭應(yīng)獨(dú)立可插拔（見(jiàn)圖3）；e）圖3刀片式浸沒(méi)腔體示意圖IT滿足以下要求：a）液冷IT設(shè)備所用材質(zhì)應(yīng)與冷卻介質(zhì)兼容；5b）主要發(fā)熱元器件宜進(jìn)行表面處理或安裝強(qiáng)化沸騰模塊，避免產(chǎn)生局部熱點(diǎn)，提高傳熱效率；c）液冷IT設(shè)備在浸沒(méi)腔體內(nèi)部壓力和液體沸騰條件下不應(yīng)發(fā)生松動(dòng)、變形、損壞等情況。液冷連接子系統(tǒng)系統(tǒng)構(gòu)成（manifold”）總體要求液冷連接子系統(tǒng)滿足以下要求：（包括內(nèi)部密封圈等配件（降低泄漏風(fēng)險(xiǎn)管路管路滿足以下要求：?jiǎn)蜗嘟](méi)式管道布置區(qū)域宜設(shè)計(jì)集液槽，具備一定的漏液收集能力；管路應(yīng)采用304及以上標(biāo)準(zhǔn)材質(zhì)的衛(wèi)生級(jí)不銹鋼，管路內(nèi)腔應(yīng)具備良好的的潔凈度、氣密性和焊接質(zhì)量；管道外表面宜標(biāo)注流體屬性（包括高低溫、進(jìn)出、一次側(cè)二次側(cè)等）；d）45℃的管路設(shè)置保溫。分集液器分集液器滿足以下要求：a）7.3接頭接頭滿足以下要求：a）管路接口可以采用螺紋接口、法蘭接口、快接頭、卡盤等多種形式，推薦采用國(guó)標(biāo)系列規(guī)格；b）接頭孔徑應(yīng)滿足系統(tǒng)的流量要求；c）0.5ml；臥式304不銹鋼材質(zhì)或鋁合金材質(zhì)。閥門閥門滿足以下要求：浸沒(méi)腔體宜設(shè)置關(guān)斷閥或電磁閥控制供液；需維護(hù)的部件進(jìn)出液位置宜設(shè)置關(guān)斷閥，實(shí)現(xiàn)部分管路隔離或維護(hù)。6冷量分配單元（CDU）系統(tǒng)構(gòu)成CDU主要由換熱器/冷凝器、循環(huán)泵、過(guò)濾器、儲(chǔ)液罐，以及附件（閥門、管路、接頭、傳感器等）組成。CDU應(yīng)具備換熱、循環(huán)驅(qū)動(dòng)、冷卻介質(zhì)凈化及儲(chǔ)液功能。技術(shù)要求CDU技術(shù)要求見(jiàn)表1。表1CDU技術(shù)要求序號(hào)技術(shù)指標(biāo)技術(shù)要求1循環(huán)泵a）b）CDU整機(jī)冗余時(shí)，循環(huán)泵可不做冗余；CDU整機(jī)不設(shè)冗余時(shí)，循環(huán)泵應(yīng)采用冗余設(shè)計(jì)；循環(huán)泵宜選用屏蔽泵或磁力泵，并采用變頻控制。2兼容性a）CDU內(nèi)管路、接頭、密封圈等所有接觸冷卻介質(zhì)的材質(zhì)均應(yīng)與冷卻介質(zhì)兼容。3系統(tǒng)氣密性和耐壓a）b）系統(tǒng)氣密性和耐壓值應(yīng)考慮一定的設(shè)計(jì)裕量并預(yù)留泄壓功能；CDU的一次側(cè)、二次側(cè)供回液管路耐壓均宜不低于1MPa、回汽管路宜不低于50kPa。4排氣和泄壓a）相變式CDU應(yīng)有排氣和泄壓裝置，排氣位置宜設(shè)置在系統(tǒng)循環(huán)壓力低點(diǎn)，泄壓裝置位置宜設(shè)置在系統(tǒng)循環(huán)壓力高點(diǎn)。5管內(nèi)流速a）管路設(shè)計(jì)應(yīng)考慮震動(dòng)及對(duì)循環(huán)泵等設(shè)備的沖擊等因素，管路液側(cè)流速宜為1-2m/s、汽側(cè)流速宜為8-10m。6對(duì)外接口a）對(duì)外接口宜選用快裝卡盤、法蘭等形式。7一次側(cè)進(jìn)出液溫度a）一次側(cè)進(jìn)液溫度應(yīng)支持8-35℃；一次側(cè)進(jìn)出液溫差不宜小于8℃。8一次側(cè)介質(zhì)及過(guò)濾精度a）b）采用水作為一次側(cè)冷卻介質(zhì)時(shí)系統(tǒng)水質(zhì)應(yīng)符合GB/T29044的要求；可選用Y型過(guò)濾器，過(guò)濾精度不宜大于250μm，即目數(shù)不宜低于60目。9二次側(cè)供回液溫度a）b）單相浸沒(méi)式CDU二次側(cè)供液溫度宜在40-45℃之間，供回液溫差宜控制在5-10℃；相變浸沒(méi)式CDU二次側(cè)供液溫度不宜高于40℃。10二次側(cè)過(guò)濾精度a）應(yīng)具備過(guò)濾能力，過(guò)濾器組件應(yīng)配備水分過(guò)濾和機(jī)械雜質(zhì)過(guò)濾兩種濾芯，更換濾芯時(shí)應(yīng)可切換到旁路管路，不影響設(shè)備正常運(yùn)行。機(jī)械雜質(zhì)過(guò)濾精度為50μm，即目數(shù)不宜低于300目，確保冷卻介質(zhì)中的顆粒不會(huì)在回路中造成阻塞。11換熱器/冷凝器a）宜選用高效換熱器，如熱管、翅片管、板式換熱器等。12運(yùn)行噪聲a）距設(shè)備1.5m高，1.5m遠(yuǎn)位置，額定工況運(yùn)行噪聲聲壓值不宜高于70dB。13軟連接a）考慮管路震動(dòng)、對(duì)泵等設(shè)備的沖擊等因素，關(guān)鍵位置應(yīng)增加軟連接。14循環(huán)管路a）b）c）宜采用304及以上標(biāo)準(zhǔn)材質(zhì)的衛(wèi)生級(jí)不銹鋼；宜對(duì)CDU一次側(cè)管路做保溫；宜對(duì)表面溫度超過(guò)45℃的設(shè)備及管路設(shè)置保溫。室外冷卻子系統(tǒng)室外冷卻子系統(tǒng)由室外冷卻裝置、循環(huán)管網(wǎng)系統(tǒng)等組成。室外冷卻子系統(tǒng)要求如下：7在保證室外冷卻子系統(tǒng)穩(wěn)定安全運(yùn)行前提下，宜采取措施優(yōu)化一次側(cè)冷卻系統(tǒng)能效；c）液冷監(jiān)控子系統(tǒng)總體要求浸沒(méi)式液冷動(dòng)力與環(huán)境監(jiān)控范圍應(yīng)包含浸沒(méi)腔體、CDU、漏液監(jiān)測(cè)、機(jī)房環(huán)境及室外冷卻子系統(tǒng)。監(jiān)控系統(tǒng)應(yīng)具備運(yùn)行參數(shù)記錄、故障告警、數(shù)據(jù)片段記錄、遠(yuǎn)程監(jiān)控等功能；應(yīng)設(shè)計(jì)聯(lián)動(dòng)控制策略，如自動(dòng)調(diào)整流量等；必要時(shí)還應(yīng)采取應(yīng)急保護(hù)措施。浸沒(méi)腔體監(jiān)控監(jiān)控以下參數(shù)：a）單相浸沒(méi)腔體實(shí)時(shí)監(jiān)控參數(shù)應(yīng)包括進(jìn)出口液體的溫度、壓力、流量，及腔體內(nèi)液位等；b）相變浸沒(méi)腔體實(shí)時(shí)監(jiān)控參數(shù)應(yīng)包括腔體內(nèi)液位、壓力、溫度等。CDUCDU監(jiān)控的要求如下：CDU監(jiān)控對(duì)象應(yīng)包括：二次側(cè)供回液壓力（或供液、回汽壓力）、溫度、流量，及泵狀態(tài)；一次側(cè)的進(jìn)出水溫度、壓力，以及閥開(kāi)度；儲(chǔ)液罐液位。應(yīng)根據(jù)IT設(shè)備負(fù)載變化或腔體內(nèi)部冷卻介質(zhì)溫度變化對(duì)CDU供液流量和溫度進(jìn)行實(shí)時(shí)動(dòng)態(tài)調(diào)整，達(dá)到節(jié)能目的；CDU應(yīng)接入機(jī)房動(dòng)力與環(huán)境監(jiān)控系統(tǒng)，并對(duì)機(jī)房監(jiān)控系統(tǒng)的控制及時(shí)做出響應(yīng)。漏液監(jiān)測(cè)漏液監(jiān)測(cè)傳感器應(yīng)合理布置監(jiān)測(cè)點(diǎn)，對(duì)可能出現(xiàn)泄漏的接頭、管路或穿壁密封點(diǎn)等進(jìn)行多點(diǎn)監(jiān)測(cè)，同時(shí)考慮液體揮發(fā)的影響，實(shí)現(xiàn)泄漏位置范圍的鎖定。機(jī)房環(huán)境監(jiān)控機(jī)房環(huán)境監(jiān)控應(yīng)重點(diǎn)關(guān)注與漏液監(jiān)測(cè)聯(lián)動(dòng)及機(jī)房環(huán)境中冷卻介質(zhì)蒸汽含量，要求如下：液冷機(jī)房排風(fēng)系統(tǒng)應(yīng)與漏液監(jiān)測(cè)實(shí)現(xiàn)聯(lián)動(dòng)機(jī)制，在機(jī)房?jī)?nèi)監(jiān)測(cè)到液體泄漏且達(dá)到一定濃度時(shí)，可自動(dòng)控制排風(fēng)系統(tǒng)啟動(dòng)，確保機(jī)房環(huán)境安全；室外冷卻子系統(tǒng)監(jiān)控監(jiān)控要求如下：a）8b）液冷系統(tǒng)供電液冷系統(tǒng)供電滿足以下要求：液冷系統(tǒng)的供電應(yīng)按照GB50052、GB50174執(zhí)行；液冷系統(tǒng)的各類設(shè)備中存在開(kāi)關(guān)電源、變頻器等電子設(shè)備，因此宜采用UPS供電，當(dāng)市電電源質(zhì)量滿足GB50174附表A中的要求時(shí)，也可由市電電源直接供電。液冷系統(tǒng)運(yùn)維總體要求液冷系統(tǒng)運(yùn)維滿足以下要求：液冷系統(tǒng)運(yùn)維人員應(yīng)持有相關(guān)操作作業(yè)證件；應(yīng)為運(yùn)維人員配備全套工具及工裝，如螺絲刀、活動(dòng)扳手、保壓工裝、充排液工裝等；液冷機(jī)房運(yùn)維宜遵循“工具專用”原則，液冷機(jī)房的專用工具不宜與其它工具混用；f）冷卻介質(zhì)日常運(yùn)維日常運(yùn)維滿足以下要求：a）冷卻介質(zhì)的使用、處置、儲(chǔ)存等應(yīng)符合化學(xué)品安全說(shuō)明書(shū)要求；b）日常運(yùn)維收到儲(chǔ)液箱低液位告警時(shí)，應(yīng)及時(shí)進(jìn)行液體補(bǔ)充作業(yè)；液體補(bǔ)充作業(yè)應(yīng)嚴(yán)格按運(yùn)維手冊(cè)流程進(jìn)行，補(bǔ)充冷卻液前，應(yīng)核實(shí)該液冷機(jī)柜的冷卻液種類、型號(hào)，嚴(yán)禁混用不同種類、型號(hào)的冷卻液；應(yīng)定期對(duì)冷卻介質(zhì)進(jìn)行質(zhì)量監(jiān)