2022數(shù)據(jù)中心液冷技術(shù)白皮書(shū)

中興通訊液冷技術(shù)白皮書(shū)液冷技術(shù)白皮書(shū)數(shù)據(jù)中心中興通訊液冷技術(shù)白皮書(shū)液冷技術(shù)白皮書(shū)

2022.11液冷技術(shù)應(yīng)用背景 01功率密度持續(xù)升高 01數(shù)據(jù)中心PUE指標(biāo)不斷降低 02目錄液冷技術(shù)優(yōu)勢(shì) 04目錄低能耗 04高散熱 05低噪聲 05低05液冷技術(shù)方案 06冷板式液冷 07浸沒(méi)式液冷 08噴淋式液冷 10液冷趨勢(shì)分析 10中興通訊液冷技術(shù)方案 11總體方案 11DC液冷方案 12IT液冷方案 17CT液冷方案 18中興通訊液冷技術(shù)實(shí)踐 20濱江液冷實(shí)驗(yàn)局 20CT液冷實(shí)驗(yàn)局 22展望 2401綠色低碳轉(zhuǎn)型和可持續(xù)發(fā)展，通訊領(lǐng)域?qū)?shù)據(jù)中心節(jié)能降耗要求越來(lái)越嚴(yán)格。算力和硬件部分能耗也在持續(xù)增加，而在“雙碳”政策的持續(xù)推進(jìn)下，國(guó)家、地方政府、企業(yè)層面均在積極推動(dòng)液冷技術(shù)應(yīng)用背景01綠色低碳轉(zhuǎn)型和可持續(xù)發(fā)展，通訊領(lǐng)域?qū)?shù)據(jù)中心節(jié)能降耗要求越來(lái)越嚴(yán)格。算力和硬件部分能耗也在持續(xù)增加，而在“雙碳”政策的持續(xù)推進(jìn)下，國(guó)家、地方政府、企業(yè)層面均在積極推動(dòng)液冷技術(shù)應(yīng)用背景1密度也在持續(xù)攀升，產(chǎn)品每演進(jìn)一代功率密度攀升30~50%。當(dāng)代X86平臺(tái)CPU300~400W密度已超過(guò)圖1-1機(jī)柜功率密度與制冷方式

芯片功率密度的攀升同時(shí)帶來(lái)整柜功率密度的增長(zhǎng)，當(dāng)前最大已超過(guò)30kW/機(jī)架；對(duì)機(jī)房制冷技術(shù)也提出了更高的挑戰(zhàn)。不同機(jī)柜功率密度對(duì)應(yīng)的機(jī)房典型制冷方式如圖1-1所示，液冷作為數(shù)據(jù)中心新興制冷技術(shù)，被應(yīng)用于解決高功率密度機(jī)柜散熱需求。0202數(shù)據(jù)中心PUE指標(biāo)不斷降低城市年平均氣溫℃數(shù)據(jù)中心PUE要求北京12.3112233上海16.6廣東22.6浙江16.5江蘇15.5山東14.7青島12.7新建1.3，至2022年存量改造1.4重慶18.4到2025年，電能利用效率（PUE）不高于1.3。集群起步區(qū)內(nèi)PUE不高于1.25。力四川15.3內(nèi)蒙古4.3寧夏9.5貴州15.5 于。 0303算力的持續(xù)增加，意味著硬件部分的能耗也在持續(xù)提升；在保證算力運(yùn)轉(zhuǎn)的前提下，只有通過(guò)降低數(shù)據(jù)中心輔助能源的PUE要求。典型數(shù)據(jù)中心能耗1-224以上，是數(shù)據(jù)中心輔助能源中占比最高的部分，因此，降低制冷系統(tǒng)能PUE的降低。近年來(lái)，為了降低制冷系統(tǒng)電能消耗，行業(yè)內(nèi)對(duì)機(jī)房制冷技術(shù)進(jìn)行了持續(xù)的創(chuàng)新和探索；各制冷技術(shù)對(duì)應(yīng)PUE范圍如圖1-3/損耗實(shí)現(xiàn)數(shù)據(jù)中心PUE1.15~1.35；液冷則利用液體的高導(dǎo)熱、高傳熱特性，在進(jìn)一步縮短傳熱路徑的同時(shí)充分利PUE1.25

圖1-2典型數(shù)據(jù)中心能耗占比圖1-3數(shù)據(jù)中心制冷技術(shù)對(duì)應(yīng)PUE范圍0404散熱、低噪聲、低TCO等優(yōu)勢(shì)，是解決數(shù)據(jù)中心散熱壓力和節(jié)能挑戰(zhàn)的必由之路。液冷利用了液體的高導(dǎo)熱、高熱容特性替代空氣作為散熱介質(zhì)，同傳統(tǒng)強(qiáng)迫風(fēng)冷散熱對(duì)比，液冷具有低能耗、高液冷是一種采用液體帶走發(fā)熱器件熱量的散熱技術(shù)，適用于需提高計(jì)算能力、能源效率、部署密度等應(yīng)用場(chǎng)景；液冷技術(shù)優(yōu)勢(shì)2低能耗液冷散熱技術(shù)傳熱路徑短、換熱效率高、制冷能效高的特點(diǎn)促成液冷技術(shù)低能耗優(yōu)勢(shì)：傳熱路徑短：低溫液體由CDU（冷量分配單元）直接供給通訊設(shè)備內(nèi)；換熱效率高：液冷系統(tǒng)一次側(cè)和二次側(cè)之間通過(guò)換熱器實(shí)現(xiàn)液液換熱；一次側(cè)和外部環(huán)境之間結(jié)合風(fēng)液換熱、液液換熱、蒸發(fā)汽化換熱三種形式，具備更優(yōu)的換熱效果；制冷能效高：液冷技術(shù)可實(shí)現(xiàn)40~55℃年自然冷卻；除制冷系統(tǒng)自身的能耗降低外，采用液冷散熱技術(shù)有利于進(jìn)一步降低芯片溫度，芯片溫度降低帶來(lái)更高的可靠性和更低的能耗，整機(jī)能耗預(yù)計(jì)可降低約5%。05高散熱風(fēng)冷具有更高的散熱能力。T低噪聲液冷散熱技術(shù)利用泵驅(qū)動(dòng)冷卻介質(zhì)在系統(tǒng)內(nèi)循環(huán)流動(dòng)并進(jìn)行散熱，解決全部發(fā)熱器件或關(guān)鍵高功率器件散熱問(wèn)題；能夠降低提升機(jī)房運(yùn)維環(huán)境舒適性，解決噪聲污染問(wèn)題。低TCO如上所述液冷技術(shù)具有極佳的節(jié)能效果，液冷數(shù)據(jù)中心1.2W）冷凍水方案2冷每年的能耗和電費(fèi)對(duì)比。

2-1（2MW）2-2（2MW）0606液冷技術(shù)方案3液冷技術(shù)分為接觸式及非接觸式兩種，接觸式液冷是指將冷卻液體與發(fā)熱器件直接接觸的一種液冷實(shí)現(xiàn)方式，包括冷板式等具體方案。其中，冷板式液冷采用微通道強(qiáng)化換熱技術(shù)具有極高的散熱性能，目前行業(yè)成熟度最100液冷系統(tǒng)通用架構(gòu)及原理如下圖所示；室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液；室內(nèi)側(cè)包含CDU、液冷機(jī)柜、ICT設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。圖3-1液冷系統(tǒng)通用架構(gòu)原理圖0707冷板式液冷通過(guò)冷卻液體將熱量帶走的一種散熱形式。冷板式液冷系統(tǒng)主要由冷卻塔、、一次側(cè)&二次側(cè)液冷管路、冷卻介質(zhì)、液冷機(jī)柜組成；其中液冷機(jī)柜內(nèi)包含液冷板、設(shè)備內(nèi)液冷管路、流體連接器、分液器等。芯片設(shè)備熱量通過(guò)熱傳導(dǎo)傳遞到液冷板，工質(zhì)在CDUCDU換熱器將熱量傳遞到一次側(cè)冷卻液，溫度降低；低溫的工質(zhì)再進(jìn)入循環(huán)泵，一次側(cè)冷卻液最終通過(guò)冷卻塔將熱量排至大氣環(huán)境中。圖3-2冷板式液冷系統(tǒng)原理圖10年以上的研究積累，在三種主流液冷方案中技術(shù)成熟度最高，是解決的有效應(yīng)用方案；具有以下技術(shù)特性和優(yōu)勢(shì)：產(chǎn)品架構(gòu)兼容性：可兼容現(xiàn)有硬件架構(gòu)；機(jī)房適應(yīng)性：靈活適用于舊機(jī)房改造和新建機(jī)房；可靠性：液體與設(shè)備不直接接觸，可靠性更高；

維護(hù)性：節(jié)能：PUE1.2噪聲：風(fēng)機(jī)轉(zhuǎn)速大幅降低，噪聲值可至70dB左右。冷板式液冷未能實(shí)現(xiàn)100%液體冷卻，因此存在機(jī)柜功耗低、液冷占比低時(shí)，節(jié)能收益不顯著問(wèn)題；且液冷板設(shè)計(jì)需要考慮現(xiàn)有設(shè)備的器件布局，結(jié)構(gòu)設(shè)計(jì)和實(shí)現(xiàn)的難度較大，標(biāo)準(zhǔn)化推進(jìn)難度大。0808浸沒(méi)式液冷T按照熱交換過(guò)程中冷卻液是否存在相態(tài)變化，可分為單相浸沒(méi)液冷和兩相浸沒(méi)液冷兩類(lèi)。作為傳熱介質(zhì)的二次側(cè)冷卻液在熱量傳遞過(guò)程中僅發(fā)生溫度變化，而不存在相態(tài)轉(zhuǎn)變，過(guò)程中完全依靠物質(zhì)的顯熱變化傳遞熱量。圖3-3單相浸沒(méi)液冷系統(tǒng)原理圖單相浸沒(méi)液冷系統(tǒng)原理如圖上所示，CDUITCDU；通過(guò)CDU內(nèi)部的板式換熱器將吸收的熱量傳遞給一次側(cè)冷卻液；吸熱升溫后的一次側(cè)冷卻液通過(guò)外部冷卻裝置（如冷卻塔）將熱量排放到大氣環(huán)境中，完成整個(gè)制冷過(guò)程。作為傳熱介質(zhì)的二次側(cè)冷卻液在熱量傳遞過(guò)程中發(fā)生相態(tài)轉(zhuǎn)變，依靠物質(zhì)的潛熱變化傳遞熱量。圖3-4兩相浸沒(méi)液冷系統(tǒng)原理作為傳熱介質(zhì)的二次側(cè)冷卻液在熱量傳遞過(guò)程中發(fā)生相態(tài)轉(zhuǎn)變，依靠物質(zhì)的潛熱變化傳遞熱量。圖3-4兩相浸沒(méi)液冷系統(tǒng)原理0909兩相浸沒(méi)液冷系統(tǒng)原理圖如上圖所示，其傳熱路徑與單相浸沒(méi)液冷基本一致。主要差異在于二次側(cè)冷卻液僅在浸沒(méi)腔體內(nèi)部循汽化產(chǎn)生的高溫氣態(tài)冷卻液因密度較小，會(huì)逐漸匯聚到浸沒(méi)腔體頂部，與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻IT與傳統(tǒng)風(fēng)冷和冷板式液冷相比，浸沒(méi)式液冷具有多項(xiàng)優(yōu)勢(shì)：（PUE1.13緊湊：支持高密機(jī)柜，單柜散熱量高達(dá)160kW；同時(shí)，機(jī)柜間無(wú)需隔開(kāi)距離，機(jī)房不需要空調(diào)和冷凍機(jī)組、無(wú)需架空地板、無(wú)需安裝冷熱通道封閉設(shè)施；高可靠：設(shè)備完全浸沒(méi)在液體中，排除了溫度、風(fēng)機(jī)振動(dòng)、灰塵等帶來(lái)的可靠性問(wèn)題；低噪聲：100%液體冷卻，無(wú)需配置風(fēng)扇，實(shí)現(xiàn)極致“靜音”機(jī)房。IT結(jié)構(gòu)顛覆性：區(qū)別于傳統(tǒng)意義上的立式機(jī)架結(jié)構(gòu)，浸沒(méi)液冷所用的浸沒(méi)腔體為臥式Tank；器件選型局限性：硬盤(pán)：由于冷卻液的滲入，普通機(jī)械硬盤(pán)無(wú)法正常運(yùn)轉(zhuǎn)，需要被替換為固態(tài)盤(pán)，或氦氣硬盤(pán)；需再設(shè)計(jì)風(fēng)扇及配套的調(diào)速和故障檢測(cè)措施；光模塊；為了避免出現(xiàn)由冷卻液滲入引起的信號(hào)失真和錯(cuò)亂，需要選用全密封處理的光模塊；導(dǎo)熱界面材料：液冷環(huán)境下導(dǎo)熱硅脂會(huì)被液體沖刷溶解，需要使用固態(tài)界面材料。維護(hù)局限性：雜度高，耗時(shí)長(zhǎng)；且開(kāi)蓋維護(hù)過(guò)程有一定的冷卻液揮發(fā)問(wèn)題，增加運(yùn)行成本；機(jī)房環(huán)境特殊性：因浸沒(méi)式液冷系統(tǒng)Tank內(nèi)充滿(mǎn)冷卻液，整柜重量大幅增加，對(duì)機(jī)房有特殊承重要求，普遍要求浸沒(méi)式液冷機(jī)房地板承重應(yīng)大于1500kg/m2。1010噴淋式液冷噴淋式液冷是面向芯片級(jí)器件精準(zhǔn)噴淋，通過(guò)重力或系統(tǒng)壓力直接將冷卻液噴灑至發(fā)熱器件或與之連接的導(dǎo)熱元件上的液冷形&圖3-5噴淋式液冷系統(tǒng)原理圖行噴淋；冷卻液通過(guò)T噴淋式液冷同樣實(shí)現(xiàn)了100%液冷，其結(jié)構(gòu)顛覆性?xún)?yōu)于浸沒(méi)式液冷；但節(jié)能效果差于浸沒(méi)式液冷，且存在與浸沒(méi)式液冷相同的局限性問(wèn)題。液冷趨勢(shì)分析液冷趨勢(shì)分析1111中興通訊液冷技術(shù)方案4總體方案DCIT液冷路由交換設(shè)備一體化集成開(kāi)發(fā)、交付；液冷一體化方案架構(gòu)如下圖所示。圖4-1液冷一體化方案架構(gòu)PAGE14PAGE14液冷一體化解決方案實(shí)現(xiàn)了液冷系統(tǒng)能耗最優(yōu)、成本最優(yōu)，并大幅縮短開(kāi)發(fā)和交付周期，具備多項(xiàng)技術(shù)優(yōu)勢(shì)。進(jìn)組件共用和控制優(yōu)化，實(shí)現(xiàn)低能耗、低成本；進(jìn)組件共用和控制優(yōu)化，實(shí)現(xiàn)低能耗、低成本；&處理；選擇控制；系統(tǒng)全面監(jiān)控，異常情況提前預(yù)判、及時(shí)告警高可靠：液冷系統(tǒng)整體可靠性設(shè)計(jì)，液體潤(rùn)濕面材料綜合需求和環(huán)境情況實(shí)時(shí)調(diào)控運(yùn)行參數(shù)保持最低運(yùn)行能； 實(shí)現(xiàn)產(chǎn)品及機(jī)房級(jí)的標(biāo)準(zhǔn)化&模塊化設(shè)計(jì)，并最大程度促更節(jié)能：冷卻塔、CDU、IT、TDC液冷方案DCIT液冷路由交換設(shè)備一體化集成開(kāi)發(fā)、交付；液冷一體化方案架構(gòu)如下圖所示。4.2.1.14.2.1.1圖4-2DC液冷方案架構(gòu)DCCDU為分界劃分為一次側(cè)系統(tǒng)和二次側(cè)系統(tǒng)。其中，一次側(cè)系統(tǒng)由室外冷源、一次側(cè)水泵、一次側(cè)管路組成，二次側(cè)系統(tǒng)由液冷機(jī)柜、二次側(cè)管路、CDU組成。中興通訊可提供上述全套的液冷產(chǎn)品以及配套群控系統(tǒng)，形成完整的數(shù)據(jù)中心液冷解決方案。4.2.2.1設(shè)計(jì)工況4.2.2.1設(shè)計(jì)工況基于冷板式液冷方案的一次側(cè)系統(tǒng)，其功能是為二次側(cè)系統(tǒng)提供滿(mǎn)足散熱要求的冷卻水，而二次側(cè)系統(tǒng)的供液溫度及流量應(yīng)滿(mǎn)足液冷元件的散熱要求。液冷系統(tǒng)的工況設(shè)計(jì)可參考下表：一次側(cè)二次側(cè)供液溫度綜合考量當(dāng)?shù)貧庀髼l件和二次側(cè)供液溫度要求，推薦供液溫度不超過(guò)35℃在滿(mǎn)足液冷元件散熱要求的前提下，從節(jié)能角度考慮，建議供液溫度控制在40~50℃流量推薦按5~10℃溫差設(shè)計(jì)推薦按5~10℃溫差設(shè)計(jì)表4-1液冷系統(tǒng)工況設(shè)計(jì)4.2.2.24.2.2.2在國(guó)內(nèi)絕大部分地區(qū)，液冷系統(tǒng)均能夠使用自然冷卻。常見(jiàn)的自然冷冷源可選擇開(kāi)式/閉式冷卻塔、干式冷卻器。冷源的選擇應(yīng)根據(jù)項(xiàng)目所在地的場(chǎng)地、氣象、水電等因素綜合考量。開(kāi)式冷卻塔閉式冷卻塔干式冷卻器初投資結(jié)構(gòu)簡(jiǎn)單，成本較低成本較高成本介于閉式塔與開(kāi)式塔之間占地面積占地面積較小占地面積介于開(kāi)式塔與干冷器之間占地面積較大耗水量蒸發(fā)損失，耗水量較大就會(huì)產(chǎn)生水量介于開(kāi)式塔與干冷器之間，耗或濕簾系統(tǒng)會(huì)產(chǎn)生少量水量消耗淋耗電量耗電量較低耗電量介于開(kāi)式塔與干冷器之間耗電量較高水質(zhì)差，容易結(jié)垢、滋生細(xì)菌水質(zhì)較閉式循環(huán)，水質(zhì)較好閉式循環(huán)，水質(zhì)較好適用場(chǎng)景適用于室外空氣質(zhì)量較好的地區(qū)水質(zhì)要求較高的場(chǎng)合較差且對(duì)循環(huán)地區(qū)需要增加噴淋或炎熱表4-2冷源選型對(duì)比4.2.2.3（EDU4.2.2.3（EDU）工廠(chǎng)內(nèi)預(yù)制的生產(chǎn)模式更有利于質(zhì)量控制，可減少現(xiàn)場(chǎng)施工中的質(zhì)量問(wèn)題。4.2.3.1設(shè)計(jì)工況4.2.3.1設(shè)計(jì)工況該產(chǎn)品包括：箱體結(jié)構(gòu)件、熱交換器、二次側(cè)水泵、管路組件、配電控制箱及各種傳感器。上述各組件中與冷卻工質(zhì)接觸的材料必須經(jīng)過(guò)測(cè)試驗(yàn)證，確保其與工質(zhì)的材料兼容性。此外，CDUCDU支持的機(jī)柜數(shù)量可從單個(gè)機(jī)柜擴(kuò)展到機(jī)柜組乃至整個(gè)集群，中興通訊可提供多種形態(tài)的CDU產(chǎn)品以適配不同的場(chǎng)景和規(guī)模需求。產(chǎn)品規(guī)格應(yīng)用場(chǎng)景機(jī)架式CDU風(fēng)-液型，6~20kW機(jī)柜級(jí)應(yīng)用：液冷科學(xué)樣機(jī)或?qū)嶒?yàn)局邊緣節(jié)點(diǎn)部署液-液型，20~60kW機(jī)柜式CDU制冷量：200~600kW結(jié)構(gòu)形式：機(jī)柜式房間級(jí)應(yīng)用：老舊機(jī)房單機(jī)房或單層騰退改造新建中等規(guī)模機(jī)房微模塊、集裝箱場(chǎng)景平臺(tái)式CDU制冷量：1200~3600kW建筑級(jí)應(yīng)用：大型數(shù)據(jù)中心集中供冷表4-3CDU的應(yīng)用場(chǎng)景4.2.3.2二次側(cè)管路二次側(cè)管路用于連接CDU和末端的液冷機(jī)柜，實(shí)現(xiàn)冷卻工質(zhì)的傳輸和均勻分配。考慮到冗余設(shè)計(jì)，二次側(cè)管路通常采用環(huán)形管網(wǎng)的連接方式。，此外環(huán)形閉合回路有助于提升流量均勻性且不存在流動(dòng)死區(qū)，工質(zhì)始終處于循環(huán)流動(dòng)狀態(tài)，不易變質(zhì)。環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU支路、機(jī)柜支路、排氣裝置、排污閥等組件。4.2.3.2二次側(cè)管路圖4-3二次側(cè)管路示意圖環(huán)形管路一般采用廠(chǎng)內(nèi)分段預(yù)制，現(xiàn)場(chǎng)組裝的方式交付，以保證管路的焊接質(zhì)量和清潔度。中興通訊可提供現(xiàn)場(chǎng)勘察、設(shè)計(jì)、BIMFD量分配的均勻性。4.2.3.3液冷機(jī)柜4.34.44.2.3.3液冷機(jī)柜圖4-4液冷群控系統(tǒng)架構(gòu)圖中興通訊針對(duì)液冷系統(tǒng)的特點(diǎn)開(kāi)發(fā)了一套完整的液冷群控系統(tǒng)?？刂葡到y(tǒng)采用液冷設(shè)備、液冷群控、動(dòng)環(huán)監(jiān)控平臺(tái)三層架構(gòu)。CDU、EDU兩種產(chǎn)品，CDU、EDUCDUEDU/CDU控制器采集溫度、壓力、流量等傳感器數(shù)據(jù)，根據(jù)運(yùn)行參數(shù)控制本設(shè)備內(nèi)的水泵和電動(dòng)閥等部件，從而實(shí)現(xiàn)二次側(cè)供液溫度、流量的控制和調(diào)節(jié)。EDU控制器采集溫度、壓力、流量等傳感器數(shù)據(jù)，根據(jù)運(yùn)行參數(shù)控制本設(shè)備內(nèi)的水泵和電動(dòng)閥以及冷卻塔/干冷器內(nèi)的風(fēng)機(jī)、噴淋泵等部件，從而實(shí)現(xiàn)一次側(cè)供液溫度、流量的控制和調(diào)節(jié)。液冷群控采集一/二次側(cè)管路上的溫度、壓力、流量等傳感器數(shù)據(jù)，綜合所有運(yùn)行參數(shù)整體協(xié)調(diào)所有液冷設(shè)備的運(yùn)行，并實(shí)現(xiàn)主備切換，故障投切等綜合策略。同時(shí)，液冷群控還可以將定壓補(bǔ)水裝置、水處理裝置納入監(jiān)控，實(shí)現(xiàn)對(duì)液冷系統(tǒng)的集中控制。動(dòng)環(huán)監(jiān)控平臺(tái)對(duì)數(shù)據(jù)中心內(nèi)的所有動(dòng)力設(shè)備及環(huán)境變量進(jìn)行集中監(jiān)控。IT（60%80%），IT剩余的發(fā)熱量（20%~40%）仍需要通過(guò)空調(diào)系統(tǒng)解決。中興通訊可提供間蒸空調(diào)、氟泵空調(diào)、冷凍水系統(tǒng)等多種空調(diào)系統(tǒng)解決方案，適配不同的應(yīng)用場(chǎng)景和客戶(hù)需求。圖4-5液冷數(shù)據(jù)中心冷卻系統(tǒng)示意圖IT液冷方案IT以及漏液檢測(cè)裝置。液冷工質(zhì)IT直接影響液冷系統(tǒng)的設(shè)計(jì)方案、工作環(huán)境、可靠性、維護(hù)方（導(dǎo)熱系數(shù)等）、兼容性（金屬、非金屬）、成本和可獲取性IT液冷板IT需要根據(jù)單板芯片和芯片布局進(jìn)行芯片冷板和管路布局設(shè)計(jì)，具有一定的定制化特性，其次在定制化結(jié)構(gòu)設(shè)計(jì)中應(yīng)盡量保證內(nèi)部零件的通用性，如芯片冷板內(nèi)部流道、外形尺寸，以及液冷板進(jìn)出口組件結(jié)構(gòu)盡可能一致，以降低成本。液冷板的選型還需要結(jié)合實(shí)際功耗、工作壓力、流速等條件，綜合考慮冷板材質(zhì)、工藝等。同時(shí)，為了提升節(jié)能效果，IT設(shè)備應(yīng)盡可能提高冷板板式液冷占比；目前ZTE已推出自研液冷服務(wù)器，并制定了不同

的液冷解決方案，如CPUCPU+內(nèi)存條液冷，以及CPUVR80流體連接器流體連接器主要用于液冷散熱系統(tǒng)環(huán)路中各部件間的快速連接和斷開(kāi)。選型要點(diǎn)包括工作流量、溫度、壓力、介質(zhì)、殼體材料、流阻特性、顏色標(biāo)識(shí)、安裝方式、接口形式等?，F(xiàn)階段，中興通訊自研液冷服務(wù)器產(chǎn)品選擇了Intel推薦的UQD系列流體連接器，促進(jìn)行業(yè)標(biāo)準(zhǔn)化進(jìn)程，滿(mǎn)足最終用戶(hù)兼容替代需求。分液器分液器安裝在IT設(shè)備液冷機(jī)柜內(nèi)，起到流量分配作用，將系統(tǒng)的循環(huán)工質(zhì)分配到各個(gè)IT設(shè)備節(jié)點(diǎn)，在液冷板內(nèi)換熱后將熱量帶出到主水管路。其設(shè)計(jì)選型需要考慮以下幾個(gè)方面：分液器內(nèi)流速通常不超過(guò)1.5m/s，流量分配需要均勻一致，根據(jù)結(jié)構(gòu)空間、充注量和機(jī)柜總重量綜合考慮分液器的體積。液冷軟管液冷管路是循環(huán)工質(zhì)流通通路，液冷管路需要參與整個(gè)液冷接接口。IT（柔1.5m/s）、管路布置、安裝方式、流量分配設(shè)計(jì)以及可靠性方面的要求。

漏液檢測(cè)裝置&整柜級(jí)智能監(jiān)控漏液檢測(cè)技術(shù)，及時(shí)告警，快速處理。主板預(yù)留液冷方案漏液偵測(cè)接口可快速識(shí)別泄漏情況，具有告警機(jī)制及應(yīng)急動(dòng)作。CT液冷方案TITTCT液冷系統(tǒng)設(shè)計(jì)要素，以及與IT液冷工質(zhì)二次側(cè)液冷工質(zhì)采用國(guó)產(chǎn)化氟碳類(lèi)冷卻液，絕緣不導(dǎo)電，即使極端情況下系統(tǒng)發(fā)生泄漏也不造成設(shè)備損壞；同時(shí)，氟碳工質(zhì)基本組成成份為大分子化合物，不能被微生物分解，微生物缺少生產(chǎn)繁殖的基礎(chǔ)碳源，因此，無(wú)水液冷系統(tǒng)中幾乎不存在微生物生產(chǎn)繁殖問(wèn)題；系統(tǒng)整體可靠性等級(jí)更高。此外，氟碳工質(zhì)物理、化學(xué)穩(wěn)定性突出，與液冷系統(tǒng)潤(rùn)濕面材料相容性更好，系統(tǒng)運(yùn)行過(guò)程無(wú)需額外添加化學(xué)藥劑。液冷架構(gòu)CT制化設(shè)計(jì)，重點(diǎn)考慮以下因素：分液器易于安裝、拆卸；分液器在機(jī)柜內(nèi)的位置能夠?qū)崿F(xiàn)安裝在其上的流體連接器或管路插拔維護(hù)；分液器易于安裝、拆卸；分液器在機(jī)柜內(nèi)的位置能夠?qū)崿F(xiàn)安裝在其上的流體連接器或管路插拔維護(hù)；液冷管路與光纖線(xiàn)纜布局合理性，具備可操作性和可維護(hù)性；業(yè)務(wù)板和交換板功率具有一定差異，流量需求也不同，因此系統(tǒng)架構(gòu)層面需要具備流量易分配性。單板兼容性單板進(jìn)、出液接口：同一槽位，不同類(lèi)型單板對(duì)外接口位置和結(jié)構(gòu)保持一致；單板進(jìn)、出液接口：同一槽位，不同類(lèi)型單板對(duì)外接口位置和結(jié)構(gòu)保持一致；單板流阻：?jiǎn)伟屣L(fēng)阻：不同類(lèi)型單板因液冷板結(jié)構(gòu)設(shè)計(jì)帶來(lái)的風(fēng)阻變化盡量小。液冷板ITTT設(shè)備液冷板采用全金屬材料，各個(gè)芯片冷板之間通過(guò)金屬管進(jìn)行連接，金屬管與芯片冷板之間焊接成型，液冷板泄漏風(fēng)險(xiǎn)顯著降低，可靠性更高。全金屬材料在帶來(lái)密封可靠性的同時(shí)，也引入了獨(dú)特的支反力問(wèn)題。&金屬波紋管方案：芯片冷板之間采用金屬波紋管連接，大幅提高芯片冷板間浮動(dòng)量，降低支反力約束。&金屬波紋管方案：芯片冷板之間采用金屬波紋管連接，大幅提高芯片冷板間浮動(dòng)量，降低支反力約束。&維護(hù)性CT設(shè)備對(duì)產(chǎn)品可靠性要求高，非極端情況不允許業(yè)務(wù)中斷，因此需全面識(shí)別液冷系統(tǒng)失效模式，并制定對(duì)應(yīng)探測(cè)和預(yù)防措施，漏液檢測(cè)：漏液檢測(cè)：CTCDU液冷系統(tǒng)維護(hù)過(guò)程保證設(shè)備液體循環(huán)不中斷；專(zhuān)業(yè)在線(xiàn)維護(hù)車(chē)，提供第二套循環(huán)供液回路：液冷系統(tǒng)出現(xiàn)滲漏時(shí)首先將正式循環(huán)回路切換至維護(hù)回路，然后斷開(kāi)被維護(hù)零部件進(jìn)行備件更換，最后由維護(hù)回路切換至正式循環(huán)回路；單板連接處采用小通徑動(dòng)壓插拔流體連接器，工作狀態(tài)插拔力較小，可實(shí)現(xiàn)單板處的不斷液插拔；主管路連接采用大通徑流體連接器，工作狀態(tài)插拔力較大，需排液后再進(jìn)行插拔維護(hù)，提高維護(hù)操作性和可靠性。2020通訊液冷技術(shù)實(shí)踐5濱江液冷實(shí)驗(yàn)局為了驗(yàn)證液冷系統(tǒng)冷卻能力和節(jié)能效果，測(cè)試自研液冷產(chǎn)品的性能和可靠性，中興通訊在南京濱江部署了液冷實(shí)驗(yàn)局。圖5-1系統(tǒng)原理圖PAGE22PAGE22濱江液冷實(shí)驗(yàn)局基于冷板式液冷技術(shù)，創(chuàng)新地采用了全液冷設(shè)計(jì)。其系統(tǒng)原理圖如圖5.1所示，整個(gè)系統(tǒng)包含兩個(gè)熱量傳遞路徑：其一，液冷服務(wù)器內(nèi)主要發(fā)熱元件產(chǎn)生的熱量經(jīng)液冷板傳遞給二次側(cè)工質(zhì)，二次側(cè)工質(zhì)在二次側(cè)水泵的驅(qū)動(dòng)下進(jìn)入板式換熱器，換熱器內(nèi)二次側(cè)工質(zhì)將熱量傳遞給一次側(cè)工質(zhì)，一次側(cè)工質(zhì)在一次側(cè)水泵的驅(qū)動(dòng)下進(jìn)入閉式冷卻塔，在冷卻塔內(nèi)一次側(cè)工質(zhì)與室外空氣進(jìn)行換熱，完成散熱循環(huán)。其二，室內(nèi)空氣在風(fēng)扇的驅(qū)動(dòng)下帶走液冷服務(wù)器內(nèi)次要發(fā)熱元件產(chǎn)生的熱量，之后空氣經(jīng)過(guò)液冷背門(mén)將熱量傳遞給一次側(cè)工質(zhì)，一次側(cè)工質(zhì)在一次側(cè)水泵的驅(qū)動(dòng)下進(jìn)入閉式冷卻塔，在冷卻塔內(nèi)一次側(cè)工質(zhì)與室外空氣進(jìn)行換熱，完成散熱循環(huán)。圖5-2現(xiàn)場(chǎng)外觀(guān)圖IT柜四個(gè)部分組成。其中配電管控柜內(nèi)部署了配電箱、US、電池包等設(shè)備可為IT和冷卻系統(tǒng)提供可靠的供電。配電管控柜內(nèi)還集成了動(dòng)環(huán)監(jiān)控平臺(tái)，可對(duì)所有的動(dòng)力設(shè)備和環(huán)境變量進(jìn)行集中監(jiān)控。ITITIntelXEON高性能CPU、32節(jié)，可用于液冷系統(tǒng)的測(cè)試。

圖5-3液冷IT柜正面 圖5-4液冷IT柜背面圖5-5液冷CDU

CDU采用機(jī)架式設(shè)計(jì)，部署于液冷IT柜內(nèi)。CDU內(nèi)集成了二次側(cè)水泵、板式換熱器、二次側(cè)電動(dòng)閥、各種傳感器以及控制器等組件。CDU控制器可對(duì)二次側(cè)工質(zhì)的溫度的進(jìn)行恒溫控制，并根據(jù)服務(wù)器的負(fù)載變化調(diào)節(jié)流量，實(shí)現(xiàn)制冷量與發(fā)熱量的匹配。EDU動(dòng)閥、定壓補(bǔ)水裝置、各種傳感器以控EDU件的進(jìn)行控制外，還集成了閉式冷卻塔的控制，從而實(shí)現(xiàn)對(duì)一次側(cè)工質(zhì)溫度和流量的控制和調(diào)節(jié)。液冷背門(mén)安裝于液冷IT機(jī)柜背面，設(shè)占地面積小的優(yōu)點(diǎn)。液冷背門(mén)由管翅式換熱器和風(fēng)扇組成，管內(nèi)側(cè)為一次側(cè)冷卻水，通過(guò)冷卻水對(duì)服務(wù)器的出風(fēng)進(jìn)行冷卻。本項(xiàng)目液冷背門(mén)針對(duì)高溫冷卻水CT液冷實(shí)驗(yàn)局

進(jìn)行了優(yōu)化，可以滿(mǎn)足服務(wù)器風(fēng)冷器件的散熱需求。該試點(diǎn)方案針對(duì)冷板式液冷系統(tǒng)無(wú)法實(shí)100PUEPUE1.14CDU一次側(cè)系統(tǒng)可簡(jiǎn)化冷卻系統(tǒng)架構(gòu)，降低系統(tǒng)的初投資。

圖5-6水冷背門(mén)PUECDU；液冷核心路由器機(jī)柜；風(fēng)冷機(jī)房空調(diào)組成。CDU控制器根據(jù)被冷卻器件熱負(fù)荷的變化，通過(guò)調(diào)節(jié)冷卻塔風(fēng)機(jī)轉(zhuǎn)速、噴淋泵的啟停以及一次側(cè)冷卻液流量來(lái)控制換熱設(shè)備工作負(fù)荷，從而達(dá)到精確控制冷卻介質(zhì)溫度的要求，確保被冷卻器件進(jìn)液溫度穩(wěn)定在設(shè)計(jì)目標(biāo)值。CDU與液冷核心路由器間的二次側(cè)熱交換采用國(guó)產(chǎn)無(wú)水工質(zhì)實(shí)現(xiàn)，通過(guò)CDU內(nèi)的泵驅(qū)動(dòng)冷卻液將路由器中器件的熱量帶到CDU內(nèi)的板式換熱器，完成一次側(cè)和二次側(cè)的熱量傳遞。液冷核心路由器采用風(fēng)/液混和的冷卻方式，風(fēng)冷部分熱量依靠機(jī)房空調(diào)解決，液冷部分熱量通過(guò)CDU以及室外冷卻塔解決。液冷系統(tǒng)采用單相無(wú)水工質(zhì)，絕緣不導(dǎo)電，使用更安全可靠，滿(mǎn)足十年長(zhǎng)期穩(wěn)定運(yùn)行；液冷單板采用流體連接器，支持設(shè)備運(yùn)行過(guò)程中帶壓插拔，即插即用，高效維護(hù)。CDU使用外置方式，占用一個(gè)機(jī)柜位，液冷系統(tǒng)一次側(cè)采用冷卻塔冷卻、二次側(cè)高溫供液（≥45℃）方案，具有節(jié)能、高效、高集成的特點(diǎn)；關(guān)鍵部件采用冗余備份設(shè)計(jì)，可靠性更高。該解決方案實(shí)現(xiàn)核心芯片運(yùn)行溫度降低10℃，理論故障率約減少一半；整機(jī)噪聲降6dBA以上，極大改善了機(jī)房環(huán)境，保護(hù)了工作人員身體健康；大容量核心機(jī)房綜合PUE1.2，還解決了高功率路由器空調(diào)散熱難的問(wèn)題，充分體現(xiàn)了液冷代替風(fēng)冷的巨大優(yōu)勢(shì)。

圖5-7室外冷卻塔圖5-8CDU5-95-92424展望6在“數(shù)字經(jīng)濟(jì)”和“雙碳”大背景下，不斷提升的芯片熱流密度和不斷嚴(yán)苛的設(shè)備能耗設(shè)計(jì)要求成為制冷技術(shù)不斷演進(jìn)的兩大等優(yōu)勢(shì)，是解決數(shù)據(jù)中心散熱壓力和節(jié)能挑戰(zhàn)的必由之路。ICT當(dāng)前行業(yè)內(nèi)液冷技術(shù)成熟度、規(guī)范化和標(biāo)準(zhǔn)化工作有待進(jìn)一步提升，中興通訊希望與整個(gè)產(chǎn)業(yè)鏈上下游密切合作，共同推進(jìn)液冷技術(shù)的快速發(fā)展，促進(jìn)數(shù)據(jù)中心節(jié)能建設(shè)和國(guó)家雙碳目標(biāo)達(dá)成。 GB12955GB17565GB50016GB50052GB50084GB50116GB50140GB50174GB50189GB50222GB50223GB50311GB50370GB50462GB50898GB/T7106GB/T39786GB/T37092GA38JR/T0131JGJ16ANSI/TIA942-B（TelecommunicationsInfrastructureStandardforDataCenters） 機(jī)房工程項(xiàng)目（以下簡(jiǎn)稱(chēng)機(jī)房工程）engineeringofelectronicequipment總行機(jī)房headdata分行機(jī)房branchdata中心機(jī)房activedata災(zāi)備機(jī)房businessrecoverydata甲類(lèi)項(xiàng)目ClassAdata1ClassB1data2ClassB2data丙類(lèi)項(xiàng)目Cl