高效能數(shù)據(jù)中心在能源行業(yè)發(fā)展與實(shí)踐

1、高效能數(shù)據(jù)中心在能源行業(yè)發(fā)展與實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)高效能數(shù)據(jù)中心的發(fā)展與實(shí)踐行業(yè)政策分析和技術(shù)問(wèn)題1能源行業(yè)實(shí)踐應(yīng)用2行業(yè)未來(lái)展望32根據(jù)“十三五”國(guó)家信息化規(guī)劃2018年新建大型數(shù)據(jù)中心PUE不高于1.5，北京 市人民政府公布的北京市新增產(chǎn)業(yè)的禁止和限制目錄中，提到全市范圍內(nèi)禁止新 建和擴(kuò)建互聯(lián)網(wǎng)數(shù)據(jù)服務(wù)中的數(shù)據(jù)中心(PUE值在1.4以下的云計(jì)算數(shù)據(jù)中心除外)。能源行業(yè)在2017年承擔(dān)了國(guó)家科技部重點(diǎn)研發(fā)計(jì)劃“高效能云計(jì)算數(shù)據(jù)中心關(guān)鍵 技術(shù)與裝備”專項(xiàng)任務(wù)。重點(diǎn)從理論與技術(shù)、軟件與裝備、示范應(yīng)用等方面開展研究 工作。隨著國(guó)家對(duì)數(shù)據(jù)中心行業(yè)相關(guān)標(biāo)準(zhǔn)的更新、安全生產(chǎn)要求的提高、能耗優(yōu)化轉(zhuǎn)型的內(nèi)

2、 在驅(qū)動(dòng)、以模塊化機(jī)房為代表的新趨勢(shì)逐漸成熟。因此，能源行業(yè)明確高效能數(shù)據(jù)中心的標(biāo)準(zhǔn)，以安全適用、技術(shù)先進(jìn)、經(jīng)濟(jì)合理、 節(jié)能環(huán)保為目標(biāo)，為國(guó)網(wǎng)公司信息系統(tǒng)提供安全、高效、可靠的基礎(chǔ)運(yùn)行環(huán)境。3高效能數(shù)據(jù)中心行業(yè)發(fā)展趨勢(shì)分析和應(yīng)用數(shù)據(jù)中心計(jì)算 資源利用率低數(shù)據(jù)中心資源 管理粗放L1/L2層聯(lián)合感知基于熱模型的數(shù)據(jù) 增強(qiáng)與熱場(chǎng)預(yù)測(cè)基于AI的能耗評(píng)估 與預(yù)測(cè)基于云業(yè)務(wù)SLA 的精確控制策略CPU統(tǒng)一控制與 跨層聯(lián)合管控模塊精確能 源管理 軟件數(shù)據(jù)中心典 型應(yīng)用能效 比提升數(shù)據(jù)中 心調(diào)度 軟件間歇性應(yīng)用休眠技術(shù)峰谷負(fù)載的業(yè)務(wù) 遷移-縮放技術(shù)間歇性且間隔時(shí)間短業(yè)務(wù) 功率限制國(guó)網(wǎng)各省公司信息機(jī)房運(yùn)營(yíng)問(wèn)題分

3、析當(dāng)前數(shù)據(jù)中心存在設(shè)備利用率低的問(wèn)題，L1/L2層設(shè)備無(wú)法協(xié)調(diào)聯(lián)動(dòng)問(wèn)題，L3層業(yè)務(wù)應(yīng)用無(wú) 法聯(lián)動(dòng)控制設(shè)備功耗問(wèn)題4傳統(tǒng)服務(wù)器冗余部件多， 能耗高需要精簡(jiǎn)設(shè)計(jì)1、研制高密ARM服務(wù)器低功耗CPU，SoC設(shè)計(jì)，精 簡(jiǎn)部件降低服務(wù)器功耗，提升能 效比2、大容量SSD盤滿足容量日益增長(zhǎng)的需求， 消除存儲(chǔ)性能瓶頸，提升服務(wù)器 能效比3、超高密端口交換機(jī)提升單服務(wù)器到100GE帶寬， 滿足大二層萬(wàn)級(jí)節(jié)點(diǎn)無(wú)阻塞組網(wǎng)， 簡(jiǎn)化SDN拓?fù)?消除東西流量瓶頸4、全液冷機(jī)柜解決3050KW+ 的單柜功耗的 轉(zhuǎn)換到機(jī)房外部，充分利用自然冷 源，減少機(jī)械制冷裝置裝備能效比 提升數(shù)據(jù)中心空間利用率低機(jī)械制冷和風(fēng)冷效率低數(shù)據(jù)

4、量增長(zhǎng)快，需要性 能分級(jí)的存儲(chǔ)服務(wù)集群云數(shù)據(jù)中心東西流量高 于南北流量，傳統(tǒng)網(wǎng)絡(luò)， 拓?fù)鋸?fù)雜，帶寬不足降低PUE數(shù)據(jù)數(shù)據(jù)中心存在空間利用率低、機(jī)械制冷和風(fēng)冷效率低、傳統(tǒng)服務(wù)器冗余部件多等 導(dǎo)致PUE高國(guó)網(wǎng)各省公司信息機(jī)房運(yùn)營(yíng)問(wèn)題分析5解決高密器件 布局和降低散 熱能耗的復(fù)雜 平衡問(wèn)題提出問(wèn)題整機(jī)柜數(shù)據(jù)中心單元計(jì)算和存 儲(chǔ)能力：128CPU，6144core12PB存儲(chǔ)容量高密度整機(jī)柜高密服務(wù)器采用14層主板和 高開孔率背板組合優(yōu)化設(shè)計(jì) 高密器件布局和高速信號(hào)布 線大容量，小尺寸SSD盤采用3D QLC 128層堆疊顆粒提高100GE TOR 交換機(jī)端 口密度1倍，滿足單柜128個(gè) 100GE端

5、口。單機(jī)柜設(shè)備功耗達(dá)到不高于30KW+整機(jī)柜高密布局設(shè)計(jì)采用主流的低成本，可推廣的 板式液冷技術(shù)，提高制冷效率， 降低PUE0.2首次提出雙管路，全封閉液冷 機(jī)柜 ，采用專利設(shè)計(jì)的柜內(nèi)自 循環(huán)風(fēng)液換熱器。降低PUE 0.08采用新型冷板提高液冷系統(tǒng)散 熱效率。降低PUE 0.03支持45度溫水冷卻，可大幅提 高利用自然冷源時(shí)間。降低 PUE 0.08以上總PUE可降低約0.39降低制冷PUE的方法采用低功耗ARMCPU，相同 性能能耗比Xeon低20%采用SSD存儲(chǔ)，比主流SATA 提高存儲(chǔ)能效比4倍以上。高密服務(wù)器，共享電源，風(fēng) 扇等節(jié)能8-10%提升整機(jī)柜裝備能效比1.2倍最佳實(shí)踐6國(guó)網(wǎng)各

6、省公司信息機(jī)房運(yùn)營(yíng)問(wèn)題分析6技術(shù)分析7制冷技術(shù)AHU：air handling unit去除降低限 制蒸發(fā)冷卻選址：常年環(huán)境 溫度低，干燥8-10KW冷板式液冷（半液冷）選址：無(wú)限制10-40KW混合液冷（全液冷）選址：無(wú)限制12-60KWGoogle 比利時(shí)，PUE 1.13新風(fēng)冷卻選址：常年環(huán)境溫 度低，空氣清潔， 8-10KWGoogle 愛爾蘭，PUE 1.09海水冷卻選址：靠近冰冷水 源8-12KWGoogle 芬蘭，PUE 1.09北大HPC，溫水冷卻 PUE 低于1.2，冷水冷 卻，PUE 1.4溫水冷卻，PUE 低于1.2浸沒(méi)式（相變液）選址：機(jī)房承重高， 相變液價(jià)格高，不利

7、于環(huán)保和維護(hù)。20- 100KW曙光HPC，阿里張北PUE 1.051.08數(shù)據(jù)中心成熟技術(shù)比較78供電技術(shù)轉(zhuǎn)換 次數(shù)機(jī)房側(cè)是 否定制服務(wù)器側(cè) 是否定制應(yīng)用情況4否否All3是否Tecent、中國(guó)電 信、中國(guó)移動(dòng)(作為備電規(guī)模商 用)2是是ETSI標(biāo)準(zhǔn)、中國(guó)移 動(dòng)、中國(guó)聯(lián)通（無(wú)規(guī)模商用）2可選可選Facebook、 Google、 Microsoft、 Tecent、baidu、 Alibaba93%95%95.5%PDU和線損 99.5%PDU和線損 99.4%PDU和線損 99.5%PDU和線損 99.5%=92.5%=94.4%=95.0%=99.5%數(shù)據(jù)中心成熟技術(shù)比較8技術(shù)分析輸入

8、配電柜UPS網(wǎng) 絡(luò)存 儲(chǔ)制冷系統(tǒng)輔助負(fù)載L1層降低制冷系統(tǒng)Pb的功耗：雙管路全封閉液冷機(jī)柜，液冷占比從70%提升至95%，可 大幅降低機(jī)房空調(diào)的需求。主要部件（CPU和內(nèi)存）采用45溫水制冷，可長(zhǎng)時(shí)間利 用自然冷源，降低冷水機(jī)組和水泵制冷需求。新型冷板，提高液冷制冷效率， PUE 0.05高密度數(shù)據(jù)中心機(jī)柜單元， 綜合裝備能效比1.2倍單柜支持128CPU、6144核、12PB存儲(chǔ)L1 制冷資源可與L2 IT負(fù)載變化聯(lián)動(dòng)，降低低負(fù)載率下的制 冷能耗12PUE =數(shù)據(jù)中心機(jī)房輸入總能耗=Pa+Pb + PcIT設(shè)備的總能耗PdPbPc1L2層(Pd)2 服務(wù)器冷卻塔水 泵 冷水機(jī)組 機(jī)房空調(diào) 照

9、 明監(jiān) 控Pa33降低供電系統(tǒng)的損耗Pa：主用一路市電，電源轉(zhuǎn)換效率99%，供電PUE 0.01備用一路UPS，電源轉(zhuǎn)換效率93%，供電PUE 0.07服務(wù)器PSU供電效率優(yōu)化，支持市電主用IT配電最佳實(shí)踐分析9高效能數(shù)據(jù)中心PUE計(jì)算9行業(yè)政策分析和技術(shù)問(wèn)題1能源行業(yè)實(shí)踐應(yīng)用2行業(yè)未來(lái)展望3高效能數(shù)據(jù)中心的發(fā)展與實(shí)踐1011綜合規(guī)劃數(shù)據(jù)中心各層架構(gòu)配置，設(shè)計(jì) 同等條件下PUE值達(dá)到領(lǐng)先水平高效能云計(jì)算數(shù)據(jù)中心示范應(yīng)用落地于亦莊 國(guó)網(wǎng)北京數(shù)據(jù)中心二期三層，面積220采用部署高效能微模塊（單模塊配置16個(gè)高 密機(jī)柜和1024臺(tái)服務(wù)器）、單機(jī)柜達(dá)到： 128CPU、6144核、12PB高性能存儲(chǔ)、

10、整 個(gè)示范機(jī)房達(dá)到：1024個(gè)計(jì)算節(jié)點(diǎn)、2048 個(gè)CPU、21.6PB ，支持云計(jì)算數(shù)據(jù)中心計(jì) 算、存儲(chǔ)、節(jié)點(diǎn)高密裝備采用64口100GE TOR 接入交換機(jī)、400GE 核心交換機(jī)、支持1024節(jié)點(diǎn)，3.45EB 數(shù)據(jù) 無(wú)阻塞交換，理論上支持萬(wàn)點(diǎn)互聯(lián)國(guó)網(wǎng)北京數(shù)據(jù)中心L1: 基礎(chǔ)設(shè)施溫水液冷系統(tǒng)：大幅減少對(duì)空調(diào)的依賴，有效降低制冷耗電，大幅降低PUE微模塊布局優(yōu)化：優(yōu)化氣流組織、提高制冷效率供電系統(tǒng)優(yōu)化：優(yōu)質(zhì)市電直供+高效率UPS，減少供電損耗2-3%L2 :計(jì)算與網(wǎng)絡(luò)高密液冷服務(wù)器：高性能低能耗，能將比提升1.2倍高速交換機(jī)和SDN集群：提升網(wǎng)絡(luò)能效比L3: 應(yīng)用層L1/L2協(xié)調(diào)優(yōu)化：研發(fā)

11、能耗評(píng)估與預(yù)測(cè)工具和L1/L2協(xié)調(diào)軟件，根據(jù) L2負(fù)荷調(diào)整L1能耗參數(shù)，確保IDC資源按最優(yōu)方式運(yùn)行，實(shí)現(xiàn)高效能 目標(biāo)國(guó)網(wǎng)離線大數(shù)據(jù)100PB場(chǎng)景：IT負(fù)載率80%，提升IT能效技術(shù)路線兼顧供電效率和安全可靠：亦莊園區(qū)是3路市電，無(wú)油機(jī)，示范機(jī)房采用市電直供+模塊化UPS備用的雙路供電國(guó)網(wǎng)江蘇數(shù)據(jù)中心能效比提升示范驗(yàn)證基于國(guó)網(wǎng)云業(yè)務(wù)場(chǎng)景例： 根據(jù)不同業(yè)務(wù)特征，系統(tǒng)采用自動(dòng)的控制手段選擇和設(shè)定參數(shù)。即便同一業(yè)務(wù)，在不同時(shí)刻也會(huì)采用不同控制手段。無(wú)負(fù)載(1)收縮休眠 (2)低功耗模式(C-State)中低負(fù)載高負(fù)載動(dòng)態(tài)調(diào)頻（P-State） power capping具體手段來(lái)源于AI預(yù)測(cè)，基于設(shè)

12、備緩存池、安全頻 率保護(hù)、業(yè)務(wù)SLA實(shí)時(shí)反饋等關(guān)鍵技術(shù)間歇型周期型混合型典型業(yè)務(wù)特征1212國(guó)網(wǎng)江蘇數(shù)據(jù)中心上海數(shù)據(jù)中心站示范利用變電站站址資源，進(jìn)行擴(kuò)容和改造，建設(shè)高效能數(shù)據(jù)中心站和儲(chǔ)能站。儲(chǔ)能站作為高效能數(shù)據(jù)中心的后備電源，同時(shí)參與削峰填谷，提升電網(wǎng)運(yùn)行穩(wěn)定性和能效。結(jié)合多站融合運(yùn)行需求，充分發(fā)揮高效能數(shù)據(jù)中心綜合運(yùn)行效果，構(gòu)建多站融合數(shù)據(jù)中心站融合運(yùn)行調(diào)度大腦高效 能云數(shù)據(jù)中心調(diào)度與精確能源管理軟件，實(shí)現(xiàn)本地多數(shù)據(jù)中心調(diào)度，提升能效比。國(guó)網(wǎng)上海數(shù)據(jù)中心1313高效能數(shù)據(jù)中心發(fā)展與實(shí)踐行業(yè)政策分析和技術(shù)問(wèn)題1能源行業(yè)實(shí)踐應(yīng)用2行業(yè)未來(lái)展望314科研創(chuàng)新能力進(jìn)-一-步-提-升-創(chuàng)-新-科-研-能-力-，加強(qiáng)前沿探索與瓶頸突破，