為什么說(shuō)CXL能重構(gòu)數(shù)據(jù)中心

在過(guò)去幾十年中，CPU一直是計(jì)算系統(tǒng)中的絕對(duì)核心，甚至連存儲(chǔ)、網(wǎng)絡(luò)等子系統(tǒng)的能力都是CPU說(shuō)了算。比如，一個(gè)CPU能夠支持多大的內(nèi)存，CPU都是有嚴(yán)格要求的。甚至同樣一顆CPU，只是支持不同的內(nèi)容，都能賣兩個(gè)價(jià)格。而且更要命的是，隨著大內(nèi)存等應(yīng)用場(chǎng)景需求大增，想要擴(kuò)展內(nèi)存容量，你只能通過(guò)買CPU的方式才能擴(kuò)展內(nèi)存容量，想要在內(nèi)存上做點(diǎn)"手腳"那是被限制的死死的。但人算不如天算，在Intel按部就班的擠牙膏的時(shí)候，沒(méi)想到大數(shù)據(jù)AI、視覺(jué)渲染、基因分析以及EDR仿真等需求的突然爆發(fā)，給了NVIDIA的GPU帶了巨大增長(zhǎng)空間。眼看著GPU越賣越多，NVIDIA的市值甚至遠(yuǎn)遠(yuǎn)超過(guò)了Intel，于是英特爾"揮刀自宮"，讓充滿黑科技意味的傲騰業(yè)務(wù)和3DXpoint走向終結(jié)，取而代之的是開(kāi)始向CXL架構(gòu)發(fā)展。▉

推出CXL，Intel是為了什么？上文中提到，在當(dāng)前的系統(tǒng)架構(gòu)中，內(nèi)存子系統(tǒng)面臨諸多挑戰(zhàn)。如下面左圖所示，CPU技術(shù)的發(fā)展使得核心數(shù)量實(shí)現(xiàn)了比較快的增長(zhǎng)，內(nèi)存通道數(shù)增速卻相對(duì)較慢。但從發(fā)展趨勢(shì)來(lái)看，每個(gè)CPU核心所擁有的內(nèi)存通道反而是在下降。這會(huì)帶來(lái)很多問(wèn)題，很多CPU核心因?yàn)椴荒艹浞值玫綌?shù)據(jù)來(lái)處于滿負(fù)荷的運(yùn)行狀態(tài)，會(huì)導(dǎo)致整體計(jì)算效率下降。是可忍孰不可忍，這么明顯的問(wèn)題為何Intel在增加核心的時(shí)候也增加內(nèi)存通道呢？其實(shí)并不是英特爾不想，而是牽扯到了多方面原因。首先在CPU設(shè)計(jì)方面，內(nèi)存控制器是在CPU里的，如果增加內(nèi)存通道，則意味著會(huì)增加CPU的功耗，芯片面積也會(huì)變大，PCB走線距離增加，為了保證信號(hào)的完整性，對(duì)于PCB本身也提出更高要求，所以，如果增加內(nèi)存通道，CPU的成本和功耗都會(huì)增長(zhǎng)。另外，從服務(wù)器整機(jī)的層面來(lái)看，在主板上增加內(nèi)存DIMM槽，插上更多的內(nèi)存后，整機(jī)的成本也會(huì)不可避免地增長(zhǎng)，即使內(nèi)存成本降低，也不會(huì)無(wú)限度的降低下去，最終會(huì)導(dǎo)致整體成本的上升。所以，不能隨意的無(wú)限度地通過(guò)增加內(nèi)存通道來(lái)解決問(wèn)題。既然增加內(nèi)存通道這條路走不通，那有沒(méi)有其他方式可以解決內(nèi)存互聯(lián)網(wǎng)問(wèn)題呢？這個(gè)答案當(dāng)然是肯定的，為了解決內(nèi)存子系統(tǒng)的問(wèn)題，幾種不同的傳輸和內(nèi)存語(yǔ)義協(xié)議逐漸出現(xiàn)--IBM的OpenCAPI內(nèi)存接口協(xié)議、Xilinx的CCIX協(xié)議、NVIDIA的NVLink協(xié)議、惠普企業(yè)版的Gen-Z協(xié)議，都是為了解決內(nèi)存池化方面的問(wèn)題。雖然這幾種協(xié)議方式與后來(lái)的CXL協(xié)議其實(shí)類似。但這些明顯挖英特爾"墻角"的方式并沒(méi)有得到Intel的積極響應(yīng)。店大何止欺客，店大甚至可以決定產(chǎn)品的走向。但眼看著GPU賣的越來(lái)越多，Intel有點(diǎn)坐不住了，于是在2019年3月份Intel推出了CXL（ComputeExpressLink）協(xié)議接口，其與CAPI酷似，也是將CXL協(xié)議封裝到PCIE鏈路層數(shù)據(jù)包中傳送，并在CPU端的PCIE總控后端按照事務(wù)標(biāo)識(shí)分流CXL專屬事務(wù)給CXL處理邏輯處理。為何Intel突然會(huì)突然妥協(xié)，讓出這部分利益，推出CXL協(xié)議呢？借用DOIT朱朋博老師的一句話：擱置爭(zhēng)議，共同開(kāi)發(fā)。商人總是尋求利益最大化，既然大內(nèi)存需求趨勢(shì)已經(jīng)來(lái)襲，堵不如疏，不如把GPU、DPU等用作一把刀，來(lái)與NVIDIA形成某種制衡，當(dāng)然，如今的NVIDIA也加入了CXL聯(lián)盟，但是所謂"此路是我開(kāi)，要在此路過(guò)，留下買路財(cái)"。反正我建了通往內(nèi)存的"高速路"，你GPU怎么走都得聽(tīng)我的。通過(guò)這種方式，也能進(jìn)一步制衡GPU的發(fā)展，一如文章開(kāi)頭Intel對(duì)內(nèi)存的制約，想支持幾個(gè)GPU，還得通過(guò)我的CPU說(shuō)了算。值得注意的是，第四代英特爾至強(qiáng)可擴(kuò)展處理器每一顆處理器支持最多4個(gè)CXL設(shè)備，支持CXLType1和CXLType2。）▉

CXL協(xié)議具體能干啥？從2019年發(fā)布CXL1.0/1.1，到2020年11月發(fā)布CXL2.0，如今Intel已經(jīng)發(fā)布了CXL3.0，它的功能一直在發(fā)生著變化。首先我們來(lái)看下CXL是什么？CXL要如何解決問(wèn)題呢？如今，CXL有CXL.io、CXL.memory和CXL.cache三個(gè)協(xié)議：其中，CXL.io就是原來(lái)的PCIe，在CXL的建立連接、設(shè)備發(fā)現(xiàn)、配置等過(guò)程中發(fā)揮重要作用，連接建立后，CXL.cache協(xié)議負(fù)責(zé)做cache一致性的工作，CXL.cache和CXL.memory配合起來(lái)用來(lái)做內(nèi)存擴(kuò)展。CXL.cache和CXL.memory對(duì)于latency的要求會(huì)比較高，尤其CXL.cache對(duì)延遲要求非常高，因?yàn)檫@關(guān)系到計(jì)算的效率。在CXL1.0和1.1規(guī)范定義了三種Device：Type1Device主要的應(yīng)用場(chǎng)景是高性能計(jì)算里的網(wǎng)卡（PGASNIC），它支持一些網(wǎng)卡的原子操作，主要利用的協(xié)議就是CXL.io和CXL.cache。Type2Device主要指的是帶有內(nèi)存的加速器，包括GPU、FPGA等加速器，它使用的協(xié)議包括用來(lái)做鏈接的CXL.io，做cache一致性的CXL.cache，用來(lái)做內(nèi)存擴(kuò)展的CXL.memory。Type3Device主要用作內(nèi)存的Buffer，做內(nèi)存的擴(kuò)展。它主要利用CXL.io和CXL.memory的協(xié)議。如圖所示，CPU除了可以用本地的DDR內(nèi)存，還可以通過(guò)CXL去擴(kuò)展遠(yuǎn)端內(nèi)存，遠(yuǎn)端內(nèi)存可以是一個(gè)大的內(nèi)存池，這里的內(nèi)存可以共享給不同的CPU來(lái)用。CXL2.0規(guī)范實(shí)現(xiàn)了機(jī)架級(jí)別的資源池化。云計(jì)算強(qiáng)調(diào)資源可以像水和電一樣按需獲取，云計(jì)算的技術(shù)潮流下，追求不同資源之間的松耦合，為的是提高使用效率，為了提高使用效率，要實(shí)現(xiàn)的是相同資源的池化。隨著技術(shù)的發(fā)展，未來(lái)的服務(wù)器不再是傳統(tǒng)意義上的服務(wù)器，它不再具有現(xiàn)實(shí)的形態(tài)，用戶從云服務(wù)商那里申請(qǐng)?jiān)浦鳈C(jī)的時(shí)候，主機(jī)的CPU是從CPU池里拿出來(lái)的，內(nèi)存是從內(nèi)存池里拿出來(lái)的，CPU池和內(nèi)存池通過(guò)CXL連起來(lái)的。使用從資源池里拿出來(lái)資源組成邏輯上的服務(wù)器，這就是資源解耦和資源池化在未來(lái)能帶來(lái)的變化。CXL2.0規(guī)范在資源池化方面有所強(qiáng)化，同時(shí)，也還增加了CXLswitch功能，它可以在一個(gè)機(jī)架內(nèi)通過(guò)一套CXL交換機(jī)構(gòu)建成一個(gè)網(wǎng)絡(luò)。2022年，新發(fā)布的CXL3.0規(guī)范又新增很多特性。首先，CXL3.0PCIe6.0規(guī)范，它的速率從32GT提升到了64GT，在相同的鏈路時(shí)，帶寬翻倍。并且，Latency也沒(méi)有任何變化。第二，CXL3.0新增了對(duì)二層交換機(jī)的支持，也就是Leafspine網(wǎng)絡(luò)架構(gòu)，如此便可以更好地對(duì)資源進(jìn)行解耦和池化，做更多的資源池，比如CPU資源池、內(nèi)存資源池、網(wǎng)卡資源池和加速器資源池等，Leaf與Spine之間通過(guò)Fabricmanager軟件構(gòu)建各種拓?fù)浜透鞣N路由方式。CXL3.0不但可以更好地在一個(gè)機(jī)柜內(nèi)實(shí)現(xiàn)計(jì)算資源和存儲(chǔ)資源的池化和解耦，而且，可以在多個(gè)機(jī)柜之間建立更大的資源池，如此一來(lái)，對(duì)于云計(jì)算服務(wù)商的資源管理效率和成本優(yōu)化都會(huì)帶來(lái)很大幫助。▉

CXL的未來(lái)發(fā)展方向？說(shuō)了那么多CXL的優(yōu)勢(shì)和好處，那么CXL的未來(lái)發(fā)展方向如何呢？首先，CXL可以用來(lái)擴(kuò)展內(nèi)存的容量和帶寬，這是非常重要的一個(gè)方面。在使用服務(wù)器本地內(nèi)存的同時(shí)，還可以通過(guò)CXL利用遠(yuǎn)端內(nèi)存，遠(yuǎn)端內(nèi)存的成本和價(jià)格相對(duì)更低，而且，它能讓CPU和內(nèi)存之間的配比變得更靈活。進(jìn)一步發(fā)展之后，未來(lái)完全可以取消近端本地內(nèi)存，全部都使用遠(yuǎn)端內(nèi)存，這有賴于摩爾定律的作用，讓計(jì)算芯片和存儲(chǔ)芯片都有更進(jìn)一步的發(fā)展。與此同時(shí)，CPU上會(huì)有比DRAM更高速的內(nèi)存，比如可能會(huì)把HBM與處理器封裝到一個(gè)die里，使得CPU有更多的高速內(nèi)存。另外，還有一個(gè)趨勢(shì)在于遠(yuǎn)端內(nèi)存的持久化。目前，英特爾就有傲騰持久內(nèi)存，但因?yàn)橐恍┰?，英特爾宣布不再繼續(xù)研發(fā)了，不過(guò)，業(yè)界還有很多替代方案，比如NVDIMM，配合CXL將這些持久內(nèi)存作為遠(yuǎn)端內(nèi)存，還能夠提供多種實(shí)用功能。除此之外，還能利用CXL技術(shù)實(shí)現(xiàn)ComputationalStorage，通過(guò)CXL利用內(nèi)存資源，在存儲(chǔ)上做一些壓縮或者解壓縮的操作，類似可以在遠(yuǎn)端實(shí)現(xiàn)的功能還有很多。CXL帶來(lái)的改變從單節(jié)點(diǎn)開(kāi)始，擴(kuò)展到機(jī)架規(guī)模，而后是Tor級(jí)別，最終會(huì)影響到數(shù)據(jù)中心級(jí)別，CXL將要重構(gòu)未來(lái)的數(shù)據(jù)中心。數(shù)據(jù)中心利用CXL做解耦和池化，CXL技術(shù)能夠讓不同的資源從緊耦合變成松耦合，讓相同的資源變成池化資源，會(huì)形成CPU資源池、GPU資源池以及內(nèi)存資源池，各個(gè)資源池通過(guò)CXL連接。在未來(lái)發(fā)展中，隨著CXL技術(shù)的逐步落地，IPU承擔(dān)的任務(wù)也會(huì)越來(lái)越多，既作為CXL的端點(diǎn)，又作為以太網(wǎng)的端點(diǎn)，會(huì)有很多功能和負(fù)載卸載到IPU上，架構(gòu)上會(huì)有很多變化，將會(huì)有很多新的創(chuàng)新。比如