服務(wù)器硬件架構(gòu)

1、從性能角度來看，處理器、內(nèi)存和I/O這三個(gè)子系統(tǒng)在服務(wù)器中是最重要的，它 們也是最容易出現(xiàn)性能瓶頸的地方。目前市場上主流的服務(wù)器大多使用英特爾Nehalem、Westmere微內(nèi)核架構(gòu)的三個(gè)家族處理器：Nehalem-EP, Nehalem-EX和Westmere-EP下表總結(jié)了這些處理器的主要特性：Nehalem-EPWestmere-EPNehalem-EXNehalem-EX商業(yè)名稱至強(qiáng)5500至強(qiáng)5600至強(qiáng)6500至強(qiáng)7500支持的最插座數(shù)2228每插座最大核心數(shù)4688每插座最大線程數(shù)8121616MB緩存（3級(jí)）8121824最大內(nèi)存DIMM數(shù)181832128在本文中，我們將分

2、別從處理器、內(nèi)存、I/O三大子系統(tǒng)出發(fā)，帶你一起來 梳理和了解最新英特爾架構(gòu)服務(wù)器的變化和關(guān)鍵技術(shù)。一、處理器的演變現(xiàn)代處理器都采用了最新的硅技術(shù)，但一個(gè)單 die（構(gòu)成處理器的半導(dǎo)體材 料塊）上有數(shù)百萬個(gè)晶體管和數(shù)兆存儲(chǔ)器。多個(gè) die組織到一起就形成了一個(gè)硅 晶片，每個(gè)die都是獨(dú)立切塊，測試和用陶瓷封裝的，下圖顯示了封裝好的英特 爾至強(qiáng)5500處理器外觀。圖1英特爾至強(qiáng)5500處理器插座處理器是通過插座安裝到 主板上的，下圖顯示了一個(gè)英特爾處理器插座，用 戶可根據(jù)自己的需要，選擇不同時(shí)鐘頻率和功耗的處理器安裝到 主板上。圖2英特爾處理器插座主板上插座的數(shù)量決定了最多可支持的處理器數(shù)量，

3、最初，服務(wù)器都只有一 個(gè)處理器插座，但為了提高服務(wù)器的性能，市場上已經(jīng)出現(xiàn)了包含 2, 4和8個(gè) 插座的主板。在處理器體系結(jié)構(gòu)的演變過程中，很長一段時(shí)間，性能的改善都與提高時(shí)鐘 頻率緊密相關(guān)，時(shí)鐘頻率越高，完成一次計(jì)算需要的時(shí)間越短，因此性能就越好。 隨著時(shí)鐘頻率接近4GHz處理器材料物理性質(zhì)方面的原因限制了時(shí)鐘頻率的進(jìn) 一步提高，因此必須找出提高性能的替代方法。核心晶體管尺寸不斷縮?。∟ehalem使用45nm技術(shù)，Westmere使用32nm技術(shù)）， 允許在單塊die上集成更多晶體管，利用這個(gè)優(yōu)勢，可在一塊die上多次復(fù)制最 基本的CPU核心），因此就誕生了多核處理器?，F(xiàn)在市場上多核處理器

4、已經(jīng)隨處可見，每顆處理器包含多個(gè)CPU核心(通常是2，4，6，8個(gè))，每個(gè)核心都有一級(jí)緩存(L1)，通常所有的核心會(huì)共享二級(jí) (L2)、三級(jí)緩存(L3)、總線接口和外部連接，下圖顯示了一個(gè)雙核心的CPU架構(gòu)。Dual 匚PU 匚ore Chip圖3雙核心CPU架構(gòu)示意圖現(xiàn)代服務(wù)器通常提供了多個(gè)處理器插座，例如，基于英特爾至強(qiáng)5500系列(Nehalem-EP)的服務(wù)器通常包含兩個(gè)插座，每個(gè)插座四個(gè)核心，總共可容納八個(gè) 核心，而基于英特爾至強(qiáng)7500系列(Nehalem-EX)的服務(wù)器通常包含八個(gè)插座， 每個(gè)插座八個(gè)核心，總共可容納 64個(gè)核心。下圖顯示了更詳細(xì)的雙核處理器架構(gòu)示意圖，CPU勺主

5、要組件(提取指令，解碼和執(zhí)行)都被復(fù)制，但系統(tǒng)總線是公用的。System Bus圖4雙核處理器的詳細(xì)架構(gòu)示意圖L2 Cache and COHMO-線程為了更好地理解多核架構(gòu)的含義，我們先看一下程序是如何執(zhí)行的，服務(wù)器 會(huì)運(yùn)行一個(gè)內(nèi)核（如Linux，Win dows的內(nèi)核）和多個(gè)進(jìn)程，每個(gè)進(jìn)程可進(jìn)一步細(xì) 分為線程，線程是分配給核心的最小工作單元，一個(gè)線程需要在一個(gè)核心上執(zhí)行， 不能進(jìn)一步分割到多個(gè)核心上執(zhí)行。下圖顯示了進(jìn)程和線程的關(guān)系。P#5P#1Tfl17Iff 18er5?SB .comT#x Thread xP 即：Process y圖5進(jìn)程和線程的關(guān)系進(jìn)程可以是單線程也可以是多線程的，

6、單線程進(jìn)程同一時(shí)間只能在一個(gè)核心 上執(zhí)行，其性能取決于核心本身，而多線程進(jìn)程同一時(shí)間可在多個(gè)核心上執(zhí)行， 因此它的性能就超越了單一核心上的性能表現(xiàn)。因?yàn)樵S多應(yīng)用程序都是單線程的，在多進(jìn)程環(huán)境中，多插座、多核心的架構(gòu) 通常會(huì)帶來方便，在虛擬化環(huán)境中，這個(gè)道理一樣正確， Hypervisor允許在一 臺(tái)物理服務(wù)器上整合多個(gè)邏輯服務(wù)器，創(chuàng)建一個(gè)多進(jìn)程和多線程的環(huán)境。英特爾超線程技術(shù)雖然單線程不能再拆分到兩個(gè)核心上運(yùn)行，但有些現(xiàn)代處理器允許同一時(shí)間 在同一核心上運(yùn)行兩個(gè)線程，每個(gè)核心有多個(gè)并行工作能力的執(zhí)行單元， 很難看 到單個(gè)線程會(huì)讓所有資源繁忙起來。下圖展示了英特爾超線程技術(shù)是如何工作的，同一時(shí)間

7、在同一核心上有兩個(gè) 線程執(zhí)行，它們使用不同的資源，因此提高了吞吐量。PhysicalprocessorsLo-gical processorvisible to OSTime 圖6英特爾超線程技術(shù)工作原理HEel.o亡上：jj-|Physical processor resource allocation Throughput前端總線在多插座和多核心的情況下，理解如何訪問內(nèi)存和兩個(gè)核心之間是如何通信 的非常重要，下圖顯示了過去許多英特爾處理器使用的架構(gòu)，被稱作前端總線 (FSB)架構(gòu)。在FSB架構(gòu)中，所有通信都是通過一個(gè)單一的，共享的雙向總線發(fā) 送的。在現(xiàn)代處理器中，64位寬的總線以4倍速總線

8、時(shí)鐘速度運(yùn)行，在某些產(chǎn) 品中，F(xiàn)SB信息傳輸速率已經(jīng)達(dá)到1.6GT/S。Memory lnt.?rf aceChipset 丿server, itl 66 .com圖7基于前端總線的服務(wù)器平臺(tái)架構(gòu)FSB#所有處理器連接到芯片組的叫做北橋（也叫做內(nèi)存控制器中樞），北橋 連接所有處理器共享訪問的內(nèi)存。這種架構(gòu)的優(yōu)點(diǎn)是，每個(gè)處理器都可以訪問其它所有處理可以訪問的所有內(nèi) 存，每個(gè)處理器都實(shí)現(xiàn)了緩存一致性算法， 保證它的內(nèi)部緩存與外部存儲(chǔ)器，以 及其它所有處理器的緩存同步。但這種方法設(shè)計(jì)的平臺(tái)要爭奪共享的總線資源，隨著總線上信號(hào)傳輸速度的 上升，要連接新設(shè)備就變得越來越困難了， 此外，隨著處理器和芯片組

9、性能的提 升, FSB上的通信流量也會(huì)上升，會(huì)導(dǎo)致 FSB變得擁擠不堪，成為瓶頸。雙獨(dú)立總線為了進(jìn)一步提高帶寬，單一共享總線演變成了雙獨(dú)立總線架構(gòu)（DIB），其架構(gòu)如下圖所示，帶寬基本上提高了一倍。圖8基于雙獨(dú)立總線的服務(wù)器平臺(tái)架構(gòu)但在雙獨(dú)立總線架構(gòu)中，緩存一致性通信必須廣播到兩條總線上，因此減少 了總有效帶寬，為了減輕這個(gè)問題，在芯片組中引入了“探聽過濾器”來減少帶 寬負(fù)載。如果緩存未被擊中，最初的處理器會(huì)向FSB發(fā)出一個(gè)探聽命令，探聽過濾器 攔截探聽，確定是否需要傳遞探聽給其它 FSB如果相同F(xiàn)SB上的其它處理器能 滿足讀請求，探聽過濾器訪問就被取消，如果相同F(xiàn)SB上其它處理器不滿意讀請

10、求，探聽過濾器就會(huì)確定下一步的行動(dòng)。 如果讀請求忽略了探聽過濾器，數(shù)據(jù)就 直接從內(nèi)存返回，如果探聽過濾器表示請求的目標(biāo)緩存在其它 FSB上不存在，它將向其它部分反映探聽情況。如果其它部分仍然有緩存，就會(huì)將請求路由到該 FSB如果其它部分不再有目標(biāo)緩存，數(shù)據(jù)還是直接從內(nèi)存返回，因?yàn)閰f(xié)議不支 持寫請求，寫請求必須全部傳播到有緩存副本的所有FSB上。專用高速互聯(lián)在雙獨(dú)立總線之后又出現(xiàn)了專用高速互聯(lián)架構(gòu)(Dedicated High-SpeedInterconnect ， DHSI)，其架構(gòu)如下圖所示。Up taPI 旅fiME BandwidthMemory InterfjceSnoop filte

11、rC hipset服冬器頻這5&rver.it158 .com圖9基于DHSI的服務(wù)器平臺(tái)架構(gòu)基于DHSI的平臺(tái)使用四個(gè)獨(dú)立的FSB每個(gè)處理器使用一個(gè)FSB引入探聽 過濾器實(shí)現(xiàn)了更好的帶寬擴(kuò)容，F(xiàn)SB本身沒多大變化，只是現(xiàn)在變成點(diǎn)對(duì)點(diǎn)的配 置了。使用這種架構(gòu)設(shè)計(jì)的平臺(tái)仍然要處理快速 FSB上的電信號(hào)挑戰(zhàn)，DHSI也增 加了芯片組上的針腳數(shù)量，需要擴(kuò)展 PCE路線，才能為所有FSB建立好連接。英特爾QuickPath互聯(lián)隨英特爾酷睿i7處理器引入了一種新的系統(tǒng)架構(gòu)，即著名的英特爾QuickPath互聯(lián)(QuickPath Interconnect， QPI)，這個(gè)架構(gòu)使用了多個(gè)高速單向連

12、接將處理器和芯片組互聯(lián)，使用這種架構(gòu)使我們認(rèn)識(shí)到了： .多插座和多核心通用的內(nèi)存控制器是一個(gè)瓶頸 引入多個(gè)分布式內(nèi)存控制器將最符合多核處理器的內(nèi)存需要； 在大多數(shù)情況下，在處理器中集成內(nèi)存控制器有助于提升性能 ； 提供有效的方法處理多插座系統(tǒng)一致性問題對(duì)大規(guī)模系統(tǒng)是至關(guān)重要 的。下圖顯示了一個(gè)多核處理器，集成了內(nèi)存控制器和多個(gè)連接到其它系統(tǒng)資源 的英特爾QuickPath的功能示意圖。DOR3aProcessor CoresCrossbar RouterNon-routing global link h interface3ioluot-J心龍E26U苦一server .itl 68 .com

13、iniferconnecb圖10集成英特爾QPI和DDR 3內(nèi)存通道的處理器架構(gòu)在這個(gè)架構(gòu)中，每個(gè)插座中的所有核心共享一個(gè)可能有多個(gè)內(nèi)存接口的 IMC（lntegrated Memory Controllers，集成內(nèi)存控制器）。IMC可能有不同的外部連接：.DDR 3內(nèi)存通道 -在這種情況下，DDR 3 DIMM1接連接到插座，如下 圖所示，Nehalem-EP（至強(qiáng)5500）和 Westmere-EP（至強(qiáng)5600）就使用了這種架構(gòu)。2BF3BDOR 陽"MH* C hfln nef>oCore乏狂一 QS歸-_ECO3AJQW 晏 育一普 5££禰的“

14、眼異疊頻這server.itlGe.corTt merc<3nnifEt圖11具有高速內(nèi)存通道的處理器 高速串行內(nèi)存通道 -如下圖所示，在這種情況下，外部芯片（SMBScalable Memory Buffer ，可擴(kuò)展內(nèi)存緩存）創(chuàng)建DDR 3內(nèi)存通道，DDR 3 DIMM 通過這個(gè)通道連接，Nehalem-EX使用了這種架構(gòu)。Nehalem LXNehalem. EXNrhInm-FXBuxbi?ro- LXB<»xLx>rv-EXNrhlom-FXPGe 2.0這 server.itl SB .com圖12 四插座Nehalem-EXIMC和插座中的不同核心使用

15、英特爾 QPI相互通信，實(shí)現(xiàn)了英特爾QPI的處 理器也可以完全訪問其它處理器的內(nèi)存， 同時(shí)保持緩存的一致性，這個(gè)架構(gòu)也叫 做“緩存一致性 NUMA（Non-Uniform Memory Architecture 非統(tǒng)一內(nèi)存架構(gòu)）”， 內(nèi)存互聯(lián)系統(tǒng)保證內(nèi)存和所有潛在的緩存副本總是一致的。英特爾QPI是一個(gè)端到端互聯(lián)和消息傳遞方案，在目前的實(shí)現(xiàn)中，每個(gè)連接 由最高速度可達(dá)25.6 GB/S或6.4 GT/s的20條線路組成。英特爾QPI使用端到端連接，因此在插座中需要一個(gè)內(nèi)部交叉 路由器，提供 全局內(nèi)存訪問，通過它，不需要完整的連接拓?fù)渚涂梢詷?gòu)建起系統(tǒng)了。圖12顯示了四插座Nehalem-EX配置

16、，每個(gè)處理器有四個(gè)QPI與其它三個(gè)處 理器和Boxboro-EX芯片組互聯(lián)。二、內(nèi)存子系統(tǒng)電子業(yè)在內(nèi)存子系統(tǒng)上付出了艱辛的努力，只為緊跟現(xiàn)代處理器需要的低訪 問時(shí)間和滿足當(dāng)今應(yīng)用程序要求的高容量需求。解釋當(dāng)前內(nèi)存子系統(tǒng)之前，我們先了解一下與內(nèi)存有關(guān)的一些常用術(shù)語。 .RAM（隨機(jī)訪問存儲(chǔ)器） .SRAM（靜態(tài) RAM） .DRAM（動(dòng)態(tài) RAM） .SDRAM（同步 DRAM） .SIMM（單列直插式內(nèi)存模塊） .DIMM（雙列直插內(nèi)存模塊） .UDIMM（無緩沖DIMM） .RDIMM（帶寄存器的DIMM） .DDR（雙數(shù)據(jù)速率SDRAM） .DDR2（第二代 DDR）.DDR3（第三代DD

17、R）電子器件工程聯(lián)合委員會(huì)（Joint Electron Device Engineering Council:JEDEC是半導(dǎo)體工程標(biāo)準(zhǔn)化機(jī)構(gòu)，JEDEC21, 22定義了從256位SRAM最新的 DDR3莫組的半導(dǎo)體存儲(chǔ)器標(biāo)準(zhǔn)?，F(xiàn)代服務(wù)器的內(nèi)存子系統(tǒng)是由RAM組成的，允許數(shù)據(jù)在一個(gè)固定的時(shí)間按任 意順序訪問，不用考慮它所在的物理位置，RAM可以是靜態(tài)的或動(dòng)態(tài)的。SRAMSRAM靜態(tài)RAM通常非?？欤菵RAM的容量要小，它們有一塊芯片結(jié)構(gòu) 維持信息，但它們不夠大，因此不能作為服務(wù)器的主要內(nèi)存。DRAMDRAM動(dòng)態(tài)RAM是服務(wù)器的唯一選擇，術(shù)語“動(dòng)態(tài)”表示信息是存儲(chǔ)在集成 電路的電容器內(nèi)的

18、，由于電容器會(huì)自動(dòng)放電，為避免數(shù)據(jù)丟失，需要定期充電， 內(nèi)存控制器通常負(fù)責(zé)充電操作。SDRAMSDRAM同步DRAM是最常用的DRAM SDRAI具有同步接口，它們的操作與時(shí) 鐘信號(hào)保持同步，時(shí)鐘用于驅(qū)動(dòng)流水線內(nèi)存訪問的內(nèi)部有限狀態(tài)機(jī)， 流水線意味 著上一個(gè)訪問未結(jié)束前，芯片可以接收一個(gè)新的內(nèi)存訪問，與傳統(tǒng)DRAM目比，這種方法大大提高了 SDRAM的性能。DDR和DDR3是兩個(gè)最常用的SDRAMF圖顯示了一塊DRA芯片的內(nèi)部結(jié)構(gòu)。圖13 DRAM芯片的內(nèi)部結(jié)構(gòu)內(nèi)存陣列是由存儲(chǔ)單元按矩陣方式組織組成的，每個(gè)單元都一個(gè)行和列地址, 每一位都是存儲(chǔ)在電容器中的。為了提高性能，降低功耗，內(nèi)存陣列被分

19、割成多個(gè)“內(nèi)存庫（bank） ”，下圖顯示了一個(gè)4-bank和一個(gè)8-bank的內(nèi)存陣列組織方式。DRAMAir曲Column4陽町陽Datd in/Out tfu電巧 PJEZ Sen Ampsserver.it l BE .com圖14內(nèi)存bankDDR2芯片有四個(gè)內(nèi)部內(nèi)存 bank, DDR亦片有八個(gè)內(nèi)部內(nèi)存 bankDIMM需要將多個(gè)內(nèi)存芯片組裝到一起才能構(gòu)成一個(gè)內(nèi)存子系統(tǒng)，它們就是按著名的DIMM雙列直插內(nèi)存模塊）組織的。下圖顯示了內(nèi)存子系統(tǒng)的傳統(tǒng)組織方式，例如，內(nèi)存控制器連接四個(gè)DIMM 每一個(gè)由多塊DRAMS片組成，內(nèi)存控制器有一個(gè)地址總線，一個(gè)數(shù)據(jù)總線和一 個(gè)命令（也叫做控制）

20、總線，它負(fù)責(zé)讀，寫和刷新存儲(chǔ)在 DIMM中的信息。IData Bus(64 blTS) z*MemoryLur str jll-jfAddress Bus and Commands-Clock你的腮務(wù)器頻適server.itH ES.com圖15傳統(tǒng)內(nèi)存子系統(tǒng)示例下圖展示了一個(gè)內(nèi)存控制器與一個(gè) DDR3 DIMM連接的示例，該DIMM由八塊 DRAM芯片組成，每一塊有8位數(shù)據(jù)存儲(chǔ)能力，每存儲(chǔ)字（內(nèi)存數(shù)據(jù)總線的寬度） 則共有64位數(shù)據(jù)存儲(chǔ)能力。地址總線有15位，它可在不同時(shí)間運(yùn)送“行地址” 或“列地址”，總共有30個(gè)地址位。此外，在 DDR3芯片中，3位的bank地址 允許訪問8個(gè)bank，可被

21、視作提高了控制器的地址空間總?cè)萘?，但即使?nèi)存控 制器有這樣的地址容量，市面上DDR3芯片容量還是很小。最后，RAS（RowAddress Selection，行地址選擇），CAS（Column Address Selection，列地址選擇）， WE（Write Enabled，寫啟用）等都是命令總線上的。Address (141, Bmk 2X)1 RAS&.CM+, WEi. 0 CKE CK dciDalj PG f Bvut 啊 尸 Maunie j DmlJi g# 沖問 56rD*uv：4<?mz；曲“：Data hlask你戲服算鶉韻這 server .it168

22、.com圖16 DDR3內(nèi)存控制器示例F面是一個(gè)DIMM勺示意圖圖17 DIMM示意圖上圖顯示了 8個(gè)DDR3芯片，每個(gè)提供了 8位信息（通常表示為x8）ECC和 Chipkill數(shù)據(jù)完整性是服務(wù)器架構(gòu)最關(guān)注的一個(gè)點(diǎn)，很多時(shí)候需要安裝額外的DIMM檢測和恢復(fù)內(nèi)存錯(cuò)誤，最常見的辦法是增加8位ECC糾錯(cuò)碼），將存儲(chǔ)字從64位擴(kuò)大到72位，就象海明碼一樣，允許糾正一位錯(cuò)誤，檢測兩位錯(cuò)誤，它們也 被稱作 SEC（Single Error Correction，單糾錯(cuò)）/DED（Double Error Detection， 雙檢錯(cuò)）。先組織存儲(chǔ)字再寫入到內(nèi)存芯片中，EEC可以用于保護(hù)任一內(nèi)存芯片的失效

23、， 以及單內(nèi)存芯片的任意多位錯(cuò)誤，這些功能有幾個(gè)不同的名字。 .Chipkill是IBM的商標(biāo) .Oracle稱之為擴(kuò)展EEC .惠普稱之為Chipspare .英特爾有一個(gè)類似的功能叫做x4單設(shè)備數(shù)據(jù)校正(Intel x4 SDDC)Chipkill通過跨多個(gè)內(nèi)存芯片位散射 EEC字的位實(shí)現(xiàn)這個(gè)功能，任一內(nèi)存 芯片失效只會(huì)影響到一個(gè)ECC位，它允許重建內(nèi)存中的內(nèi)容。下圖了顯示了一個(gè)讀和寫128位數(shù)據(jù)的內(nèi)存控制器，增加EEC后就變成144 位了，144位分成4個(gè)36位的存儲(chǔ)字，每個(gè)存儲(chǔ)字將是SEC/DED如果使用兩個(gè) DIMM每個(gè)包含18個(gè)4位芯片，可以按照下圖所示的方法重組位，如果芯片失 效

24、，每4個(gè)字中只會(huì)有一個(gè)錯(cuò)誤，但因?yàn)樽质荢EC/DED勺，每4個(gè)字可以糾正一 個(gè)錯(cuò)誤，因此所有錯(cuò)誤都可以被糾正過來。Divide 14A bits into 4 words144b36b wend3fib word36 b iMordInterleave thf Modules suchthateach word cental1 htfrem x4 moduleJGb word 3fibwonJ 36bword 36b word圖 18 Chipkill 示例內(nèi)存Rank我們重新回到DIMM是如何組織的，一組產(chǎn)生64位有用數(shù)據(jù)(不計(jì)ECC的芯 片叫做一個(gè)Rank,為了在DIMM±存儲(chǔ)更

25、多的數(shù)據(jù)，可以安裝多個(gè)Rank,目前有 單，雙和四個(gè)Rank的DIMM,下圖顯示了這三種組織方法。上圖最前面顯示的是一個(gè)單 Rank的RAM由9個(gè)8位芯片組成，一般表示 為1Rx8,中間顯示的是一個(gè)1Rx4,由18個(gè)4位芯片組成，最后顯示的是一個(gè) 2Rx8,由18個(gè)8位芯片組成。內(nèi)存Rank不能使用地址位選擇，只能使用芯片選擇，現(xiàn)代內(nèi)存控制器最多 可達(dá)8個(gè)獨(dú)立的芯片選擇，因此最大可支持 8個(gè)Rank。UDIMM和 RDIMMSDRAMIMM進(jìn)一步細(xì)分為UDIMM無緩沖DIMM和 RDIMM帶寄存器的DIMM） 在UDIMM中，內(nèi)存芯片直接連接到地址總線和控制總線，無任何中間部分。RDIMM在傳

26、入地址和控制總線，以及 SDRAI之間有額外的組件（寄存器），這 些寄存器增加了一個(gè)延遲時(shí)鐘周期， 但它們減少了內(nèi)存控制器上的電負(fù)荷， 允許 內(nèi)存控制器安裝更多的DIMMRDIMM!常更貴，因?yàn)樗枰郊咏M件，但它們在服務(wù)器中得到了普遍使用， 因?yàn)閷?duì)于服務(wù)器來說，擴(kuò)展能力和穩(wěn)定性比價(jià)格更重要。雖然理論上帶寄存器/無緩沖的和ECC非ECC DIMM!可以任何組合的，但 大多數(shù)服務(wù)器級(jí)內(nèi)存模塊都同時(shí)具有 ECC和帶寄存器功能。下圖顯示了一個(gè) 個(gè)內(nèi)存芯片組成。ECCDIMM由 9ECCRDIM M寄存器是箭頭指向的芯片，這個(gè)圖 20 ECC RDIMMDDR2和 DDR3第一代SDRA技術(shù)叫做SDR

27、(Single Data Rate)，表示每個(gè)時(shí)鐘周期傳輸一個(gè)數(shù)據(jù)單元，之后又出現(xiàn)了 DDR(Double Data Rate)標(biāo)準(zhǔn)，其帶寬幾乎是SDR的兩倍，無需提高時(shí)鐘頻率，可在時(shí)鐘上升沿和下降沿信號(hào)上同時(shí)傳輸數(shù)據(jù)，DDR技術(shù)發(fā)展到今天形成了兩套標(biāo)準(zhǔn)：DDR2W DDR3DDR 2 SDRAI的工作電壓是1.8V，采用240針DIMM模塊封裝，通過改善總 線信號(hào)，它們可以以兩倍于 DDR的速度工作在外部數(shù)據(jù)總線上，規(guī)則是： .每DRAM時(shí)鐘數(shù)據(jù)傳輸兩次 每次數(shù)據(jù)傳輸8個(gè)字節(jié)(64位)F表顯示了 DDR2標(biāo)準(zhǔn)。表 2. DDR2 DIMM標(biāo)準(zhǔn)名稱DRAM時(shí)鐘頻率每秒傳輸?shù)臄?shù)據(jù)(百 萬)模塊名

28、稱峰值傳輸速率 GB/sDDR2-400200 MHz J400PC2-32003.200DDR2-533 266 MHz533PC2-42004.266DDR2-667333 MHz667PC2-5300 PC2-54005.333DDR2-800400 MHz800PC2-64006.400DDR2-106&33 MHz1,066PC2-8500 ?PC286008.533DDR 3 SDRAI在 DDR2勺基礎(chǔ)上對(duì)以下這些方面做了改進(jìn): .將工作電壓降低到1.5v，減少功耗； 通過引入0.5-8Gb的芯片增加了內(nèi)存密度，單 Rank的容量最大可達(dá) 16GB; 增加了內(nèi)存帶寬，內(nèi)存

29、突發(fā)長度從4字增加到8字，增加突發(fā)長度是為 了更好地滿足不斷增長的外部數(shù)據(jù)傳輸速率，隨著傳輸速率的增長，突發(fā)長度(傳 輸?shù)拇笮?必須增長，但不能超出DRAM核心的訪問速度。DDR3 DIMM! 240針，數(shù)量和尺寸都和 DDR2-樣，但它們在電氣特性上是 不兼容的，缺口位置不一樣，未來，DDR3各工作在更快的時(shí)鐘頻率，目前，市 面上存在DDR3-800 1066和1333三種類型。下表對(duì)不同的DDR3 DIMM模塊進(jìn)行了總結(jié)。表 3. DDR3 DIMM標(biāo)準(zhǔn)名稱RAM時(shí)鐘頻率每秒傳輸?shù)臄?shù)據(jù)(百 萬)模塊名稱峰值傳輸速率GB/sDDR3-800400 MHz800PC3-64006.400DDR

30、3-1066533 MHz1,066PC3-85008.533DDR3-1333 667 MHz 二1,333PC3-1060010.667DDR3-1600 800 MHz -1,600PC3-1280012.800DDR3-1866L933 MHz1,866PC3-1490014.900三、I/O子系統(tǒng)I/O子系統(tǒng)負(fù)責(zé)在服務(wù)器內(nèi)存和外部世界之間搬運(yùn)數(shù)據(jù)，傳統(tǒng)上，它是通過 服務(wù)器主板上兼容PCI標(biāo)準(zhǔn)的I/O總線實(shí)現(xiàn)的，開發(fā)PCI的目的就是讓計(jì)算機(jī)系 統(tǒng)的外圍設(shè)備實(shí)現(xiàn)互聯(lián)，PCI的歷史非常悠久，現(xiàn)在最新的進(jìn)化版叫做 PCI-Express。外圍組件互聯(lián)特殊興趣小組(Peripheral Com

31、ponent Interconnect Special Interest Group，PCI-SIG)負(fù)責(zé)開發(fā)和增強(qiáng) PCI標(biāo)準(zhǔn)。PCI ExpressPCI Express(PCIe)是一個(gè)計(jì)算機(jī)擴(kuò)展接口卡格式，旨在替代PCI，PCI-X和AGP它消除了整個(gè)所有I/O引起的限制，如服務(wù)器總線缺少I/O帶寬，目前所有 的操作系統(tǒng)都支持PCI Express 0上一代基于總線拓?fù)涞腜CI和PCI-X已經(jīng)被點(diǎn)到點(diǎn)連接取代，由此產(chǎn)生的拓 撲結(jié)構(gòu)是一個(gè)單根聯(lián)合體的樹形結(jié)構(gòu)，根聯(lián)合體負(fù)責(zé)系統(tǒng)配置，枚舉PCIe資源，管理中斷和PCIe樹的錯(cuò)誤。根聯(lián)合體和它的端點(diǎn)共享一個(gè)地址空間，通過內(nèi)存 讀寫和中斷進(jìn)行通

32、信。PCIe使用點(diǎn)到點(diǎn)鏈接連接兩個(gè)組件，鏈接由N個(gè)通道組成，每個(gè)通道包含兩對(duì)電路，一對(duì)用于傳輸，另一對(duì)用于接收。南橋（也叫做ICH： I/O Controller Hub）通常會(huì)提供多個(gè)PCIe通道實(shí)現(xiàn)根聯(lián)合體的功能。每個(gè)通道連接到一個(gè) PCI Express端點(diǎn)，一個(gè)PCI Express Switch，一個(gè) PCIe或一個(gè)PCIe橋，如下圖所示。圖21 PCI Express 根聯(lián)合體根據(jù)通道編號(hào)使用不同的連接器，下圖顯示了四個(gè)不同的連接器，及單/雙向時(shí)的速度。PCI ExresExample ConnectorsBandwidthX1 5inqle Direction: 7 1 Gbp

33、JCXl r；>i 片Dual blr«tioinK： 5 <jljp&/4D0Bandwidthx16 SingFe Oir&ttjDn: 40Gbps. < ? GBpsDual Directions： sOGbp$/& 4 G&p$ 你的服第豁額道serYTEr.itl eSjcorn圖22 PCI Express 連接器在PCIe 1.1中，通道運(yùn)行在2.5Gbps,可同時(shí)部署16條通道，如下圖所示， 可支持的速度從2Gbps(1x)到32Gbps(16x)，由于協(xié)議開銷，支持10GE接口需要 8x。xlTrani fer R

34、jte1 L«ne； -i T bn 砂邙drTransfer RjtfX2 Hh.imi 2 b-iPCleCnlTrenffer RjfleXi 2 >2 Lumiii 用bnl p-rLyUc圖 23 PCI Express 通道PCIe 2.0（也叫第二代PCIe）帶寬提升了一倍，從 2Gbit/s提高到4Gbit/s , 通道數(shù)量也擴(kuò)大到了 32x, PCIe 4x就足以支持10GE了。PCIe 3.0將會(huì)再增加一倍帶寬，最終的 PCIe 3.0規(guī)范預(yù)計(jì)會(huì)在2010年年 中發(fā)布，到2011年就可看到支持PCIe 3.0的產(chǎn)品，PCIe 3.0能有效地支持 40GE下一

35、代以太網(wǎng)標(biāo)準(zhǔn)）。目前所有的PCI Express產(chǎn)品都是單根的（Single Root ，SR），如控制多個(gè) 端點(diǎn)的單I/O控制器中樞（ICH）。多根（Multi Root，MR也發(fā)展了一段時(shí)間，但目前還未見到曙光，由于缺少 元件和關(guān)注，目前還有諸多問題。SR-IOV（Single Root I/O Virtualization，單根 I/O 虛擬化）是 PCI-SIG開發(fā)的另一個(gè)相關(guān)標(biāo)準(zhǔn)，主要用于連接虛擬機(jī)和Hypervisor 。四、英特爾微架構(gòu)英特爾Nehalem和 Westmere微架構(gòu)，也被稱為 32和45nm酷睿微架構(gòu)。Nehalem微架構(gòu)于2009年初引入了服務(wù)器，也是第一個(gè)使用

36、45nm硅技術(shù)的 架構(gòu)，Nehalem處理器可應(yīng)用于高端桌面應(yīng)用程序，超大規(guī)模服務(wù)器平臺(tái)等，代 號(hào)名來源于美國俄勒岡州的Nehalem河。根據(jù)英特爾的說法，處理器的發(fā)展速度就象嘀嗒 （Tick and Tock）鐘聲的節(jié) 奏一樣，如下圖所示，Tick是對(duì)現(xiàn)有處理器架構(gòu)進(jìn)行縮小，而 Tock則是在前一 代技術(shù)上發(fā)展起來的全新架構(gòu)， Nehalem就是45nm的Tock，Westmere就是緊跟 Nehalem的 32nm Tick 。SandyIWerom Penryn Nehalem Westmere BridgeNEWNEWNEWMEWNEWPt*哼酪Mjo&airchilecl u

37、-reProcess1 cr-Qach*tertLi ae65nm45nm45nm32nm32 nmTockTkkTock 竹附頻道圖24英特爾“嘀嗒”處理器開發(fā)模式Nehalem和Westmere在不同需求之間取得了平衡：.與新興應(yīng)用程序（如多媒體）相比，現(xiàn)有應(yīng)用程序的性能對(duì)輕量級(jí)或重量級(jí)應(yīng)用程序的支持同樣良好 可用范圍從筆記本到服務(wù)器全包括。平臺(tái)架構(gòu)這可能是近10年來英特爾最大的平臺(tái)架構(gòu)轉(zhuǎn)變，包括多個(gè)高速點(diǎn)到點(diǎn)連接， 如英特爾的QuickPath互聯(lián)，集成內(nèi)存控制器(IMC)等。下圖顯示了一個(gè)雙插座英特爾至強(qiáng) 5500(Nehalem-EP)系統(tǒng)示例，請注意CPU 插座之間，以及CPU插座

38、與I/O控制器之間的QPI鏈接，內(nèi)存DIMM直接附加到 CPU插座。I/O C iyi聊bufg fPNehalemFPPCIGen 1,2PCIGen 1,2uDMI1CH li/OC-sncroller Hub.-你的it168 .cam圖25雙插座英特爾至強(qiáng)5500(Nehalem-EP)集成內(nèi)存控制器(IMC)在Nehalem-EP和 Westmere-EP中，每個(gè)包含集成內(nèi)存控制器(IMC)的插座支 持三個(gè)DDR站存通道，與DDR2相比，DDR站存運(yùn)行在更高的頻率，因此它具 有更高的內(nèi)存帶寬。此外，對(duì)于雙插座架構(gòu)，有兩套內(nèi)存控制器，所有這些改進(jìn) 與前一代英特爾平臺(tái)相比，帶寬提高了3.

39、4倍，如下圖所示。Stream Bandwidtfi MbytesSec (Triad)33376? 4 if7j97761"咼1_ITM耶區(qū))胡艮鬻聘鄭第A孚螢2霑£.亡呦圖26 RAM帶寬隨著時(shí)間的推移，帶寬以后還會(huì)繼續(xù)增加，有了集成的內(nèi)存控制器后，延遲 也減小了。其功耗也減少了，因?yàn)镈DR3勺工作電壓是1.5V，DDR2是 1.8V，功耗與電 壓的平方成正比，因此電壓降低 20%功耗就減少40%最后，IMC支持單，雙和四 Rank RDIMM和UDIMMNehalem-EX有一個(gè)類似的，但不完全相同的架構(gòu)，在Nehalem-EX中，每個(gè)插座有兩個(gè)IMC,每個(gè)IMC支持

40、兩個(gè)英特爾可擴(kuò)展內(nèi)存互聯(lián)(Scalable Memory Interconnects , SMI)連接到兩個(gè)可擴(kuò)展內(nèi)存緩沖區(qū)(Scalable MemoryBuffers ， SMB)每個(gè)插座就可以連接到四個(gè) SMB如下圖所示，每個(gè) SMB有兩個(gè)DDR通 線，每條總線連接到兩個(gè) DIMM因此每個(gè)插座可連接的 RDIMM、量就是16。4xSMI£££gwI1_1§CT圖 27 SMI/SMBNehalem-EX系統(tǒng)的總內(nèi)存容量與插座數(shù)量，以及 RDIMM勺容量總結(jié)如下表 所示。表4. Nehalem-EX內(nèi)存容量4GB RDIMM8GB RDIMM16GB

41、 RDIMM2 sockets128 GB256 GB512 GB4 sockets256 GB512 GB1 TB8 sockets512 GB1 TB2 TB英特爾QuickPath互聯(lián)(QPI)所有的通信架構(gòu)都從總線架構(gòu)向點(diǎn)到點(diǎn)連接演變， 因?yàn)辄c(diǎn)到點(diǎn)連接架構(gòu)具有 更快的速度，更好的擴(kuò)展性，在Nehalem中，英特爾QuickPath互聯(lián)已經(jīng)取代了 前端總線，如下圖所示。19Link19圖28英特爾QPI英特爾QuickPath互聯(lián)是一個(gè)一致的點(diǎn)到點(diǎn)協(xié)議，不局限于任何特定的處理 器，可在處理器，I/O設(shè)備和其它設(shè)備，如加速器之間提供通信?？捎玫腝PI數(shù)量取決于處理器的類型，在 Nehale

42、m-EP和Westmere-EP中, 每個(gè)插座有兩個(gè)QPI，如圖25所示，Nehalem-EX支持四個(gè)QPI，允許更多無縫 的拓?fù)浣Y(jié)構(gòu)，如下圖所示。RXLanesRX LanesTXLanesRcvdCIk20 Data Lanes Clock in Each Direction84 Total Signal = Link-E&dn Di orpAtkilLane1TXLanesf Ith k flurii .:; Thi' 11 :sb -萌禺-.務(wù)器頻這 爭亡rv&r.itlGC.ucirnFwdCIk>FwdCIk4 Processors8 Processo

43、rs3 peer* i rwp4 pe«r« al I hpcIO HUBs&rve=r 卅 曲 ariNewSSE4.2 inyitdcnomImproved Lof*Additional CachrngSupportHierarctiyBetter Branch丄-二;1 1 *ExutionlUnitfLi DattiCcchffL2 Cache & JftfrruptServjcjnj川 7$ .Memory Ordering .£t fjreruf/onPagingOut'of-Ordtr/nirrucTfonBranch Pre

44、dictionSthedulirtg & RerirvmentDecode 8( Microcodetnstructicr Ferdr &U Citche.百.1 M._j RBuffers圖29 Nehalem-EX拓?fù)浣Y(jié)構(gòu)英特爾至強(qiáng)7500處理器也與第三方節(jié)點(diǎn)控制器兼容，可以擴(kuò)大到8個(gè)插座以外，實(shí)現(xiàn)更大規(guī)模的擴(kuò)展。CPU架 構(gòu)在Nehalem中，英特爾通過一些技術(shù)革新，增加了每個(gè)CPU每秒執(zhí)行的指令 數(shù)，如下圖所示。Simulttineow Mitlti-ThreadingVirt圖30 Nehalem微架構(gòu)創(chuàng)新其中有些創(chuàng)新是不言自明的，我們將集中介紹最重要的性能和功耗方面

45、的創(chuàng) 新。在比較性能和功耗時(shí)，通常是1%的性能增強(qiáng)就會(huì)增多3%勺功耗，因?yàn)闇p少 1%的電壓，功耗幾乎總是降低3%英特爾最重要的創(chuàng)新就是增強(qiáng)1%勺性能，而 功耗僅增多了 1%英特爾超線程技術(shù)英特爾超線程技術(shù)（HT）可在相同內(nèi)核上同時(shí)運(yùn)行多個(gè)線程，在 Nehalem/Westmere中實(shí)現(xiàn)了兩個(gè)線程，提高了性能和能源效率。超線程的基本思想是增加每個(gè)執(zhí)行單元的復(fù)雜度， 對(duì)于單線程，要保持執(zhí)行 單元繁忙是很困難的，通過在相同核心上運(yùn)行兩個(gè)線程，讓所有資源保持忙碌的 可能性更大，這樣整體效率就提高了，如下圖所示，超線程使用的領(lǐng)域非常有限 （不到5%）,但在多線程環(huán)境中極大地提高了效率，超線程也不能取代多

46、核心， 它是對(duì)核心的合理補(bǔ)充。Th心日Thread 2Th堆a(bǔ)d上Thread 4嚇鬧d 5Thread 6CoreThread SNehalem你費(fèi)服嶄撇詹威屈*1圖31英特爾超線程技術(shù)緩存分級(jí)一個(gè)理想的內(nèi)存系統(tǒng)的需求是它應(yīng)該有無限的容量，無限的帶寬和零延遲, 當(dāng)然沒有人知道如何構(gòu)建這樣的系統(tǒng)，最接近的方法是使用分級(jí)的內(nèi)存子系統(tǒng), 從大到小，從慢到快設(shè)計(jì)緩存級(jí)別，在 Nehalem中，英特爾將緩存層增加到了 3 層，如下圖所示。CoreCare盃住 U kcadm j32H F 0 ccrcfrf D ccichcD cochc1256k L2 cache.J256k L2 cache da

47、ta +苗比256k 12 cache dma + Jnjf.data 4 Jnsr.Fo r cJI appika twnsind 切偲 ca 曲電 po位y toto shareminimi在 traffic from inoopsf'.' 丫 服雰需頻這 &erver itl GSjcmh圖32緩存分級(jí)結(jié)構(gòu)與英特爾以前的設(shè)計(jì)相比，一級(jí)緩存（L1，指令和數(shù)據(jù)）沒有發(fā)生變化，在英 特爾過去的設(shè)計(jì)中，所有內(nèi)核共享二級(jí)緩存（L2），如果核心數(shù)量限制為2,那這 種設(shè)計(jì)倒是可行的，但Nehalem將核心數(shù)增加到了 4或8,二級(jí)緩存不能再繼續(xù) 共享下去，因?yàn)閹捄椭俨谜埱蠖紩?huì)變

48、多（可能會(huì)達(dá)到8倍），為此，英特爾在 Nehalem中為每個(gè)核心獨(dú)立增加了二級(jí)緩存（指令和數(shù)據(jù)），現(xiàn)在核心之間共享的 只有三級(jí)緩存（L3） 了。模塊Nehalem采用了模塊化設(shè)計(jì)，核心，緩存和英特爾 QPI都是組成Nehalem處 理器的模塊實(shí)例，如圖30所示。這些模塊都是獨(dú)立設(shè)計(jì)的，它們可以工作在不同頻率，不同電壓下，將模塊 粘接在一起的是一種新的同步通信協(xié)議， 它提供了非常低的延遲，以前曾嘗試過 異步協(xié)議，事實(shí)證明那樣做的效率非常低。集成功率門限這是一種電源管理技術(shù)，它是“時(shí)鐘門控”技術(shù)的進(jìn)化版本，所有現(xiàn)代英特 爾處理器都使用了時(shí)鐘門控技術(shù)， 遇到空閑邏輯時(shí)，時(shí)鐘門控會(huì)自動(dòng)關(guān)閉時(shí)鐘信 號(hào)，

49、從而消除了開關(guān) 電源，但仍然存在漏電流，漏電流引起了無用的功耗。功率門控代替了時(shí)鐘門控，讓一個(gè)空閑的核心消耗的電力幾乎為零， 如下圖 所示，對(duì)于軟件和應(yīng)用程序來說這完全是透明的。Voltage (Cores)t1CaredCoralCareiCoreJMem&ry-Cithe, I/OVoltageJ 隔seryieri1 關(guān)*血圖33 Nehalem功率門控尿紐low r岀忌詒址亡 packagemetal deposited on Silicon io low on-rp 5 is tan refer power ga$p典詁li眸茂ultr(y lOw |電抽均爐 iransis

50、tor developed for high off're si stance for從技術(shù)角度來看實(shí)現(xiàn)功率門控是很難的，傳統(tǒng)的45nm工藝就有明顯的泄露, 它需要新的晶體管技術(shù)和大量的銅層（7mm）,以前可從來沒有這么做過，如下圖 所示。你的服雰盟冊暮' seieritl 68 .corn圖34功率門控晶體管Nehalem-EP和Westmere-EP都擁有“動(dòng)態(tài)的”功率門控能力，當(dāng)核心不需 要執(zhí)行工作負(fù)載時(shí)，它可以完全關(guān)掉電源，當(dāng)工作負(fù)載需要核心的計(jì)算能力時(shí)， 核心的電源又重新激活。Nehalem-EX擁有“靜態(tài)的”功率門控功能，當(dāng)個(gè)別核心失去工作能力時(shí)， 核心電源被完全關(guān)

51、閉，例如，當(dāng)8核心變成6核心時(shí)，這些被停用的核心不能重新打開。對(duì)于前一代處理器，在工廠中停用的核心仍然會(huì)消耗一些電力，但在 Nehalem-EX中，電源是完全關(guān)閉的。電源管理功率傳感器是建設(shè)電源管理系統(tǒng)的關(guān)鍵，上一代英特爾處理器內(nèi)置有熱傳感 器，但沒有功率傳感器，Nehalem既有熱傳感器又有功率傳感器，通過集成的微 控制器（PCU）負(fù)責(zé)電源管理和監(jiān)控，如下圖所示。nsorsrwi5RnI time sensors for(urrenu poweruSe rt$on -Flexibility enables »phiiiticated rigorithm tuned for cune

52、nt 口pewiing condition-服務(wù)器顒這 server d i 68 .comprupriurymicfocontroikrShifts cGncrol from hardware embedded血內(nèi)刪孑疋囲Vet5Fr旳嘆1Sensors*LPLLJ*II- 1F IJVccBFr«qSe ruon Uncore LLC圖 35 電源控制單元(Power Control Un it，PCU)英特爾Turbo Boost技術(shù)功率門控和電源管理是英特爾 Turbo Boost技術(shù)的基礎(chǔ)組件，當(dāng)操作系統(tǒng)需 要更好的性能時(shí)可以使用英特爾的 Turbo Boost模式，如果條

53、件允許（足夠的制 冷和供電能力），例如，因?yàn)橐换蚨鄠€(gè)核心被關(guān)閉，英特爾 Turbo Boost會(huì)提高 活動(dòng)核心的頻率（以及功耗），從而提高核心的性能，如下圖所示，但它算不上一 個(gè)巨大的改進(jìn)（3%-11%）,但在無線程，不是所有核心都被并行使用的環(huán)境中， 它 還是很有價(jià)值的。每上升一步，頻率提高 133Mhz4C Turbo亡4匚TurboAH gfz 申Haw tir “rtf frequencyJ目OSAl! ror«4>p小汁忡Jt心iwr皿回 may 伸 pftrp are ren higher我IY社 F Secern圖36英特爾Turbo Boost技術(shù)上圖顯示了三個(gè)

54、不同的可能性，正常情況下，所有核心都運(yùn)行在標(biāo)稱頻率（2.66GHz），在“ 4CTurbo”模式下，所有核心的頻率上升一步（達(dá)到了 2.79GHz）, 在“<4C Turbo”模式下，兩個(gè)核心的頻率上升了兩步（達(dá)到了 2.93GHz）。四、硬件輔助虛擬化英特爾虛擬化技術(shù)（Virtualizati onTech no logy，VT）擴(kuò)展了核心平臺(tái)架構(gòu),可以更好地支持虛擬化軟件，如VM虛擬機(jī)）和Hypervisor（也叫做虛擬機(jī)監(jiān)視 器），如下圖所示。rAp-fJ/c曲 $hdriAppUcatiofl sAppiicaifons一JosLCPU Memory(VJrtuaVirtu at Mirhinp Mn 門汁門(VMMjDisk .itlE3Pcorn- " - - , Platform H