精品資料（2021-2022年收藏的）服務(wù)器架構(gòu)設(shè)計方式調(diào)研及建議0719

1、服務(wù)器架構(gòu)設(shè)計方式調(diào)研及建議1 服務(wù)器系統(tǒng)架構(gòu)分類從系統(tǒng)架構(gòu)來看，目前的服務(wù)器大體可以分為三類，即對稱多處理器結(jié)構(gòu) (SMP ： Symmetric Multi-Processor) ，非一致存儲訪問結(jié)構(gòu) (NUMA ： Non-Uniform Memory Access) ，以及海量并行處理結(jié)構(gòu) (MPP ：Massive Parallel Processing) 。它們的特征分別描述如下：1.1 SMP架構(gòu)-適用于2路及四路服務(wù)器，僅多個CPU互聯(lián)對稱多處理器結(jié)構(gòu)，是指服務(wù)器中多個 CPU 對稱工作，無主次或從屬關(guān)系。各 CPU 共享相同的物理內(nèi)存，每個 CPU 訪問內(nèi)存中的任何地址所需時

2、間是相同的，因此 SMP 也被稱為一致存儲器訪問結(jié)構(gòu) (UMA ： Uniform Memory Access) 。對 SMP 服務(wù)器進(jìn)行擴(kuò)展的方式包括增加內(nèi)存、使用更快的 CPU 、增加 CPU 、擴(kuò)充 I/O( 槽口數(shù)與總線數(shù) ) 以及添加更多的外部設(shè)備 ( 通常是磁盤存儲 ) 。 SMP 服務(wù)器的主要特征是共享，系統(tǒng)中所有資源 (CPU 、內(nèi)存、 I/O 等 ) 都是共享的。也正是由于這種特征，導(dǎo)致了 SMP 服務(wù)器的主要問題，那就是它的擴(kuò)展能力非常有限。對于 SMP 服務(wù)器而言，每一個共享的環(huán)節(jié)都可能造成 SMP 服務(wù)器擴(kuò)展時的瓶頸，而最受限制的則是內(nèi)存。由于每個 CPU 必須通過相同

3、的內(nèi)存總線訪問相同的內(nèi)存資源，因此隨著 CPU 數(shù)量的增加，內(nèi)存訪問沖突將迅速增加，最終會造成 CPU 資源的浪費(fèi)，使 CPU 性能的有效性大大降低。實驗證明， SMP 服務(wù)器 CPU 利用率最好的情況是 2 至 4 個 CPU 。 1.2 NUMA架構(gòu) - 包含CPU、內(nèi)存和I/O槽口的CPU模塊互聯(lián)，適用于8路以上服務(wù)器，如8路服務(wù)器，32路服務(wù)器，64路服務(wù)器 NUMA 服務(wù)器的基本特征是具有多個 CPU 模塊，每個 CPU 模塊由多個 CPU( 如 4 個 ) 組成，并且具有獨(dú)立的本地內(nèi)存、 I/O 槽口等。由于其節(jié)點(diǎn)之間可以通過互聯(lián)模塊 ( 如稱為 Crossbar Switch)

4、進(jìn)行連接和信息交互，因此每個 CPU 可以訪問整個系統(tǒng)的內(nèi)存 ( 這是 NUMA 系統(tǒng)與 MPP 系統(tǒng)的重要差別 ) 。顯然，訪問本地內(nèi)存的速度將遠(yuǎn)遠(yuǎn)高于訪問遠(yuǎn)地內(nèi)存 ( 系統(tǒng)內(nèi)其它節(jié)點(diǎn)的內(nèi)存 ) 的速度，這也是非一致存儲訪問 NUMA 的由來。由于這個特點(diǎn)，為了更好地發(fā)揮系統(tǒng)性能，開發(fā)應(yīng)用程序時需要盡量減少不同 CPU 模塊之間的信息交互。 利用 NUMA 技術(shù)，可以較好地解決原來SMP 系統(tǒng)的擴(kuò)展問題，在一個物理服務(wù)器內(nèi)可以支持上百個 CPU 。缺點(diǎn)： NUMA 技術(shù)同樣有一定缺陷，由于訪問遠(yuǎn)地內(nèi)存的延時遠(yuǎn)遠(yuǎn)超過本地內(nèi)存，因此當(dāng) CPU 數(shù)量增加時，系統(tǒng)性能無法線性增加。如 HP 公司發(fā)布

5、 Superdome 服務(wù)器時，曾公布了它與 HP 其它 UNIX 服務(wù)器的相對性能值，結(jié)果發(fā)現(xiàn)， 64 路 CPU 的 Superdome (NUMA 結(jié)構(gòu) ) 的相對性能值是 20 ，而 8 路 N4000( 共享的 SMP 結(jié)構(gòu) ) 的相對性能值是 6.3 。從這個結(jié)果可以看到， 8 倍數(shù)量的 CPU 換來的只是 3 倍性能的提升。 1.3 MPP架構(gòu) - 服務(wù)器節(jié)點(diǎn)采用網(wǎng)絡(luò)互聯(lián)，類似一個大服務(wù)器系統(tǒng)，如刀片服務(wù)器、機(jī)柜形式服務(wù)器（如浪潮smart rack系列產(chǎn)品）和 NUMA 不同， MPP 提供了另外一種進(jìn)行系統(tǒng)擴(kuò)展的方式，它由多個 SMP 服務(wù)器通過一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)

6、同工作，完成相同的任務(wù)，從用戶的角度來看是一個服務(wù)器系統(tǒng)。基本特征是由多個 SMP 服務(wù)器 ( 每個 SMP 服務(wù)器稱節(jié)點(diǎn) ) 通過節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接而成，每個節(jié)點(diǎn)只訪問自己的本地資源 ( 內(nèi)存、存儲等 ) ，是一種完全無共享 (Share Nothing) 結(jié)構(gòu)，因而擴(kuò)展能力最好，理論上其擴(kuò)展無限制，目前的技術(shù)可實現(xiàn) 512 個節(jié)點(diǎn)互聯(lián)，數(shù)千個 CPU 。目前業(yè)界對節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)暫無標(biāo)準(zhǔn)，如 NCR 的 Bynet ， IBM 的 SPSwitch ，它們都采用了不同的內(nèi)部實現(xiàn)機(jī)制。但節(jié)點(diǎn)互聯(lián)網(wǎng)僅供 MPP 服務(wù)器內(nèi)部使用，對用戶而言是透明的。 在 MPP 系統(tǒng)中，每個 SMP 節(jié)點(diǎn)也可以運(yùn)行自

7、己的操作系統(tǒng)、數(shù)據(jù)庫等。但和 NUMA 不同的是，它不存在異地內(nèi)存訪問的問題。換言之，每個節(jié)點(diǎn)內(nèi)的 CPU 不能訪問另一個節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實現(xiàn)的，這個過程一般稱為數(shù)據(jù)重分配 (Data Redistribution) 。 但是 MPP 服務(wù)器需要一種復(fù)雜的機(jī)制來調(diào)度和平衡各個節(jié)點(diǎn)的負(fù)載和并行處理過程。目前一些基于 MPP 技術(shù)的服務(wù)器往往通過系統(tǒng)級軟件 ( 如數(shù)據(jù)庫 ) 來屏蔽這種復(fù)雜性。舉例來說， NCR 的 Teradata 就是基于 MPP 技術(shù)的一個關(guān)系數(shù)據(jù)庫軟件，基于此數(shù)據(jù)庫來開發(fā)應(yīng)用時，不管后臺服務(wù)器由多少個節(jié)點(diǎn)組成，開發(fā)人員所面對的都是同一個數(shù)據(jù)庫

8、系統(tǒng)，而不需要考慮如何調(diào)度其中某幾個節(jié)點(diǎn)的負(fù)載。 MPP (Massively Parallel Processing)，大規(guī)模并行處理系統(tǒng)，這樣的系統(tǒng)是由許多松耦合的處理單元組成的，要注意的是這里指的是處理單元而不是處理器。每個單元內(nèi)的CPU都有自己私有的資源，如總線，內(nèi)存，硬盤等。在每個單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫的實例復(fù)本。這種結(jié)構(gòu)最大的特點(diǎn)在于不共享資源。2三種架構(gòu)服務(wù)器典型產(chǎn)品介紹2.1 SMP架構(gòu) - 適用于2路及4路服務(wù)器4路商用服務(wù)器產(chǎn)品示例：浪潮NF8460M4四路服務(wù)器基本指標(biāo)如表1所示：表1 浪潮NF8460M4基本配置表序號類別項目型號備注1電氣指標(biāo)處理器支持 4顆I

9、ntel Xeon E7-4800/8800 v3系列CPU2芯片組Intel C600 芯片組3內(nèi)存DDR3 ECC Registered內(nèi)存，最大可支持32條四通道存取，支持ECC、內(nèi)存鏡像和內(nèi)存熱備4顯示AST2300，顯存16MB5網(wǎng)絡(luò)Intel I3506硬盤控制器可選SAS RAID卡或SAS卡橋片集成SATA控制器，引出2個SATA3.0接口 7存儲1-2顆CPU時，最大支持8塊2.5/3.5英寸硬盤4顆CPU時，最大支持16塊2.5/3.5英寸硬盤8擴(kuò)展6個PCI-E3.0x16 擴(kuò)展槽，2個PCI-Ex8 擴(kuò)展槽9電源3+1冗余電源，可擴(kuò)展支持2+2冗余模式10結(jié)構(gòu)指標(biāo)尺寸4

10、47.6x174.8x749mm浪潮NF8460M4服務(wù)器整機(jī)前視圖、后視圖分別如圖所示。主板系統(tǒng)架構(gòu)如圖所示。主板如圖所示：4路加固服務(wù)器產(chǎn)品示例：金剛RM5140是浪潮超越面向雷達(dá)信號處理等高性能計算應(yīng)用推出的一款加固型機(jī)架式服務(wù)器。該款產(chǎn)品采用四路Intel Exon E7系列處理器，計算性能強(qiáng)勁；內(nèi)存采用模塊化設(shè)計，可靠性更高；機(jī)箱高度5U，深度僅400mm，結(jié)構(gòu)設(shè)計緊湊；內(nèi)部提供4個PCIE擴(kuò)展槽，擴(kuò)展能力強(qiáng)；后面板接口齊全，全航插設(shè)計，連接可靠；支持設(shè)備智能化管理，為整機(jī)設(shè)備的穩(wěn)定運(yùn)行提供保障。產(chǎn)品編碼:GRM51400121001 處理器系統(tǒng)CPU標(biāo)配：Intel Xeon E7

11、-4850 V3，2.2 GHz，14核，4顆選配：Intel Xeon E7-4850 V4，2.1 GHz，16核，4顆芯片組Intel PCH C602J內(nèi)存標(biāo)配256GB，最高可擴(kuò)展至512GB存儲設(shè)備硬盤標(biāo)配3塊256GB電子盤，支持12個硬盤盤位RAID支持RAID 0、1、5、6操作系統(tǒng)支持Windows 2008 Server、Windows 2012 Server、Linux、麒麟操作系統(tǒng)I/O接口標(biāo)準(zhǔn)接口2個USB2.0接口航插接口2個電源輸入接口、1個VGA接口、2個USB2.0接口（同一航插）、4個千兆網(wǎng)絡(luò)接口、2組萬兆網(wǎng)絡(luò)接口、1個管理網(wǎng)絡(luò)接口、2個RS232串口、1

12、個RS422接口、1個RS485接口（與RS422同一航插）擴(kuò)展性支持1個PCIE16、2個PCIE8（標(biāo)準(zhǔn)金手指，VPX）、1個PCIE4擴(kuò)展電源電壓輸入額定輸入電壓AC220V（供電電壓為AC187V242V 可正常工作）冗余1+1冗余電源機(jī)械參數(shù)結(jié)構(gòu)尺寸面板尺寸：482.6mm221.5mm8mm（WHD）；機(jī)箱尺寸：424mm217.5mm400mm（WHD）（尺寸公差2mm，深度不含開關(guān)、航插、定位銷等凸出基體部位）重量35Kg環(huán)境參數(shù)工作溫度-25+55儲存溫度-40+60電磁兼容符合GJB151B-2013軍用設(shè)備和分系統(tǒng)電磁發(fā)射和敏感度要求與測量中陸軍地面設(shè)備的相關(guān)要求2.2

13、MUMA架構(gòu) -適用于8路以上服務(wù)器，如8路服務(wù)器，32路服務(wù)器，64路服務(wù)器 目前該類產(chǎn)品主要在商用領(lǐng)域關(guān)鍵應(yīng)用主機(jī)使用，如浪潮K1 32路關(guān)鍵應(yīng)用主機(jī)。2.3 MPP架構(gòu) - 服務(wù)器節(jié)點(diǎn)采用網(wǎng)絡(luò)互聯(lián)，類似一個大服務(wù)器系統(tǒng)，如刀片服務(wù)器、機(jī)柜形式服務(wù)器 商用服務(wù)器示例：可選用：雙路 NX5440M4刀片；四路 NX8840刀片；GPU/MIC NX5840刀片 軍用服務(wù)器示例： 刀片服務(wù)器系統(tǒng)包括8個計算刀片，數(shù)據(jù)交換刀片、記錄存儲刀片和背板等組成。各功能刀片與后插接口刀片滿足VPX規(guī)范，各功能刀片采用前插方式，尺寸為標(biāo)準(zhǔn)6U結(jié)構(gòu)，后插接口刀片與各功能刀片對應(yīng)，可根據(jù)需要選配。滿足信息處理的高數(shù)據(jù)流量、高運(yùn)算量、高實時性、高可靠性的運(yùn)用需求，主要適用于地面、車載、艦載、機(jī)載等裝備的室內(nèi)或艙內(nèi)使用。3 指控類服務(wù)器特點(diǎn)分析三類架構(gòu)的服務(wù)器實現(xiàn)技術(shù)不同，在軍用和商用領(lǐng)域不存在明確邊界，需根據(jù)不同類信息服務(wù)系統(tǒng)的特點(diǎn)具體分析。在軍用