服務器三大體系SMP、NUMA、MPP研討

1、服務器三大體系SMP、NUMA、MPP介紹發(fā)表時間：2010-5-17 11:58:25 來源：網(wǎng)界網(wǎng) 作者：佚名 點擊數(shù)：57 評論數(shù)：0 摘要：從系統(tǒng)架構來看，目前的商用服務器大體可以分為三類，即對稱多處理器結構、非一致存儲訪問結構以及海量并行處理結構。本文關鍵字： 從系統(tǒng)架構來看，目前的商用大體可以分為三類，即對稱多結構(SMP：Symmetric Multi-Processor)，非一致存儲訪問結構(NUMA：Non-Uniform Memory Access)，以及海量并行處理結構(MPP：Massive Parallel Processing)。它們的特征分別描述如下：SMP(Sy

2、mmetric Multi-Processor)所謂對稱多處理器結構，是指服務器中多個CPU對稱工作，無主次或從屬關系。各CPU共享相同的物理內(nèi)存，每個 CPU訪問內(nèi)存中的任何地址所需時間是相同的，因此SMP也被稱為一致存儲器訪問結構(UMA：Uniform Memory Access)。對SMP服務器進行擴展的方式包括增加內(nèi)存、使用更快的CPU、增加CPU、擴充I/O(槽口數(shù)與總線數(shù))以及添加更多的外部設備(通常是磁盤存儲)。SMP服務器的主要特征是共享，系統(tǒng)中所有資源(CPU、內(nèi)存、I/O等)都是共享的。也正是由于這種特征，導致了SMP服務器的主要問題，那就是它的擴展能力非常有限。對于SM

3、P服務器而言，每一個共享的環(huán)節(jié)都可能造成SMP服務器擴展時的瓶頸，而最受限制的則是內(nèi)存。由于每個CPU必須通過相同的內(nèi)存總線訪問相同的內(nèi)存資源，因此隨著CPU數(shù)量的增加，內(nèi)存訪問沖突將迅速增加，最終會造成CPU資源的浪費，使 CPU性能的有效性大大降低。實驗證明，SMP服務器CPU利用率最好的情況是2至4個CPU。NUMA(Non-Uniform Memory Access)由于SMP在擴展能力上的限制，人們開始探究如何進行有效地擴展從而構建大型系統(tǒng)的技術，NUMA就是這種努力下的結果之一。利用NUMA技術，可以把幾十個CPU(甚至上百個CPU)組合在一個服務器內(nèi)。其CPU模塊結構如圖2所示：

4、圖服務器CPU模塊結構NUMA服務器的基本特征是具有多個CPU模塊，每個CPU模塊由多個CPU(如4個)組成，并且具有獨立的本地內(nèi)存、I/O槽口等。由于其節(jié)點之間可以通過互聯(lián)模塊(如稱為Crossbar Switch)進行連接和信息交互，因此每個CPU可以訪問整個系統(tǒng)的內(nèi)存(這是NUMA系統(tǒng)與MPP系統(tǒng)的重要差別)。顯然，訪問本地內(nèi)存的速度將遠遠高于訪問遠地內(nèi)存(系統(tǒng)內(nèi)節(jié)點的內(nèi)存)的速度，這也是非一致存儲訪問NUMA的由來。由于這個特點，為了更好地發(fā)揮系統(tǒng)性能，開發(fā)應用程序時需要盡量減少不同CPU模塊之間的信息交互。利用NUMA技術，可以較好地解決原來SMP系統(tǒng)的擴展問題，在一個物理服務器內(nèi)可

5、以支持上百個CPU。比較典型的NUMA服務器的例子包括HP的Superdome、SUN15K、p690等。但NUMA技術同樣有一定缺陷，由于訪問遠地內(nèi)存的延時遠遠超過本地內(nèi)存，因此當CPU數(shù)量增加時，系統(tǒng)性能無法線性增加。如HP公司發(fā)布Superdome服務器時，曾公布了它與HP其它UNIX服務器的相對性能值，結果發(fā)現(xiàn)，64路CPU的Superdome (NUMA結構)的相對性能值是20，而8路N4000(共享的SMP結構)的相對性能值是。從這個結果可以看到，8倍數(shù)量的CPU換來的只是3倍性能的提升。圖服務器架構圖MPP(Massive Parallel Processing)和NUMA不同，

6、MPP提供了另外一種進行系統(tǒng)擴展的方式，它由多個SMP服務器通過一定的節(jié)點絡進行連接，協(xié)同工作，完成相同的任務，從用戶的角度來看是一個服務器系統(tǒng)。其基本特征是由多個SMP服務器(每個SMP服務器稱節(jié)點)通過節(jié)點互聯(lián)網(wǎng)絡連接而成，每個節(jié)點只訪問自己的本地資源(內(nèi)存、存儲等)，是一種完全無共享(Share Nothing)結構，因而擴展能力最好，理論上其擴展無限制，目前的技術可實現(xiàn)512個節(jié)點互聯(lián)，數(shù)千個CPU。目前業(yè)界對節(jié)點互聯(lián)網(wǎng)絡暫無標準，如 NCR的Bynet，IBM的SPSwitch，它們都采用了不同的內(nèi)部實現(xiàn)機制。但節(jié)點互聯(lián)網(wǎng)僅供MPP服務器內(nèi)部使用，對用戶而言是透明的。在MPP系統(tǒng)中，

7、每個SMP節(jié)點也可以運行自己的、數(shù)據(jù)庫等。但和NUMA不同的是，它不存在異地內(nèi)存訪問的問題。換言之，每個節(jié)點內(nèi)的CPU不能訪問另一個節(jié)點的內(nèi)存。節(jié)點之間的信息交互是通過節(jié)點互聯(lián)網(wǎng)絡實現(xiàn)的，這個過程一般稱為數(shù)據(jù)重分配(Data Redistribution)。但是MPP服務器需要一種復雜的機制來調(diào)度和平衡各個節(jié)點的負載和并行處理過程。目前一些基于MPP技術的服務器往往通過系統(tǒng)級 (如數(shù)據(jù)庫)來屏蔽這種復雜性。舉例來說，NCR的Teradata就是基于MPP技術的一個關系數(shù)據(jù)庫軟件，基于此數(shù)據(jù)庫來開發(fā)應用時，不管后臺服務器由多少個節(jié)點組成，開發(fā)人員所面對的都是同一個數(shù)據(jù)庫系統(tǒng)，而不需要考慮如何調(diào)度

8、其中某幾個節(jié)點的負載。NUMA與MPP的區(qū)別從架構來看，NUMA與MPP具有許多相似之處：它們都由多個節(jié)點組成，每個節(jié)點都具有自己的CPU、內(nèi)存、I/O，節(jié)點之間都可以通過節(jié)點互聯(lián)機制進行信息交互。那么它們的區(qū)別在哪里？通過分析下面NUMA和MPP服務器的內(nèi)部架構和工作原理不難發(fā)現(xiàn)其差異所在。首先是節(jié)點互聯(lián)機制不同，NUMA的節(jié)點互聯(lián)機制是在同一個物理服務器內(nèi)部實現(xiàn)的，當某個CPU需要進行遠地內(nèi)存訪問時，它必須等待，這也是NUMA服務器無法實現(xiàn)CPU增加時性能線性擴展的主要原因。而MPP的節(jié)點互聯(lián)機制是在不同的SMP服務器外部通過I/O 實現(xiàn)的，每個節(jié)點只訪問本地內(nèi)存和存儲，節(jié)點之間的信息交互

9、與節(jié)點本身的處理是并行進行的。因此MPP在增加節(jié)點時性能基本上可以實現(xiàn)線性擴展。其次是內(nèi)存訪問機制不同。在NUMA服務器內(nèi)部，任何一個CPU可以訪問整個系統(tǒng)的內(nèi)存，但遠地訪問的性能遠遠低于本地內(nèi)存訪問，因此在開發(fā)應用程序時應該盡量避免遠地內(nèi)存訪問。在MPP服務器中，每個節(jié)點只訪問本地內(nèi)存，不存在遠地內(nèi)存訪問的問題。數(shù)據(jù)倉庫的選擇哪種服務器更加適應數(shù)據(jù)倉庫環(huán)境？這需要從數(shù)據(jù)倉庫環(huán)境本身的負載特征入手。眾所周知，典型的數(shù)據(jù)倉庫環(huán)境具有大量復雜的數(shù)據(jù)處理和綜合分析，要求系統(tǒng)具有很高的I/O處理能力，并且存儲系統(tǒng)需要提供足夠的I/O帶寬與之匹配。而一個典型的OLTP系統(tǒng)則以聯(lián)機事務處理為主，每個交易所

10、涉及的數(shù)據(jù)不多，要求系統(tǒng)具有很高的事務處理能力，能夠在單位時間里處理盡量多的交易。顯然這兩種應用環(huán)境的負載特征完全不同。從NUMA架構來看，它可以在一個物理服務器內(nèi)集成許多CPU，使系統(tǒng)具有較高的事務處理能力，由于遠地內(nèi)存訪問時延遠長于本地內(nèi)存訪問，因此需要盡量減少不同CPU模塊之間的數(shù)據(jù)交互。顯然，NUMA架構更適用于OLTP事務處理環(huán)境，當用于數(shù)據(jù)倉庫環(huán)境時，由于大量復雜的數(shù)據(jù)處理必然導致大量的數(shù)據(jù)交互，將使CPU的利用率大大降低。相對而言，MPP服務器架構的并行處理能力更優(yōu)越，更適合于復雜的數(shù)據(jù)綜合分析與處理環(huán)境。當然，它需要借助于支持MPP技術的關系數(shù)據(jù)庫系統(tǒng)來屏蔽節(jié)點之間負載平衡與調(diào)

11、度的復雜性。另外，這種并行處理能力也與節(jié)點互聯(lián)網(wǎng)絡有很大的關系。顯然，適應于數(shù)據(jù)倉庫環(huán)境的MPP服務器，其節(jié)點互聯(lián)網(wǎng)絡的I/O性能應該非常突出，才能充分發(fā)揮整個系統(tǒng)的性能。SMP系統(tǒng)與MPP系統(tǒng)比較SMP (Symmetric Multi Processing),對稱多處理系統(tǒng)內(nèi)有許多緊耦合多處理器，在這樣的系統(tǒng)中，所有的CPU共享全部資源，如總線，內(nèi)存和I/O系統(tǒng)等，操作系統(tǒng)或管理數(shù)據(jù)庫的復本只有一個，這種系統(tǒng)有一個最大的特點就是共享所有資源。 MPP (Massively Parallel Processing)，大規(guī)模并行處理系統(tǒng)，這樣的系統(tǒng)是由許多松耦合的處理單元組成的，要注意的是這里

12、指的是處理單元而不是處理器。每個單元內(nèi)的CPU都有自己私有的資源，如總線，內(nèi)存，硬盤等。在每個單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫的實例復本。這種結構最大的特點在于不共享資源。既然有兩種結構，那它們各有什么特點呢？采用什么結構比較合適呢？通常情況下，MPP系統(tǒng)因為要在不同處理單元之間傳送信息（請注意上圖），所以它的效率要比SMP要差一點，但是這也不是絕對的，因為MPP系統(tǒng)不共享資源，因此對它而言，資源比SMP要多，當需要處理的事務達到一定規(guī)模時，MPP的效率要比SMP好。這就是看通信時間占用計算時間的比例而定，如果通信時間比較多，那MPP系統(tǒng)就不占優(yōu)勢了，相反，如果通信時間比較少，那MPP系統(tǒng)可以充

13、分發(fā)揮資源的優(yōu)勢，達到高效率。當前使用的OTLP程序中，用戶訪問一個中心數(shù)據(jù)庫，如果采用SMP系統(tǒng)結構，它的效率要比采用MPP結構要快得多。而MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢，可以這樣說，如果操作相互之間沒有什么關系，處理單元之間需要進行的通信比較少，那采用MPP系統(tǒng)就要好，相反就不合適了。通過上面兩個圖我們可以看到，對于SMP來說，制約它速度的一個關鍵因素就是那個共享的總線，因此對于DSS程序來說，只能選擇MPP，而不能選擇SMP，當大型程序的處理要求大于共享總線時，總線就沒有能力進行處理了，這時SMP系統(tǒng)就不行了。當然了，兩個結構互有優(yōu)缺點，如果能夠?qū)煞N結合起來取長補短，當然

14、最好了。 什么是大型機，小型機。(Mainframe) 大型機（mainframe）這個詞，最初是指裝在非常大的帶框鐵盒子里的大型計算機系統(tǒng)，以用來同小一些的迷你機和微型機有所區(qū)別。雖然這個詞已經(jīng)通過不同方式被使用了很多年，大多數(shù)時候它卻是指system/360 開始的一系列的IBM計算機。這個詞也可以用來指由其他廠商，如Amdahl, Hitachi Data Systems (HDS) 制造的兼容的系統(tǒng)。 有些人用這個詞來指IBM的AS/400 或者iSeries 系統(tǒng)，這種用法是不恰當?shù)?；因為即使IBM自己也只把這些系列的機器看作中等型號的服務器，而不是大型機。 什么是I/O通道(Cha

15、nnel) 一條大型機通道（channel）某種程度上類似于PCI 總線（bus），它能將一個或多個控制器連接起來，而這些控制器又控制著一個或更多的設備（磁盤驅(qū)動器、終端、LAN端口，等等。）大型機通道和PCI總線之間的一個主要區(qū)別是大型機通道通過幾對大的bus and tag 電纜（并行通道方式），或者通過最近常使用的ESCON（Enterprise System Connection）光導纖維電纜（串行通道方式）以及光纖通道來連接控制器。這些通道在早期是一些外置的盒子（每個約6X30X5H大小），現(xiàn)在都已經(jīng)整合到了系統(tǒng)框架內(nèi)。 這些通道的超強I/O處理能力是大型機系統(tǒng)功能如此強大的原因之一

16、。 什么是DASD DASD 是 Direct Access Storage Device（直接存取存儲設備）的縮寫；IBM創(chuàng)造這個詞來指那些可以直接（并隨意）設定地址的存儲系統(tǒng)，也就是今天我們所說的磁盤驅(qū)動器。但在過去，這個詞也指磁鼓（drums）和數(shù)據(jù)單元（datacell）等等。什么是數(shù)據(jù)單元？嗯，在磁盤驅(qū)動器變得廉價、快速并普遍使用前，IBM曾經(jīng)制造過一種設備，基本上就是由一個磁鼓和繞在磁鼓上的許多磁條（單元）中的一個組成，然后讀寫的資料就被紀錄在卷動的磁條的磁道上。這種存取數(shù)據(jù)的方法和磁盤很類似，但當（磁鼓）搜尋資料的時候需要更換磁帶的話，所需的時間顯然就得按秒來計算。數(shù)據(jù)單元設備還

17、有個調(diào)皮的習慣，它喜歡在卸下一個單元到存儲槽的時候卷成一塊，這有時會造成介質(zhì)的物理損壞?？梢?，在取得目前的技術進步前，我們已經(jīng)走了很長一段路了。 什么是LPAR 一個LPAR（邏輯分區(qū) logic partition）是一種通過PR/SM（Processor Resource/System Manager，一種最近的大型機都具有的固件fireware特性）來實施的虛擬機。在每個分區(qū)上，可以運行一個單獨的鏡像系統(tǒng)，并提供完全的軟件隔離。這和UNIX操作系統(tǒng)上的domains 原理很相似，但IBM的方法更加細致，它允許所有的CPU和I/O子系統(tǒng)可以在邏輯分區(qū)間被共享。PR/SM允許在單個系統(tǒng)上運行

18、15個LPAR，每個（LPAR）擁有專有真實存儲（dedicated real storage RAM）并且擁有專有或共享的CPU和通道。因為對性能影響最為重要的部分都是在CPU里完成的，所以（這樣做）沒有多少性能的損失。IBM已經(jīng)宣稱它準備在不久的將來把最高可支持的LPAR數(shù)目擴展到超過15個。 大型機系統(tǒng)得以長盛不衰的主要原因（特點）是：RAS，I/O處理能力以及ISA。 RAS RAS（Reliability, Availability, Serviceability 高可靠性、高可用性、高服務性）是一個IBM常用來描繪它的大型機的詞。到70年代早期為止，IBM已經(jīng)認識到商業(yè)用途系統(tǒng)市場

19、遠比科研計算機系統(tǒng)市場有利可圖。他們也知道IBM商用系統(tǒng)的一個重要的賣點就是高可靠性。如果他們的商業(yè)客戶準備采用IBM計算機來開展極其重要的商業(yè)業(yè)務，客戶就得確認他們可以在任何時間都可以正常使用（IBM的機器）。所以，最近30多年來，IBM致力于使每一個新系列的系統(tǒng)比前一代更加可靠。這就導致了今天的系統(tǒng)變得如此可靠，以至于幾乎沒聽說過有任何因為硬件問題導致的系統(tǒng)災難。這些大型機系統(tǒng)內(nèi)集成了相當高程度的冗余和錯誤檢查（技術），這樣就能防止系統(tǒng)發(fā)生災難性的問題。每個CPU die裝有2個完全的執(zhí)行管道（execution pipelines）來同時執(zhí)行每一條指令。如果這兩條管道得出的結果不相同，C

20、PU的狀態(tài)就會復原，然后這條指令被重新執(zhí)行。如果重新執(zhí)行后結果還是不一致，最初的CPU狀態(tài)就被記錄下來，然后一個空閑的CPU被激活并裝入存儲的狀態(tài)數(shù)據(jù)。這顆CPU繼續(xù)做最初那顆CPU的工作。記憶芯片、內(nèi)存總線、 I/O通道、電源等等，都要么有冗余的設計，或者有相應的備用品并可以隨時投入使用。這些（設備的）小錯誤可能會導致性能的一些小損失，但他們決不會導致系統(tǒng)中任何任務的失敗。 當很罕見地出現(xiàn)錯誤的時候，高服務性就用得上了。許多組件都可以在系統(tǒng)運行的同時被更換（熱插拔）；甚至微碼（microcode）的升級也可以在系統(tǒng)運行的同時進行。對于那些不能被同時更換的部件，如CPU，備用品的存在就保證了能

21、夠客戶方便的時候安排系統(tǒng)停機。 除了系統(tǒng)設計中的固有可靠性，IBM也創(chuàng)立了一個緊密聯(lián)結的集群技術，叫做Parallel Sysplex，這項技術支持由最多32個系統(tǒng)作為一個系統(tǒng)鏡像運行。在一個合理部署的Parallel Sysplex系統(tǒng)上，即使一個獨立系統(tǒng)遭受了毀滅性損失，整個系統(tǒng)也不會受太大影響，而且不會導致任何工作的損失。任何在那臺遭受損失的系統(tǒng)的上進行的工作，都可以自動地在剩下的系統(tǒng)上重新開始。另一個Parallel Sysplex的優(yōu)勢是一臺（或多臺）系統(tǒng)可以從整個系統(tǒng)中移出以進行硬件或軟件的維護工作（例如在非工作時間），而其余的單獨系統(tǒng)可以繼續(xù)處理工作。當維護工作完成后，系統(tǒng)又回歸

22、加入Sysplex系統(tǒng)中繼續(xù)工作。充分利用這一特點就可以升級整個Sysplex系統(tǒng)軟件（一次一個單獨的系統(tǒng)），而不會導致任何應用程序的暫停使用。 正因為擁有所有這些功能，真正100%的系統(tǒng)可用性是非常實用的，并且已經(jīng)在許多地方開始實施。 I/O 吞吐量（I/O Throughput） 這些通道實際上就是I/O處理器，他們執(zhí)行通道程序。這些程序包含了成串的I/O指令，其中就包含有最原始的分流功能。這些通道極大地降低了CPU在I/O操作中的工作量，使得CPU可以更加高效地工作。每一個通道都能同時處理許多I/O操作和控制上千個設備。 在360和370系列構架上，操作系統(tǒng)會創(chuàng)建一個通道程序并在一個已連

23、接到所需設備的通道上執(zhí)行這個程序。如果這個通道或控制單元十分忙碌，起始 I/O指令就會失敗，然后操作系統(tǒng)就會嘗試在另一個已連接到不同控制單元的通道上重新開始通道程序。如果所有的道路都是繁忙的，操作系統(tǒng)就會把這個請求列入隊列留在以后再試。XA系列里面出現(xiàn)的一個顯著的改進就是創(chuàng)立了通道子系統(tǒng)的概念，這個子系統(tǒng)可以協(xié)調(diào)并安排系統(tǒng)里所有通道的活動?，F(xiàn)在操作系統(tǒng)只需要創(chuàng)立通道程序，然后把程序轉交給通道子系統(tǒng)，通道子系統(tǒng)就會處理所有的通道/控制單元以及隊列問題。這樣就使大型機具有了更加強大的I/O吞吐量并使 CPU能更有效地工作，因為只有在所有的I/O操作都完成的時候才需要CPU的介入。 目前z900大型

24、機的I/O吞吐能力是最低每秒24GB（這是字節(jié)數(shù)，不是“位”數(shù)。）雖然我沒有親自測試這些最新系統(tǒng)的機會，但即使理論上的數(shù)字可能不太準確，如果說z900大型機達到了每秒100，000 次I/O，我也不會感到太吃驚。 The ISA （IBM System Architecture） 這些年雖然IBM大型機的整體指令集有了顯著改進，IBM保持了驚人的對應用程序的向后兼容。許多最為顯著的構架上的變化已經(jīng)影響了一些只能直接被操作系統(tǒng)調(diào)用，而不能被應用程序調(diào)用的設備（如I/O子系統(tǒng)）。IBM已經(jīng)花費了巨大的努力來保證它的客戶們不必重寫或重編譯他們的程序來在新系統(tǒng)上運行。這樣，客戶要采用新的硬件就更為容易

25、，客戶只需要拔下舊系統(tǒng)，換上新系統(tǒng)，而不需要做額外的軟件測試工作。對于只有擁有一臺大型機的公司來說，只需要花幾個小時就可以對舊系統(tǒng)進行升級，而不需要在投入正式使用前對新系統(tǒng)進行測試。這特別適合那些在升級前后使用同一種操作系統(tǒng)的客戶，他們只需要將操作系統(tǒng)升級到所需要的版本就行了。例如，客戶可以在新安裝的z900系統(tǒng)上仍然運行31位的操作系統(tǒng)，然后在一個單獨的LPAR上安裝并測試一個64位的操作系統(tǒng)，然后再把全部運行的業(yè)務轉移到64位的操作系統(tǒng)上。 大型機類型：9672/9674 = ES/9000=S/390=zSeries 中型機類型：9506/9402=AS/400=iSeries 小型機類型：RS/6000=pSeries，HP9000,SUN SPARC 小型機* 不同品牌的小型機架構大不相同,使用RISC、MIPS處理器,像美國Sun、日本Fujitsu等公司的小型機是基于SPARC處理器架構,而美國HP 公司的則是基于PARISC架構,Compaq公司是Alpha架構,IBM和SGI等的也都各不相同;IO總線也不相同,Fujitsu是PCI， Sun是SBUS,等等,這就意味著各公司小型機機器上的插卡,如網(wǎng)卡、顯示卡、SCSI卡等可能也是專用的;操作系統(tǒng)一般是基于Unix的,像Sun