服務器集群技術(shù)方案(1)

服務器集群技術(shù)方案集群（Cluster）技術(shù)是發(fā)展高性能計算機的一項技術(shù)。它是一組相互獨立的計算機，利用高速通信網(wǎng)絡組成一個單一的計算機系統(tǒng)，并以單一系統(tǒng)的模式加以管理。其出發(fā)點是提供高可靠性、可擴充性和抗災難性。一個集群包含多臺擁有共享數(shù)據(jù)存儲空間的服務器，各服務器通過內(nèi)部局域網(wǎng)相互通信。當一臺服務器發(fā)生故障時，它所運行的應用程序?qū)⒂善渌掌髯詣咏庸?。在大多?shù)模式下，集群中所有的計算機擁有一個共同的名稱，集群內(nèi)的任一系統(tǒng)上運行的服務都可被所有的網(wǎng)絡客戶使用。采用集群系統(tǒng)通常是為了提高系統(tǒng)的穩(wěn)定性和網(wǎng)絡中心的數(shù)據(jù)處理能力及服務能力。當前主流的集群方式包括以下幾種：1. 服務器主備集群方式服務器主-備方式由一臺服務器在正常運行狀態(tài)提供對外服務，其它集群節(jié)點作為備份機，備份機在正常狀態(tài)下不接受外部的應用請求，實時對生產(chǎn)機進行檢測，當生產(chǎn)機停機時才會接管應用服務，因此設備利用率最高可達50%。主備方式集群如下圖所示，節(jié)點2為正常提供服務的服務器，運行多個應用（pkgA,pkgB.）,節(jié)點1平時只監(jiān)控節(jié)點2的狀態(tài)，不對外提供服務，當節(jié)點2出現(xiàn)故障時，節(jié)點1將把兩個應用接管過來，并對外提供服務。圖表 Error! No text of specified style in document.1主備方式集群2. 服務器互備份集群方式 多臺服務器組成集群，每臺服務器運行獨立的應用，同時作為其它服務器的備份機，當主應用中斷，服務將被其它集群節(jié)點所接管，接管服務的節(jié)點將運行自身應用和故障服務器的應用，這種方式各集群節(jié)點的硬件資源均可被應用于對外服務。互備方式集群如下圖所示，節(jié)點1和節(jié)點2分別運行1個或多個不同的應用,但只對外提供本地的主應用，兩個節(jié)點之間互相進行監(jiān)控，集群中任何一個節(jié)點出現(xiàn)故障后，另一個節(jié)點把故障節(jié)點的主應用接管過來，所有應用服務由一臺服務器完成。圖表 Error! No text of specified style in document.2互備份方式集群這種方式的主要缺點在于： 由于需要重新啟動數(shù)據(jù)庫核心進程，無法保證數(shù)據(jù)庫系統(tǒng)連續(xù)不間斷地運行 在系統(tǒng)切換的過程中，客戶端與服務器之間的數(shù)據(jù)庫連接會中斷，需要重新進行數(shù)據(jù)庫的連接和登錄工作 由于數(shù)據(jù)庫系統(tǒng)只能在一臺服務器上運行，另一臺服務器無法分擔系統(tǒng)的負載，實際上造成了客戶投資的浪費。在有些系統(tǒng)中，為了解決雙機負載分擔的問題，將應用系統(tǒng)人為分割為兩個數(shù)據(jù)庫系統(tǒng)，分別在兩臺服務器上運行。這種方式在一定程度上解決了負載分擔的問題，但給系統(tǒng)管理、統(tǒng)計分析等業(yè)務處理帶來了很多額外的復雜性3. 服務器并行集群方式集群有多臺服務器構(gòu)成，同時提供相同的應用，可以實現(xiàn)多臺服務器之間的負載均衡，提供大訪問量的應用需求，如Web訪問及數(shù)據(jù)庫等應用，服務器并行集群方式一般由應用系統(tǒng)自身（如OracleRAC、中間件負載均衡等）或外部專用服務器負載均衡設備實現(xiàn)。圖表 Error! No text of specified style in document.3服務器并行方式集群以下是上述群集技術(shù)對比表：集群技術(shù)資源利用率故障收斂時間可靠性主備集群技術(shù)資源有效利用率低相對較慢較高互備集群技術(shù)資源有效利用率高相對較慢較高并行集群技術(shù)資源有效利用率高快高圖表 Error! No text of specified style in document.4群集技術(shù)對比表Real Application Cluster(以前稱作Oracle Parallel Server，OPS)用來在集群環(huán)境下實現(xiàn)多機共享數(shù)據(jù)庫，以保證應用的高可用性。同時可以自動實現(xiàn)并行處理及均分負載，還能實現(xiàn)數(shù)據(jù)庫在故障時的容錯和無斷點恢復。Real Application Cluster為大多數(shù)關(guān)鍵業(yè)務要求的數(shù)據(jù)庫環(huán)境提供了極高的性能和完善的糾錯功能。Real Application Cluster允許集群系統(tǒng)或大型并行系統(tǒng)中的多個節(jié)點共享同一物理數(shù)據(jù)庫。Real Application Cluster可以自動進行負載平衡、故障修復和規(guī)劃停機時間，以支持高可用性應用程序。它還顯著地提高了大型數(shù)據(jù)倉庫和決策支持系統(tǒng)的性能。通過與并行查詢選件結(jié)合，它還提供了節(jié)點間的并行性和節(jié)點內(nèi)的并行性，以得到更高的性能。多服務器的Cluster（集群）結(jié)構(gòu)，因其具有高可靠性、大容量共享磁盤支持、以及無斷點的故障恢復，越來越受到業(yè)界的關(guān)注，越來越多的硬件廠商都相繼推出自己的Cluster機種和機型，它已經(jīng)成為硬件平臺的一個新的發(fā)展方向。Oracle公司在1989年率先推出Parallel Server選件，以支持這種體系結(jié)構(gòu)(Oracle6.2版)。隨著Cluster技術(shù)自身的成熟，以及Oracle對這一技術(shù)的經(jīng)驗，Real Application Cluster目前已能支持幾乎所有的Cluster集群系統(tǒng)。在share-nothing或shared-disk模式的集群系統(tǒng)上，Real Application Cluster均可以實現(xiàn)多節(jié)點共享數(shù)據(jù)庫，并自動并行處理及均分負載，在數(shù)據(jù)庫故障時進行容錯和無斷點恢復處理。Oracle提供一個通用的、集成的分布式鎖定管理器(DLM)替代了原來的，由不同操作系統(tǒng)廠商提供的鎖管理器，從而提高了在大多數(shù)工作平臺上的執(zhí)行性能和可移植性。這些使得Oracle并行服務器的運行速度顯著加快。Oracle集成的DLM使Oracle并行服務器能夠跨平臺工作。當并行服務器中某節(jié)點失效，透明的應用程序容錯能夠把用戶自動轉(zhuǎn)接到另一節(jié)點上繼續(xù)運行，應用程序在用戶沒有察覺的情況下繼續(xù)執(zhí)行。這使周期性和非周期性發(fā)生故障的系統(tǒng)增大了連續(xù)可用性。進程的失效可以完全透明地轉(zhuǎn)移到另一節(jié)點上去，通過適當?shù)嘏渲?，可以指定所有查詢都在客戶端進行緩存，這樣它們便可以在轉(zhuǎn)移后的節(jié)點上重新設置。同時，還可以在沒有失效時預先與容錯節(jié)點建立一個連接，這樣可以減少容錯時在連接所花的時間。Oracle不僅支持第一代、第二代并行處理技術(shù)，還最先支持第三代多節(jié)點并行處理機。能夠在Cluster Mode 3及MPP結(jié)構(gòu)的各節(jié)點上實現(xiàn)并行處理，均分負載。Oracle并行處理技術(shù)的另一大優(yōu)勢在于，無論在任何平臺上，從單機到并行處理機，從OLTP應用到OLAP應用，Oracle數(shù)據(jù)庫均為同一核心，因此在不同平臺之間應用系統(tǒng)可平滑移植，提高了開發(fā)效率，降低了維護費用。目前，Oracle并行服務器技術(shù)在業(yè)界處于絕對領先地位，已在全球數(shù)千個實際應用系統(tǒng)中運行，經(jīng)過十多年的不斷完善和發(fā)展，其可靠性及穩(wěn)定性已得到徹底檢驗。與雙機熱備份方式相比，Oracle10g Real Application Cluster 并行服務器方式有以下優(yōu)點： 各服務器共享一個數(shù)據(jù)庫，在正常運行時可以進行負載分擔，無需考慮應用數(shù)據(jù)的人為分割 并行服務器方式對應用完全透明，在應用程序設計和開發(fā)的過程中也不需要進行特殊編程，簡化了開發(fā)的復雜程度，同時今后系統(tǒng)擴展也無需修改應用程序 不需要重新啟動數(shù)據(jù)庫核心進程，縮短了故障造成的停機時間總結(jié)以上ORACLE RAC的功能和特點，ORACLE RAC主要具有如下好處：1. 可伸縮性用戶或者中間層應用服務器客戶，可以通過虛擬數(shù)據(jù)庫服務名連接到數(shù)據(jù)庫上。Oracle在集群中多個節(jié)點之間自動平衡用戶負載。不同節(jié)點上的Real Application Clusters數(shù)據(jù)庫實例預訂所有數(shù)據(jù)庫服務或者部分子集數(shù)據(jù)庫服務。這使得DBA高度靈活地選定，連接到特定數(shù)據(jù)庫服務的特定應用程序客戶是否可以連接到某些或者全部的數(shù)據(jù)庫節(jié)點。雖然每一個節(jié)點有一個不同的物理IP地址時，應用客戶仍可以在一個邏輯數(shù)據(jù)庫服務名的水平上進行連接。因此客戶端對于不相關(guān)的事情如多服務器的多個地址可以毫不關(guān)心。隨著業(yè)務的增長，電子商務可以從容地增加處理能力。Cache Fusion體系結(jié)構(gòu)直接地利用新節(jié)點的CPU和內(nèi)存資源。DBA無需用手工對數(shù)據(jù)重新分區(qū)。這個優(yōu)點是這種體系結(jié)構(gòu)的副產(chǎn)品，因為有透明度的數(shù)據(jù)存取是Cache Fusion的一項基本功能。Cache Fusion體系機構(gòu)自動適應快速變化的電子商務需求及隨之而來的工作負荷的改變。DBA也不必因為工作負荷變化而對數(shù)據(jù)進行手工的重新分區(qū)。Real Application Clusters通過動態(tài)地重新分配數(shù)據(jù)庫資源，從而在節(jié)點之間用最小化的磁盤I/O和低的延遲通信來優(yōu)化利用集群系統(tǒng)資源。這使得Real Application Clusters可以從容實現(xiàn)增加的應用吞吐量和優(yōu)化的響應時間。2. 高可用性Real Application Clusters提供了真正的高可用性解決方案，關(guān)鍵的突破是在大多數(shù)數(shù)據(jù)庫恢復期間能提供完整的數(shù)據(jù)庫訪問。這使得Real Application Clusters成為電子商務應用所要求的24x7可用性的最佳平臺。Real Application Clusters在高可用性上在三個關(guān)鍵領域勝出： 提供了數(shù)據(jù)庫恢復期間的數(shù)據(jù)塊訪問 透明的失效轉(zhuǎn)移對最終用戶屏蔽了系統(tǒng)失效 N-1節(jié)點失效的容錯能力只要有一個數(shù)據(jù)庫節(jié)點幸存，Real Application Clusters就能夠提供完全的數(shù)據(jù)庫訪問和相對不間斷的操作。3. 可管理性Real Application Clusters實現(xiàn)了真正意義上的一個單系統(tǒng)訪問數(shù)據(jù)庫，它提供了從任何節(jié)點到所有磁盤設備和遠程高速緩存進行無縫數(shù)據(jù)訪問的能力。此單系統(tǒng)映像延伸到所有數(shù)據(jù)庫管理操作。安裝、配置、備份、升級以及監(jiān)控等操作只需進行一次，然后會自動發(fā)布到集群中所有節(jié)點上去。各種Oracle工具（如Oracle Universal Installer、Database Configuration Assistant以及Recovery Manager）將發(fā)現(xiàn)集群數(shù)據(jù)塊中所有不同的節(jié)點并以它們?yōu)槟繕朔峙浣o想得到的任務。在Oracle 10g的Real Application Cluster技術(shù)中，全面采用了Oracle獨特的Cache Fusion(緩存熔合)技術(shù)，消除了多臺服務器爭用數(shù)據(jù)時產(chǎn)生的碰撞(Ping)現(xiàn)象，極大的提高了Cluster系統(tǒng)的可擴展性。使Cluster系統(tǒng)可以支持更多的節(jié)點，而且數(shù)據(jù)庫應用完全不需要做任何復雜的修改或特殊設計就可以良好的運行在Cluster系統(tǒng)上，并且充分發(fā)揮多節(jié)點的處理性能。根據(jù)本次項目服務器系統(tǒng)需求，結(jié)合具體情況，我們將針對不同的業(yè)務系統(tǒng)采用不同的集群方式，滿足業(yè)務系統(tǒng)的應用高性能和高可靠性要求。數(shù)據(jù)庫服務器系統(tǒng)采用兩臺P550，通過集群技術(shù)實現(xiàn)雙機冗余。操作系統(tǒng)通過HA來實現(xiàn)，數(shù)據(jù)庫通過ORACLE RAC集群技術(shù)實現(xiàn)。說明如下：一、硬件方案12、數(shù)據(jù)庫服務器數(shù)量P550(8C/32G)8*4.2GHZ/32GB/2*146GB/2*HBA/2*1000兆集成網(wǎng)口/2*1000兆光口網(wǎng)卡/異步卡、心跳線/AIX6.1/HACMP雙機軟件/P6 550用控制臺和機柜P55028204-E8AServer 1:8204 Model E8A1265AIX Partition Specify11877Op Panel Cable for Rack-mount Drawer w/3.5 DASD12146Primary OS - AIX13125Serial-to-Serial Port Cable for Rack/Rack13647146GB 15K RPM SAS Disk Drive23925Serial Port Converter Cable, 9-Pin to 25-Pin145324096MB (2x2048MB) RDIMMs, 667 MHz, 1Gb DRAM84651Rack Indicator, Rack #1149662-core 4.2 GHz POWER6 Processor Card44986One Processor Activation for Processor Feature #496685005Software Preinstall15623Dual-Port 1Gb Integrated Virtual Ethernet Daughter Card157232-Port Asynchronous EIA-232 PCI Adapter15743SATA Slimline DVD-ROM Drive157681GB ETHERNET FIBER 2-PORT 157744 Gigabit PCI Express Dual Port Fibre Channel Adapter16458Power Cable - Drawer to IBM PDU, 14-foot, 250V/10A27146IBM/OEM Rack-Mount Drawer Rail Kit17360IBM Rack-mount Drawer Bezel and Hardware17707Power Supply, 1700 Watt AC, Hot-swap, Base and Redundant27982PowerVM Standard88308DASD/Media Backplane for 3.5 DASD/SATA DVD/Tape19722Language Group Specify - Simplified Chinese (PRC)15313-HPOIBM Power Software HIPO15378204-E8A Routing Code1967Base OS11061OS Specify code for 6.112215IBM PowerHA 5.515000Preload15987Traditional Chinese Preinstall PII Language19210HW is Rack integrated15662-HMPIBM POWERHA Reg:3Yr1A0CVIBM POWERHA Base SWMA per proc 3Y Reg SMALL85692-A6PSystem Software11101DVD Process No Charge11404VIOS Expansion Pack12201Virtual I/O Server13435DVD/CD-ROM15692-A6PSystem Software1967AIX V6.1 Standard Edition1968AIX V6 Expansion Pack1970AIX V6 Update CD11100DVD Process Charge12215IBM POWERHA V5.513435DVD/CD-ROM15692-LOPSPO for Linux on POWER11005Process no-charge11479System p AVE x86 Media13410CD-ROM15765-AVEIBM PowerVM Lx86 for x86 Linux1B8RKPer server15765-F62IBM POWERHA V51B8NEPer Proc with 1 Year SW Maint SMALL85765-G62AIX 6 for POWER V6.11B8TBPer Processor E5 AIX 6 for POWER V6.185765-PVSPowerVM Standard Edition1B9HCPer Processor large system85773-SM3Software Maintenance for AIX, 3 Year1462E5 3 Yr SWMA for AIX per Processor Reg/Ren8HMC17042-CR4HMC 1:7042-CR4 Rack-mounted Hardw.Mgmt.Console131No modem1962Hardware Management Console Licensed Machine Code v7119242GB (2x1GB) PC2-5300 CL5 ECC DDR2 Chipkill FB-DIMM 667MHz14651Rack Indicator, Rack #114767HMC CR4 Redundant Power Supply, 670 W15767PCIe 1Gb Ethernet UTP 2Port16458Power Cable - Drawer to IBM PDU, 14-foot, 250V/10A27801Ethernet Cable, 6M, Hardware Management Console to System Unit19069HMC/Server Order Linkage Indicator19722Language Group Specify - Simplified Chinese (PRC)15773-RS3Initial Software Support 3 Year1569Per Processor Software Support 3 Year17000