服務(wù)器集群技術(shù)方案(1)

服務(wù)器集群技術(shù)方案集群（Cluster）技術(shù)是發(fā)展高性能計(jì)算機(jī)的一項(xiàng)技術(shù)。它是一組相互獨(dú)立的計(jì)算機(jī)，利用高速通信網(wǎng)絡(luò)組成一個(gè)單一的計(jì)算機(jī)系統(tǒng)，并以單一系統(tǒng)的模式加以管理。其出發(fā)點(diǎn)是提供高可靠性、可擴(kuò)充性和抗災(zāi)難性。一個(gè)集群包含多臺擁有共享數(shù)據(jù)存儲空間的服務(wù)器，各服務(wù)器通過內(nèi)部局域網(wǎng)相互通信。當(dāng)一臺服務(wù)器發(fā)生故障時(shí)，它所運(yùn)行的應(yīng)用程序?qū)⒂善渌?wù)器自動接管。在大多數(shù)模式下，集群中所有的計(jì)算機(jī)擁有一個(gè)共同的名稱，集群內(nèi)的任一系統(tǒng)上運(yùn)行的服務(wù)都可被所有的網(wǎng)絡(luò)客戶使用。采用集群系統(tǒng)通常是為了提高系統(tǒng)的穩(wěn)定性和網(wǎng)絡(luò)中心的數(shù)據(jù)處理能力及服務(wù)能力。當(dāng)前主流的集群方式包括以下幾種：1. 服務(wù)器主備集群方式服務(wù)器主-備方式由一臺服務(wù)器在正常運(yùn)行狀態(tài)提供對外服務(wù)，其它集群節(jié)點(diǎn)作為備份機(jī)，備份機(jī)在正常狀態(tài)下不接受外部的應(yīng)用請求，實(shí)時(shí)對生產(chǎn)機(jī)進(jìn)行檢測，當(dāng)生產(chǎn)機(jī)停機(jī)時(shí)才會接管應(yīng)用服務(wù)，因此設(shè)備利用率最高可達(dá)50%。主備方式集群如下圖所示，節(jié)點(diǎn)2為正常提供服務(wù)的服務(wù)器，運(yùn)行多個(gè)應(yīng)用（pkgA,pkgB.）,節(jié)點(diǎn)1平時(shí)只監(jiān)控節(jié)點(diǎn)2的狀態(tài)，不對外提供服務(wù)，當(dāng)節(jié)點(diǎn)2出現(xiàn)故障時(shí)，節(jié)點(diǎn)1將把兩個(gè)應(yīng)用接管過來，并對外提供服務(wù)。圖表 Error! No text of specified style in document.1主備方式集群2. 服務(wù)器互備份集群方式 多臺服務(wù)器組成集群，每臺服務(wù)器運(yùn)行獨(dú)立的應(yīng)用，同時(shí)作為其它服務(wù)器的備份機(jī)，當(dāng)主應(yīng)用中斷，服務(wù)將被其它集群節(jié)點(diǎn)所接管，接管服務(wù)的節(jié)點(diǎn)將運(yùn)行自身應(yīng)用和故障服務(wù)器的應(yīng)用，這種方式各集群節(jié)點(diǎn)的硬件資源均可被應(yīng)用于對外服務(wù)?；浞绞郊喝缦聢D所示，節(jié)點(diǎn)1和節(jié)點(diǎn)2分別運(yùn)行1個(gè)或多個(gè)不同的應(yīng)用,但只對外提供本地的主應(yīng)用，兩個(gè)節(jié)點(diǎn)之間互相進(jìn)行監(jiān)控，集群中任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障后，另一個(gè)節(jié)點(diǎn)把故障節(jié)點(diǎn)的主應(yīng)用接管過來，所有應(yīng)用服務(wù)由一臺服務(wù)器完成。圖表 Error! No text of specified style in document.2互備份方式集群這種方式的主要缺點(diǎn)在于： 由于需要重新啟動數(shù)據(jù)庫核心進(jìn)程，無法保證數(shù)據(jù)庫系統(tǒng)連續(xù)不間斷地運(yùn)行 在系統(tǒng)切換的過程中，客戶端與服務(wù)器之間的數(shù)據(jù)庫連接會中斷，需要重新進(jìn)行數(shù)據(jù)庫的連接和登錄工作 由于數(shù)據(jù)庫系統(tǒng)只能在一臺服務(wù)器上運(yùn)行，另一臺服務(wù)器無法分擔(dān)系統(tǒng)的負(fù)載，實(shí)際上造成了客戶投資的浪費(fèi)。在有些系統(tǒng)中，為了解決雙機(jī)負(fù)載分擔(dān)的問題，將應(yīng)用系統(tǒng)人為分割為兩個(gè)數(shù)據(jù)庫系統(tǒng)，分別在兩臺服務(wù)器上運(yùn)行。這種方式在一定程度上解決了負(fù)載分擔(dān)的問題，但給系統(tǒng)管理、統(tǒng)計(jì)分析等業(yè)務(wù)處理帶來了很多額外的復(fù)雜性3. 服務(wù)器并行集群方式集群有多臺服務(wù)器構(gòu)成，同時(shí)提供相同的應(yīng)用，可以實(shí)現(xiàn)多臺服務(wù)器之間的負(fù)載均衡，提供大訪問量的應(yīng)用需求，如Web訪問及數(shù)據(jù)庫等應(yīng)用，服務(wù)器并行集群方式一般由應(yīng)用系統(tǒng)自身（如OracleRAC、中間件負(fù)載均衡等）或外部專用服務(wù)器負(fù)載均衡設(shè)備實(shí)現(xiàn)。圖表 Error! No text of specified style in document.3服務(wù)器并行方式集群以下是上述群集技術(shù)對比表：集群技術(shù)資源利用率故障收斂時(shí)間可靠性主備集群技術(shù)資源有效利用率低相對較慢較高互備集群技術(shù)資源有效利用率高相對較慢較高并行集群技術(shù)資源有效利用率高快高圖表 Error! No text of specified style in document.4群集技術(shù)對比表Real Application Cluster(以前稱作Oracle Parallel Server，OPS)用來在集群環(huán)境下實(shí)現(xiàn)多機(jī)共享數(shù)據(jù)庫，以保證應(yīng)用的高可用性。同時(shí)可以自動實(shí)現(xiàn)并行處理及均分負(fù)載，還能實(shí)現(xiàn)數(shù)據(jù)庫在故障時(shí)的容錯(cuò)和無斷點(diǎn)恢復(fù)。Real Application Cluster為大多數(shù)關(guān)鍵業(yè)務(wù)要求的數(shù)據(jù)庫環(huán)境提供了極高的性能和完善的糾錯(cuò)功能。Real Application Cluster允許集群系統(tǒng)或大型并行系統(tǒng)中的多個(gè)節(jié)點(diǎn)共享同一物理數(shù)據(jù)庫。Real Application Cluster可以自動進(jìn)行負(fù)載平衡、故障修復(fù)和規(guī)劃停機(jī)時(shí)間，以支持高可用性應(yīng)用程序。它還顯著地提高了大型數(shù)據(jù)倉庫和決策支持系統(tǒng)的性能。通過與并行查詢選件結(jié)合，它還提供了節(jié)點(diǎn)間的并行性和節(jié)點(diǎn)內(nèi)的并行性，以得到更高的性能。多服務(wù)器的Cluster（集群）結(jié)構(gòu)，因其具有高可靠性、大容量共享磁盤支持、以及無斷點(diǎn)的故障恢復(fù)，越來越受到業(yè)界的關(guān)注，越來越多的硬件廠商都相繼推出自己的Cluster機(jī)種和機(jī)型，它已經(jīng)成為硬件平臺的一個(gè)新的發(fā)展方向。Oracle公司在1989年率先推出Parallel Server選件，以支持這種體系結(jié)構(gòu)(Oracle6.2版)。隨著Cluster技術(shù)自身的成熟，以及Oracle對這一技術(shù)的經(jīng)驗(yàn)，Real Application Cluster目前已能支持幾乎所有的Cluster集群系統(tǒng)。在share-nothing或shared-disk模式的集群系統(tǒng)上，Real Application Cluster均可以實(shí)現(xiàn)多節(jié)點(diǎn)共享數(shù)據(jù)庫，并自動并行處理及均分負(fù)載，在數(shù)據(jù)庫故障時(shí)進(jìn)行容錯(cuò)和無斷點(diǎn)恢復(fù)處理。Oracle提供一個(gè)通用的、集成的分布式鎖定管理器(DLM)替代了原來的，由不同操作系統(tǒng)廠商提供的鎖管理器，從而提高了在大多數(shù)工作平臺上的執(zhí)行性能和可移植性。這些使得Oracle并行服務(wù)器的運(yùn)行速度顯著加快。Oracle集成的DLM使Oracle并行服務(wù)器能夠跨平臺工作。當(dāng)并行服務(wù)器中某節(jié)點(diǎn)失效，透明的應(yīng)用程序容錯(cuò)能夠把用戶自動轉(zhuǎn)接到另一節(jié)點(diǎn)上繼續(xù)運(yùn)行，應(yīng)用程序在用戶沒有察覺的情況下繼續(xù)執(zhí)行。這使周期性和非周期性發(fā)生故障的系統(tǒng)增大了連續(xù)可用性。進(jìn)程的失效可以完全透明地轉(zhuǎn)移到另一節(jié)點(diǎn)上去，通過適當(dāng)?shù)嘏渲茫梢灾付ㄋ胁樵兌荚诳蛻舳诉M(jìn)行緩存，這樣它們便可以在轉(zhuǎn)移后的節(jié)點(diǎn)上重新設(shè)置。同時(shí)，還可以在沒有失效時(shí)預(yù)先與容錯(cuò)節(jié)點(diǎn)建立一個(gè)連接，這樣可以減少容錯(cuò)時(shí)在連接所花的時(shí)間。Oracle不僅支持第一代、第二代并行處理技術(shù)，還最先支持第三代多節(jié)點(diǎn)并行處理機(jī)。能夠在Cluster Mode 3及MPP結(jié)構(gòu)的各節(jié)點(diǎn)上實(shí)現(xiàn)并行處理，均分負(fù)載。Oracle并行處理技術(shù)的另一大優(yōu)勢在于，無論在任何平臺上，從單機(jī)到并行處理機(jī)，從OLTP應(yīng)用到OLAP應(yīng)用，Oracle數(shù)據(jù)庫均為同一核心，因此在不同平臺之間應(yīng)用系統(tǒng)可平滑移植，提高了開發(fā)效率，降低了維護(hù)費(fèi)用。目前，Oracle并行服務(wù)器技術(shù)在業(yè)界處于絕對領(lǐng)先地位，已在全球數(shù)千個(gè)實(shí)際應(yīng)用系統(tǒng)中運(yùn)行，經(jīng)過十多年的不斷完善和發(fā)展，其可靠性及穩(wěn)定性已得到徹底檢驗(yàn)。與雙機(jī)熱備份方式相比，Oracle10g Real Application Cluster 并行服務(wù)器方式有以下優(yōu)點(diǎn)： 各服務(wù)器共享一個(gè)數(shù)據(jù)庫，在正常運(yùn)行時(shí)可以進(jìn)行負(fù)載分擔(dān)，無需考慮應(yīng)用數(shù)據(jù)的人為分割 并行服務(wù)器方式對應(yīng)用完全透明，在應(yīng)用程序設(shè)計(jì)和開發(fā)的過程中也不需要進(jìn)行特殊編程，簡化了開發(fā)的復(fù)雜程度，同時(shí)今后系統(tǒng)擴(kuò)展也無需修改應(yīng)用程序 不需要重新啟動數(shù)據(jù)庫核心進(jìn)程，縮短了故障造成的停機(jī)時(shí)間總結(jié)以上ORACLE RAC的功能和特點(diǎn)，ORACLE RAC主要具有如下好處：1. 可伸縮性用戶或者中間層應(yīng)用服務(wù)器客戶，可以通過虛擬數(shù)據(jù)庫服務(wù)名連接到數(shù)據(jù)庫上。Oracle在集群中多個(gè)節(jié)點(diǎn)之間自動平衡用戶負(fù)載。不同節(jié)點(diǎn)上的Real Application Clusters數(shù)據(jù)庫實(shí)例預(yù)訂所有數(shù)據(jù)庫服務(wù)或者部分子集數(shù)據(jù)庫服務(wù)。這使得DBA高度靈活地選定，連接到特定數(shù)據(jù)庫服務(wù)的特定應(yīng)用程序客戶是否可以連接到某些或者全部的數(shù)據(jù)庫節(jié)點(diǎn)。雖然每一個(gè)節(jié)點(diǎn)有一個(gè)不同的物理IP地址時(shí)，應(yīng)用客戶仍可以在一個(gè)邏輯數(shù)據(jù)庫服務(wù)名的水平上進(jìn)行連接。因此客戶端對于不相關(guān)的事情如多服務(wù)器的多個(gè)地址可以毫不關(guān)心。隨著業(yè)務(wù)的增長，電子商務(wù)可以從容地增加處理能力。Cache Fusion體系結(jié)構(gòu)直接地利用新節(jié)點(diǎn)的CPU和內(nèi)存資源。DBA無需用手工對數(shù)據(jù)重新分區(qū)。這個(gè)優(yōu)點(diǎn)是這種體系結(jié)構(gòu)的副產(chǎn)品，因?yàn)橛型该鞫鹊臄?shù)據(jù)存取是Cache Fusion的一項(xiàng)基本功能。Cache Fusion體系機(jī)構(gòu)自動適應(yīng)快速變化的電子商務(wù)需求及隨之而來的工作負(fù)荷的改變。DBA也不必因?yàn)楣ぷ髫?fù)荷變化而對數(shù)據(jù)進(jìn)行手工的重新分區(qū)。Real Application Clusters通過動態(tài)地重新分配數(shù)據(jù)庫資源，從而在節(jié)點(diǎn)之間用最小化的磁盤I/O和低的延遲通信來優(yōu)化利用集群系統(tǒng)資源。這使得Real Application Clusters可以從容實(shí)現(xiàn)增加的應(yīng)用吞吐量和優(yōu)化的響應(yīng)時(shí)間。2. 高可用性Real Application Clusters提供了真正的高可用性解決方案，關(guān)鍵的突破是在大多數(shù)數(shù)據(jù)庫恢復(fù)期間能提供完整的數(shù)據(jù)庫訪問。這使得Real Application Clusters成為電子商務(wù)應(yīng)用所要求的24x7可用性的最佳平臺。Real Application Clusters在高可用性上在三個(gè)關(guān)鍵領(lǐng)域勝出： 提供了數(shù)據(jù)庫恢復(fù)期間的數(shù)據(jù)塊訪問 透明的失效轉(zhuǎn)移對最終用戶屏蔽了系統(tǒng)失效 N-1節(jié)點(diǎn)失效的容錯(cuò)能力只要有一個(gè)數(shù)據(jù)庫節(jié)點(diǎn)幸存，Real Application Clusters就能夠提供完全的數(shù)據(jù)庫訪問和相對不間斷的操作。3. 可管理性Real Application Clusters實(shí)現(xiàn)了真正意義上的一個(gè)單系統(tǒng)訪問數(shù)據(jù)庫，它提供了從任何節(jié)點(diǎn)到所有磁盤設(shè)備和遠(yuǎn)程高速緩存進(jìn)行無縫數(shù)據(jù)訪問的能力。此單系統(tǒng)映像延伸到所有數(shù)據(jù)庫管理操作。安裝、配置、備份、升級以及監(jiān)控等操作只需進(jìn)行一次，然后會自動發(fā)布到集群中所有節(jié)點(diǎn)上去。各種Oracle工具（如Oracle Universal Installer、Database Configuration Assistant以及Recovery Manager）將發(fā)現(xiàn)集群數(shù)據(jù)塊中所有不同的節(jié)點(diǎn)并以它們?yōu)槟繕?biāo)分配給想得到的任務(wù)。在Oracle 10g的Real Application Cluster技術(shù)中，全面采用了Oracle獨(dú)特的Cache Fusion(緩存熔合)技術(shù)，消除了多臺服務(wù)器爭用數(shù)據(jù)時(shí)產(chǎn)生的碰撞(Ping)現(xiàn)象，極大的提高了Cluster系統(tǒng)的可擴(kuò)展性。使Cluster系統(tǒng)可以支持更多的節(jié)點(diǎn)，而且數(shù)據(jù)庫應(yīng)用完全不需要做任何復(fù)雜的修改或特殊設(shè)計(jì)就可以良好的運(yùn)行在Cluster系統(tǒng)上，并且充分發(fā)揮多節(jié)點(diǎn)的處理性能。根據(jù)本次項(xiàng)目服務(wù)器系統(tǒng)需求，結(jié)合具體情況，我們將針對不同的業(yè)務(wù)系統(tǒng)采用不同的集群方式，滿足業(yè)務(wù)系統(tǒng)的應(yīng)用高性能和高可靠性要求。數(shù)據(jù)庫服務(wù)器系統(tǒng)采用兩臺P550，通過集群技術(shù)實(shí)現(xiàn)雙機(jī)冗余。操作系統(tǒng)通過HA來實(shí)現(xiàn)，數(shù)據(jù)庫通過ORACLE RAC集群技術(shù)實(shí)現(xiàn)。說明如下：一、硬件方案12、數(shù)據(jù)庫服務(wù)器數(shù)量P550(8C/32G)8*4.2GHZ/32GB/2*146GB/2*HBA/2*1000兆集成網(wǎng)口/2*1000兆光口網(wǎng)卡/異步卡、心跳線/AIX6.1/HACMP雙機(jī)軟件/P6 550用控制臺和機(jī)柜P55028204-E8AServer 1:8204 Model E8A1265AIX Partition Specify11877Op Panel Cable for Rack-mount Drawer w/3.5 DASD12146Primary OS - AIX13125Serial-to-Serial Port Cable for Rack/Rack13647146GB 15K RPM SAS Disk Drive23925Serial Port Converter Cable, 9-Pin to 25-Pin145324096MB (2x2048MB) RDIMMs, 667 MHz, 1Gb DRAM84651Rack Indicator, Rack #1149662-core 4.2 GHz POWER6 Processor Card44986One Processor Activation for Processor Feature #496685005Software Preinstall15623Dual-Port 1Gb Integrated Virtual Ethernet Daughter Card157232-Port Asynchronous EIA-232 PCI Adapter15743SATA Slimline DVD-ROM Drive157681GB ETHERNET FIBER 2-PORT 157744 Gigabit PCI Express Dual Port Fibre Channel Adapter16458Power Cable - Drawer to IBM PDU, 14-foot, 250V/10A27146IBM/OEM Rack-Mount Drawer Rail Kit17360IBM Rack-mount Drawer Bezel and Hardware17707Power Supply, 1700 Watt AC, Hot-swap, Base and Redundant27982PowerVM Standard88308DASD/Media Backplane for 3.5 DASD/SATA DVD/Tape19722Language Group Specify - Simplified Chinese (PRC)15313-HPOIBM Power Software HIPO15378204-E8A Routing Code1967Base OS11061OS Specify code for 6.112215IBM PowerHA 5.515000Preload15987Traditional Chinese Preinstall PII Language19210HW is Rack integrated15662-HMPIBM POWERHA Reg:3Yr1A0CVIBM POWERHA Base SWMA per proc 3Y Reg SMALL85692-A6PSystem Software11101DVD Process No Charge11404VIOS Expansion Pack12201Virtual I/O Server13435DVD/CD-ROM15692-A6PSystem Software1967AIX V6.1 Standard Edition1968AIX V6 Expansion Pack1970AIX V6 Update CD11100DVD Process Charge12215IBM POWERHA V5.513435DVD/CD-ROM15692-LOPSPO for Linux on POWER11005Process no-charge11479System p AVE x86 Media13410CD-ROM15765-AVEIBM PowerVM Lx86 for x86 Linux1B8RKPer server15765-F62IBM POWERHA V51B8NEPer Proc with 1 Year SW Maint SMALL85765-G62AIX 6 for POWER V6.11B8TBPer Processor E5 AIX 6 for POWER V6.185765-PVSPowerVM Standard Edition1B9HCPer Processor large system85773-SM3Software Maintenance for AIX, 3 Year1462E5 3 Yr SWMA for AIX per Processor Reg/Ren8HMC17042-CR4HMC 1:7042-CR4 Rack-mounted Hardw.Mgmt.Console131No modem1962Hardware Management Console Licensed Machine Code v7119242GB (2x1GB) PC2-5300 CL5 ECC DDR2 Chipkill FB-DIMM 667MHz14651Rack Indicator, Rack #114767HMC CR4 Redundant Power Supply, 670 W15767PCIe 1Gb Ethernet UTP 2Port16458Power Cable - Drawer to IBM PDU, 14-foot, 250V/10A27801Ethernet Cable, 6M, Hardware Management Console to System Unit19069HMC/Server Order Linkage Indicator19722Language Group Specify - Simplified Chinese (PRC)15773-RS3Initial Software Support 3 Year1569Per Processor Software Support 3 Year17000