Oracle真正應用集群RAC最佳實踐Jerry

RoyRossebo

RACPack甲骨文公司真正應用集群最佳應用作者：KirkMcGowanRolandKnappRoyRossebo以及RACPack團隊其他成員講座目標只要堅持遵從一些最佳應用，在Linux上實施真正應用集群就應該會相對簡單一些演示基于RACPack客戶對9i和10g體驗的最重要的RAC最佳應用，一般的和Linux特定的最佳應用沒有其他特定平臺重點講述10g免責聲明這些最佳應用的依據(jù)是客戶的真實體驗，通常會提供最佳的結果。但是不同系統(tǒng)具有不同的需求和成本結構，因此這些最佳應用可能不適用于所有情況。隨著技術不斷的發(fā)展，以及新體驗的出現(xiàn)，這些最佳應用可能會隨著時間的推移而發(fā)生變化。這些最佳應用不能替代產(chǎn)品使用正式指南的標準產(chǎn)品文檔。議程規(guī)劃最佳應用體系結構考慮事項期望效果項目計劃實施最佳應用基礎架構考慮事項安裝數(shù)據(jù)庫配置應用程序考慮事項運作的最佳應用備份與恢復監(jiān)控與調(diào)整生產(chǎn)移植了解體系結構集群的數(shù)據(jù)庫服務器鏡像磁盤子系統(tǒng)高速交換機和互聯(lián)集線器或交換機結構網(wǎng)絡集中管理控制臺存儲區(qū)域網(wǎng)低延遲互聯(lián)用戶無單點故障共享緩存了解體系結構共享磁盤數(shù)據(jù)庫共享內(nèi)存/全局區(qū)域共享的

SQL日志

緩沖區(qū)......共享內(nèi)存/全局區(qū)域共享的

SQL日志緩沖區(qū)共享內(nèi)存/全局區(qū)域共享的

SQL日志

緩沖區(qū)共享內(nèi)存/全局區(qū)域共享的

SQL日志

緩沖區(qū)GES&GCSGES&GCSGES&GCSGES&GCS共享數(shù)據(jù)模型了解體系結構公用網(wǎng)絡節(jié)點1共享存儲重做日志所有實例數(shù)據(jù)庫和控制文件OCR和voting磁盤(oracle_home)操作系統(tǒng)CRS集群互聯(lián)數(shù)據(jù)庫實例1ASM實例1節(jié)點2操作系統(tǒng)CRS數(shù)據(jù)庫實例2ASM實例2節(jié)點3操作系統(tǒng)CRS數(shù)據(jù)庫實例3ASM實例3集群互聯(lián)...了解體系結構集群術語基本功能通過消除作為單點故障(SPOF)的節(jié)點和Oracle，實現(xiàn)了高可用性通過增加額外的處理容量，實現(xiàn)了可伸縮性硬件組件專用互聯(lián)/網(wǎng)絡交換機共享存儲器/并行訪問/存儲交換機軟件組件操作系統(tǒng)、集群管理器、DBMS/RAC、應用程序各種集群管理器之間的區(qū)別規(guī)劃劃體體系系結結構構消除除單單點點故故障障工作作負負載載分分布布（（負負載載均均衡衡））策策略略Net服務務(SQL*Net)Oracle10g服務務使用用網(wǎng)網(wǎng)格格控控件件監(jiān)監(jiān)控控和和管管理理并并達達成成服服務務級級別別協(xié)協(xié)議議處理節(jié)節(jié)點–足夠的的CPU以適應應故障障可伸縮縮I/O子系統(tǒng)統(tǒng)使用ASM和S.A.M.E.規(guī)劃體體系結結構集群互互聯(lián)FastEthernet、、千兆以以太網(wǎng)網(wǎng)公用網(wǎng)網(wǎng)絡以太網(wǎng)網(wǎng)、FastEthernet、、千兆以以太網(wǎng)網(wǎng)推薦的的服務務器配配置每臺服服務器器最少少2個個CPU2個和4個個CPU服務器的成成本通常最最經(jīng)濟每個CPU1-2GB內(nèi)存光纖通道、、SCSI或NAS存儲連接規(guī)劃體系結結構堅不可摧的的Linux產(chǎn)品RedHatEnterpriseLinuxAS、ES2.1和3.0SuSELinuxEnterpriseServer8(SuSELinuxAG)Oracle將支持與其其他發(fā)行版版本一起運運行的Oracle產(chǎn)品，但不不支持該操操作系統(tǒng)本本身。堅不可摧Linux上的RAC認證認證企業(yè)級操作作系統(tǒng)發(fā)行行（例如RHAS2.1和3.0，SuseSLES/8）集群件（OracleOSD集群件）直接聯(lián)網(wǎng)存存儲（例如如NetworkAppliancefilers）大多數(shù)SCSI和SAN存儲器都可可兼容有關軟件認認證的詳細細信息，請請訪問：/support/metalink/content.html與您的硬件件供應商一一起討論硬硬件配置設置正確的的期望如果您的應應用程序要要在SMP上透明伸縮縮，則現(xiàn)實實的期望是是它在RAC上伸縮良好好，而不必必對應用程程序代碼進進行任何更更改。RAC消除了作為為單點故障障的數(shù)據(jù)庫庫和節(jié)點本本身，確保保了出現(xiàn)這這些故障時時數(shù)據(jù)庫的的完整性制定適當?shù)牡哪繕烁呖捎眯阅磕繕擞媱澟c非計計劃技術故障、、站點故障障與人為錯錯誤可伸伸縮縮性性目目標標加速速和和擴擴展展響應應時時間間、、吞吞吐吐量量和和其其他他計計量量標標準準服務務器器/整整合合目目標標通常常與與TCO相關關通常常比比較較主主觀觀構建建您您的的項項目目計計劃劃與您您的的供供應應商商合合作作多個股東，共共享成功構建詳細的測測試計劃在進入RAC之前確認在SMP上的可伸縮性性首先優(yōu)化單個個實例明確知識上的的欠缺并進行行培訓集群、RAC、高可用性、可可伸縮性、系系統(tǒng)管理需要時利用外外部資源建立嚴格的系系統(tǒng)和應用程程序更改控制制一次針對一個個系統(tǒng)元素應應用更改首先針對測試試環(huán)境應用更更改監(jiān)控應用程序序更改對基礎礎系統(tǒng)組件的的影響定義支持機制制和上報過程程議程計劃最佳應用用體系結構考慮慮事項期望效果項目計劃實施最佳應用用基礎架構考慮慮事項安裝數(shù)據(jù)庫配置應用程序考慮慮事項運作的最佳應應用備份與恢復監(jiān)控與調(diào)整生產(chǎn)移植安裝流程圖配置硬件配置專用網(wǎng)絡絡安裝和配置堅不可摧的Linux安裝OracleCRS安裝Oracle數(shù)據(jù)庫，包括RAC和ASM運行VIPCA，，自動從RDBMSroot.sh啟動配置存存儲器器，包括ASMLIB使用DBCA創(chuàng)建數(shù)數(shù)據(jù)庫庫Linuxx86要求操作系系統(tǒng)要要求RedHatEnterpriseLinuxES/AS2.1(x86)Gnugccpackage，gcc-或更高高版本本還必須須安裝裝下列列程序序包（（或更更高版版本））：make-3.79binutils-2.11openmotif-2.1.30Kernelerrata25(e.25)或更更高高版版本本(RHSA-2003:195-06)glibc2.2.4-31errata或更更高高版版本本(RHSA-2003:022-09)Linuxx86要求求（（續(xù)續(xù)））操作作系系統(tǒng)統(tǒng)要要求求RedHatEnterpriseLinuxES/AS3(Update2)(x86)Gnugccpackage，gcc-3.2.3-2或更更高高版版本本還必必須須安安裝裝下下列列程程序序包包（（或或更更高高版版本本））：make-3.79binutils-2.11openmotif-2.2.2-16setarch-1.3-1compat-db-compat-gcc-7.3-2.96.122compat-gcc-c++-7.3-2.96.122compat-libstdc++-7.3-2.96.122compat-libstdc++-devel-7.3-2.96.122Linuxx86要求（續(xù)））操作系統(tǒng)要要求UnitedLinux1.0(x86)–尚未認證，，認證將與與補丁程序序集一起在6月末結結束。ServicePack3(SP3)或更高版本本(內(nèi)核版本2.4.21-138)Gnugccpackage，gcc-3.2.2-38或更高版本本還必須安裝裝下列程序序包（或更更高版本））：make-3.79

binutils-2.12openmotif-2.2.2-124LinuxIA64要求操作系統(tǒng)要要求RedHatEnterpriseLinuxES/AS2.1(Update3)還必須安裝裝下列程序序包（或更更高版本））：make-3.79

binutils-2.11openmotif-2.1.30gcc-2.96-124glibc-2.2.4-32libaio-0.3.92-1

libaio-devel-0.3.92-1必須須安安裝裝Kernelerrata40(e.40)或更更高高版版本本LinuxIA64要求求（（續(xù)續(xù)））操作作系系統(tǒng)統(tǒng)要要求求RedHatEnterpriseLinuxES/AS3(Update1)還必必須須安安裝裝下下列列程程序序包包（（或或更更高高版版本本））：gcc-3.2.3-20make-3.79binutils-2.11openmotif-2.2.2-16setarch-1.3-1compat-db-compat-gcc-7.3-2.96.122compat-gcc-c++-7.3-2.96.122compat-libstdc++-7.3-2.96.122compat-libstdc++-devel-7.3-2.96.122必須須安安裝裝Kernelerrata40(e.40)或更更高高版版本本LinuxIA64要求求（（續(xù)續(xù)））操作作系系統(tǒng)統(tǒng)要要求求SuSELinuxEnterpriseServer8還必須須安裝裝下列列程序序包（（或更更高版版本））：ServicePack3(SP3)或更高高版本本(kernelversion2.4.21-107)gcc-3.2-29make-3.79binutils-2.12openmotif-2.2.2-124有關詳詳細信信息，，請參參閱Oracle??數(shù)據(jù)庫庫客戶戶機快快速安安裝指指南LinuxItanium的10gRelease1(10.1)編號.B13763-01準備Linux環(huán)境在集群群的每每個節(jié)節(jié)點上上執(zhí)行行下列列操作作在/etc/sysctl.conf中設置置內(nèi)核核參數(shù)數(shù)向/etc/hosts文件添添加主主機名名為ORACLE_HOME（對于Oracle用戶ID可寫入入）建建立文文件系系統(tǒng)和和位置置在所有有節(jié)點點上設設置ssh在所有有節(jié)點點上安裝該該rpm使用腳腳本“/etc/init.d/oracelasmConfigure”選項配置ASMLib使用“/etc/init.d/oracleasmcreatediskVOL1/dev/sdg””為ASM提供磁磁盤將發(fā)現(xiàn)現(xiàn)字符符串設置為為“ORCL”從/下載最最新的的ASMLibrpmASMLib的安裝裝流程程圖有關詳詳細的的安裝裝說明明，請請參閱閱/tech/linux/asmlib/install.html使用OracleUniversalInstaller安裝CRS/CSS堆棧使用$CRS_HOME/root.sh第一次次啟動動該Oracle堆棧加載/安裝hangcheck計時器器如果要要對數(shù)數(shù)據(jù)庫庫文件件使用ASM，，則請為CRS/CSS創(chuàng)建兩個個裸設備備CRS安裝流程程圖使用DBCA簡化數(shù)據(jù)據(jù)庫創(chuàng)建建設置MAXINSTANCES、、MAXLOGFILES、、MAXLOGMEMBERS、MAXLOGHISTORY、MAXDATAFILES（DBCA為自動進進行）將表空間間創(chuàng)建為為本地管管理（DBCA為自動進進行）創(chuàng)建所有有的表空空間并具具有ASSM（自動分段段空間管管理）特特性(DBCA為自動進進行)配置自動動UNDO管理（DBCA為自動進進行）使用SPFILE而不是使使用多個個init.ora（（DBCA為自動進進行）安裝后要啟用異異步I/O，，必須重新新鏈接Oracle才能使用用skgaioi.o，，并為RH2.1和RH3.0系統(tǒng)安裝bug3208258與Basebug3016968的PatchSetException。安裝@@@ARU:ARU6076422來修復專專用互聯(lián)聯(lián)的使用用。將UDP發(fā)送/接受緩沖沖區(qū)大小小調(diào)整為為256Ksysctl-wnet.core.rmem_max=262144sysctl-wnet.core.wmem_max=262144sysctl-wnet.core.rmem_default=262144sysctl-wnet.core.wmem_default=262144ASMLib安裝裝后后使用用asmlibrealease1.0.1。確保保正正確確運運行行了了““oracleasmconfigure“確保保對對于于所所需需的的磁磁盤盤正正確確運運行行了了““oracleasmcreatedisk“執(zhí)行行““oracleasmlistdisks“顯示示可可使使用用磁磁盤盤對于于每每個個標標記記的的磁磁盤盤執(zhí)執(zhí)行行““oracleasmquerydisk“，，確保保它它已已被被標標記記使用用cat/proc/filesystem命令令，，確確保保存存在在一一個個oracleasm文件件系系統(tǒng)統(tǒng)執(zhí)行行df––ha，此命命令令應應該該顯顯示示/dev/oracleasmfs已經(jīng)裝裝載ls-l/dev/oracleasm/disks，確保ownership/permissions為oracle:oinstall驗證對對于ASMLIB是否使使用了了下列列搜索索字符符串（（或對對DBCA或對命命令行行）：：“ORCL:*“Oracle10g的現(xiàn)有有版本本要求求執(zhí)行行自定定義安安裝才才能獲獲取標標記的的asmlib磁盤。。如果ASM實例當當前處處于活活動狀狀態(tài)，，則在在發(fā)現(xiàn)現(xiàn)asmlib磁盤的的同時時，要要跟蹤蹤ASMalert.log，來查看看ASM是否會會顯示示有關關發(fā)現(xiàn)現(xiàn)的消消息。。驗證RAC配置在所有有節(jié)點點上運運行的的實例例SQL>select*fromgv$instanceRAC在專用用互聯(lián)聯(lián)上進進行通通信SQL>oradebugsetmypidSQL>oradebugipcSQL>oradebugtracefile_name/home/oracle/admin/RAC_1/udump/rac_1_ora_1343841.trcChecktracefileintheuser_dump_dest:SSKGXPT0x2ab25bcflagsinfofornetwork0socketno10IPUDP49197sflagsSSKGXPT_UPinfofornetwork1socketno0IPUDP0sflagsSSKGXPT_DOWNRAC正在使使用所所要求求的IPC協(xié)議：：CheckAlert.log...clusterinterconnectIPCversion:OracleUDP/IPIPCVendor1proto2Version1.0PMONstartedwithpid=2...僅在必必要時時才使使用cluster_interconnects議程計劃最最佳應應用體系結結構考考慮事事項期望效效果項目計計劃實施最最佳應應用基礎架架構考考慮事事項安裝數(shù)據(jù)庫庫配置置應用程程序考考慮事事項運作的的最佳佳應用用備份與與恢復復監(jiān)控與與調(diào)整整生產(chǎn)移移植本地管管理的的表空空間將所有有表空空間創(chuàng)創(chuàng)建為為本地地管理理，并并且?guī)в凶宰詣臃址侄慰湛臻g管管理CREATETABLESPACExx..EXTENTMANAGEMENTLOCAL..SEGMENTSPACEMANAGEMENTAUTO.在DBCA中這是是自動動完成成的ASSM自動分分段空空間管管理(ASSM)消除了了計算算PCTUSED、FREELISTS和FREELISTGROUPS的復雜雜過程程允許實實例進進行空空間的的動態(tài)態(tài)親和和，避避免了了可用用列表表組固固有空空間的的硬分分區(qū)。避免了了并發(fā)發(fā)訪問問時的的爭用用，并并優(yōu)化化了空空間使使用。。不需要要任何何維護護。使您能能夠支支持任任意數(shù)數(shù)量的的實例例，而而不用用對對對象作作任何何更改改。使用在在線重重新構構建功功能，，將對對象從從可用用列表表組移移到ASSM。。在DBCA中自動動配置置應用程程序部部署對于RAC無需特特殊的的應用用程序序設計計或編編碼在一個個單一一實例例SMP環(huán)境中中運行行正常常的所所有應應用程程序在在RAC也會運運行正正常只是….在一個個實例例環(huán)境境中出出現(xiàn)的的爭用用問題題在RAC環(huán)境中中可能能會更更加嚴嚴重。。如果與與數(shù)據(jù)據(jù)相關關的路路由可可在中中間層層實現(xiàn)現(xiàn)，則則還可可以進進一步步提高高性能能應用程程序部部署規(guī)則與與單一一實例例相同同SQL調(diào)整順序緩緩存將大型型對象象分區(qū)區(qū)使用不不同的的塊大大小避免DDL按照前前面的的注意意事項項使用用LMT和ASSMSQL調(diào)整優(yōu)化的的執(zhí)行行計劃劃可共享享的SQL解析審計全表掃掃描順序順序號號總是使使用緩緩存選選項將順序序緩存存設置置為1000或或更多多增加SYS.AUDSES$的緩存存值在在出現(xiàn)現(xiàn)大量量“登登錄””時會會有所所幫助助將順序序sys.audses$的緩存存更改改為10000；對大型型表/索引引進行行分區(qū)區(qū)使用合合適的的分區(qū)區(qū)。改善對對象的的可管管理性性。DML密集對對象的的散列列、列列表和和組合合分區(qū)區(qū)會有有所幫幫助。。不同的的塊大大小大塊用用于經(jīng)常進進行長長掃描描的表表。大多數(shù)數(shù)為讀讀操作作的表表和索索引。使用批批量加加載進進行加加載并并且沒沒有更更新的的表。。小塊用用于上述情情況之之外的的環(huán)境境。盡量少少用DDL不要創(chuàng)創(chuàng)建和和刪除除屬于于正常常用戶戶應用用程序序一部部分的的表–而采用用其他他方式式DDL訪問數(shù)數(shù)據(jù)字字典，，在單單個實實例以以及RAC上都會會引起起爭用用問題題DDL操作可可能會會使得得存儲儲的sql語句失失效，，從而而導致致重新新分析析，這這樣會會影響響性能能議程計劃最最佳應應用體系結結構考考慮事事項期望效效果項目計計劃實施最最佳應應用基礎架架構考考慮事事項安裝數(shù)據(jù)庫配配置應用程序序考慮事事項運作的最最佳應用用備份與恢恢復監(jiān)控與調(diào)調(diào)整生產(chǎn)移植植操作DBA過程與單單個實例例基本相相同，只只有一些些較小區(qū)區(qū)別，而而且大多多數(shù)為機機械上的的區(qū)別。。管理Oracle環(huán)境通過引導/重新引導導服務器來來啟動/停止Oracle集群系列管理多個重重做日志線線程啟動和關閉閉數(shù)據(jù)庫使用網(wǎng)格控控制備份和恢復復性能監(jiān)控和和調(diào)整生產(chǎn)移植備份和恢復復使用RMAN備份和恢復復ASM文件的唯一一選擇使用網(wǎng)格控控制訪問RMAN的GUI界面對于備份和和存檔日志志使用10g快速恢復區(qū)區(qū)域在ASM上，可用于于所有實例例實例恢復設置fast_start_mttr_target初始設置為為300比較好性能與可用用性的平衡衡為一次恢復復確定緩沖沖區(qū)大小。。確保使用了了異步I/O。使用恢復并并行。避免逐出故故障節(jié)點如果一些重重要進程無無法快速響響應，則可可能會收到到“heartbeat”故障為LMS啟用實時優(yōu)優(yōu)先級不要長時間間在100%CPU情況下運行行系統(tǒng)確保對于控控制文件和和voting磁盤都具有有良好的I/O響應時間性能監(jiān)控/調(diào)整首先對單個個實例10g進行調(diào)整Oracle性能管理器器/ADDM/AWRRAC特定的視圖圖使用腳本/跟蹤進行行補充監(jiān)控控V$SESSION_WAIT看等等待待事事件件中中涉涉及及哪哪些些塊塊跟蹤蹤類類似似10046/8的事事件件可可提提供供附附加加的的等等待待事事件件詳詳細細信信息息如同同在在單單個個實實例