GoldenGate安裝實(shí)施最佳實(shí)踐

議題安裝實(shí)施準(zhǔn)備√安裝實(shí)施操作步驟配置日常復(fù)制錯(cuò)誤處理安裝信息收集收集信息（建議至少提前兩周）測(cè)試環(huán)境，操作系統(tǒng)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)等數(shù)據(jù)結(jié)構(gòu)，包括表數(shù)量、是否存在無(wú)主鍵表、是否有不支持?jǐn)?shù)據(jù)類(lèi)型、是否有不支持操作（如direct

insert等）等系統(tǒng)需求、使用場(chǎng)景一定要驗(yàn)證OGG版本可用性?。。etalink上面有很多edelivery上所沒(méi)有的patch帶寬估算根據(jù)峰值產(chǎn)生日志量估算帶寬占用假設(shè)條件假設(shè)OGG隊(duì)列與日志比例為1：4。如只復(fù)制部分表則此比例可以假設(shè)為更低。假設(shè)網(wǎng)絡(luò)傳輸效率為0.7假設(shè)網(wǎng)絡(luò)傳輸壓縮比例為1：8。根據(jù)數(shù)據(jù)內(nèi)容有所變化，一般字符數(shù)據(jù)較多時(shí)壓縮比例較大，二進(jìn)制對(duì)象壓縮效率較低帶寬估算算法以客戶業(yè)務(wù)高峰期每小時(shí)產(chǎn)生40G為例，可以估算如下帶寬=40G/3600（秒/小時(shí)）/

4(日志過(guò)濾比例)/8（壓縮比率）*8（每字節(jié)8位）/0.7(網(wǎng)絡(luò)傳輸效率)=4M實(shí)施準(zhǔn)備實(shí)施文檔準(zhǔn)備擬定安裝操作文檔擬定初始化方案并與客戶達(dá)成一致根據(jù)場(chǎng)景準(zhǔn)備數(shù)據(jù)庫(kù)腳本，如建立用戶、賦予權(quán)限等準(zhǔn)備OGG安裝所需腳本，如add

trandata命令腳本、目標(biāo)端禁止trigger和cascade

delete腳本等OGG參數(shù)文件，列出所有可能用到參數(shù)OGG命令，常用命令預(yù)先放在文本里驗(yàn)證參數(shù)、命令、腳本的可行性發(fā)現(xiàn)潛在的問(wèn)題，及時(shí)尋求解決方案預(yù)訂技術(shù)支持注意：OGG參數(shù)文件中所有關(guān)鍵字或“，（）”等分割符前后應(yīng)當(dāng)加入空格(半角！)，否則可能會(huì)被誤認(rèn)為連續(xù)的字符串，導(dǎo)致進(jìn)程終止實(shí)施準(zhǔn)備–系統(tǒng)設(shè)置（源和目標(biāo)）建立GoldenGate運(yùn)行用戶需訪問(wèn)數(shù)據(jù)庫(kù)的動(dòng)態(tài)庫(kù)、在線日志及歸檔日志使用oracle用戶，也可為其創(chuàng)建新的系統(tǒng)用戶將其加入到oracle安裝用戶所在組（一般為oinstall）。為GoldenGate運(yùn)行用戶配置內(nèi)存限制分析和抽取交易數(shù)據(jù)需一定內(nèi)存，需放寬GoldenGate運(yùn)行系統(tǒng)用戶對(duì)內(nèi)存大小（memory）、文件大小(fsize)、DATA、STACK等參數(shù)的值，在系統(tǒng)允許的情況下盡量將參數(shù)設(shè)置為-1（ulimited），一般在/etc/security/limits文件中。RAC各節(jié)點(diǎn)配置時(shí)鐘同步GoldenGate在單節(jié)點(diǎn)上對(duì)所有節(jié)點(diǎn)日志進(jìn)行解析，為了保證其在各節(jié)點(diǎn)抽取數(shù)據(jù)順序的一致性，需要在各個(gè)節(jié)點(diǎn)主機(jī)上配置時(shí)鐘同步（例如在AIX下配置NTP服務(wù)）。實(shí)施準(zhǔn)備–網(wǎng)絡(luò)設(shè)置OGG所有源端必須能夠訪問(wèn)其目標(biāo)主機(jī)以下端口目標(biāo)端OGG的Mgr端口（缺省為7809）目標(biāo)端Mgr參數(shù)DYNAMICPORTLIST中定義的端口范圍。如Mgr參數(shù)文件沒(méi)有配置，則自動(dòng)從7840開(kāi)始遞增，建議保留到7850DirectorServer必須能夠訪問(wèn)其管理的OGG主機(jī)以下端口目標(biāo)端OGG的Mgr端口（缺省為7809）目標(biāo)端Mgr參數(shù)DYNAMICPORTLIST中定義的端口范圍。如Mgr參數(shù)文件沒(méi)有配置，則自動(dòng)從7840開(kāi)始遞增，建議保留到7850受管理的OGG主機(jī)應(yīng)當(dāng)能夠訪問(wèn)DirectorServer主機(jī)所有端口VeridataServer需訪問(wèn)需對(duì)比的數(shù)據(jù)庫(kù)主機(jī)中VeridataAgent的Mgr端口VeridataAgent的DYNAMICPORTLIST中定義的端口（缺省為7840起）實(shí)施準(zhǔn)備–存儲(chǔ)空間（源和目標(biāo)）為GoldenGate分配空間建議在共享陣列，可以在單節(jié)點(diǎn)失敗后由其它節(jié)點(diǎn)接管，通過(guò)腳本可以與集群軟件集成GoldenGate軟件所需空間主要取決于隊(duì)列的產(chǎn)生速度，一般建議為其保留相當(dāng)于數(shù)據(jù)庫(kù)1-3天歸檔日志量的存儲(chǔ)空間。存儲(chǔ)劃分完后建立OGG安裝目錄并將該目錄Owner設(shè)為OGG運(yùn)行用戶為數(shù)據(jù)庫(kù)保留3-5天歸檔日志在重啟時(shí)需要從上次讀取日志重新開(kāi)始長(zhǎng)交易需要其開(kāi)始時(shí)段的日志當(dāng)前理論上可以通過(guò)腳本獲取當(dāng)前GoldenGate所需日志序列號(hào)，然后與RMAN等工具集成控制歸檔日志自動(dòng)刪除。在OGG后繼版本會(huì)有所增強(qiáng)。實(shí)施準(zhǔn)備–數(shù)據(jù)庫(kù)（源）打開(kāi)歸檔模式避免OGG重啟無(wú)法找到對(duì)應(yīng)日志配置parallelism（僅針對(duì)Oracle9i）將LOG_PARALLELISM參數(shù)設(shè)為1，OGG不支持大于1關(guān)閉recyclebin（僅針對(duì)DDL復(fù)制）Oracle10gR2andlater:將RECYCLEBIN初始化參數(shù)設(shè)置為OFF.Oracle10gR1:將_RECYCLEBIN初始化參數(shù)設(shè)置為FALSE.第二部分安裝實(shí)施最佳實(shí)踐安裝實(shí)施準(zhǔn)備安裝實(shí)施操作步驟√配置日常復(fù)制錯(cuò)誤處理OGG軟件安裝

（源和目標(biāo)）上傳和解壓OGG軟件檢查安裝目錄Owner是否是OGG運(yùn)行用戶配置環(huán)境變量如使用Oracle運(yùn)行用戶一般無(wú)需調(diào)整如非Oracle用戶則建議拷貝Oracle的profile文件，至少需配置如下環(huán)境變量PATHORACLE_SIDORACLE_HOMELD_LIBRARY_PATH(Solaris,Linux),LIBPATH(AIX),SHLIB_PATH(HPUX)配置完畢可以通過(guò)能否執(zhí)行sqlplus進(jìn)行初步驗(yàn)證使用ulimit–a檢查內(nèi)存等限制OGG軟件安裝-續(xù)（源和目標(biāo)）執(zhí)行g(shù)gsci,檢查是否能夠進(jìn)入OGG命令行界面執(zhí)行createsubdirs創(chuàng)建子目錄執(zhí)行editparammgr為manager配置參數(shù),然后嘗試啟動(dòng)mgr進(jìn)程如以上步驟均能順利執(zhí)行,則表明初步安裝成功.由于以上步驟并不影響生產(chǎn)庫(kù)運(yùn)行,可以在實(shí)施前幾天提前完成.打開(kāi)附加日志（源）以漸進(jìn)模式打開(kāi)附加日志第一步,在晚上或其他業(yè)務(wù)較空閑時(shí)段打開(kāi)數(shù)據(jù)庫(kù)級(jí)最小附加日志第二步,經(jīng)過(guò)一段時(shí)間運(yùn)行觀察數(shù)據(jù)庫(kù)最小附加日志對(duì)數(shù)據(jù)庫(kù)是否有影響,觀察日志量的增加第三步,同樣選擇空閑時(shí)段打開(kāi)所需復(fù)制表的附加日志第四步,經(jīng)過(guò)一段時(shí)間運(yùn)行觀察數(shù)據(jù)庫(kù)是否有性能下降,歸檔日志量是否有明顯增加如何降低附加日志影響（☆）排除一些應(yīng)用的中間表盡量排除無(wú)主鍵和唯一索引表(記錄全部列會(huì)導(dǎo)致日志量顯著增加)或給他們加上主鍵創(chuàng)建OGG所需數(shù)據(jù)庫(kù)用戶（源和目標(biāo)）OGG用戶在源端所需權(quán)限(DML)GRANTCONNECTTOgoldengate;GRANTALTERANYTABLETOgoldengate;//用于添加表附加日志GRANTALTERSESSIONTOgoldengate;GRANTCREATESESSIONTOgoldengate;GRANTFLASHBACKANYTABLETOgoldengate;GRANTSELECTANYDICTIONARYTOgoldengate;GRANTSELECTANYTABLETOgoldengate;GRANTRESOURCETOgoldengate;目標(biāo)端DML復(fù)制需所有源端權(quán)限加上GRANTINSERTANYTABLETOgoldengate;GRANTUPDATEANYTABLETOgoldengate;GRANTDELETEANYTABLETOgoldengate;如需復(fù)制DDL,則兩端均需要sysdba權(quán)限grantsysdbatogoldengate;OGG最佳實(shí)踐–宕機(jī)初始化完成前面所述的所有準(zhǔn)備工作根據(jù)約定時(shí)間停止業(yè)務(wù)應(yīng)用源端鎖定除去OGG數(shù)據(jù)庫(kù)用戶以外其余所有用戶停止Oracle內(nèi)部的所有Job關(guān)閉數(shù)據(jù)庫(kù)重新啟動(dòng)數(shù)據(jù)庫(kù)配置OGG抽取進(jìn)程和本地隊(duì)列啟動(dòng)OGG抽取進(jìn)程,驗(yàn)證抽取進(jìn)程是否可以正常啟動(dòng),主要是驗(yàn)證是否能正常讀取日志觀察是否有數(shù)據(jù)被抽取出來(lái),如有則說(shuō)明尚有其它連接在修改數(shù)據(jù),需找出原因并停止停止OGG抽取進(jìn)程可使用腳本記錄部分主要表或所有表記錄總數(shù)關(guān)閉數(shù)據(jù)庫(kù)OGG最佳實(shí)踐–宕機(jī)初始化(續(xù)一)源端使用RMAN/可傳輸表空間/BCV等方式將數(shù)據(jù)導(dǎo)出在源端打開(kāi)數(shù)據(jù)庫(kù)啟動(dòng)源端抽取進(jìn)程(也可重新配置一遍,注意清除舊的隊(duì)列)解開(kāi)鎖定的其它用戶,恢復(fù)job啟動(dòng)應(yīng)用觀察數(shù)據(jù)抽取是否正常目標(biāo)端將數(shù)據(jù)導(dǎo)入到目標(biāo)庫(kù)打開(kāi)數(shù)據(jù)庫(kù)解鎖其它用戶(如允許也可保持鎖定狀態(tài)防止修改數(shù)據(jù))對(duì)比記錄的源端數(shù)據(jù)庫(kù)記錄數(shù)與目標(biāo)記錄數(shù)是否相同,驗(yàn)證恢復(fù)完成禁止目標(biāo)庫(kù)Trigger禁止目標(biāo)庫(kù)中cascadedelete處理其它對(duì)象如刪除或者重建物化視圖等OGG最佳實(shí)踐–宕機(jī)初始化(續(xù)二)源端配置DataPump和遠(yuǎn)程隊(duì)列啟動(dòng)DataPump觀察數(shù)據(jù)傳輸是否正常目標(biāo)端配置Replicat注意目標(biāo)端用戶權(quán)限比源端多幾個(gè)啟動(dòng)Replicat觀察數(shù)據(jù)是否正常注:此時(shí)一般將reperr設(shè)置為abended模式(即默認(rèn)模式)并配置discardfile參數(shù),遇有錯(cuò)誤進(jìn)程可以立即中止,便于及時(shí)查找錯(cuò)誤如Replicat速度跟不上隊(duì)列增長(zhǎng)速度,需進(jìn)行Replicat拆分,具體方法見(jiàn)調(diào)優(yōu)部分OGG最佳實(shí)踐–基于SCN號(hào)的無(wú)宕機(jī)初始化前提條件客戶具有能夠?qū)⒛繕?biāo)恢復(fù)到某一特定SCN號(hào)的備份/恢復(fù)工具RMAN(強(qiáng)烈推薦)Exp/imp操作步驟源端完成前面所述的所有準(zhǔn)備工作配置OGG抽取進(jìn)程和本地隊(duì)列啟動(dòng)OGG抽取進(jìn)程并記錄開(kāi)始時(shí)間查詢數(shù)據(jù)庫(kù)中當(dāng)前交易最早的開(kāi)始時(shí)間,直到該時(shí)間超過(guò)OGG抽取啟動(dòng)時(shí)間點(diǎn)查詢和記錄此時(shí)SCN號(hào)為最小所需SCN可每隔半小時(shí)或一小時(shí)重新查詢SCN號(hào)和記錄此時(shí)全庫(kù)所有表或部分關(guān)鍵業(yè)務(wù)表中記錄數(shù)OGG最佳實(shí)踐–基于SCN號(hào)的無(wú)宕機(jī)初始化(續(xù)一)目標(biāo)端使用備份/恢復(fù)工具恢復(fù)目標(biāo)庫(kù)到指定SCN號(hào)如果是RMAN可以邊恢復(fù)邊觀察,直到恢復(fù)出來(lái)的SCN號(hào)和時(shí)間點(diǎn)大于記錄的最小所需SCN號(hào)查詢目標(biāo)庫(kù)中全部表或關(guān)鍵表記錄,看其是否大致符合源端記錄數(shù)源端使用logdump查找目標(biāo)SCN的相鄰SCN號(hào)可以在logdump中通過(guò)ggstokendetail顯示SCN號(hào)注意:SCN號(hào)只存在于每個(gè)交易的第一條記錄中注意:logdump沒(méi)有命令定位相鄰SCN,只能首先通過(guò)時(shí)間戳判定應(yīng)該在某幾個(gè)隊(duì)列文件中,然后檢查各個(gè)隊(duì)列中第一個(gè)記錄的SCN號(hào),再根據(jù)二分發(fā)查找符合條件的SCN邊界查找該位置之前小于該SCN號(hào)的若干條記錄,其在目標(biāo)端狀態(tài)應(yīng)為Insert:應(yīng)當(dāng)在目標(biāo)端存在Delete:應(yīng)當(dāng)在目標(biāo)端不存在Update:應(yīng)當(dāng)在目標(biāo)端存在,但具體值可能與目標(biāo)不符OGG最佳實(shí)踐–基于SCN號(hào)的無(wú)宕機(jī)初始化(續(xù)二)源端查找該位置之后大于該SCN號(hào)的若干條記錄,對(duì)其在目標(biāo)端狀態(tài)進(jìn)行核實(shí)Insert:應(yīng)當(dāng)在目標(biāo)端不存在Delete:應(yīng)當(dāng)在目標(biāo)端存在Update:應(yīng)當(dāng)在目標(biāo)端存在如通過(guò)上面幾條驗(yàn)證,則證明目標(biāo)確實(shí)精確恢復(fù)到指定SCN對(duì)目標(biāo)端Trigger/CascadeDelete/物化視圖等進(jìn)行處理配置DataPump并啟動(dòng)數(shù)據(jù)傳輸目標(biāo)端配置Replicat注:此時(shí)一般將reperr設(shè)置為abended模式(即默認(rèn)模式)并配置discardfile參數(shù),遇有錯(cuò)誤進(jìn)程可以立即中止,便于及時(shí)查找錯(cuò)誤使用以下命令啟動(dòng)ReplicatStartmyrep,AFTERCSN<目標(biāo)恢復(fù)到的CSN>觀察數(shù)據(jù)復(fù)制是否正常Replicat使用數(shù)據(jù)庫(kù)檢查點(diǎn)Replicat的數(shù)據(jù)庫(kù)檢查點(diǎn)是可選的，但強(qiáng)烈建議采用文件檢查點(diǎn)的讀寫(xiě)與交易的提交是分離的數(shù)據(jù)庫(kù)檢查點(diǎn)可以與交易一起進(jìn)行提交，可以更好的保證數(shù)據(jù)一致性使用數(shù)據(jù)庫(kù)檢查點(diǎn)的方法在OGG安裝根目錄下編輯GLOBALS文件加入一行指定檢查點(diǎn)表：

CHECKPOINTTABLEgoldengate.checkpoint_tab重起Mgr進(jìn)程，進(jìn)入ggsci生成檢查點(diǎn)表（該用戶需要有建表權(quán)限）：

dbloginuseridgoldengate,passwordgoldengate addcheckpointtable添加Replicat時(shí)不要使用nodbcheckpoint，會(huì)自動(dòng)使用預(yù)定義檢查點(diǎn)表

addreprepda,exttrail/ggs/dirdat/da問(wèn)題：GGSERROR516Extractread…可能原因是檢查點(diǎn)表不存在或者表中該進(jìn)程對(duì)應(yīng)檢查點(diǎn)行已損壞通過(guò)inforeplicat命令查看文件檢查點(diǎn)，若無(wú)問(wèn)題可以在OGG安裝目錄下使用convchk工具使replicat重啟時(shí)重建檢查點(diǎn)表中的檢查點(diǎn)

convchk<groupname><schema>.<table>目標(biāo)庫(kù)常見(jiàn)特殊處理禁止目標(biāo)端所有Trigger,防止次生數(shù)據(jù)產(chǎn)生禁止目標(biāo)端所有cascadedelete引用,OGG復(fù)制過(guò)來(lái)的delete操作會(huì)跟自動(dòng)刪除產(chǎn)生沖突物化視圖刪除目標(biāo)端無(wú)用的物化視圖如目標(biāo)端需要物化視圖,則可以在目標(biāo)端重建,避免使用OGG復(fù)制物化視圖本身數(shù)據(jù)如需復(fù)制源端物化視圖到目標(biāo)物化視圖,需參考相關(guān)手冊(cè)注意:物化視圖均包含有一個(gè)基表,在參數(shù)文件中使用*時(shí)需要通過(guò)tableexclude或者mapexclude排除第二部分安裝實(shí)施最佳實(shí)踐安裝實(shí)施準(zhǔn)備安裝實(shí)施操作步驟配置日常復(fù)制錯(cuò)誤處理√O(píng)GG最佳實(shí)踐–配置數(shù)據(jù)復(fù)制錯(cuò)誤處理一般只針對(duì)于目標(biāo)端的Replicat進(jìn)程常用參數(shù)reperrordefault,ABEND