Oracle管理初嘗oracleGoldenGate備份軟件

1、初嘗 oracle GoldenGate 備份軟件 前言 GoldenGate 軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件，它通過解析源數(shù)據(jù)庫(kù)在線日志或 歸檔日志獲得數(shù)據(jù)的增量變化， 再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)， 從而實(shí)現(xiàn)源數(shù)據(jù)庫(kù)與目標(biāo) 數(shù)據(jù)庫(kù)同步。 GoldenGate 可以在異構(gòu)的 IT 基礎(chǔ)結(jié)構(gòu) (包括幾乎所有常用操作系統(tǒng)平臺(tái)和數(shù) 據(jù)庫(kù)平臺(tái))之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒一級(jí)的實(shí)時(shí)復(fù)制 ,從而在可以在應(yīng)急系統(tǒng)、在線報(bào)表、實(shí) 時(shí)數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)、交易跟蹤、數(shù)據(jù)同步、集中 /分發(fā)、容災(zāi)等多個(gè)場(chǎng)景下應(yīng)用。 同時(shí)， GoldenGate 可以實(shí)現(xiàn)一對(duì)一、廣播 ( 一對(duì)多 )、聚合 (多對(duì)一 )、雙向、點(diǎn)對(duì)點(diǎn)、級(jí)

2、聯(lián)等 多種靈活的拓?fù)浣Y(jié)構(gòu)。 環(huán)境要求： 1. 支持的平臺(tái) 支持的 Oracle Database 版本 在當(dāng)前的 Oracle GoldenGate 10.4 版本中 ,支持如下 Oracle Database 版本 Oracle 8i (DML support only) Oracle 9.1 and 9.2 (DML and DDL support) Oracle 10.1 and 10.2 (DML and DDL support) Oracle 11g (DML and DDL support) 支持的操作系統(tǒng)平臺(tái) 幾乎所有主流的操作系統(tǒng) ,GoldenGate 都支持 Windows

3、 2000, 2003, XP,Linux,Sun Solaris,HP NonStop,HP-UX 2. 操作系統(tǒng)需求 內(nèi)存要求 GoldenGate 對(duì)操作系統(tǒng)內(nèi)存的需求主要取決于 Extract 和 Replicat 進(jìn)程數(shù)，一般建議 2G 。 DISK 空間需求 由于要數(shù)據(jù)庫(kù)必須設(shè)置為歸檔模式，所以要求至少保存 7 天以上的日志，建議剩余空 間在 10G100G 之間。 對(duì)于 RAC 環(huán)境 對(duì)于 RAC 環(huán)境 ,GoldenGate 的相關(guān)軟件和工作目錄需要配置在 shared disk 環(huán)境中 ,從而保證 對(duì)所有 node 都是可用的 , 從任何一個(gè) node 都可以啟動(dòng) Golde

4、nGate 的進(jìn)程 ,當(dāng)其中一個(gè) node 出現(xiàn)異常時(shí) ,可以在剩余的 node 啟動(dòng)而無須修改任何配置參數(shù)。否則如果運(yùn)行在單個(gè) node 上的話，需要將剩余node中的歸檔日志通過一定的技術(shù)共享出來并加載到 GoldenGate運(yùn)行節(jié) 點(diǎn)。 對(duì)于 RAC 環(huán)境 ，GoldenGate 要求所有 node 必須保持時(shí)鐘同步 ，同時(shí)必須保持所有 RAC node 和運(yùn)行 extract 進(jìn)程的 node 節(jié)點(diǎn)保持時(shí)鐘同步。因?yàn)?GoldenGate 會(huì)比較本地的系統(tǒng)時(shí)間和 commit 的時(shí)間戳。所以不能忽略這個(gè)設(shè)置。否則可能導(dǎo)致數(shù)據(jù)復(fù)制的紊亂。 3. 數(shù)據(jù)庫(kù)需求 數(shù)據(jù)庫(kù)客戶端 GoldenGa

5、te 需要安裝 full Oracle client， 以便于 GoldenGate 程序訪問 Oracle XDK libraries 。 數(shù)據(jù)庫(kù)用戶 建議使用sys或任何其他具有 sysdba/sysasm權(quán)限的用戶。 數(shù)據(jù)庫(kù)配置 對(duì)于 Source Oracle Database 要求 數(shù)據(jù)庫(kù)處于歸檔模式下 打開補(bǔ)充日志 打開 force logging 分別配置連接源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的主機(jī)字符串 建立一個(gè)專門的用戶如 Goldengate 來負(fù)責(zé)將所需的數(shù)據(jù)同步到遠(yuǎn)端，而不是用已有的業(yè)務(wù) 用戶 這個(gè)用戶需要哪些權(quán)限呢 ? Create user goldengate identifi

6、ed by goldengate default tablespace users temporary tablespace temp quota unlimited on users ; GRANT CONNECT TO goldengate; GRANT ALTER ANY TABLE TO goldengate; GRANT ALTER SESSION TO goldengate; GRANT CREATE SESSION TO goldengate; GRANT FLASHBACK ANY TABLE TO goldengate; GRANT SELECT ANY DICTIONARY

7、 TO goldengate; GRANT SELECT ANY TABLE TO goldengate; GRANT RESOURCE TO goldengate; GRANT drop ANY TABLE TO goldengate; GRANT DBA TO goldengate; 注* 補(bǔ)充日志是否打開查詢語句： select supplemental_log_data_min from v$database; 打開補(bǔ)充日志語句： alter database add supplemental log data; 打開 force logging 語句： Alter database

8、force logging; 配置 golengate 環(huán)境： os linux 4.7 x86_64 數(shù)據(jù)庫(kù)： 10.0.2.1 64 位 IP 設(shè)置：源 192.168.8.1 目標(biāo) 192.168.8.2 SID: ORCL 1. 安裝 goldengate 軟件 在 oracle 官方網(wǎng)站上下載 goldengate 對(duì)應(yīng)平臺(tái)的安裝程序 進(jìn)入到 GoldenGate 的安裝目錄 . 運(yùn)行 GGSCI In GGSCI, issue the following command to create the GoldenGate working directories. CREATE SUB

9、DIRS Issue the following command to exit GGSCI. EXIT 2. 數(shù)據(jù)復(fù)制初始化 GoldenGate 中支持的 data load 方法有 Loading data with a database utility Loading data from file to Replicat Loading data from file to database utility Loading data with a GoldenGate direct load Loading data with a direct bulk load to SQL*Load

10、er Loading tables with Teradata table copy Loading data with Teradata load utilities 注 * 這點(diǎn)我沒怎么研究，我采用的 rman 異地恢復(fù) 3. 配置進(jìn)程 第一步 : 在源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)分別配置管理進(jìn)程 mgr GGSCI edit params mgr port 7809 (保存退出 ) GGSCI start mgr Manager started. GGSCI info all ProgramStatus Group Lag ime Since Chkpt MANAGER RUNNING (可以正常

11、啟動(dòng) ) 第二步：源數(shù)據(jù)庫(kù)增加兩個(gè)進(jìn)程 *.一般源數(shù)據(jù)庫(kù)需要應(yīng)配置兩個(gè)進(jìn)程，一個(gè)負(fù)責(zé)抽取數(shù)據(jù) (ZLE_01) ，另一個(gè)負(fù)責(zé)投遞數(shù)據(jù) (ZLE_02) ，默認(rèn)只支持 DML ，如果要支持 DDL 需要執(zhí)行一些單獨(dú)的配置。 在源數(shù)據(jù)庫(kù)系統(tǒng)中執(zhí)行如下命令增加一個(gè) Extract group, 詳細(xì)的 ADD EXTRACT 語法參見官 方手冊(cè)說明或 GGSCI 的 online help. GGSCI add extract , TRANLOG, BEGIN NOW, THREADS 其中 group name 表示這個(gè) Extract group 的名字 TRANLOG 表示使用事務(wù)日志的方式

12、BEGIN NOW 表示從現(xiàn)在開始 ,你也可以指定一個(gè)具體的開始時(shí)間 THREADS 表示從哪個(gè) instance 上運(yùn)行 ,只對(duì) RAC 環(huán)境有用 ,單機(jī)環(huán)境比需要指定該 Option 2.1 配置抽取進(jìn)程 我這里是單機(jī)環(huán)境 ,extract group name 定義為 zle_01 GGSCI DBLOGIN USERID goldengateorcl1, PASSWORD goldengate GGSCI add extract ZLE_01, tranlog,begin now EXTRACT added. GGSCI add RMTTRAIL ./dirdat/ra, extrac

13、t zle_01, megabytes 50 查看一下剛才定義的這個(gè) extract process 的結(jié)果 GGSCI info extract zle_01 EXTRACT ZLE_01 Initialized 2010-01-19 11:50 Status STOPPED Checkpoint Lag 00:00:00 (updated 00:00:22 ago) Log Read Checkpoint Oracle Redo Logs 2010-01-19 11:50:39 Seqno 0, RBA 0 補(bǔ)充一個(gè)命令 : info extract zle_01, showch 看的更詳

14、細(xì) 為該抽取 Extract 進(jìn)程配置參數(shù)文件，在源數(shù)據(jù)庫(kù)執(zhí)行如下命令 GGSCI edit param zle_01 增加如下內(nèi)容 EXTRACT ZLE_01 SETENV (ORACLE_SID=ORCL) USERID goldengateORCL1, PASSWORD goldengate RMTHOST 192.168.8.1, MGRPORT 9001 RMTTRAIL ./dirdat/ra TABLE ZLHIS.TEST; RMTTRAIL 告訴 extract process 需要將 trail 文件寫到哪里 TABLE 部分說明我這個(gè) Extract 進(jìn)程只處理 ZLH

15、IS 用戶下的 TEST 表 好了 ,到這里就可以啟動(dòng)上面定義的 Capture 進(jìn)程了 ,執(zhí)行如下命令 GGSCI start extract zle_01 Sending START request to MANAGER (mgr) . EXTRACT ZLE_01 starting GGSCI Verify the results: GGSCI info EXTRACT ZLE_01, DETAIL GGSCI view REPORT ZLE_01 GGSCI info extract ZLE_01 好了 ,到這里就完成了一個(gè)最簡(jiǎn)單的抽取 Extract process 的配置并啟動(dòng)，下

16、面來配置投遞 Extract process 進(jìn)程。 2.2 配置投遞進(jìn)程 在 Source 系統(tǒng)執(zhí)行如下命令 GGSCI ADD EXTRACT ZLE_02, EXTTRAILSOURCE ./dirdat/ra, BEGIN now GGSCI ADD RMTTRAIL ./dirdat/la, EXTRACT ZLE_02 *(./dirdat/la 為遠(yuǎn)端接收目錄 ,必須存在 ) GGSCI edit params zle_02 添加內(nèi)容如下： extract ZLE_02 dynamicresolution PASSTHRU rmthost 192.168.8.2, mgrport

17、 9001, compress rmttrail ./dirdat/la numfiles 3000 TABLE ZLHIS.TEST ; GGSCI start extract zle_02 Sending START request to MANAGER (mgr) . EXTRACT ZLE_02 starting 查看下狀態(tài)： GGSCI info all 2.3 配置接收進(jìn)程 在目標(biāo)系統(tǒng)(Target system)上執(zhí)行如下命令增加一個(gè)復(fù)制組 (Replicat Group) GGSCI DBLOGIN USERID goldengateorcl2, PASSWORD golden

18、gate GGSCIadd replicat ZLR_01, EXTTRAIL ./dirdat/la , nodbcheckpoint 注,我這個(gè)中配置 Extract process 那個(gè)示例對(duì)應(yīng)的 ,所以這里的 exttrail 文件名正好是 process中定義的RMTTRAIL ./dirdat/la 這點(diǎn)需要大家注意. GGSCI edit param ZLR_01 增加如下內(nèi)容并保存退出 REPLICAT ZLR_01 SETENV (ORACLE_SID=ORCL) USERID goldengateORCL2, PASSWORD goldengate HANDLECOLLIS

19、IONS ASSUMETARGETDEFS allownoopupdates dynamicresolution numfiles 3000 DISCARDFILE ./dirrpt/ ZLR_01.DSC,append,megabytes 10 map ZLHIS.TEST , target ZLHIS.TEST ; 在Target系統(tǒng)中,執(zhí)行如下命令 GGSCI start replicat ZLR_01 Verify the results: GGSCI info replicat ZLR_01 REPLICAT ZLR_01 Last Started 2010-01-19 13:50

20、Status RUNNING Checkpoint Lag 00:00:00 (updated 00:00:03 ago) Program Status Group Lag MANAGER RUNNING EXTRACT RUNNING ZLE_01 EXTRACT RUNNING ZLE_02 Time Since Chkpt 00:00:00 00:00:05 00:00:00 00:00:07 Extract Log Read Checkpoint File ./dirdat/la000000 First Record RBA 0 查看下狀態(tài)： GGSCI info all Progra

21、m Status Group Lag Time Since Chkpt MANAGER RUNNING REPLICAT RUNNING ZLR_01 00:00:00 00:00:09 測(cè)試效果 在源數(shù)據(jù)庫(kù)分別插入、修改、刪除一條數(shù)據(jù)。 查看抽取進(jìn)程狀態(tài)： GGSCI stats ZLE_01 Sending STATS request to EXTRACT ZLE_01 . Start of Statistics at 2010-01-26 02:53:01. Output to ./dirdat/ra: Extracting from ZLHIS.TEST to ZLHIS.TEST:

22、* Total statistics since 2010-01-26 02:15:01 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Daily statistics since 2010-01-26 02:15:01 Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Hourly s

23、tatistics since 2010-01-26 02:15:01 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Latest statistics since 2010-01-26 02:15:01 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 End of Statistic

24、s. 可以看到已經(jīng)有記錄，而且已經(jīng)抽取成功，再查看投遞進(jìn)程 GGSCI stats ZLE_02 Sending STATS request to EXTRACT ZLE_02 . Start of Statistics at 2010-01-26 03:04:13. Output to /u01/ggs/dirdat/re: Extracting from ZLHIS.TEST to ZLHIS.TEST: * Total statistics since 2010-01-26 02:14:25 * Total inserts 1.00 Total updates 1.00 Total de

25、letes 1.00 Total discards 0.00 Total operations 3.00 Daily statistics since 2010-01-26 02:14:25 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 Hourly statistics since 2010-01-26 03:00:00 * No database operations have been performed. * Latest stat

26、istics since 2010-01-26 02:14:25 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 End of Statistics. 切換到目標(biāo)數(shù)據(jù)庫(kù)環(huán)境， 同樣查看接受應(yīng)用進(jìn)程。 GGSCI stats ZLR_01 Sending STATS request to REPLICAT ZLR_01 Start of Statistics at 2010-01-26 05:58:36. Replicating from ZL

27、HIS.TEST to ZLHIS.TEST: * Total statistics since 2010-01-26 04:46:57 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Daily statistics since 2010-01-26 04:46:57 * Total inserts 1.00 Total updates 1.00 Total deletes 1.00 Total discards 0.00 Total operations 3.00 * Hourly statistics since 2010-01-26 05:00:00 * Total inserts 0.00 Total u