goldengate從入門到精通相關(guān)配置

Goldengate從入門到精通講師顧鐵軍Goldengate從入門到精通第4周Goldengate相關(guān)配置DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)法律聲明【聲明】本視頻和幻燈片為煉數(shù)成金網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散課播程，詳違情者訪將問(wèn)可煉能數(shù)被成追金究培法訓(xùn)律網(wǎng)和站經(jīng)濟(jì)責(zé)任。DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)AgendaDDL復(fù)制的配置GOLDENGATE12c

DDL復(fù)制的新特性Truncate復(fù)制sequence復(fù)制的配置Goldengate從壓入門縮到配精通置講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DDL的復(fù)制目前只支持oracle和teradata的ddl復(fù)制Oracle數(shù)據(jù)庫(kù)能夠支持除去數(shù)據(jù)庫(kù)系統(tǒng)對(duì)象之外所有對(duì)象DDL變化的復(fù)制Goldengate從兩入門種到配精通置方講師法顧鐵軍基于Trigger的DDL復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍原理源庫(kù)建立一個(gè)Oracle全庫(kù)級(jí)的Trigger捕捉DDL操作到中間表

Extract讀取中間表DDL語(yǔ)句并與DML語(yǔ)句根據(jù)csn排序目標(biāo)端重現(xiàn)該DDL操作sql語(yǔ)句特點(diǎn)DDL和DML復(fù)制原理不同DDL復(fù)制基于Trigger，DML復(fù)制基于日志，兩者的復(fù)制機(jī)理不同，其數(shù)據(jù)捕捉是沒(méi)有聯(lián)系的，只是在主Extract進(jìn)程中通過(guò)scn號(hào)按照發(fā)生的順序進(jìn)行組裝，保證DDL操作和DML操作按照其原來(lái)的順序執(zhí)行?；赥rigger的DDL復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍特點(diǎn)（續(xù)）DDL和DML復(fù)制相互獨(dú)立DDL復(fù)制的Trigger建立和啟用后，無(wú)論DML復(fù)制是否運(yùn)行，該Trigger一直在發(fā)生作用，捕捉DDLsql語(yǔ)句到中間表。因此，DML復(fù)制的起停并不影響DDL的捕獲；DDL

Trigger的啟用和停止并不影響DML復(fù)制，只是該Trigger被禁止后不再抓取DDL操作；只是在Extract進(jìn)行組裝時(shí)根據(jù)scn號(hào)進(jìn)行排序，沒(méi)有其它任何聯(lián)系；DDL復(fù)制只是簡(jiǎn)單的sql復(fù)制通過(guò)Trigger捕捉DDL其實(shí)就是抓取原始的sql語(yǔ)句并發(fā)送到目標(biāo)重新執(zhí)行一遍打開(kāi)DDL復(fù)制能夠可以自動(dòng)創(chuàng)建每次補(bǔ)丁新建和修改的對(duì)象，并自動(dòng)維護(hù)對(duì)應(yīng)的附加日志，無(wú)需人工介入，減少人工工作量基于Trigger的DDL復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍使用原則兩端必須是Oralce數(shù)據(jù)庫(kù)；（不支持standby

DB的DDL抽?。┲С蛛p向復(fù)制的DDL（只支持2個(gè)節(jié)點(diǎn)）兩端的表結(jié)構(gòu)保持一致；（replicat：ASSUMETARGETDEFS

）不支持DDL

transform（但是支持map和filter）；DDL語(yǔ)句小于2M大??；pump進(jìn)程不負(fù)責(zé)任何的map和filter，使用PASSTHRU數(shù)據(jù)庫(kù)每日產(chǎn)生日志量不宜過(guò)大（如：100GB以下）；應(yīng)用系統(tǒng)在數(shù)據(jù)庫(kù)中不能有頻繁的DDL操作，如頻繁建立中間表等操作；extract是默認(rèn)關(guān)閉DDL的，而data

pump進(jìn)程和replicat的ddl開(kāi)關(guān)默認(rèn)是打開(kāi)的；所以只要在

extract進(jìn)程中配置DDL復(fù)制即可，但是建議在replicat中配置DDL相關(guān)屬性；replicat進(jìn)程默認(rèn)是所有DDL都復(fù)制，如果有多個(gè)replicat進(jìn)程，如果在參數(shù)中不進(jìn)行復(fù)制范圍限制，必然引起DDL的重復(fù)復(fù)制，所以在每個(gè)replicat進(jìn)程都需要進(jìn)行配置；Goldengate用戶和Oracle數(shù)據(jù)庫(kù)自帶的用戶的DDL操作將不會(huì)被復(fù)制當(dāng)開(kāi)啟Full

DDL(ALL

Scope)支持時(shí)，不需要在參數(shù)文件中使用GETTRUNCATES參數(shù)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍DDL復(fù)制范圍界定Goldengate從入門到精通講師顧鐵軍DDL [

{INCLUDE

|

EXCLUDE}[,

OBJTYPE

‘<type>’][,

OBJNAME

“<name>”][,

INSTR

‘<string>’][,

MAPPED

|

UNMAPPED

|

OTHER

|

ALL]Extract參數(shù)：[,

OPTYPE

<type>]ALL：表示復(fù)制所有DDL操作，即所有源庫(kù)產(chǎn)生的DDL操作均會(huì)被放到隊(duì)列之中MAPPED：表示只復(fù)制在后面所有table參數(shù)指定的表所像關(guān)聯(lián)的對(duì)象，如索引、列的變化等。如果要復(fù)制新建的表，那么這些表必須顯式列在table語(yǔ)句里或者符合table中使用匹配的條件。UNMAPPED：表示只復(fù)制不在table范圍內(nèi)的表的相關(guān)DDLOTHER：該范圍表示表無(wú)關(guān)的DDL操作。例如，對(duì)數(shù)據(jù)庫(kù)本身、用戶、表空間、數(shù)據(jù)文件的操作。一般實(shí)際環(huán)境中不常使用該范圍，只有客戶需要對(duì)特定操作進(jìn)行復(fù)制時(shí)方才使用。DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DDL復(fù)制參數(shù)示例Extract參數(shù)：DDL

&INCLUDE

MAPPED

OBJTYPE

"table"

&INCLUDE

MAPPED

OBJTYPE

"index"Goldendgdatleo從p入t門io到n精s通ad講d師tr顧a鐵nd軍ata,nocrossrename為降低出錯(cuò)幾率，建議只復(fù)制Map范圍內(nèi)的表和索引等主要對(duì)象；如果要復(fù)制新建表，該表必須在后面table指定范圍內(nèi)（一般用*）Trandata：自動(dòng)更新附加日志，也可用addschematrandataDDL

trigger方式的配置Demo配置基于trigger的幾個(gè)小問(wèn)題：數(shù)據(jù)庫(kù)是Oracle10g，需要關(guān)閉recycle

binGoldengate需要獨(dú)立的表空間執(zhí)行ddl_setup.sql之前，需要明確授權(quán)：create

table、create

sequence，即使有DBA權(quán)限也不行DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍配置過(guò)程中創(chuàng)建的主要對(duì)象DDL

markertable:GGS_MARKER（存儲(chǔ)數(shù)據(jù)庫(kù)里面所有的DDL語(yǔ)句，基本相當(dāng)于log里面的內(nèi)容，GGS_MARKER_SEQ為GGS_MARKER生成PK；每條DDL兩條記錄：語(yǔ)句+環(huán)境信息（比如：C5-GGS_MARKER

Sequence

Number;

B2

-

Object

ID;

B7

-

DDL_HIST

Sequence

Number;））；可以在GLOBALS中自定義表名MARKERTABLE，不指定就用默認(rèn)名稱；DDL

historytable:GGS_DDL_HIST（存儲(chǔ)oracle非系統(tǒng)用戶的DDL語(yǔ)句（當(dāng)然要符合DDLINCLUDEALL），但是不包括create語(yǔ)句；GGS_DDL_SEQ為GGS_DDL_HIST生成PK）；可以在GLOBALS中自定義表名DDLTABLE，不指定就用默認(rèn)名稱；DDL

Trigger：GGS_DDL_TRIGGER_BEFORE（sys用戶下，調(diào)用ddl_setup過(guò)程中的用戶下的package：DDLReplication，同時(shí)向GGS_MARKER表和GGS_DDL_HIST插入記錄）源庫(kù)執(zhí)行DDL->觸發(fā)器觸發(fā)，在OGGDDL表中存儲(chǔ)語(yǔ)句->DDL操作記錄日志->抽取進(jìn)程從DDL表中查找DDL記錄->抽取進(jìn)程在trail文件中存儲(chǔ)DDL語(yǔ)句以及屬性（涉及到和DML語(yǔ)句之間的排序）DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DDL

log數(shù)據(jù)庫(kù)USER_DUMP_DSET目錄下：/u01/app/oracle/diag/rdbms/sourcedb/sourcedb/trace/ggs_ddl_trace.logDUMPDDL

show需先dblogin實(shí)際數(shù)據(jù)就是GGS_DDL_HIST的數(shù)據(jù)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)對(duì)象的維護(hù)定期清除數(shù)據(jù)Maker表數(shù)據(jù)：mgr參數(shù)配置PURGEMARKERHISTORYMINKEEPDAYS3,

MAXKEEPDAYS5,

FREQUENCYMINUTES

30每30分鐘purge一次（保持最近3天未修改過(guò)的記錄，但是超過(guò)5天未改變的記錄將purge）ddl

history數(shù)據(jù)清除：PURGEDDLHISTORYMINKEEPDAYS3,

MAXKEEPDAYS5,

FREQUENCYMINUTES

30每30分鐘purge一次（保持最近3天未修改過(guò)的記錄，但是超過(guò)5天未改變的記錄將purge）如果碎片化嚴(yán)重，shrinkspace方式來(lái)處理

Trace文件清理：ddl_cleartrace.sqlGoldengate從入門到精通講師顧鐵軍幾個(gè)特例說(shuō)明DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍和目標(biāo)數(shù)據(jù)一致性有關(guān)的測(cè)試：create

job是不支持復(fù)制的；create

trigger是可以復(fù)制的，且enable狀態(tài)，所以必須手工設(shè)置為disable或replicat參數(shù)；Create

tablespace是可以復(fù)制的，可以支持復(fù)制到不同文件目錄；樣例：DDLSUBST

"/ora10g/oradata/src/"with

"/ora11g/oradata/trg/"CTAS語(yǔ)句的復(fù)制：最終結(jié)果按照本地的數(shù)據(jù)來(lái)（如：create

table

**

as

select

*

fromdba_objects）rename

t1

to

t2會(huì)被轉(zhuǎn)換成alter

table

t1

rename

to

t2（view

report

rep1）flashback

table

*

to

scn

****--可以支持復(fù)制flashback

table

*

to

before

drop--不支持復(fù)制DDL的復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍需要考慮的問(wèn)題性能下降-尤其是在表中有多個(gè)partition的情況下捕獲DDL語(yǔ)句的Trigger是全庫(kù)級(jí)別的Trigger，即該數(shù)據(jù)庫(kù)上的任何一個(gè)DDL操作無(wú)論其是否在復(fù)制范圍內(nèi)均會(huì)觸發(fā)該Trigger并被記錄到中間表供Extract進(jìn)程刪選。因此啟用DDL復(fù)制會(huì)導(dǎo)致源庫(kù)的

DDL操作全部觸發(fā)Trigger，如果數(shù)據(jù)庫(kù)日常業(yè)務(wù)量較多并且DDL操作較多，會(huì)導(dǎo)致數(shù)據(jù)庫(kù)性能下降很多不一定能復(fù)制成功：映射問(wèn)題由于兩端數(shù)據(jù)庫(kù)總存在物理和邏輯上的不同，例如兩邊的安裝目錄和數(shù)據(jù)文件、表空間等會(huì)有所區(qū)別，造成同樣的DDL語(yǔ)句在源端能夠執(zhí)行但無(wú)法在目標(biāo)端執(zhí)行。雖然可以通過(guò)字符串替換預(yù)先定義和解決類似問(wèn)題，但DDL語(yǔ)句有可能在目標(biāo)重現(xiàn)后產(chǎn)生與源端不同結(jié)果，需要較多的維護(hù)操作。DDL性能調(diào)整DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)

Golden或gat者e從在入門GL到O精B通AL講文師件顧中鐵軍增加：DDLRULEHINT

/*+NO_UNNEST*/Params.sqldefine

_ddl_rule_hint

=

"/*+

NO_UNNEST*/‘OGG12c的native

DDL模式DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍版本要求：OGG12c；DB11204及以上；compatible設(shè)置11.2.0.4或以上；Downstream模式下，sourcedb也需要滿足以上要求集成抽取模式參數(shù)不變是否啟用DDLDATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍建議不啟用DDL，兩側(cè)都進(jìn)行升級(jí)如果一定要啟用，限制范圍（表、index）合理的升級(jí)流程：一定要考慮OGG的存在！Truncate復(fù)制的配置DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍如果配置了DDL復(fù)制，無(wú)需再單獨(dú)配置Truncate如果未配置DDL，在Extract和replicat參數(shù)文件中增加GETTRUNCATES就可以了，datapump測(cè)試下來(lái)無(wú)需加；但是在DB2數(shù)據(jù)庫(kù)復(fù)制環(huán)境下，pump也需要加GETTRUNCATES。DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)序列的復(fù)制序列的復(fù)制不包括在DDL復(fù)制中，需單獨(dú)配置序列的復(fù)制需確保：目標(biāo)序列的當(dāng)前值>=源端序列的當(dāng)前值（increment為正時(shí)）算法（在increment為正）：source_highwater_value+

(source_cache_size*

source_increment_size

*

source_RAC_nodes)<=

target_highwater_va個(gè)人建議：序列不加入復(fù)制！Goldenga建te議從序入列門在到獨(dú)精立通的講進(jìn)師程中顧復(fù)鐵制軍序列復(fù)制中的問(wèn)題DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍Cycle的影響達(dá)到maxvalue后，會(huì)切換成minvalue值，但是有序列源和目標(biāo)端算法限制，目標(biāo)端進(jìn)程必須在一直執(zhí)行nextval，直到maxvalue，所以表象就是replicat一直hang的狀態(tài)，checkpoint不向前移動(dòng)。。此時(shí)建議：復(fù)制排除recycle的序列或者臨時(shí)忽略sequence的復(fù)制。或者加參數(shù)DBOPTIONS

_MAXSEQUENCEDISTANCE

<n> n

–

源端和目標(biāo)端seq的值相差多少可以ignore現(xiàn)有的目標(biāo)上（已經(jīng)配置了序列復(fù)制）同時(shí)又配置了extract（配置了ddl

setup），extract會(huì)很慢，建議修改seq的cache大小，或者配置DBOPTIONS

_NOAUTOMATICSEQUENCEFLUSH來(lái)減少ALTER

SEQUENCE

CYCLE|NOCYCLE的產(chǎn)生。序列復(fù)制其他內(nèi)容DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍flush

sequence

***replicat默認(rèn)參數(shù)：CheckSequenceValue-確保復(fù)制過(guò)程中的算法。Nochecksequencevalue關(guān)閉校驗(yàn)算法壓縮配置

- 網(wǎng)絡(luò)傳輸如何設(shè)置壓縮配置Pump進(jìn)程：RMTHOST

×××,

MGRPORT

7809,

COMPRESS,

compressthreshold750Compressthreshold：大于該值的trail記錄塊進(jìn)行壓縮，取值從0到28000，默認(rèn)1000，設(shè)置為0表示全部進(jìn)行壓縮查看壓縮比SEND

EXTRACT

×××,

GETTCPSTATS查看

pressedbytes

/

Compressedbytes參數(shù)，計(jì)算得到OGG壓縮比參數(shù)的影響（TCPBUFSIZE、TCPFLUSHBYTES）-壓縮后是否能用足帶寬。RMTHOST

×××,

MGRPORT

7809,

TCPBUFSIZE

100000,

TCPFLUSHBYTES

300000,

COMPRESSTCPBUFSIZE具體算法：參考adminguide中19.3.4，但是建議算出來(lái)的值*(10-20)，TCPFLUSHBYTES不能低于TCPBUFSIZE，建議3-4倍大小；DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍Goldengate從入門到精通講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)OGG的加密用戶密碼加密Trial文件加密傳輸過(guò)程加密加密算法四種加密算法+ENCKEYS文件加密算法AES256ENCKEYS文件：源和目標(biāo)均存在Blowfish：最弱（64位