goldengate從入門到精通相關(guān)配置

Goldengate從入門到精通講師顧鐵軍Goldengate從入門到精通第4周Goldengate相關(guān)配置DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)法律聲明【聲明】本視頻和幻燈片為煉數(shù)成金網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散課播程，詳違情者訪將問可煉能數(shù)被成追金究培法訓(xùn)律網(wǎng)和站經(jīng)濟(jì)責(zé)任。DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)AgendaDDL復(fù)制的配置GOLDENGATE12c

DDL復(fù)制的新特性Truncate復(fù)制sequence復(fù)制的配置Goldengate從壓入門縮到配精通置講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DDL的復(fù)制目前只支持oracle和teradata的ddl復(fù)制Oracle數(shù)據(jù)庫能夠支持除去數(shù)據(jù)庫系統(tǒng)對象之外所有對象DDL變化的復(fù)制Goldengate從兩入門種到配精通置方講師法顧鐵軍基于Trigger的DDL復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍原理源庫建立一個(gè)Oracle全庫級的Trigger捕捉DDL操作到中間表

Extract讀取中間表DDL語句并與DML語句根據(jù)csn排序目標(biāo)端重現(xiàn)該DDL操作sql語句特點(diǎn)DDL和DML復(fù)制原理不同DDL復(fù)制基于Trigger，DML復(fù)制基于日志，兩者的復(fù)制機(jī)理不同，其數(shù)據(jù)捕捉是沒有聯(lián)系的，只是在主Extract進(jìn)程中通過scn號按照發(fā)生的順序進(jìn)行組裝，保證DDL操作和DML操作按照其原來的順序執(zhí)行?；赥rigger的DDL復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍特點(diǎn)（續(xù)）DDL和DML復(fù)制相互獨(dú)立DDL復(fù)制的Trigger建立和啟用后，無論DML復(fù)制是否運(yùn)行，該Trigger一直在發(fā)生作用，捕捉DDLsql語句到中間表。因此，DML復(fù)制的起停并不影響DDL的捕獲；DDL

Trigger的啟用和停止并不影響DML復(fù)制，只是該Trigger被禁止后不再抓取DDL操作；只是在Extract進(jìn)行組裝時(shí)根據(jù)scn號進(jìn)行排序，沒有其它任何聯(lián)系；DDL復(fù)制只是簡單的sql復(fù)制通過Trigger捕捉DDL其實(shí)就是抓取原始的sql語句并發(fā)送到目標(biāo)重新執(zhí)行一遍打開DDL復(fù)制能夠可以自動創(chuàng)建每次補(bǔ)丁新建和修改的對象，并自動維護(hù)對應(yīng)的附加日志，無需人工介入，減少人工工作量基于Trigger的DDL復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍使用原則兩端必須是Oralce數(shù)據(jù)庫；（不支持standby

DB的DDL抽?。┲С蛛p向復(fù)制的DDL（只支持2個(gè)節(jié)點(diǎn)）兩端的表結(jié)構(gòu)保持一致；（replicat：ASSUMETARGETDEFS

）不支持DDL

transform（但是支持map和filter）；DDL語句小于2M大??；pump進(jìn)程不負(fù)責(zé)任何的map和filter，使用PASSTHRU數(shù)據(jù)庫每日產(chǎn)生日志量不宜過大（如：100GB以下）；應(yīng)用系統(tǒng)在數(shù)據(jù)庫中不能有頻繁的DDL操作，如頻繁建立中間表等操作；extract是默認(rèn)關(guān)閉DDL的，而data

pump進(jìn)程和replicat的ddl開關(guān)默認(rèn)是打開的；所以只要在

extract進(jìn)程中配置DDL復(fù)制即可，但是建議在replicat中配置DDL相關(guān)屬性；replicat進(jìn)程默認(rèn)是所有DDL都復(fù)制，如果有多個(gè)replicat進(jìn)程，如果在參數(shù)中不進(jìn)行復(fù)制范圍限制，必然引起DDL的重復(fù)復(fù)制，所以在每個(gè)replicat進(jìn)程都需要進(jìn)行配置；Goldengate用戶和Oracle數(shù)據(jù)庫自帶的用戶的DDL操作將不會被復(fù)制當(dāng)開啟Full

DDL(ALL

Scope)支持時(shí)，不需要在參數(shù)文件中使用GETTRUNCATES參數(shù)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍DDL復(fù)制范圍界定Goldengate從入門到精通講師顧鐵軍DDL [

{INCLUDE

|

EXCLUDE}[,

OBJTYPE

‘<type>’][,

OBJNAME

“<name>”][,

INSTR

‘<string>’][,

MAPPED

|

UNMAPPED

|

OTHER

|

ALL]Extract參數(shù)：[,

OPTYPE

<type>]ALL：表示復(fù)制所有DDL操作，即所有源庫產(chǎn)生的DDL操作均會被放到隊(duì)列之中MAPPED：表示只復(fù)制在后面所有table參數(shù)指定的表所像關(guān)聯(lián)的對象，如索引、列的變化等。如果要復(fù)制新建的表，那么這些表必須顯式列在table語句里或者符合table中使用匹配的條件。UNMAPPED：表示只復(fù)制不在table范圍內(nèi)的表的相關(guān)DDLOTHER：該范圍表示表無關(guān)的DDL操作。例如，對數(shù)據(jù)庫本身、用戶、表空間、數(shù)據(jù)文件的操作。一般實(shí)際環(huán)境中不常使用該范圍，只有客戶需要對特定操作進(jìn)行復(fù)制時(shí)方才使用。DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DDL復(fù)制參數(shù)示例Extract參數(shù)：DDL

&INCLUDE

MAPPED

OBJTYPE

"table"

&INCLUDE

MAPPED

OBJTYPE

"index"Goldendgdatleo從p入t門io到n精s通ad講d師tr顧a鐵nd軍ata,nocrossrename為降低出錯(cuò)幾率，建議只復(fù)制Map范圍內(nèi)的表和索引等主要對象；如果要復(fù)制新建表，該表必須在后面table指定范圍內(nèi)（一般用*）Trandata：自動更新附加日志，也可用addschematrandataDDL

trigger方式的配置Demo配置基于trigger的幾個(gè)小問題：數(shù)據(jù)庫是Oracle10g，需要關(guān)閉recycle

binGoldengate需要獨(dú)立的表空間執(zhí)行ddl_setup.sql之前，需要明確授權(quán)：create

table、create

sequence，即使有DBA權(quán)限也不行DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍配置過程中創(chuàng)建的主要對象DDL

markertable:GGS_MARKER（存儲數(shù)據(jù)庫里面所有的DDL語句，基本相當(dāng)于log里面的內(nèi)容，GGS_MARKER_SEQ為GGS_MARKER生成PK；每條DDL兩條記錄：語句+環(huán)境信息（比如：C5-GGS_MARKER

Sequence

Number;

B2

-

Object

ID;

B7

-

DDL_HIST

Sequence

Number;））；可以在GLOBALS中自定義表名MARKERTABLE，不指定就用默認(rèn)名稱；DDL

historytable:GGS_DDL_HIST（存儲oracle非系統(tǒng)用戶的DDL語句（當(dāng)然要符合DDLINCLUDEALL），但是不包括create語句；GGS_DDL_SEQ為GGS_DDL_HIST生成PK）；可以在GLOBALS中自定義表名DDLTABLE，不指定就用默認(rèn)名稱；DDL

Trigger：GGS_DDL_TRIGGER_BEFORE（sys用戶下，調(diào)用ddl_setup過程中的用戶下的package：DDLReplication，同時(shí)向GGS_MARKER表和GGS_DDL_HIST插入記錄）源庫執(zhí)行DDL->觸發(fā)器觸發(fā)，在OGGDDL表中存儲語句->DDL操作記錄日志->抽取進(jìn)程從DDL表中查找DDL記錄->抽取進(jìn)程在trail文件中存儲DDL語句以及屬性（涉及到和DML語句之間的排序）DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)DDL

log數(shù)據(jù)庫USER_DUMP_DSET目錄下：/u01/app/oracle/diag/rdbms/sourcedb/sourcedb/trace/ggs_ddl_trace.logDUMPDDL

show需先dblogin實(shí)際數(shù)據(jù)就是GGS_DDL_HIST的數(shù)據(jù)DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)對象的維護(hù)定期清除數(shù)據(jù)Maker表數(shù)據(jù)：mgr參數(shù)配置PURGEMARKERHISTORYMINKEEPDAYS3,

MAXKEEPDAYS5,

FREQUENCYMINUTES

30每30分鐘purge一次（保持最近3天未修改過的記錄，但是超過5天未改變的記錄將purge）ddl

history數(shù)據(jù)清除：PURGEDDLHISTORYMINKEEPDAYS3,

MAXKEEPDAYS5,

FREQUENCYMINUTES

30每30分鐘purge一次（保持最近3天未修改過的記錄，但是超過5天未改變的記錄將purge）如果碎片化嚴(yán)重，shrinkspace方式來處理

Trace文件清理：ddl_cleartrace.sqlGoldengate從入門到精通講師顧鐵軍幾個(gè)特例說明DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍和目標(biāo)數(shù)據(jù)一致性有關(guān)的測試：create

job是不支持復(fù)制的；create

trigger是可以復(fù)制的，且enable狀態(tài)，所以必須手工設(shè)置為disable或replicat參數(shù)；Create

tablespace是可以復(fù)制的，可以支持復(fù)制到不同文件目錄；樣例：DDLSUBST

"/ora10g/oradata/src/"with

"/ora11g/oradata/trg/"CTAS語句的復(fù)制：最終結(jié)果按照本地的數(shù)據(jù)來（如：create

table

**

as

select

*

fromdba_objects）rename

t1

to

t2會被轉(zhuǎn)換成alter

table

t1

rename

to

t2（view

report

rep1）flashback

table

*

to

scn

****--可以支持復(fù)制flashback

table

*

to

before

drop--不支持復(fù)制DDL的復(fù)制DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍需要考慮的問題性能下降-尤其是在表中有多個(gè)partition的情況下捕獲DDL語句的Trigger是全庫級別的Trigger，即該數(shù)據(jù)庫上的任何一個(gè)DDL操作無論其是否在復(fù)制范圍內(nèi)均會觸發(fā)該Trigger并被記錄到中間表供Extract進(jìn)程刪選。因此啟用DDL復(fù)制會導(dǎo)致源庫的

DDL操作全部觸發(fā)Trigger，如果數(shù)據(jù)庫日常業(yè)務(wù)量較多并且DDL操作較多，會導(dǎo)致數(shù)據(jù)庫性能下降很多不一定能復(fù)制成功：映射問題由于兩端數(shù)據(jù)庫總存在物理和邏輯上的不同，例如兩邊的安裝目錄和數(shù)據(jù)文件、表空間等會有所區(qū)別，造成同樣的DDL語句在源端能夠執(zhí)行但無法在目標(biāo)端執(zhí)行。雖然可以通過字符串替換預(yù)先定義和解決類似問題，但DDL語句有可能在目標(biāo)重現(xiàn)后產(chǎn)生與源端不同結(jié)果，需要較多的維護(hù)操作。DDL性能調(diào)整DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)

Golden或gat者e從在入門GL到O精B通AL講文師件顧中鐵軍增加：DDLRULEHINT

/*+NO_UNNEST*/Params.sqldefine

_ddl_rule_hint

=

"/*+

NO_UNNEST*/‘OGG12c的native

DDL模式DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍版本要求：OGG12c；DB11204及以上；compatible設(shè)置11.2.0.4或以上；Downstream模式下，sourcedb也需要滿足以上要求集成抽取模式參數(shù)不變是否啟用DDLDATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍建議不啟用DDL，兩側(cè)都進(jìn)行升級如果一定要啟用，限制范圍（表、index）合理的升級流程：一定要考慮OGG的存在！Truncate復(fù)制的配置DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍如果配置了DDL復(fù)制，無需再單獨(dú)配置Truncate如果未配置DDL，在Extract和replicat參數(shù)文件中增加GETTRUNCATES就可以了，datapump測試下來無需加；但是在DB2數(shù)據(jù)庫復(fù)制環(huán)境下，pump也需要加GETTRUNCATES。DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)序列的復(fù)制序列的復(fù)制不包括在DDL復(fù)制中，需單獨(dú)配置序列的復(fù)制需確保：目標(biāo)序列的當(dāng)前值>=源端序列的當(dāng)前值（increment為正時(shí)）算法（在increment為正）：source_highwater_value+

(source_cache_size*

source_increment_size

*

source_RAC_nodes)<=

target_highwater_va個(gè)人建議：序列不加入復(fù)制！Goldenga建te議從序入列門在到獨(dú)精立通的講進(jìn)師程中顧復(fù)鐵制軍序列復(fù)制中的問題DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍Cycle的影響達(dá)到maxvalue后，會切換成minvalue值，但是有序列源和目標(biāo)端算法限制，目標(biāo)端進(jìn)程必須在一直執(zhí)行nextval，直到maxvalue，所以表象就是replicat一直hang的狀態(tài)，checkpoint不向前移動。。此時(shí)建議：復(fù)制排除recycle的序列或者臨時(shí)忽略sequence的復(fù)制?；蛘呒訁?shù)DBOPTIONS

_MAXSEQUENCEDISTANCE

<n> n

–

源端和目標(biāo)端seq的值相差多少可以ignore現(xiàn)有的目標(biāo)上（已經(jīng)配置了序列復(fù)制）同時(shí)又配置了extract（配置了ddl

setup），extract會很慢，建議修改seq的cache大小，或者配置DBOPTIONS

_NOAUTOMATICSEQUENCEFLUSH來減少ALTER

SEQUENCE

CYCLE|NOCYCLE的產(chǎn)生。序列復(fù)制其他內(nèi)容DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍flush

sequence

***replicat默認(rèn)參數(shù)：CheckSequenceValue-確保復(fù)制過程中的算法。Nochecksequencevalue關(guān)閉校驗(yàn)算法壓縮配置

- 網(wǎng)絡(luò)傳輸如何設(shè)置壓縮配置Pump進(jìn)程：RMTHOST

×××,

MGRPORT

7809,

COMPRESS,

compressthreshold750Compressthreshold：大于該值的trail記錄塊進(jìn)行壓縮，取值從0到28000，默認(rèn)1000，設(shè)置為0表示全部進(jìn)行壓縮查看壓縮比SEND

EXTRACT

×××,

GETTCPSTATS查看

pressedbytes

/

Compressedbytes參數(shù)，計(jì)算得到OGG壓縮比參數(shù)的影響（TCPBUFSIZE、TCPFLUSHBYTES）-壓縮后是否能用足帶寬。RMTHOST

×××,

MGRPORT

7809,

TCPBUFSIZE

100000,

TCPFLUSHBYTES

300000,

COMPRESSTCPBUFSIZE具體算法：參考adminguide中19.3.4，但是建議算出來的值*(10-20)，TCPFLUSHBYTES不能低于TCPBUFSIZE，建議3-4倍大??；DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)Goldengate從入門到精通講師顧鐵軍Goldengate從入門到精通講師顧鐵軍DATAGURU專業(yè)數(shù)據(jù)分析社區(qū)OGG的加密用戶密碼加密Trial文件加密傳輸過程加密加密算法四種加密算法+ENCKEYS文件加密算法AES256ENCKEYS文件：源和目標(biāo)均存在Blowfish：最弱（64位