Oracle GoldenGate 優(yōu)勢介紹和客戶案例

1、Oracle GoldenGate產(chǎn)品介紹技術(shù)架構(gòu)及特點議 程GoldenGate概述主要應(yīng)用場景客戶案例GoldenGate在全球的客戶在數(shù)據(jù)集成領(lǐng)域中的最強的領(lǐng)導(dǎo)者是現(xiàn)有Oracle產(chǎn)品功能的重要補充在異構(gòu)環(huán)境中的連續(xù)可用性作為報表系統(tǒng)的實時數(shù)據(jù)訪問為BI，EPM，Exadata獲得實時數(shù)據(jù)零宕機的遷移/升級到Oracle數(shù)據(jù)庫和應(yīng)用有超過400個客戶部署了4000多套系統(tǒng)，其中包括很多財富500強中的企業(yè)：金融服務(wù)，通訊，醫(yī)療，公共部門，零售和公共事業(yè)5家最大的商業(yè)銀行中的三家3家最繁忙的ATM網(wǎng)絡(luò)10家最大的財務(wù)數(shù)據(jù)服務(wù)公司中的七家5家最大的電信運營商中的四家5家最大的食品和藥品商店中

2、的三家Oracle “Excellent Product Viability” WeightingIBMOracleInformaticaiWaySAPSASMicrosoftBulk data movement55%5.04.55.04.14.64.34.3Federated views15%3.93.03.93.74.23.42.2Message-oriented movement10%4.53.73.34.13.22.03.7Data replication and synchronization20%4.65.04.52.94.03.02.9 Total Rating 1816.216

3、.714.81612.713.1Weighted Rating 4.7054.2954.5653.84.283.6753.645Source: Gartner Critical Capabilities for Data Integration Tools: Common Data Delivery Styles, Dec 2010(showing top 7 of 11 vendors in chart above)Oracle GoldenGateGartner 5.0 out of 5.0Clearly the Industry Leader in Data Replication an

4、d SynchronizationGoldenGate金融行業(yè)GoldenGate政府/電信行業(yè)GoldenGate其它行業(yè)技術(shù)架構(gòu)及特點議 程GoldenGate概述主要應(yīng)用場景客戶案例超過100個認證的數(shù)據(jù)源 任意遺留系統(tǒng) 彈性架構(gòu) 高性能 ETL/ELT 快速，簡單開發(fā)(知識模塊) 針對任何特性數(shù)據(jù)的 剖析，清洗 & 匹配Oracle數(shù)據(jù)集成下一代企業(yè)級數(shù)據(jù)集成Oracle GoldenGate實時數(shù)據(jù)復(fù)制Oracle Data Integrator普適的數(shù)據(jù)訪問及數(shù)據(jù)轉(zhuǎn)換Oracle Enterprise Data Quality企業(yè)可信賴的數(shù)據(jù) 遺留/數(shù)據(jù)倉庫&數(shù)據(jù)集

5、市OLTP系統(tǒng)平面文件OLAPODSWeb Service和事件服務(wù)超過100個認證的數(shù)據(jù)目標跨異構(gòu)環(huán)境，對系統(tǒng)負載影響很低，對交易型數(shù)據(jù)做實時抓取、路由、轉(zhuǎn)換和傳遞和其他產(chǎn)品關(guān)鍵差異點非侵入式、低影響和亞秒級的延遲開放和模塊化的架構(gòu) 支持異構(gòu)數(shù)據(jù)源和目標保持交易事務(wù)的完整性 對中斷和失敗容忍度高Oracle GoldenGate獨特點實時、跨異構(gòu)和支持交易事務(wù)完整性的復(fù)制性能彈性、可擴展可靠Oracle GoldenGate工作原理模塊化架構(gòu)雙向捕獲捕獲：通過讀取事務(wù)日志，在事務(wù)發(fā)生時捕獲（也可過濾）提交的事務(wù)。隊列隊列：準備數(shù)據(jù)，使數(shù)據(jù)排入隊列以備路由。傳輸傳輸：分發(fā)數(shù)據(jù)以便路由到目標。

6、交付交付：保證事務(wù)數(shù)據(jù)完整，根據(jù)需要轉(zhuǎn)換數(shù)據(jù)。源Oracle和非Oracle 數(shù)據(jù)庫目標Oracle和非Oracle 數(shù)據(jù)庫隊列路由：壓縮、加密數(shù)據(jù)以便路由到目標。LAN/WANInternetTCP/IPOLTPOLTPOLTPODSODSEDW查詢 / 報表OLTPOldOLTPNew分析型操作型OLTPStageOLTPGoldenGate 11g 主要特征: 松耦合部署配置靈活單向查詢分流雙向主用/備用或主動-主動，實現(xiàn)高可用性集成/整合實時數(shù)據(jù)倉庫廣播數(shù)據(jù)分發(fā)級聯(lián)式分布式業(yè)務(wù)合并實時BIOLTPOLTPOLTPOLTPOLTP對等負載平衡/多主分布式GoldenGate 11g 主要

7、特征: 異構(gòu)性支持所有主流平臺，OS，RDBMSDatabasesO/S and PlatformsOracle GoldenGate Capture: Oracle DB2 DB2 for v10 on z/OS DB2 for i/OS Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX MySQL Informix JMS message queues Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft)Oracle GoldenGate Delivery:

8、All listed above, plus:TimesTen, IBM System i Netezza, Greenplum, & HP Neoview ETL productsLinuxSun SolarisWindows 2000, 2003, XPHP NonStopHP-UXIBM AIXIBM z SeriesIBM i SerieszLinuxGoldenGate 11g 主要特征: 廣泛應(yīng)用場景企業(yè)級解決方案 滿足實時數(shù)據(jù)需求基于日志，實時變化數(shù)據(jù)抓取異構(gòu)的源系統(tǒng)EDWODSEDW靈活的高可用性零停機移植和升級/容災(zāi)/應(yīng)急實時BI/實時DW全面活動的分布數(shù)據(jù)庫報表數(shù)據(jù)

9、庫ETLODI查詢卸載/分流數(shù)據(jù)分布新DB/OS/HW/App全球數(shù)據(jù)中心SOA/EDAOracleGoldenGate降低成本減少風(fēng)險獲得更高的運行效率 標準化的單一的技術(shù)解決多種不同的需求 同時滿足系統(tǒng)的連續(xù)可用性和報表/BI系統(tǒng)的實時數(shù)據(jù)訪問的要求GoldenGate重要POC測試結(jié)果客戶名稱浙江移動郵儲銀行廣東移動-BOSS廣東移動(短信營業(yè)廳)源端配置ia64 hp superdome server SD32B16 CPU 95G MemOracle 10.2.0.3.0 - 64bit2臺：HP Superdone ia 64 bit，64coreOS:HP 11.31 updat

10、e9Oracle DB 11g RAC2臺：IBM P595 OS: AIX 5.300-0532 CPU 128GB MemOracle 10gR2 RAC2臺：AIX 5.300-0516 CPU 64GB MemOracle Database 10g Enterprise Edition Release 10.2.0.2.0 - 64bit RAC目標配置IBM AIX5300-08 64bitIBM,9119-595 24 CPU 122G MemOracle 10.2.0.3.0 - 64bit2臺：HP DL980 Intel志強75 64coreOS: Asialinux red

11、flag Server3 Sp2和Sp3，內(nèi)核2.6.18(78或89或194）Oracle DB 11g RAC2臺：IBM P590 OS: AIX 5.300-0516 CPU 64GB MemOracle 10gR2 RAC2 臺: AIX 5.300-0722*2 CPU 88GB MemOracle Database 10g Enterprise Edition Release 10.2.0.4.0 - 64bit RAC(注：應(yīng)急數(shù)據(jù)庫將含短信營業(yè)廳、自助終端、空充網(wǎng)關(guān)三個電子渠道類的應(yīng)急數(shù)據(jù)。)測試說明月末月初批量處理在日志積壓的情況下（CRM、BOSS庫產(chǎn)生日志約每分鐘3G）

12、，要求數(shù)據(jù)同步延時在分鐘級聯(lián)機交易8000筆/秒，穩(wěn)定運行半小時建立多個復(fù)制表，配置多個復(fù)制鏈路啟動所有進程開始復(fù)制使用批處理在各表并行插入大量記錄，一般以持續(xù)時間20分鐘左右為宜生產(chǎn)端兩服務(wù)器情況統(tǒng)計：S1_DXYYT_BCRS S2_DXYYT_BCRS每小時日志生成量 5GB 5GB高峰生成率 8GB 11GB每秒事務(wù)量 613.47 599.89每秒執(zhí)行數(shù) 1,707.50 1,950.14每秒日志生成量 1,267,012.92 1,233,715.94每秒邏輯讀 52,359.00 130,209.36測試結(jié)果進程數(shù)量：8總記錄條數(shù)：600萬 日志量： 3.22G 完成時間： 11

13、8 秒平均速度： 4.66萬條/秒平均處理日志：1.61G/分鐘平均處理日志：96.6G/小時平均處理日志：2318.4G/天源CPU占用： 2.6%/extractor源內(nèi)存占用： 180M 目的CPU占用： 5.4 %目的內(nèi)存占用： 24M進程數(shù)量：4每小時日志處理量：180GB；每秒日志處理量：51.2MB；延遲時間：不超過1分鐘。復(fù)制軟件儲空間占用、磁盤IO、內(nèi)存、CPU占用不超過主庫系統(tǒng)資源10%；進程數(shù)量：3總記錄條數(shù)： 300萬 日志量： 3.5G 隊列數(shù)據(jù)量：2.65G 完成時間： 185 秒平均速度： 1.62萬條/秒日志/隊列：1.32:1平均處理數(shù)據(jù)：51.6G/小時平均

14、處理日志：68G/小時源CPU占用： 7%/extractor源內(nèi)存占用： 180M 目的CPU占用： 11.4 %目的內(nèi)存占用： 24MGoldenGate復(fù)制鏈路數(shù)量：1各復(fù)制鏈路隊列大?。篢rail文件大小為100MB生產(chǎn)庫各復(fù)制進程CPU占用：小于3.2%生產(chǎn)庫各復(fù)制進程內(nèi)存占用：64MB生產(chǎn)庫內(nèi)存總消耗：40GB網(wǎng)絡(luò)帶寬實際占用：小于0.3MB/S應(yīng)急庫各復(fù)制進程CPU占用：1.2%應(yīng)急庫CPU空閑率：94%應(yīng)急庫各復(fù)制進程內(nèi)存占用：32MB應(yīng)急庫內(nèi)存總占用：42GB數(shù)據(jù)同步時延：小于10秒描述時間:2011.05GoldenGate是一個綠色軟件，解壓縮即可使用（約180M），無需

15、在數(shù)據(jù)庫中插入任何對象。GoldenGate 滿足所有功能測試用例。說明：在實際應(yīng)用中，一般日志與隊列比為3或者4:1，因此GoldenGate處理日志能力應(yīng)當(dāng)比測試數(shù)據(jù)還要更高。時間：2112-1-111.復(fù)制軟件的運行不影響主庫系統(tǒng)交易的正常運行。2.復(fù)制軟件完成所有功能、性能和異常測試用例。3.主備系統(tǒng)切換所用時間少于15分鐘。時間：2007-9說明：在實際應(yīng)用中，一般日志與隊列比為3或者4:1，因此GoldenGate處理日志能力應(yīng)當(dāng)為測試數(shù)據(jù)的兩倍以上。時間：2009-01滿足目前業(yè)務(wù)需求，如果后期業(yè)務(wù)量急劇膨脹的情況下，可以適當(dāng)增加鏈路數(shù)量對生產(chǎn)系統(tǒng)的影響及其輕微業(yè)務(wù)峰值下，滿足數(shù)

16、據(jù)同步要求對網(wǎng)絡(luò)資源占用量低對應(yīng)急庫的資源占用低應(yīng)急庫負載很輕可以實現(xiàn)準實時的數(shù)據(jù)同步，滿足當(dāng)前應(yīng)急系統(tǒng)建設(shè)要求 保證業(yè)務(wù)系統(tǒng)7x24持續(xù)不間斷運行 支持并適用異構(gòu)平臺、異構(gòu)數(shù)據(jù)庫、遠距離低寬帶等復(fù)雜IT環(huán)境； 支持雙向、1對1、1對多、多對1、多對多、分層等各種復(fù)雜同步模式，為同城/遠程的應(yīng)急和容災(zāi)提供了完善的數(shù)據(jù)同步復(fù)制方案。 雙活(源和目標端均可讀可寫)可達到高可用性和分散源端負載的作用 減少&消除計劃或非計劃的停機，可自動切換 卓越的性能：秒級的數(shù)據(jù)延遲，對源生產(chǎn)端影響極?。粯O低的網(wǎng)絡(luò)占用。 高可靠性：可保證事務(wù)一致性、檢查點機制保障數(shù)據(jù)無丟失、可靠的數(shù)據(jù)傳輸機制(加密、壓縮)

17、 完善的異常處理預(yù)案：客戶可以從容應(yīng)對網(wǎng)絡(luò)中斷、數(shù)據(jù)庫實例失敗、RAC節(jié)點失敗、備份數(shù)據(jù)庫失敗等各種異常情況，在異常出現(xiàn)后能夠快速自動地恢復(fù)數(shù)據(jù)復(fù)制且保證無數(shù)據(jù)丟失。 優(yōu)秀的可維護性： 安裝與部署簡便無需停機 純綠色軟件，解壓縮即可使用（約180M），無需在數(shù)據(jù)庫中插入任何對象 可以基于時間點定義復(fù)制起始位置，這為客戶在維護過程中提供了更好的靈活性 方便易用的管理工具Director，可以對多個分布的GoldenGate實例進行集中管理，并提供命令行、web頁面面和Java 界面三種管理界面，客戶可以根據(jù)自身愛好選擇任意一種方式管理和監(jiān)控復(fù)制軟件的運行。 可以解決硬件容災(zāi)方案無法解決的數(shù)據(jù)庫邏

18、輯錯誤。 專業(yè)的數(shù)據(jù)復(fù)制平臺，得到廣泛的客戶驗證和認可，其成熟度和專業(yè)售后服務(wù)為企業(yè)容災(zāi)項目保駕護航。特點項GoldenGate產(chǎn)品化及成熟度Oracle數(shù)據(jù)庫的日志格式是非公開的，任何第三方基于非公開技術(shù)都是無法被Oracle支持的而且Oracle數(shù)據(jù)庫的日志格式是隨版本和補丁始終變化的，Oracle公司不可能對外公布其日志格式的變化。所以當(dāng)使用其他產(chǎn)品對Oracle數(shù)據(jù)庫進行復(fù)制的時候，一旦Oracle數(shù)據(jù)庫的日志格式發(fā)生變化，其他廠家是不能再進行數(shù)據(jù)復(fù)制的，而且當(dāng)使用非官方底層復(fù)制技術(shù)可能對Oracle數(shù)據(jù)庫本身造成一定影響甚至宕機，Oracle無法對這些第三方底層復(fù)制技術(shù)帶來的問題提供

19、支持。OGG的技術(shù)支持將與Oracle數(shù)據(jù)庫統(tǒng)一提供，能及時排除包括數(shù)據(jù)庫本身在內(nèi)的數(shù)據(jù)復(fù)制問題 。產(chǎn)品延續(xù)性GoldenGate已被Oracle定義全球?qū)崟r數(shù)據(jù)復(fù)制的戰(zhàn)略性產(chǎn)品，將持續(xù)加大對OGG的產(chǎn)品研發(fā)真正國際化產(chǎn)品純綠色軟件，解壓縮即可使用（約180M），無需在數(shù)據(jù)庫中插入任何對象廠商資源Oracle售后服務(wù)工程師地點主要來自上海，如果上海無工程師資源，將從全國范圍征調(diào)合適的工程師資源。GoldenGate工程師分布在上海、北京、廣州、成都、西安等地，均經(jīng)過公司嚴格的培訓(xùn)及認證，并有豐富的現(xiàn)場實施經(jīng)驗，可以提供7*24小時電話/MOS支持Oracle在中國有九家大的分銷商和數(shù)百個合作伙

20、伴，擁有雄厚的GoldenGate資源?？杀Ｕ峡蛻舻募磿r服務(wù)和項目質(zhì)量雙向復(fù)制GoldenGate支持雙向復(fù)制，可支持雙活業(yè)務(wù)中心的應(yīng)用雙活，即備端是可以作查詢、符合業(yè)務(wù)邏輯的所有數(shù)據(jù)庫操作GoldenGate 實踐特點特點項GoldenGate源系統(tǒng)插入性無需在源端插入任何表、觸發(fā)器、存儲過程等數(shù)據(jù)庫對象，對生產(chǎn)庫影響非常小。系統(tǒng)資源占用正常復(fù)制時與數(shù)據(jù)庫交互極少（只有在讀取數(shù)據(jù)字典和日志中沒有完整數(shù)據(jù)如大對象時才會訪問源庫），復(fù)制效率高GoldenGate對于源端影響很小。CPU和內(nèi)存的消耗很小，CPU一般為 5% /進程; 總內(nèi)存為180M。一般復(fù)制同步，源端不會成為瓶徑。壓縮及網(wǎng)絡(luò)帶寬

21、占用因為有數(shù)據(jù)壓縮功能，網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)僅為數(shù)據(jù)庫日志量的三十分之一，網(wǎng)絡(luò)帶寬占用最小。同城、遠程故障切換 支持故障切換并容易切回。總結(jié)的眾多實踐和經(jīng)驗，提供切換標準步驟故障后續(xù)傳自動續(xù)傳GoldenGate在各進程均記錄完整的檢測點，排除錯誤后不需人工介入，即可按參數(shù)設(shè)定自動重啟，并完成斷點續(xù)傳工作。數(shù)據(jù)庫平臺支持Oracle GoldenGate（OGG）可以做異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，支持的數(shù)據(jù)庫類型有Oracle、DB2、SQL Server、Sybase、MySQL、Teradata、informax等數(shù)據(jù)庫，復(fù)制的數(shù)據(jù)能保證其一致性。源和目標可以為異構(gòu)系統(tǒng)平臺和異構(gòu)數(shù)據(jù)庫Golde

22、nGate 實踐特點特點項GoldenGate數(shù)據(jù)初始化GoldenGate本身具有數(shù)據(jù)初始化機制。支持數(shù)據(jù)庫級的備份方式初始化。例如：Oracle expdp/impdp、RMAN; DB2 Backup 等ETL 工具圖形化工具Management Pack適用于管理員、非GoldenGate技術(shù)人員、運維人員等一個基于服務(wù)器的產(chǎn)品，具有直觀的圖形化界面（包括客戶端和Web界面），可以設(shè)計、配置、管理、監(jiān)控和報告整個系統(tǒng)中的GoldenGate模塊。命令行式：ggsci適用于系統(tǒng)管理員、數(shù)據(jù)庫管理員、習(xí)慣腳本方式的高級IT開發(fā)和運維人員等GoldenGate 素有兩小時快速入門之稱，其易用

23、性是同類產(chǎn)品中的佼佼者。模式多樣化/快速配置批量表支持雙向、1對1、1對多、多對1、多對多、分層等各種復(fù)雜同步模式GoldenGate 提供schema的同步，即以 schema.* 來寫參數(shù)文件高性能亞秒級數(shù)據(jù)延遲中彩在線 剛測試后的結(jié)果：源數(shù)據(jù)庫日志量: 127MB/秒（446G/小時，10.5TB/天）|進程數(shù)量：2|延遲時間：2秒GoldenGate 實踐特點對比項GoldenGate表結(jié)構(gòu)發(fā)生變化OGG可線性的與交易數(shù)據(jù)將DDL也同步到目標，所以不會發(fā)生以上問題非歸檔同步支持非歸檔同步但不推薦。因為Redo log會寫的非?？欤绻l(fā)生同步鏈路異常，會造成數(shù)據(jù)不一致。第三方針對所謂的

24、Redo log的備份，會存在很大風(fēng)險。Oracle數(shù)據(jù)庫的日志格式是隨版本和補丁始終變化的，而且Redo log如果切換的快，第三方備份有可能追不上。不光要考慮Oracle，主流的DB2, MS SQL等均是同一道理。全面考慮各種異構(gòu)數(shù)據(jù)庫的整體復(fù)制方案，是企業(yè)IT的根本平臺。數(shù)據(jù)轉(zhuǎn)換與過濾Oracle GoldenGate提供了豐富的函數(shù)，可進行數(shù)據(jù)的轉(zhuǎn)換，例如：字符串拆分/合并、日期格式轉(zhuǎn)換、計算、IF。同時也可使用SQLEXEC參數(shù)，以便直接調(diào)用數(shù)據(jù)庫的SQL和存儲過程對數(shù)據(jù)進行轉(zhuǎn)換操作。另外，還可以通過定制Java代碼，繼承并實現(xiàn)Filters，F(xiàn)ormatters和Handlers

25、來實現(xiàn)定制化的數(shù)據(jù)轉(zhuǎn)換。Oracle GoldenGate提供數(shù)據(jù)過濾功能，通過在從日志文件中抽取數(shù)據(jù)進程的配置文件中指定表名來實現(xiàn)對部分表、部分字段(clomap)進行數(shù)據(jù)同步；另外GoldenGate還可在上述配置文件中通過指定“where”、“range”和 “filter”參數(shù)實現(xiàn)只對一個表的部分數(shù)據(jù)進行復(fù)制，與SQL的where子句同效。行遷移支持用途 容災(zāi)、HA、復(fù)制、分擔(dān)查詢、整合數(shù)據(jù)遷移、實時ODS/BI/EDWGoldenGate 實踐特點可 選 組 件GoldenGate Director提高管理效率定義，配置，管理和報告GoldenGate在業(yè)務(wù)系統(tǒng)中配置情況使用Gode

26、nGate管理服務(wù)體系架構(gòu)關(guān)鍵特性: 集中化管理所有的GG進程 豐富的基于web的客戶端界面增強了可視性 告警通知，Email方式或者第三方的監(jiān)控產(chǎn)品集成 實時反饋GG的進程運行情況 無影響的部署不會影響系統(tǒng)性能GoldenGate Veridata數(shù)據(jù)一致性比較高速的數(shù)據(jù)比對解決方案 在正在使用的數(shù)據(jù)庫直接審計，識別和報告數(shù)據(jù)的差異性優(yōu)點: 能快速地減少風(fēng)險和對數(shù)據(jù)差異采取行動 加快和簡化數(shù)據(jù)比較 不中斷業(yè)務(wù)系統(tǒng) 加強決策和報告的可信度關(guān)鍵特性: 支持大數(shù)據(jù)量比對 當(dāng)數(shù)據(jù)庫在線的時候運行比對 選擇性數(shù)據(jù)比對 靈活的報表機制 支持異構(gòu)數(shù)據(jù)庫 生成直觀比較報告技術(shù)架構(gòu)及特點議 程GoldenGa

27、te概述主要應(yīng)用場景客戶案例GoldenGate應(yīng)用場景尋找客戶技術(shù)上的痛點高可用性與容災(zāi) 容災(zāi)與應(yīng)急備份 消除計劃內(nèi)停機 雙業(yè)務(wù)中心 OLTP和OLAP剝離 數(shù)據(jù)庫移植/升級/合并實時數(shù)據(jù)集成 數(shù)據(jù)倉庫實時供給 實時報表 GRC類應(yīng)用 應(yīng)用系統(tǒng)間數(shù)據(jù)同步 政府、企業(yè)垂直部門級數(shù)據(jù)集中/分發(fā) 主數(shù)據(jù)基于Exadata的實時企業(yè)數(shù)據(jù)倉庫&BI完整的、靈活的、集成的解決方案： 提高業(yè)務(wù)分析能力 為決策提供實時數(shù)據(jù) 全天候業(yè)務(wù)運營，消除批處理時間窗口收益： 從OLTP系統(tǒng)獲取最新的實時數(shù)據(jù)，更好運營于市場決策 提供實時數(shù)據(jù)，不需要批處理窗口 對OLTP的資源和性能影響最小 高效率的數(shù)據(jù)移動和

28、轉(zhuǎn)化 操作性和分析性BI同時進行產(chǎn)品： GoldenGate ODI EDQ高可用性: 容災(zāi)與應(yīng)急備份實現(xiàn):快速恢復(fù)和切換最小化數(shù)據(jù)損失重新同步主備兩端數(shù)據(jù)用途:消除傳統(tǒng)災(zāi)備技術(shù)無法避免的非計劃性停機高可用性: 雙業(yè)務(wù)中心用途:高性能分布式計算非計劃停機計劃停機實現(xiàn):負載均衡提高系統(tǒng)性能連續(xù)可用沖突檢測和處理實時報表實現(xiàn):將實時報表從主系統(tǒng)剝離，可根據(jù)客戶需求定制顯著提高主系統(tǒng)性能用途:實時報表提高系統(tǒng)性能和可用性技術(shù)架構(gòu)及特點議 程GoldenGate概述主要應(yīng)用場景客戶案例l 某省某省BOSSBOSS業(yè)業(yè)務(wù)負載情況：務(wù)負載情況：現(xiàn)現(xiàn)網(wǎng)網(wǎng)BOSSBOSS營帳系統(tǒng)：營帳系統(tǒng)：4646臺小型機，

29、臺小型機，6767臺臺PCPC服務(wù)器，服務(wù)器，1.11.1億億TPMCTPMC處理能力處理能力，其中營賬數(shù)據(jù)，其中營賬數(shù)據(jù)庫庫6 6個雙節(jié)點的個雙節(jié)點的RACRAC數(shù)據(jù)庫，數(shù)據(jù)庫，1212臺臺P595P595主機，可用有效存儲空間主機，可用有效存儲空間50T50T。業(yè)務(wù)受理量：業(yè)務(wù)受理量：超過超過1.451.45億筆億筆/ /月；月； 業(yè)務(wù)查詢量：業(yè)務(wù)查詢量：超過超過33.833.8億次億次/ /月月輸出工單量：輸出工單量：超過超過3.63.6億條億條/ /月月；數(shù)數(shù)據(jù)量：據(jù)量：30TB30TBCICSCICS交易交易峰值：峰值：2000020000筆筆/ /秒秒l 特點：特點： 前臺訪問要求

30、響應(yīng)速度較高，出現(xiàn)異常時前臺訪問要求響應(yīng)速度較高，出現(xiàn)異常時故障擴散速度很快；故障擴散速度很快； 渠道眾多，包括了客服接口、自助終端、渠道眾多，包括了客服接口、自助終端、網(wǎng)站等等，接口交易的成功率要求高。網(wǎng)站等等，接口交易的成功率要求高。 變更頻繁（每月有一次變更頻繁（每月有一次大大版本升級，各種版本升級，各種小型更新極多，小型更新極多，20112011年新增業(yè)務(wù)需求超過年新增業(yè)務(wù)需求超過12001200個個以上以上）滿足了滿足了BOSSBOSS系統(tǒng)高負載、復(fù)雜應(yīng)用環(huán)境下的數(shù)據(jù)同步要求系統(tǒng)高負載、復(fù)雜應(yīng)用環(huán)境下的數(shù)據(jù)同步要求l 全省約全省約80%80%業(yè)務(wù)數(shù)據(jù)準實時同步到兩套雙節(jié)點的業(yè)務(wù)數(shù)據(jù)準

31、實時同步到兩套雙節(jié)點的RACRAC應(yīng)急數(shù)據(jù)庫（數(shù)據(jù)同應(yīng)急數(shù)據(jù)庫（數(shù)據(jù)同步時差小于步時差小于1010秒）秒）l 應(yīng)急系統(tǒng)數(shù)據(jù)量應(yīng)急系統(tǒng)數(shù)據(jù)量25TB,25TB, 單表最大記錄數(shù)約單表最大記錄數(shù)約1010億條記錄億條記錄l 每月新增數(shù)據(jù)約每月新增數(shù)據(jù)約4.0TB4.0TB，歸檔日志量，歸檔日志量3.5TB/3.5TB/天天l GoldenGateGoldenGate同步的日志量同步的日志量600GB/600GB/天天. .l 遠距離（約遠距離（約100100公理）公理）l 低帶寬（低帶寬（10M)10M)l 準實時準實時準實時復(fù)制準實時復(fù)制災(zāi)難恢復(fù)災(zāi)難恢復(fù)峰值峰值CICSCICS交易吞吐量超過交易

32、吞吐量超過2000020000筆筆/ /秒，但業(yè)務(wù)高峰期生產(chǎn)系統(tǒng)數(shù)據(jù)可在秒，但業(yè)務(wù)高峰期生產(chǎn)系統(tǒng)數(shù)據(jù)可在1010秒內(nèi)秒內(nèi)復(fù)復(fù)制制到應(yīng)急庫。到應(yīng)急庫。以最低的代價獲得接近以最低的代價獲得接近“兩階段提交兩階段提交”才具有的同步復(fù)制效果。才具有的同步復(fù)制效果。雙活模式雙活模式在線同步在線同步應(yīng)急數(shù)據(jù)庫處于激活狀態(tài)，可隨時接管業(yè)務(wù)，實現(xiàn)應(yīng)急數(shù)據(jù)庫處于激活狀態(tài)，可隨時接管業(yè)務(wù)，實現(xiàn)RTO=0RTO=0初始化數(shù)據(jù)同步加載可與在線業(yè)務(wù)同時進行，根據(jù)業(yè)務(wù)需求在線增加同步數(shù)據(jù)初始化數(shù)據(jù)同步加載可與在線業(yè)務(wù)同時進行，根據(jù)業(yè)務(wù)需求在線增加同步數(shù)據(jù)表。保證業(yè)務(wù)連續(xù)性；表。保證業(yè)務(wù)連續(xù)性；負載分離負載分離在支持關(guān)鍵業(yè)

33、務(wù)應(yīng)急功能的基礎(chǔ)上，批量數(shù)據(jù)查詢、統(tǒng)計等非關(guān)健業(yè)務(wù)轉(zhuǎn)移至應(yīng)在支持關(guān)鍵業(yè)務(wù)應(yīng)急功能的基礎(chǔ)上，批量數(shù)據(jù)查詢、統(tǒng)計等非關(guān)健業(yè)務(wù)轉(zhuǎn)移至應(yīng)急數(shù)據(jù)庫，有效減輕生產(chǎn)端負載壓力急數(shù)據(jù)庫，有效減輕生產(chǎn)端負載壓力, ,目前已分擔(dān)生產(chǎn)系統(tǒng)目前已分擔(dān)生產(chǎn)系統(tǒng)20%20%的查詢壓力的查詢壓力該項目該項目在在20102010、20112011年的中移動集團應(yīng)急系統(tǒng)檢查中，獲得年的中移動集團應(yīng)急系統(tǒng)檢查中，獲得一致好評，是集團向全國推廣的項目之一一致好評，是集團向全國推廣的項目之一在故障應(yīng)急、割接保障等方面發(fā)揮了重要作用在故障應(yīng)急、割接保障等方面發(fā)揮了重要作用l 應(yīng)急系統(tǒng)自應(yīng)急系統(tǒng)自去年投入使用去年投入使用以來，在系統(tǒng)割接

34、保障、故障應(yīng)急方面發(fā)揮以來，在系統(tǒng)割接保障、故障應(yīng)急方面發(fā)揮了重要作用，共啟用應(yīng)急系統(tǒng)了重要作用，共啟用應(yīng)急系統(tǒng)8 8次，應(yīng)急切換成功率次，應(yīng)急切換成功率100%100%。接管業(yè)務(wù)。接管業(yè)務(wù)時時累積累積長達共長達共5555小時小時。所屬系統(tǒng)所屬系統(tǒng)故障類型故障類型故障影響情況故障影響情況應(yīng)急業(yè)務(wù)切應(yīng)急業(yè)務(wù)切換時間換時間效果效果應(yīng)急啟用時長應(yīng)急啟用時長CRM應(yīng)用程序出現(xiàn)異常業(yè)務(wù)辦理失敗10分鐘應(yīng)急業(yè)務(wù)接管正常180分鐘CRM GZ庫數(shù)據(jù)庫主機負載過高前臺無法登錄、業(yè)務(wù)辦理緩慢10分鐘業(yè)務(wù)恢復(fù)正常120分鐘CRM GZ庫數(shù)據(jù)庫主機負載過高前臺無法登錄、業(yè)務(wù)辦理緩慢10分鐘業(yè)務(wù)恢復(fù)正常150分鐘CR

35、M DG庫應(yīng)用程序出現(xiàn)異常業(yè)務(wù)辦理失敗10分鐘業(yè)務(wù)恢復(fù)正常100分鐘CRM GZ庫數(shù)據(jù)庫主機負載過高業(yè)務(wù)辦理緩慢、提交失敗10分鐘應(yīng)急業(yè)務(wù)接管正常150分鐘CRM FS庫數(shù)據(jù)庫主機故障影響所有電子渠道業(yè)務(wù)10分鐘應(yīng)急業(yè)務(wù)接管正常200分鐘CRM ZS庫NGBOSS割接珠海全業(yè)務(wù)10分鐘應(yīng)急業(yè)務(wù)接管正常1800分鐘 “故障能應(yīng)急、平時能分流故障能應(yīng)急、平時能分流”l 例如例如,COMS,COMS渠道管理平臺每個月固定時間在渠道管理平臺每個月固定時間在CRMCRM系統(tǒng)抽取數(shù)據(jù)，然后分系統(tǒng)抽取數(shù)據(jù)，然后分析，生成酬金數(shù)據(jù)析，生成酬金數(shù)據(jù)。每當(dāng)每當(dāng)COMSCOMS系統(tǒng)在抽取數(shù)據(jù)時，生產(chǎn)系統(tǒng)數(shù)據(jù)庫的系統(tǒng)

36、在抽取數(shù)據(jù)時，生產(chǎn)系統(tǒng)數(shù)據(jù)庫的負荷會增加負荷會增加30%30%左右，數(shù)據(jù)抽取需要左右，數(shù)據(jù)抽取需要時間時間非常非常長長，導(dǎo)致，導(dǎo)致2 2個系統(tǒng)之間產(chǎn)個系統(tǒng)之間產(chǎn)生了不良的影響生了不良的影響。遷移到應(yīng)急系統(tǒng)前遷移到應(yīng)急系統(tǒng)前遷移到應(yīng)急系統(tǒng)后遷移到應(yīng)急系統(tǒng)后占用生產(chǎn)系統(tǒng)資源執(zhí)行時間占用生產(chǎn)系統(tǒng)資源執(zhí)行時間28%30小時0% 5小時2022-7-436Oracle 9i & 10g dbs Solaris Sybase在100個內(nèi)部后臺應(yīng)用中分發(fā)數(shù)據(jù)Archiving and ReportingData IntegrationOracleMulti MasterOracle數(shù)據(jù)分發(fā)與高可用性

37、超過100個服務(wù)器36來自業(yè)務(wù)的挑戰(zhàn): 大型，復(fù)雜和異構(gòu)的環(huán)境，有100多個后臺應(yīng)用 對于生產(chǎn)和開發(fā)，大量的系統(tǒng)需要一個靈活的解決方案(Oracle, Sybase & MSSQL ).GoldenGate 解決方案: 使用GoldenGate作為所有數(shù)據(jù)交換的標準解決方案 在內(nèi)部不同應(yīng)用之間分發(fā)數(shù)據(jù) 向只讀的歸檔和報表系統(tǒng)分發(fā)數(shù)據(jù) 數(shù)據(jù)庫的高可用性和容災(zāi) 數(shù)據(jù)庫的滾動升級和在線遷移 拓撲結(jié)構(gòu)包括一對一和多對一需求需求: 根據(jù)集團規(guī)范建設(shè)完善ODS平臺統(tǒng)一客戶視圖輕量級數(shù)據(jù)匯總報表分析對外提供統(tǒng)一數(shù)據(jù)接口 數(shù)據(jù)的實時性要求BSS數(shù)據(jù)批量導(dǎo)出導(dǎo)入BSS實時變化捕獲，以及ODS數(shù)據(jù)實時加載大數(shù)據(jù)量高性能要求電信級穩(wěn)定性要求電信級穩(wěn)定性要求GoldenGate 解決方案解決方案:遼寧電信數(shù)據(jù)復(fù)制遼寧電信數(shù)據(jù)復(fù)制實現(xiàn)實現(xiàn)了從了從BSS到到ODS及及EDW的高