基于Binlog的日志備份和遷移方案

1、CONFIDENTIAL基于基于Binlog的日志備份和遷移的日志備份和遷移方案方案 介紹介紹12016-09-13 王峰2CONFIDENTIAL驅(qū)動(dòng)驅(qū)動(dòng)我們有很多數(shù)據(jù)遷移或備份的場(chǎng)景。如：1.記錄業(yè)務(wù)日志：通常日志會(huì)放在數(shù)據(jù)庫(kù)中，以方便查詢分析業(yè)務(wù)或發(fā)生的異常；但是這種數(shù)據(jù)量會(huì)很大，不幾天數(shù)據(jù)庫(kù)就會(huì)報(bào)磁盤不足，增加磁盤還是扔掉過(guò)期的數(shù)據(jù)？2.同步數(shù)據(jù)到外圍系統(tǒng)：我們的系統(tǒng)是核心系統(tǒng)，核心數(shù)據(jù)都在我們系統(tǒng)內(nèi)；但是需要和社會(huì)中其他系統(tǒng)互連，如警察系統(tǒng)、第三放結(jié)算系統(tǒng)；這些系統(tǒng)都需要我們的數(shù)據(jù)，越及時(shí)越好。3.環(huán)境數(shù)據(jù)同步：我們有很多套環(huán)境，為降低影響，我們先對(duì)一個(gè)Master庫(kù)做數(shù)據(jù)變更驗(yàn)證，

2、驗(yàn)證完了再同步到其他環(huán)境。我們?cè)趺窗褎傋兏臄?shù)據(jù)從Master庫(kù)的錯(cuò)中復(fù)雜表中撈取出來(lái)？3CONFIDENTIAL概要概要 基于阿里的Canal框架模擬數(shù)據(jù)庫(kù)的Cluster端，實(shí)現(xiàn)Binlog的數(shù)據(jù)輸出，再集合Log4j，SSH Client等功能模塊一起集成到Octopus配置運(yùn)行平臺(tái)，就構(gòu)成了BinLog日志備份遷移應(yīng)用。主要的作用是把數(shù)據(jù)庫(kù)中實(shí)時(shí)變更的數(shù)據(jù)采取出來(lái)，經(jīng)過(guò)處理，傳送到其他地方。 性能：通過(guò)數(shù)據(jù)庫(kù)的Binlog獲取數(shù)據(jù)是真實(shí)高效的，Binlog的操作和業(yè)務(wù)數(shù)據(jù)操作是異步的，不影響業(yè)務(wù)數(shù)據(jù)在數(shù)據(jù)庫(kù)中的操作性能。數(shù)據(jù)只有提交到數(shù)據(jù)庫(kù)才會(huì)觸發(fā)Binlog，Binlog的數(shù)據(jù)是真實(shí)

3、的。 實(shí)時(shí)性：Binlog事件是實(shí)時(shí)的。采取到Binlog數(shù)據(jù)后，不做任何業(yè)務(wù)邏輯，只做盡量少的格式轉(zhuǎn)換，然后放入本地磁盤；整個(gè)過(guò)程是實(shí)時(shí)、高效的。后序業(yè)務(wù)邏輯再對(duì)文本進(jìn)行操作。 完整性：從Binlog獲取數(shù)據(jù)的起始點(diǎn)有三種方式1. 從啟動(dòng)時(shí)間點(diǎn)開(kāi)始獲取數(shù)據(jù)庫(kù)中變化的數(shù)據(jù)。2. 指定某個(gè)時(shí)間點(diǎn)，從這個(gè)時(shí)間點(diǎn)獲取數(shù)據(jù)。3. 系統(tǒng)啟動(dòng)后會(huì)實(shí)時(shí)記錄操作的position，當(dāng)系統(tǒng)停止、中斷后，重啟時(shí)會(huì)從上一個(gè)position繼續(xù)獲取Binlog數(shù)據(jù)。4CONFIDENTIAL技術(shù)架構(gòu)及邏輯技術(shù)架構(gòu)及邏輯Java/J2eeXML-CRSCanalLog4jSSH Client數(shù)據(jù)永久存儲(chǔ)軟體存儲(chǔ)中心fV

4、eris BinLogOCTOPUSBin LogHandleData FormatFile LogCurrent FolderHistoryFolderDeleteFolderQuartizOther TaskZip and DeleteTask5CONFIDENTIAL使用說(shuō)明使用說(shuō)明1. 數(shù)據(jù)文件存儲(chǔ)配置：code=“TEST_A” ：配置記錄到文件的數(shù)據(jù)庫(kù)表名稱，需要大些。 runningPath=“” ：配置數(shù)據(jù)記錄的操作目錄，即Current Folder。hisPath=“” ：配置文件按時(shí)間分割后遷移的目錄。filename=“” ：配置文件名稱。suffer=“” ： 配置文

5、件后綴名稱。pattern=“” ：配置文件時(shí)間結(jié)尾格式，并按格式最小時(shí)間單位分文件。remainTime=“” ：保留在Current Folder中的文件時(shí)間。splitTime=“” ：配置按最小時(shí)間點(diǎn)幾倍的時(shí)間分割文件。2. 數(shù)據(jù)庫(kù)配置：canal.instance.master.address：配置數(shù)據(jù)庫(kù)地址。 canal.instance.dbUsername ：配置數(shù)據(jù)庫(kù)用戶名稱。canal.instance.dbPassword ：配置數(shù)據(jù)庫(kù)密碼。canal.instance.defaultDatabaseName ：配置數(shù)據(jù)庫(kù)用戶。canal.instance.filter.

6、regex ： 配置采取Binlog的表名稱，多個(gè)用”,”分割；分表可以用TEST_A_01-12等數(shù)字枚舉模式。6CONFIDENTIAL使用說(shuō)明使用說(shuō)明3. BinLog采集配置：config=“return:SQL”：配置BinLog數(shù)據(jù)返回的格式，SQL為返回insert、delete、update語(yǔ)句，沒(méi)有config配置默認(rèn)返回Map。 canal.ip ：配置數(shù)據(jù)庫(kù)實(shí)例的Slaver實(shí)例地址，一個(gè)實(shí)例中運(yùn)行時(shí)配置(這里可以分主機(jī)集群部署)。canal.port ：配置Slaver的端口。 ：配置Slaver的名稱。canal.instance

7、.filter.regex ：配置接收的Binlog數(shù)據(jù)表名稱。4. Linux中啟動(dòng)樣例：#!/bin/shcp=classesfor f in lib/*.jardocp=$cp:$fdoneCLASSPATH=$cpecho $cp“JAVA_OPTIONS=-XX:+HeapDumpOnOutOfMemoryError -Dfile.encoding=UTF-8MEM_ARGS=-Xms2012m -Xmx5048mnohup java $MEM_ARGS $JAVA_OPTIONS -cp $CLASSPATH -Dmaxthreads=100 StartApps logbak.app log 2&1 &7CONFIDENTIAL成功案例成功案例DK OSE Log BackupFrom 2016-3每日一千萬(wàn)條記錄備份HU HALFrom 2016-7所