Canal開品介紹

1、canal開源產(chǎn)品介紹 七鋒 taobaoagenda1. 產(chǎn)生背景2. 項(xiàng)目介紹3. 周邊產(chǎn)品4. roadmap產(chǎn)生背景早期，阿里巴巴b2b公司因?yàn)榇嬖诤贾莺兔绹?guó)雙機(jī)房部署，存在跨機(jī)房同步的業(yè)務(wù)需求，當(dāng)時(shí)早期的數(shù)據(jù)庫同步業(yè)務(wù)，主要是基于trigger的方式獲取增量變更。從2010年開始，阿里系公司開始逐步的嘗試基于數(shù)據(jù)庫的日志解析，獲取增量變更進(jìn)行同步，由此衍生出了增量訂閱&消費(fèi)的業(yè)務(wù)，從此開啟了一段新紀(jì)元. canal介紹 名稱： canal knl 譯意： 水道/管道/溝渠 語言： 純java開發(fā) 定位： 基于數(shù)據(jù)庫增量日志準(zhǔn)實(shí)時(shí)解析，提供增量數(shù)據(jù)訂閱&消費(fèi)(目前開源版

2、本主要支持了mysql)mysql同步原理mysql slave同步原理：a. i/o thread接收binlogb. sql thread執(zhí)行變更mysql同步原理binlog dump交互mysql同步原理更多協(xié)議參考： http:/ slave (類似于i/o thread線程)canal工作原理數(shù)據(jù)消費(fèi)原理：基于網(wǎng)絡(luò)協(xié)議，提供數(shù)據(jù)訂閱&消費(fèi)，類似于sql thread實(shí)現(xiàn)業(yè)務(wù)自定義canal server模塊1. server代表一個(gè)canal server運(yùn)行實(shí)例，對(duì)應(yīng)于一個(gè)jvm2. instance對(duì)應(yīng)于一個(gè)數(shù)據(jù)隊(duì)列 （1個(gè)server對(duì)應(yīng)0.n個(gè)instance)ca

3、nal server模塊server模塊:基于netty網(wǎng)絡(luò)處理 + protobuf數(shù)據(jù)傳輸格式instance模塊：a. eventparser增量數(shù)據(jù)解析器，目前僅支持mysqlb. eventsink數(shù)據(jù)過濾，加工，分發(fā)的工作c. eventstore數(shù)據(jù)存儲(chǔ)，目前1.0.6僅支持memory，file存儲(chǔ)開發(fā)中d. metamanager增量訂閱&消費(fèi)信息管理器canal server配置示例client/server交互client/server交互數(shù)據(jù)對(duì)象格式canal client示例canal client示例基于canal能做什么？1. 數(shù)據(jù)庫鏡像&備份2.

4、 異構(gòu)數(shù)據(jù)庫同步3. 多地機(jī)房4. 二級(jí)索引5. 搜索引擎增量build6. 數(shù)據(jù)庫操作審計(jì)7. 業(yè)務(wù)cache刷新8. 價(jià)格變化等重要業(yè)務(wù)變更消息. .canal目前使用情況1.alibaba 200+ 數(shù)據(jù)解析任務(wù)a. 數(shù)據(jù)規(guī)模：6億+b. 支持mysql5.1.40/48 , mysql 5.5.182. canal使用群人數(shù)已超70+類似開源產(chǎn)品1. linkedin databushttps:/ tungsten-replicatorhttp:/ open-replicatorhttp:/ topic模式支持2. web管理系統(tǒng)a. auth權(quán)限管理b. 監(jiān)控體系3. 新數(shù)據(jù)源接入a. hbase增量4. client代碼共建(共性業(yè)務(wù)場(chǎng)景)a.數(shù)據(jù)庫同步b.nosql同步(如hbase)相關(guān)資料1. canal wiki https:/ mysql binary loghttp:/ mysql replication-protocolhttp:/ qq交