otter搭建整理

1、同步場景：古井貢酒云網(wǎng)數(shù)據(jù)庫向公司測試庫同步（單向）1環(huán)境說明:本地虛擬機(jī)ip28（otter安裝機(jī)器）古井貢酒云網(wǎng)ip4（公網(wǎng)IP）（源數(shù)據(jù)庫）公司測試機(jī)器ip3（目標(biāo)數(shù)據(jù)庫）java版本1.6及以上mysql版本5.6.x及以下（不支持5.6.x以上）2、數(shù)據(jù)庫2.1源數(shù)據(jù)庫開啟bin-log#log-binlog-bin二mysql-binbinlog_format二ROW#開啟log-bin長期會生成大量日志文件，設(shè)置清除時間expire_logs_days=302.2導(dǎo)入ottersql腳本此處使用目標(biāo)數(shù)據(jù)庫作為

2、otter配置庫(28)o-tter-manager-retl.sql2015/2/2813:40SQL交件2KB(5)otter-manager-schema.&ql5/2/2813:39SQL交件3搭建otter（機(jī)器192168238128）2.1使用root用戶新建gjgj用戶addusergjgjpasswdgjgj2.2安裝zookeeper2.6.1 上傳zookeeper安裝包到/home/gjgj/otter2.6.2 tarzxvfzookeeper-3.4.5-cdh4.3.0.tar.gz2.6.3 cd./zookeeper-3.4.

3、5-cdh4.3.0/zookeeper/conf2.6.4 cpzoo_sample.cfgzoo.cfg2.6.5 vizoo.cfg# Thenumberofticksthatcanpassbetween# sendingarequestandgettinganacknowledgementsyncLinnit=5電thedirectorywherethesnapshotisstored.# donotuse/tirpforstorage,/tmphereisjust# examplesakes.dataDir=/tmp/zookeeperJJ4-I1JI1_II1ruclientPor

4、t=2181theclientswillconnect#Besuretoreadthemaintenancesectionafthecd./bin./zkServer.shstart停止命令為./zkServer.shstop查看狀態(tài)為./zkServer.shstatus日志：morezookeeper.out2.3安裝manager（需要先安裝zookeeper）2.7.1 上傳manager.deployer-4.2.11.tar.gz安裝包至U/home/gjgj/otter2.7.2 mkdirmanager2.7.3 mvmanager.deployer-4.2.11.tar.gz

5、./manager2.7.4 cd./manager/conf2.7.10 perties#ottermanagerdomainnameotter.domainName=128ottc安#ottermarjaqerhtpportotter.port彳6o8Ootte氓制臺端口|#jettywebconfigxmlotte.jetty=jetty.xml#=com.mysql.idbc.Driver(|tter.database.dr

6、iver.url=jdbc:mysql:/3:3306/otterotter.database.driver.username=roototterdatabasedrivepassword=qwe321ottcrl己置信,息數(shù)據(jù)庫#ottercommunicationportmunication.manager.port=1099#munication.pool.size=10#defaultzookeeperaddressiotter.zookeeper.cluster.default=J192.1

7、68.238.128:2醜安裝地址#defaultzookeepersesstiontiiiluuuL-08botterzookeeper.sessionTimeout=600002.7.11 啟動manager./bin/startup.sh如果文件夾中有otter.pid文件，說明manage已經(jīng)啟動或者上次沒有關(guān)閉，先執(zhí)行一次./stop.sh，就可以啟動起來了manager的日志在logs/manager.log2.4安裝node2.5.1 上傳node.deployer-4211.tar.gz安裝包到/home/gjgj/otter2.5.2 mkdirnode2.5.3 mvnod

8、e.deployer-4.2.11.tar.gz./node2.5.4 tarzxvfnode.deployer-4.2.11.tar.gz2.5.7cd./nodenode的安裝需提前在manager安裝成功之后，在機(jī)器管理/node管理中添加上本機(jī)的node之后，可以看到這個node對應(yīng)的序號，Manager中添加node具體步驟見otter配置、4.3配置node。機(jī)器管理SEARCH請輸入關(guān)鍵字（目前支持Node的ID、名字搜索）機(jī)器名字IP錨口燥作共1皺拒第1頁決1頁首頁上一頁4下一頁末頁上圖中28對應(yīng)的node序號為12.5.9 cd./conf2.5.1

9、0 vinid輸入序號12.5.11 啟動node./bin/startup.sh如果文件夾中有otter.pid文件，說明node已經(jīng)啟動或者上次沒有關(guān)閉，先執(zhí)行次./stop.sh，就可以啟動起來了4otter配置4.1登陸http:/192168238128:8080/login.htm用戶名：admin密碼：admin4.2配置zookeeper管理（機(jī)器管理/zookeeper管理）zookeeper集群填寫的是你啟動zookeeper的機(jī)器的ip地址，端口號為zookeeper/conf/配置的clientPortadmin（超級首理員）,歡迎您進(jìn)入!fl機(jī)噩営理配疊管理About

10、Node昔理打|zookeepe営理ZookeeperLSEARCH請輸入關(guān)鍵字（目脫持Zookeepe啲地址捜素）I瘵號集群容宇描述1192168238128192168238128:2181/查看I夕離夕劇新X刪除共1磔腸第1頁決1頁首頁上一頁4下一頁未頁修改集群配置集辟名字：I192.16B.23&.12&28:218ZooKeeper#:1020.10.20:8080；（遜,可窸個）描述:4.3配置node'弋-11'00和、71admin（超級辭員）”趣您逬入！U理配希理About機(jī)器管理zookeeperffiNode営理n

11、SEARCH請輸入關(guān)鍵字（目前支持Node的ID、名字搜索）I序號機(jī)器名宇I(lǐng)P端口操作1Iocalhost128282088已啟動辭童看護(hù)編輯丨X刪除共1皺拒第1朋共1頁首頁上一頁q下一頁拓若node已啟動狀態(tài)為已啟動，見下4.4配置數(shù)據(jù)源（源數(shù)據(jù)/目標(biāo)數(shù)據(jù)）同步管理使用站配詈號理SEARCH請輸入關(guān)鍵字（目前支持Datasource戲canal配置23MYSQLUTF8jdbc:mysql:/3:3306X刪除4MYSQLUTF8jdbc:mysql:/4:1111X髓除主備配

12、置共2劉鹽策1砂1頁首頁上一頁1下-屋號數(shù)據(jù)浪名字類型操作?L源數(shù)據(jù)庫目標(biāo)數(shù)據(jù)庫配蚩営理同步管理編融據(jù)源源3|JRL.jdbc:mysgl:/152.16SL12a.53:3306:UTF8y*驗(yàn)證連接數(shù)據(jù)源恭喜，數(shù)據(jù)庫通過驗(yàn)證！mysql例子jdbc:m(ysqlJ/5:3306ul示例說明oraclelJiF?:jdbc:oracle:thin:9:152:1:OINTESTmedi日例子：jdbc:mysql:/groupKey=key章改key)4.5配置表（源數(shù)據(jù)表/目標(biāo)數(shù)據(jù)表）test4MYSQ

13、L/查看/編輯X刪除共2翔腸第偵/共偵首1jxcdb2源數(shù)據(jù)庫表目標(biāo)數(shù)據(jù)表編輯數(shù)據(jù)表schemaname:tablename:IS®源:驗(yàn)證連接表查詢Schema&TableSara：alibaba,product亦噸1井表配疊：duct,duct01-32正則配置:(*)(*)4.6配置canal（配置管理/canal配置）admin(超級©3),iOQffig同步管理Z1配這営理SEARCH請輜入關(guān)鍵字（目前支持Cana的ID、；Canal配置Canal配置canal配置瘵號Cana焙字主備配畫編碼宦接配首燥作

14、云網(wǎng)aa53MYSQLUTF-8jdbc:/4:1111;/查看涉編輯x刪除共1條數(shù)揚(yáng)第1頁決1頁首頁上一頁4下添加填寫canal名稱，數(shù)據(jù)庫地址，賬戶，密碼，canal負(fù)責(zé)解析源數(shù)據(jù)庫binlog日志，建議配置root用戶訪問源數(shù)據(jù)庫（源數(shù)據(jù)庫開放遠(yuǎn)程連接root權(quán)限，增加遠(yuǎn)程訪問ip地址）4.7配置同步管理同步管理添加channelmktiksni雌営理同步莒理Channel管理Channel笞理同步営理配置管理蛀管理編輯ChannelChannels'ffi>編輯ChannelChannelName:云網(wǎng)»>53同步一致性:O基于站庫?；?/p>

15、當(dāng)前日志進(jìn)同步模式：OffiB錄斟列記錄皿描述：SEARCH請輸入關(guān)鍵字（目前支持Channel的ID、名字搜索）1屋號Channels字運(yùn)行礎(chǔ)同步方向曲|1云網(wǎng)AAA53停止單向/查看丨夕啟用丨夕編輯|歹推送|X刪除I添加共1讎腸釦頁同步莒理雌管理Channel管理Channel管理SEARCH請輸入關(guān)鍵字（目前支持Channel的ID、名字搜索）唐號Channel名字同步方向酚I1云網(wǎng)AAA53停止單向/查看/啟用/編輯/推送X刪除添加I共1條施卸頁住添力口pipeline同步管理SB諫弟勰覷如AtPipeline管理channels>Pipeline管理屋號Pipeline名字主站

16、點(diǎn)mainstem狀態(tài)延遲時問星后同步時問星后3肘問藍(lán)控數(shù)燥作1SR»>535false未工作02015-12-2113:2&452015-12-2022:55:350丿查看/監(jiān)控/日志莎騙輯X刪除添加同歩勞理編輯PipelineChannel連aPipeline管理>編魚PipelinePipeline窖字:SelecO:Lmd機(jī)器:軸度:K羸：0©同步麴1來源：®Canal*云網(wǎng)»>53SJiSCanal*6000*1CanaIS字:?。乎帲焊袷?-1K逬行控制rCl代表永久r刊則按麟定時間控制莪取批次數(shù)據(jù)超時時間劭：添加隱

17、射關(guān)系表4.8啟用呈用生活技術(shù)搜素臨時二收集迪科分銷古井otteradmin（超級t司步首理-Channel管理Channel営理SEARCH請輸入關(guān)鍵宇（目前支持Channe的ID、名字搜素）瘵號Channel名字運(yùn)廳同步方向提作1云網(wǎng)“>53停止單向滬啟I,盧編輯I/推送Ixm除】共1黒娠第偵戻1頁啟動后司步號理蛀管理Pipeline管理Channel管理Channel首理瘵號Channel名字運(yùn)存旄1云網(wǎng)AAA53單向/MB”停用"應(yīng)SEARCH請輸入關(guān)健字（目前站Channel的ID、名字捜索）共1無MES15WS1序號Pipeline容宇井行廢主鉛點(diǎn)mainstem&

18、#171;S是遲B擱凰后同步時問凰后位點(diǎn)時柯：£控數(shù)操作channel®理>Pipeline首理常見問題為定位中，點(diǎn)擊日志問題為：canel訪問源數(shù)據(jù)庫沒有權(quán)限，需增加允許訪問的ip5測試源數(shù)據(jù)庫表test增加一條記錄，查看配置的目標(biāo)數(shù)據(jù)庫表test53是否增加同步場景1：出入庫服務(wù)器向進(jìn)銷存云服務(wù)器同步表名備注策略tb_code_bottle_info瓶基本信息人曰全量tb_code_box_info箱基本信息人曰全量tb_code_buttress_info垛基本信息（20160418新增）廠商已出庫數(shù)據(jù)冋步t_data_jxc_order工單表（20160418取消）廠商已出庫數(shù)據(jù)冋步t_log_jxc_order工單操作表（20160418取消）廠商已出庫數(shù)據(jù)冋步t_data_jxc_order_rel出庫單入庫單對應(yīng)表（20160418取消）廠商已出庫數(shù)據(jù)冋步t_logjxcjboxflow箱碼流轉(zhuǎn)信息表（20160418取消）廠商已出庫數(shù)據(jù)冋步t_data_jxc_box箱碼狀態(tài)表（20160418取消）廠商已出庫數(shù)據(jù)冋步tdata_jxc_stock可用庫存表（20160418取消）廠商已出庫數(shù)據(jù)冋步tbterminal_operation異常表廠商已出庫數(shù)據(jù)冋步tb