阿里云數(shù)據(jù)傳輸服務(wù)-常見問題-D

1、數(shù)據(jù)傳輸常見問題FAQ數(shù)據(jù)傳輸/常見問題FAQ數(shù)據(jù)傳輸/常見問題FAQ PAGE 5 PAGE 5常見問題FAQ數(shù)據(jù)遷移FAQ數(shù)據(jù)遷移預(yù)檢查時(shí)，預(yù)檢查項(xiàng)schema不存在失敗是什么原因?如何修復(fù)？目前DTS已經(jīng)支持自動(dòng)在目標(biāo)RDS實(shí)例創(chuàng)建數(shù)據(jù)庫。如果在預(yù)檢查時(shí)報(bào)schema不存在，那么可能的原因如下： 您本地的數(shù)據(jù)名稱含有大寫字母、特殊字符或是為RDS的關(guān)鍵字。RDS要求數(shù)據(jù)名由小寫字母、數(shù)字、下劃線、中劃線組成，字母開頭，字母或數(shù)字結(jié)尾，最長64個(gè)字符。如果您源實(shí)例的數(shù)據(jù)名稱不滿足這個(gè)要求，那么DTS就不會(huì)自動(dòng)在RDS中創(chuàng)建這個(gè)庫，而會(huì)在預(yù)檢查時(shí)，報(bào)schema不存在的錯(cuò)誤。特殊字符為了解決

2、這個(gè)問題，您需要先手動(dòng)在RDS控制臺(tái)創(chuàng)建一個(gè)合法的數(shù)據(jù)庫，然后在配置DTS遷移任務(wù)時(shí)，使用庫 名映射，將本地?cái)?shù)據(jù)庫中的數(shù)據(jù)遷移到RDS上這個(gè)名字合法的數(shù)據(jù)庫中。具體可以參考:最佳實(shí)踐中的庫名不同 的數(shù)據(jù)庫之間的數(shù)據(jù)遷移一節(jié)RDS的白名單列表中突然添加了很多不認(rèn)識(shí)的IP,這些IP是哪里的？是否安全？RDS實(shí)例是否設(shè)置了白名單，如果RDS實(shí)例限制了白名單，DTS服務(wù)器 不能訪問。那么DTS會(huì)在配置遷移任務(wù)時(shí)，將服務(wù)器的IP列表添加到RDS實(shí)例的白名單中，防止因?yàn)榘酌麊蜗?制，DTS連接不上RDS實(shí)例導(dǎo)致遷移失敗。在遷移完成后的一天內(nèi)， DTS會(huì)將自己服務(wù)器列表IP從RDS白名單中刪除掉。使用DTS

3、進(jìn)行數(shù)據(jù)遷移，源數(shù)據(jù)庫的數(shù)據(jù)會(huì)不會(huì)在遷移后被刪除掉？不會(huì)，DTS進(jìn)行數(shù)據(jù)遷移時(shí)，其實(shí)是復(fù)制了源數(shù)據(jù)庫的一份數(shù)據(jù)，并不會(huì)對(duì)源數(shù)據(jù)庫的數(shù)據(jù)有任何影響。我的阿里云賬號(hào)下面有兩個(gè)RDS實(shí)例A,B，DTS是否可以將A中的數(shù)據(jù)庫C遷移到B中的數(shù)據(jù)庫D？可以，DTS提供的庫名映射功能，可以實(shí)現(xiàn)將兩個(gè)RDS實(shí)例中不同庫名的兩個(gè)數(shù)據(jù)庫之間的數(shù)據(jù)遷移。具體任 務(wù)配置方法詳見:最佳實(shí)踐中的庫名不同的數(shù)據(jù)庫之間的數(shù)據(jù)遷移DTS是否能支持兩個(gè)不同阿里云賬號(hào)下的RDS實(shí)例之間的數(shù)據(jù)遷移？是否支持增量遷移？可以，進(jìn)行跨阿里云賬號(hào)下RDS實(shí)例間的遷移，需要以目標(biāo)RDS實(shí)例所屬的阿里云賬號(hào)登錄DTS，同時(shí)源實(shí)例 類型選擇有公網(wǎng)

4、IP的自建數(shù)據(jù)庫。具體的任務(wù)配置方法詳見：最佳實(shí)踐中的跨阿里云賬號(hào)的RDS實(shí)例間的數(shù)據(jù) 遷移遷移的目標(biāo)庫中已經(jīng)存在表了，使用DTS進(jìn)行數(shù)據(jù)遷移是否會(huì)覆蓋掉這些數(shù)據(jù)？不會(huì)，如果配置遷移任務(wù)時(shí)，要進(jìn)行整個(gè)數(shù)據(jù)庫的遷移，那么預(yù)檢查時(shí)，會(huì)要求目標(biāo)待遷入數(shù)據(jù)庫為空庫，如 果不是空庫，那么預(yù)檢查的目標(biāo)庫是否為空項(xiàng)會(huì)報(bào)錯(cuò)。如果配置遷移任務(wù)時(shí)，只遷移幾個(gè)表，那么預(yù)檢查時(shí)，會(huì)要求目標(biāo)庫中這些表必須沒有數(shù)據(jù)，如果含有數(shù)據(jù)庫 的，那么預(yù)檢查的目標(biāo)庫是否為空項(xiàng)會(huì)報(bào)錯(cuò)。在目標(biāo)庫有數(shù)據(jù)的情況下，DTS不支持進(jìn)行數(shù)據(jù)遷移，所以不會(huì)DTS數(shù)據(jù)遷移不會(huì)覆蓋掉已存在的數(shù)據(jù)。支持，DTS提供的對(duì)象名映射功能，可以實(shí)現(xiàn)在一個(gè)RDS實(shí)

5、例內(nèi)復(fù)制出一個(gè)跟已存在庫一模一樣的庫。具體任 務(wù)配置方法詳見：最佳實(shí)踐中的實(shí)例內(nèi)不同數(shù)據(jù)庫之間的數(shù)據(jù)遷移一節(jié)DTS遷移過程中，是否會(huì)鎖表，對(duì)源數(shù)據(jù)庫是否有影響？如果配置遷移任務(wù)時(shí)，選擇了全量數(shù)據(jù)遷移和增量數(shù)據(jù)遷移，那么在全量數(shù)據(jù)遷移過程中，DTS會(huì)判斷源數(shù)據(jù) 庫中是否存在非事務(wù)且無主鍵的表，如果存在，那么為了保證遷移數(shù)據(jù)一致性，DTS會(huì)給這些表上只讀鎖，然 后將這些表的數(shù)據(jù)全量遷移到目標(biāo)庫之后，釋放掉只讀鎖，進(jìn)行其他表的全量遷移。在上只讀鎖期間，只有被上鎖的表只能進(jìn)行只讀操作，其他表可以正常讀寫。DTS遷移時(shí)，對(duì)于ECS、RDS實(shí)例是走內(nèi)網(wǎng)還是公網(wǎng)？如果是進(jìn)行同一個(gè)地區(qū)內(nèi)部的數(shù)據(jù)遷移，那么DT

6、S會(huì)使用內(nèi)網(wǎng)連接ECS、RDS實(shí)例如果是進(jìn)行跨地區(qū)的數(shù)據(jù)遷移，那么DTS會(huì)使用外網(wǎng)連接源實(shí)例(ECS、RDS)，使用內(nèi)網(wǎng)連接目標(biāo)RDS實(shí)例數(shù)據(jù)遷移過程中，是否支持DDL操作？目前DTS數(shù)據(jù)遷移過程中，不支持源庫進(jìn)行DDL操作。如果遷移過程中源庫進(jìn)行了DDL操作，那么可能導(dǎo)致數(shù) 據(jù)丟失。全量遷移報(bào)java.sql.BatchUpdateException: INSERT, DELETE command denied to user userhost for table * 是什么原因？全量遷移如果報(bào)INSERT、CREATE或DELETE等的權(quán)限問題，一般都是由于目標(biāo)RDS實(shí)例被鎖定了，導(dǎo)致賬號(hào)

7、寫 權(quán)限被回收。對(duì)于這個(gè)問題，需要先回收目標(biāo)RDS實(shí)例的日志空間或升級(jí)目標(biāo)RDS實(shí)例的規(guī)格后，在DTS控制臺(tái)觸發(fā)重試功 能，斷點(diǎn)重啟任務(wù)。具體修復(fù)方法詳見：最佳實(shí)踐中的失敗修復(fù)一節(jié)的增量遷移是實(shí)時(shí)獲取在遷移過程中，源數(shù)據(jù)庫產(chǎn)生的增量數(shù)據(jù)，然后在全量遷移完成后，開始同步到目 標(biāo)RDS實(shí)例中。當(dāng)增量遷移第一次追平源庫的寫入時(shí)，增量遷移的狀態(tài)為無延遲，此后增量遷移會(huì)一直同步源數(shù)據(jù)庫的業(yè)務(wù)寫 入。如果用戶選擇了量數(shù)據(jù)遷移和增量數(shù)據(jù)遷移，那么在全量數(shù)據(jù)遷移過程中，DTS會(huì)判斷源數(shù)據(jù)庫中是否存在非 事務(wù)且無主鍵的表，如果存在，那么為了保證遷移數(shù)據(jù)一致性，DTS會(huì)給這些表上只讀鎖，其他情況下，DTS不會(huì)給源

8、數(shù)據(jù)庫上鎖RDS的主庫還是備庫獲取數(shù)據(jù)？ DTS進(jìn)行數(shù)據(jù)遷移時(shí)，是從RDS的主庫上拉取數(shù)據(jù)。DTS是否支持VPC模式下的RDS實(shí)例的數(shù)據(jù)遷移？如果VPC 模式的RDS實(shí)例為目標(biāo)實(shí)例時(shí)，DTS暫時(shí)不支持它的數(shù)據(jù)遷移如果VPC模式的RDS實(shí)例為源實(shí)例時(shí)，DTS可以支持將它的數(shù)據(jù)遷移到經(jīng)典網(wǎng)絡(luò)的RDS實(shí)例上。但是在配置任 務(wù)時(shí)，源實(shí)例的類型為由公網(wǎng)IP的自建數(shù)據(jù)庫，然后填寫源RDS實(shí)例的外網(wǎng)連接串，此時(shí)DTS會(huì)使用外網(wǎng)DNS連接RDS實(shí)例。DTS是否支持VPC內(nèi)的ECS上的自建數(shù)據(jù)庫遷移到RDS實(shí)例？不支持，DTS現(xiàn)在還不能支持VPC內(nèi)部的ECS上的自建數(shù)據(jù)庫遷移到RDS實(shí)例使用DTS將自建數(shù)據(jù)庫遷

9、移到RDS，為什么遷移過程中RDS的空間大小會(huì)比源數(shù)據(jù)庫大?因?yàn)镈TS進(jìn)行的是邏輯遷移方式，它是將遷移數(shù)據(jù)封裝成SQL后，同步到目標(biāo)RDS實(shí)例中的，此時(shí)會(huì)在目標(biāo)RDS實(shí)例中產(chǎn)生binlog數(shù)據(jù)，所以遷移過程中，RDS的空間大小可能比源數(shù)據(jù)庫大。DTS是否支持定時(shí)自動(dòng)遷移？ 創(chuàng)建數(shù)據(jù)遷移任務(wù)時(shí)，報(bào)獲取結(jié)構(gòu)連接超時(shí)是什么原因？ 獲取結(jié)構(gòu)連接超時(shí)的錯(cuò)誤，可能由于下面兩種原因：您的源數(shù)據(jù)庫設(shè)置了白名單，導(dǎo)致DTS服務(wù)器不能連接上。建議將白名單放開后重試您提供的遷移賬號(hào)對(duì)應(yīng)的host為localhost，導(dǎo)致DTS服務(wù)器不能從遠(yuǎn)程連接上。建議將遷移賬號(hào)對(duì)應(yīng)的host調(diào)整為%后，重試數(shù)據(jù)遷移時(shí)，目標(biāo)數(shù)據(jù)庫

10、中多了一個(gè)表increment_trx，這個(gè)表是做什么的？ 創(chuàng)建遷移任務(wù)時(shí)，報(bào)獲取遷移結(jié)構(gòu)失敗，原因java.sql.SQLException: Io exception: The Network Adapter could not establish theconnection如果配置Oracle到RDS MySQL遷移任務(wù)時(shí)，在點(diǎn)擊授權(quán)白名單并進(jìn)入下一步時(shí)，如果報(bào)如上的錯(cuò)誤，一般是由于數(shù)據(jù)傳輸服務(wù)器連接不上源Oracle數(shù)據(jù)庫。當(dāng)遇到此問題時(shí)，需要在Oracle安裝服務(wù)器上執(zhí)行netstat -ano 查看Oracle數(shù)據(jù)庫的端口是否配置了內(nèi)外網(wǎng)IP監(jiān)聽。如果沒有配置，那么需要修改Orac

11、le的監(jiān)聽服務(wù)重啟數(shù)據(jù)庫服務(wù)后，重新創(chuàng)建遷移任務(wù)即可。增量遷移過程中，報(bào)類似如下錯(cuò)誤：DTS-077100: Record Replicator error, cause by java.io.IOException: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry 8895524 for key PRIMARY這種錯(cuò)誤是主鍵沖突，說明您的目標(biāo)實(shí)例中已經(jīng)存在這個(gè)主鍵對(duì)應(yīng)的紀(jì)錄了。出現(xiàn)這種問題，一般是因?yàn)樵谀?標(biāo)實(shí)例中，您的這個(gè)表上有觸發(fā)器，在同步過程中插入紀(jì)錄

12、時(shí)，這個(gè)觸發(fā)器還會(huì)觸發(fā)重新插入一次紀(jì)錄，從而 導(dǎo)致主鍵沖突。數(shù)據(jù)訂閱FAQRDS是否有解決方案可以實(shí)現(xiàn)自動(dòng)的binlog下載，下載到本地的統(tǒng)計(jì)服務(wù)器DTS的數(shù)據(jù)訂閱支持RDS binlog日志的實(shí)時(shí)訂閱，可以開通DTS的數(shù)據(jù)訂閱服務(wù)，通過DTS SDK訂閱 RDS binlog數(shù)據(jù)并實(shí)時(shí)同步到本地的統(tǒng)計(jì)服務(wù)器中。類似混合云場景下的HA，比如我的業(yè)務(wù)都在RDS里了，在本地的數(shù)據(jù)中心做一個(gè)從庫，這個(gè)數(shù)據(jù)傳輸支持 嗎？支持，可以開通DTS的數(shù)據(jù)訂閱服務(wù)，通過RDS備份恢復(fù)+DTS實(shí)時(shí)訂閱二者結(jié)合，實(shí)現(xiàn)本地災(zāi)備的功能。具體 實(shí)現(xiàn)方案詳見：最佳時(shí)間中的利用數(shù)據(jù)訂閱實(shí)現(xiàn)本地災(zāi)備啟動(dòng)訂閱SDK時(shí)報(bào)getgu

13、idinfofailed，是什么原因？這個(gè)是由于您在SDK中設(shè)置的訂閱通道ID不對(duì)。需要將示例代碼中的client.askForGUID(訂閱通道ID);這里面 的訂閱通道ID替換成您要訂閱的訂閱通道對(duì)應(yīng)的ID。可以，如果 數(shù)據(jù)訂閱只訂閱數(shù)據(jù)變更，那么兩邊索引不同不會(huì)影響。但是如果訂閱了結(jié)構(gòu)變更，而且RDS上涉及到索引變 更的話，可能會(huì)由于兩邊索引不同，導(dǎo)致結(jié)構(gòu)變更在本地消費(fèi)失敗。數(shù)據(jù)訂閱可以訂閱實(shí)時(shí)增量數(shù)據(jù)，這個(gè)新增的數(shù)據(jù)是只指新增數(shù)據(jù)，還是包含修改的數(shù)據(jù)？ DTS的數(shù)據(jù)訂閱可以訂閱的增量數(shù)據(jù)包括：所有的增刪改以及結(jié)構(gòu)變更（DDL）數(shù) 據(jù) 訂 閱 啟 動(dòng) SDK， 報(bào) 如 下 的 錯(cuò) 誤 E

14、xception in thread main com.aliyuncs.exceptions.ClientException: SignatureDoesNotMatch : Specified signature is not matched with our calculation. at com.aliyuncs.DefaultAcsClient.parseAcsResponse(DefaultAcsClient.java:139) at com.aliyuncs.DefaultAcsClient.getAcsResponse(DefaultAcsClient.java:89) at

15、com.aliyun.drc.regionmanager.RegionRouter.getRegionRouterInfo(RegionRouter.java:38) at com.aliyun.drc.clusterclient.partition.PartitionPool.init(PartitionPool.java:94)這是為什么？這個(gè)報(bào)錯(cuò)是由于您在SDK中配置的AccessKeyID/AccessKeySecret 不正確。建議重新生成新的AccessKeyID/AccessKeySecret 后，使用新的AK重啟SDK。一個(gè)SDK客戶端 可以訂閱多個(gè)通道嗎不能，目前數(shù)據(jù)傳輸服務(wù)

16、的SDK還不能支持一個(gè)SDK訂閱多個(gè)訂閱通道的數(shù)據(jù)數(shù)據(jù)訂閱啟動(dòng)SDK報(bào)如下的錯(cuò)誤：keepaliveerror 如果數(shù)據(jù)訂閱報(bào)如上的錯(cuò)誤，一般原因可能有兩個(gè)：1） SDK運(yùn)行的服務(wù)器沒有公網(wǎng)IP，不能連接數(shù)據(jù)傳輸服務(wù)的服務(wù)器2) 訂閱通道的消費(fèi)時(shí)間點(diǎn)不在訂閱通道的數(shù)據(jù)范圍之內(nèi)。當(dāng)是這種原因時(shí)，需要先到數(shù)據(jù)傳輸控制臺(tái)修改這個(gè)訂閱通道的消費(fèi)位點(diǎn)后，重新啟動(dòng)SDK如果SDK退出后，過幾天重啟運(yùn)行，不能成功訂閱數(shù)據(jù)這是因?yàn)閿?shù)據(jù)訂閱通道中保留數(shù)據(jù)的時(shí)間范圍為1天，從當(dāng)前時(shí)間-1天 , 當(dāng)天時(shí)間,訂閱通道會(huì)刪除過期數(shù)據(jù)。所以如果上次SDK退出時(shí)最后一條消費(fèi)數(shù)據(jù)的時(shí)間點(diǎn)對(duì)應(yīng)的數(shù)據(jù)，不在當(dāng)前訂閱通道中，那么就

17、不能訂閱到 這個(gè)消費(fèi)位點(diǎn)對(duì)應(yīng)的數(shù)據(jù)。為了解決這個(gè)問題，用戶需要先到數(shù)據(jù)訂閱控制臺(tái)修改消費(fèi)位點(diǎn)后，重新啟動(dòng)SDK為什么在控制臺(tái)修改消費(fèi)位點(diǎn)操作成功后，啟動(dòng)SDK，訂閱到的數(shù)據(jù)不是修改后位點(diǎn)對(duì)應(yīng)的數(shù)據(jù)如果在修 改消費(fèi)位點(diǎn)過程中，SDK還是存活的，那么SDK就會(huì)不斷得向服務(wù)端匯報(bào)自己消費(fèi)的最后位點(diǎn)，導(dǎo)致控制臺(tái)修 改后的消費(fèi)位點(diǎn)被覆蓋，所以SDK拉到的數(shù)據(jù)還是最后一個(gè)消費(fèi)位點(diǎn)對(duì)應(yīng)的數(shù)據(jù)SDK正常拉數(shù)據(jù)過程中，突然卡住不能訂閱到數(shù)據(jù)這種情況，可能是SDK代碼中沒有調(diào)用ackAsConsumed接口匯報(bào)消費(fèi)位點(diǎn)導(dǎo)致的。由于SDK內(nèi)部設(shè)置了8192個(gè)Record的緩存空間，如果不調(diào)用ackAsConsumed匯報(bào)位點(diǎn)，那么這緩存空間數(shù)據(jù)就不會(huì)刪除，當(dāng)緩存滿時(shí)，就不能拉取新的數(shù)據(jù)，就會(huì)出現(xiàn)SDK卡住不能訂閱數(shù)據(jù)現(xiàn)象(12)如何確認(rèn)數(shù)據(jù)是否正常消費(fèi)如果數(shù)據(jù)正常消費(fèi)，那么數(shù)據(jù)傳輸控制臺(tái)的消費(fèi)位點(diǎn)就會(huì)正常往前走為什么控制臺(tái)上的消費(fèi)位點(diǎn)要比數(shù)據(jù)范圍最大值還要大？因?yàn)橛嗛喭ǖ赖臄?shù)據(jù)范圍更新頻率為1分鐘，而消費(fèi)位點(diǎn)的更新頻率為1