阿里云數(shù)據(jù)集成服務(wù)-深入介紹

1、數(shù)據(jù)集成進(jìn)階與深入數(shù)據(jù)集成/進(jìn)階與深入 PAGE 7進(jìn)階與深入為構(gòu)建云上四通八達(dá)的數(shù)據(jù)同步通道，CDP Job自身定義一套數(shù)據(jù)中間格式。針對(duì)不同的數(shù)據(jù)通道，實(shí)現(xiàn)不同的讀取插件完成從各類數(shù)據(jù)源抽取數(shù)據(jù)(CDP稱之為Reader)，以及不同寫入插件向各類數(shù)據(jù)源寫入數(shù)據(jù)(CDP稱 之為Writer)。CDP的各類插件實(shí)際上是完成了各類數(shù)據(jù)源對(duì)接CDP的適配器。如下：CDP利用RDSReader(實(shí)際上是MysqlReader)完成數(shù)據(jù)從RDS抽取，并轉(zhuǎn)換為CDP的數(shù)據(jù)協(xié)議，投 遞給CDP傳輸中間層。CDP利用ODPSWriter完成CDP的數(shù)據(jù)協(xié)議轉(zhuǎn)換為ODPS的數(shù)據(jù)協(xié)議，并將轉(zhuǎn)換后的數(shù)據(jù)向ODPS

2、寫 入。通過上述CDP數(shù)據(jù)中間層，CDP可以為公有云上構(gòu)建出四通八達(dá)的數(shù)據(jù)傳輸同步通道，讓數(shù)據(jù)不再是孤島！云數(shù)據(jù)庫 OceanBase/相關(guān)協(xié)議CDP在進(jìn)行數(shù)據(jù)同步過程中，為了提升Job數(shù)據(jù)傳輸吞吐能力，CDP通常將對(duì)傳輸數(shù)據(jù)集進(jìn)行細(xì)粒度 切分(CDP稱之為Task)，并啟動(dòng)多線程乃至于多進(jìn)程運(yùn)行容器運(yùn)行Task進(jìn)行數(shù)據(jù)傳輸服務(wù)。單個(gè)Task運(yùn)行容器CDP定義為傳輸單元。CDP單個(gè)傳輸單元數(shù)據(jù)吞吐帶寬為1MB/s，受限于源宿兩端數(shù)據(jù)源的限制，CDP無法保證單個(gè)傳輸單 元一定維持在1MB/s。例如用戶需要為單Job分配5MB/s的帶寬，CDP將啟動(dòng)5個(gè)數(shù)據(jù)傳輸單元，吞吐 量維持在5MB/s左右。

3、由于兩端數(shù)據(jù)源負(fù)載壓力，該Job運(yùn)行期間可能存在上下波動(dòng)，無法一直維持 在5MB/s，但能夠保證最大流量不超過5MB/s。為最大化數(shù)據(jù)同步的Job傳輸吞吐量，CDP將對(duì)Job進(jìn)行更細(xì)粒度的任務(wù)切分，并啟動(dòng)多個(gè)數(shù)據(jù)傳輸單元進(jìn)行并 行數(shù)據(jù)同步。CDP的切分規(guī)則由CDP框架定義接口，具體切分規(guī)則交由具體傳輸插件負(fù)責(zé)實(shí)現(xiàn)，例如：對(duì)于ODPS而言，數(shù)據(jù)切分根據(jù)ODPS表的Record偏移量計(jì)算數(shù)據(jù)分片。對(duì)于Mysql Reader插件而言，其切分算法按照Mysql數(shù)據(jù)表主鍵范圍切分。以Mysql抽取數(shù)據(jù)為例，MysqlReader啟動(dòng)后將連接源數(shù)據(jù)端，計(jì)算數(shù)據(jù)表主鍵范圍，如Min, Max，并根據(jù)用戶帶

4、寬需求切分上述Min, Max區(qū)間范圍，每個(gè)子區(qū)間將作為一個(gè)Task提交給后續(xù)傳輸單元進(jìn)行執(zhí)行。例如，上述Mysql數(shù)據(jù)表主鍵范圍在1,4，MysqlReader根據(jù)用戶需要的吞吐量計(jì)算得出數(shù)據(jù)切分規(guī)則需要兩個(gè)數(shù) 據(jù)子集，因此將數(shù)據(jù)區(qū)間區(qū)分為1, 2、3, 4兩個(gè)數(shù)據(jù)子集，兩個(gè)數(shù)據(jù)子集交由不同的同步傳輸單元完成。CDP數(shù)據(jù)同步面向是結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)同步，CDP對(duì)于源宿兩端數(shù)據(jù)源均會(huì)抽象為一張二維表進(jìn)行傳輸 和映射。CDP對(duì)于字段的映射是按照配置字段順序進(jìn)行一一映射，而非依賴源宿兩端字段名稱。CDP本身不對(duì)源宿兩端字段做任何約束，視用戶填寫字段順序一一傳遞。由于存在異構(gòu)源宿兩端字段個(gè)數(shù)可能

5、 不一致情況，CDP做如下約定：源端字段和目標(biāo)端字段個(gè)數(shù)一致 CDP推薦配置源宿兩端數(shù)據(jù)字段個(gè)數(shù)一致，避免數(shù)據(jù)字段補(bǔ)空情況。源端字段比目標(biāo)端字段多源端字段比目標(biāo)端字段列數(shù)多意味著一定存在數(shù)據(jù)丟失情況，為避免數(shù)據(jù)丟失，CDP對(duì)于這類配置直接報(bào)錯(cuò)。源端字段比目標(biāo)端字段少 CDP對(duì)該類情況直接在導(dǎo)入數(shù)據(jù)末尾添加null，做補(bǔ)空處理。為做到云上所有數(shù)據(jù)存儲(chǔ)能夠做到四通八達(dá)的傳輸通道，CDP必須設(shè)計(jì)出一套通用的數(shù)據(jù)傳輸格式，同時(shí)還需 要保證各類數(shù)據(jù)存儲(chǔ)系統(tǒng)均能夠支持該協(xié)議。為盡可能適配最大范圍系統(tǒng)，CDP僅設(shè)計(jì)支持常見數(shù)據(jù)類型，包PB 級(jí)云數(shù)據(jù)庫 PetaData/服務(wù)條款括：CDP支持類型備注與說明L

6、ong定點(diǎn)數(shù) Int、Short、Long、BigIntegerDouble浮點(diǎn)數(shù) Float、Double、BigDecimal(無限精度)String字符串類型，底層不限長(zhǎng)，使用通用字符集(Unicode)Date時(shí)間類型，包括日期、時(shí)間、日期時(shí)間類型Bool布爾值Bytes二進(jìn)制，可以存放諸如MP3等非結(jié)構(gòu)化數(shù)據(jù)不同的讀取、寫入插件負(fù)責(zé)將上述的表格數(shù)據(jù)轉(zhuǎn)換到各自的數(shù)據(jù)存儲(chǔ)系統(tǒng)。以Mysql讀取為例：CDP支持類型Mysql插件對(duì)應(yīng)類型Longint, tinyint, smallint, mediumint, int, bigintDoublefloat, double, decimal

7、Stringvarchar, char, tinytext, text, mediumtext, longtext, yearDatedate, datetime, timestamp, timeBoolbit, boolBytestinyblob, mediumblob, blob, longblob, varbinary同樣，以O(shè)DPS寫入的數(shù)據(jù)轉(zhuǎn)換表如下：CDP支持類型ODPS插件對(duì)應(yīng)類型LongBIGINTDoubleDOUBLEStringSTRINGDateDATETIMEBoolBOOLEANBytes無Mysql 所有int類型在ODPS最佳實(shí)踐是存放為BIGINT類型，從上述

8、CDP兩張類型轉(zhuǎn)換對(duì)應(yīng)表，CDP的轉(zhuǎn)換也是符合該類類型設(shè)計(jì)。盡管CDP在數(shù)據(jù)類型通用性已經(jīng)做最大可能適配，但仍請(qǐng)用戶在使用CDP具體插件請(qǐng)查閱 每個(gè)插件對(duì)應(yīng)的數(shù)據(jù)源類型，以確保CDP對(duì)插件類型支持符合您的預(yù)期。由于歷史遺留問題，CDP在面對(duì)各類異構(gòu)數(shù)據(jù)同步過程仍然難以避免源宿兩端數(shù)據(jù)類型不匹配情況，例如用戶密鑰管理服務(wù)/API 文檔需要從Mysql的Varchar類型導(dǎo)入ODPS的BIGINT類型。對(duì)于較為通用的數(shù)據(jù)類型轉(zhuǎn)換CDP自身提供了統(tǒng)一的框 架級(jí)定義，方便用戶需要在不同數(shù)據(jù)類型中做轉(zhuǎn)換。類型 轉(zhuǎn)換LongDoubleStringDateBoolByteLongYYY12NDoubleY

9、YYNNNString34Y56NDate7N8YNNBool9NYNYNBytesNN10NNYCDP默認(rèn)的類型轉(zhuǎn)換規(guī)則處理了大部分通用的數(shù)據(jù)轉(zhuǎn)換規(guī)則。針對(duì)部分?jǐn)?shù)據(jù)類型轉(zhuǎn)換，CDP規(guī)則需要用戶知曉：Long轉(zhuǎn)換為Date，將Long數(shù)值視作Java提供Unix時(shí)間戳轉(zhuǎn)換為Date，精度為毫秒。Long轉(zhuǎn)換為Bool，0視為false，否則為trueString轉(zhuǎn)換為L(zhǎng)ong，整數(shù)型字符串支持轉(zhuǎn)換為L(zhǎng)ong，否則報(bào)錯(cuò)。不支持科學(xué)計(jì)數(shù)法字符串。String轉(zhuǎn)換為Double，浮點(diǎn)型字符串支持轉(zhuǎn)換為L(zhǎng)ong，否則報(bào)錯(cuò)。不支持科學(xué)計(jì)數(shù)法。String轉(zhuǎn)換為Date，用戶自定義時(shí)間格式(例如YYYY-

10、MM-DD)，滿足用戶時(shí)間格式可以轉(zhuǎn)換，否則報(bào)錯(cuò)。String轉(zhuǎn)換為Bool，true轉(zhuǎn)為true，false轉(zhuǎn)為false，其他報(bào)錯(cuò)。Date轉(zhuǎn)為L(zhǎng)ong，將Date轉(zhuǎn)為Unix時(shí)間戳。Date轉(zhuǎn)換為String，根據(jù)用戶自定義時(shí)間格式(例如YYYY-MM-DD)轉(zhuǎn)換為字符串。Bool轉(zhuǎn)換為L(zhǎng)ong，true轉(zhuǎn)為1，false轉(zhuǎn)為0。Bytes轉(zhuǎn)換為String，根據(jù)用戶指定的字符集編碼轉(zhuǎn)為String。注意:CDP傳輸過程中自動(dòng)進(jìn)行編碼轉(zhuǎn)換，例如CDP自動(dòng)從Mysql GBK的字段導(dǎo)入ODPS UTF-8字段，用戶不需要干預(yù)。CDP定位在為各類數(shù)據(jù)存儲(chǔ)提供數(shù)據(jù)傳輸通道功能，在定期自動(dòng)化運(yùn)行

11、數(shù)據(jù)同步場(chǎng)景，如數(shù)倉ETL流程，要求所 有的數(shù)據(jù)同步Job能夠做到多次數(shù)據(jù)同步能夠和單次數(shù)據(jù)同步最終結(jié)果一致。例如當(dāng)一次數(shù)據(jù)同步Job出現(xiàn)Fail情況，用戶可以直接重啟CDP任務(wù)而不需要到目的數(shù)據(jù)端進(jìn)行線上數(shù)據(jù)清理操作。這在數(shù)倉領(lǐng)域?qū)儆贘ob冪 等性要求。CDP Job的冪等性是通過Writer插件的前置條件來實(shí)現(xiàn)的，例如用戶可寫ODPS配置中提供數(shù)據(jù)寫入前的清理工作，該配置可以保證每次數(shù)據(jù)導(dǎo)入前都會(huì)先清除當(dāng)前表或者分區(qū)的現(xiàn)有數(shù)據(jù)，這樣能夠保證數(shù)據(jù)多次寫入的 結(jié)果和當(dāng)前一次性寫入結(jié)果一致。CDP對(duì)接云上各類數(shù)據(jù)存儲(chǔ)系統(tǒng)，受限于各類數(shù)據(jù)存儲(chǔ)模型事務(wù)支持(例如海量數(shù)據(jù)回流RDS是無法提供原子性歸檔

12、存儲(chǔ)/API使用手冊(cè)保證)，CDP本身無法提供寫入的原子性語義保證：CDP Job數(shù)據(jù)同步過程中，一旦出現(xiàn)數(shù)據(jù)同步異常導(dǎo)致失敗，CDP無法保證數(shù)據(jù)全部進(jìn)入或者全部回滾(All orNothing)，同時(shí)數(shù)據(jù)導(dǎo)入過程對(duì)于目的數(shù)據(jù)源同樣不是原子性提交，目的數(shù)據(jù)端仍可能看到數(shù)據(jù)進(jìn)入的過程。對(duì)于原子語義，建議用戶可以使用在系統(tǒng)工程中使用臨時(shí)表等技巧繞過原子性語義問題。例如，在使用CDP將ODPS系統(tǒng)數(shù)據(jù)回流到生產(chǎn)RDS數(shù)據(jù)庫，前端業(yè)務(wù)用戶可能觀察到海量數(shù)據(jù)導(dǎo)入RDS過程，包括部分?jǐn)?shù)據(jù)進(jìn)入RDS過程。對(duì)于該類應(yīng)用，建議用戶使用A、B表切換保證在線系統(tǒng)原子語義：當(dāng)前在線服務(wù)使用A表完成OLTP操作，數(shù)倉回

13、流通道寫入生產(chǎn)B表。待CDP整個(gè)寫入RDS完成后，在線應(yīng)用完成數(shù)據(jù)源從A表切換到B表，即可做到回流原子語義。在數(shù)據(jù)同步系統(tǒng)，可能由于最終客戶人員誤操作，或者由于分布式系統(tǒng)調(diào)用超時(shí)重試，有可能存在同一個(gè)Job被 多次并行啟動(dòng)。對(duì)于數(shù)據(jù)同步系統(tǒng)而言，數(shù)據(jù)多次重復(fù)調(diào)用極有可能造成數(shù)據(jù)重復(fù)寫入，并引發(fā)數(shù)據(jù)故障。CDP本身提供了Job唯一性校驗(yàn)功能，例如同一份Job配置CDP客戶同一時(shí)間啟動(dòng)兩次及以上，CDP將自動(dòng)識(shí)別 唯一性檢查，對(duì)于重復(fù)提交Job，CDP將報(bào)錯(cuò)提示用戶出現(xiàn)了Job多次提交。增量數(shù)據(jù)同步是數(shù)據(jù)同步業(yè)務(wù)層面實(shí)現(xiàn)，具體到底層數(shù)據(jù)同步分為批量Snapshot同步以及變更操作日志同步。CDP

14、Job通過數(shù)據(jù)存儲(chǔ)數(shù)據(jù)API接口完成批量數(shù)據(jù)同步功能，因此CDP Job本身不支持獲取數(shù)據(jù)存儲(chǔ)系統(tǒng)層面的變化過程。例如CDP無法通過獲取解析RDS BinLog日志反查數(shù)據(jù)變化量并同步到目的數(shù)據(jù)源。用戶的增量業(yè)務(wù)需求，不僅僅只能通過系統(tǒng)級(jí)別增量變化日志解析實(shí)現(xiàn)數(shù)據(jù)增量同步。實(shí)際上，業(yè)界對(duì)于增量 同步有諸多解決方案：時(shí)間戳方式：它是一種基于快照比較的變化數(shù)據(jù)捕獲方式，在源表上增加一個(gè)時(shí)間戳字段，系統(tǒng)中更 新修改表數(shù)據(jù)的時(shí)候，同時(shí)修改時(shí)間戳字段的值。當(dāng)進(jìn)行數(shù)據(jù)抽取時(shí)，通過比較上次抽取時(shí)間與時(shí)間 戳字段的值來決定抽取哪些數(shù)據(jù)。有的數(shù)據(jù)庫的時(shí)間戳支持自動(dòng)更新，即表的其它字段的數(shù)據(jù)發(fā)生改 變時(shí)，自動(dòng)更新

15、時(shí)間戳字段的值。有的數(shù)據(jù)庫不支持時(shí)間戳的自動(dòng)更新，這就要求業(yè)務(wù)系統(tǒng)在更新業(yè) 務(wù)數(shù)據(jù)時(shí)，手工更新時(shí)間戳字段。在阿里數(shù)據(jù)庫使用實(shí)踐中，所有的在線業(yè)務(wù)系統(tǒng)按慣例都默認(rèn)添加 了create_time、modify_time，對(duì)于在線業(yè)務(wù)寫入均自動(dòng)修改上述兩個(gè)字段，記錄修改時(shí)間。CDP在 進(jìn)行數(shù)據(jù)同步過程中，僅需要在Mysql抽取環(huán)節(jié)配置where過濾條件做增量抽取。觸發(fā)器方式：抽取的表上建立需要的觸發(fā)器，一般要建立插入、修改、刪除三個(gè)觸發(fā)器，每當(dāng)源表中 的數(shù)據(jù)發(fā)生變化，就被相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫入一個(gè)臨時(shí)表，抽取線程從臨時(shí)表中抽取數(shù)據(jù)，臨時(shí)表中抽取過的數(shù)據(jù)被標(biāo)記或刪除。對(duì)于此類應(yīng)用方式，CDP在進(jìn)行數(shù)據(jù)同步時(shí)僅需指定抽取觸 發(fā)器寫入表即可。表方式：在業(yè)務(wù)系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，更新維護(hù)日志表內(nèi)容，當(dāng)作ETL 加載時(shí)，通過讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。對(duì)于此類應(yīng)用方式，CDP同樣使用Where過 濾條件做增量抽取。日志表方式：在業(yè)務(wù)系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，更新維護(hù)日志表內(nèi)容，當(dāng)作ETL 加載時(shí)，通過讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。對(duì)于此類應(yīng)用方式，CDP同樣使用Where過濾條件做增量抽取。數(shù)據(jù)同步通常會(huì)對(duì)接源宿兩端數(shù)據(jù)存儲(chǔ)，需要根據(jù)源宿兩端數(shù)據(jù)源的具體信息適配和轉(zhuǎn)換相應(yīng)的數(shù)據(jù)內(nèi)容。