阿里云數(shù)據(jù)集成服務(wù)-Console參考-D

1、數(shù)據(jù)集成Console參考手冊數(shù)據(jù)集成/Console參考手冊數(shù)據(jù)集成/Console參考手冊 PAGE 9 PAGE 9Console參考手冊一、簡介CDP-Console(以下簡稱Console)是數(shù)據(jù)集成提供的，基于命令行交互方式的操作CDP管理工具。本文介紹了Console的安裝、使用方式。本部分面向讀者是Console相關(guān)的開發(fā)測試人員、使用人員。另外訪問CDP服務(wù) 需要AK信息即AccessKeyIDAccessKeySecretIDAccessKeyID，KEYAccess KeySecret，每個使用者具體可以生成多個AK，也可修改AK的使用狀態(tài)（是否啟用）。二、設(shè)計原則Con

2、sole的設(shè)計沿用UNIX Shell程序約定俗稱的原則，包括成功退出值為0、錯誤非0，使用一次性輸入?yún)?shù)，一次做且僅做一個任務(wù)。trace-id，HTTP錯誤碼，錯誤信息等。標(biāo)準(zhǔn) 輸出盡可能精簡（除用戶需要verbose調(diào)試方式之外），對于無返回操作（比如刪除Pipeline）執(zhí)行 成功不打印任何信息，僅提供進(jìn)程退出值0作為判斷?？紤]到外部系統(tǒng)集成(例如ADC、孔明燈、DFS等)，我們只考慮提供基于命令行的一次性輸入方式，即單獨命令完成單項或者多項的任務(wù)內(nèi)容，Console不提供互動的交互式輸入方式。對于Apache Sqoop產(chǎn)品，其對于創(chuàng)建作業(yè)等操作提供了交互式輸入命令行，但是CDPCo

3、nsole摒棄這類使用方法。帶來的好處是方便其他系統(tǒng)集成，缺點是用戶需要在命令行編寫JSON參數(shù)，相對復(fù) 雜。考慮到用戶在命令行輸入JSON參數(shù)比較難以操作，對于交互式的用戶，我們提供-f參數(shù)，指定用戶可 以在文本在編寫好JSON，將文件名作為參數(shù)提供給Console?？紤]到Console存在大量和CDP交互的網(wǎng)絡(luò)過程，提供-verbose方式追蹤所有調(diào)用細(xì)節(jié)，方便Console高級用戶跟蹤和調(diào)試。一、環(huán)境準(zhǔn)備Bash等類NIX Shell命令行(zsh,ksh,csh等)，一般Linux、Mac系列操作系統(tǒng)都有帶，Windows系列推薦使用Cygwin模擬NIXShell環(huán)境Console內(nèi)

4、部基于CDPJavaSDK實現(xiàn)，外部使用BashShell封裝，因此需要Bash（或其他*NIXShell）運行環(huán)境JRE1.6,Console內(nèi)核使用CDPJavaSDKCDPService進(jìn)行交互,因此需要本地安裝JRE，并DDoSDDoSIP/最佳實踐要求JRE版本必須為1.6及以上版本。Console啟動時會自動檢測JAVA的環(huán)境變量是否設(shè)置，請使用如 下命令設(shè)置您的JAVA環(huán)境變量(對于政企輸出機器的標(biāo)準(zhǔn)配置)：export JAVA_HOME=/opt/taobao/javaexport JAVA_HOME=/opt/taobao/java二、安裝與配置如果您獲取到的是CDPCon

5、sole的rpm安裝包，請執(zhí)行：sudo rpm -Uvh t_dp_cdp_console-1.0.1-224427.noarch.rpmsudo rpm -Uvh t_dp_cdp_console-1.0.1-224427.noarch.rpm進(jìn)行安裝（根據(jù)具體的rpm版本選擇）；如果您獲取到的是CDP Console的gzip等壓縮包，直接解壓到指定目錄即可（確保運行用戶有可執(zhí)行權(quán)限）。安裝后目錄結(jié)構(gòu)cdp-console/|- READMEcdp-console/|- README|- bin| - cdp|- conf| - perties|- lib| |- cdp-console

6、-1.1.0-SNAPSHOT.jar| |- cdp-sdk-java-1.1.0-20150123.024540-90.jar| |- - template|- odps2rds_job.json|- pipeline.json|- rds2odps_job.json- stream2stream_job.json其中：/bin 目錄下存放Console執(zhí)行啟動命令；/conf 目錄下存放Console配置信息；/lib 目錄下存放Console執(zhí)行需要的jar包；/template 目錄下存放Console提供的樣例配置.配置文件Console配置文件會存放CDP Console相關(guān)的配

7、置信息。Console在啟動前會根據(jù)CDP_HOME尋找相關(guān)的配置文件，并自動加載使用該配置。配置文件路徑在：$CDP_HOME/conf/perties 配置文件以# CDP console版本client.version=201511111111# CDP console版本client.version=201511111111# CDP服務(wù)訪問點大數(shù)據(jù)處理服務(wù)MaxCompute/Datahub服務(wù)大數(shù)據(jù)處理服務(wù)MaxCompute/Datahub服務(wù) HYPERLINK /api HYPERLINK /api service.url=/api# connection超時設(shè)置，可選，默認(rèn)

8、5000 service.timeout.connection=5000# socket超時設(shè)置，可選，默認(rèn)120000 service.timeout.socket=120000# 用戶的AK信息auth.security.id= auth.security.key=# 默認(rèn)的pipeline user.pipeline=# 是否為verbose打印，取值false|true，默認(rèn)為false client.verbose=false# 輸出格式設(shè)置，取值text|json，默認(rèn)為text client.output=text# 客戶端連接服務(wù)器重試次數(shù)和重試間隔client.retry.t

9、ime=5 erval=1000$CDP_HOME/bin/cdp在Bash命令行執(zhí)行：$CDP_HOME/bin/cdp當(dāng)出現(xiàn)如下類似幫助字樣，表示安裝和啟動成功:perties的配置文件，或者直接 在命令啟動作為參數(shù)傳入。命令行參數(shù)優(yōu)先級高于配置，即兩者同時存在情況下，優(yōu)先選擇命令行參數(shù)。cdp pipeline -list默認(rèn)情況下，用戶不需要指定AUTH信息，此時Console使用了配置文件中的auth.security.id和auth.security.key值作為鑒權(quán)參數(shù)，這兩個參數(shù)需要分別為合法的Access Key ID 和 Access Key Secret。例如執(zhí)行命令:c

10、dp pipeline -list由于沒有指定AUTH信息，Console默認(rèn)使用cdp. properties中的配置作為訪問CDP服務(wù)的鑒權(quán)配置。而在一些情況下，一個CDPConsole可能被多個客戶使用，以完成數(shù)據(jù)同步功能。因此一套id+key的cdp. cdp -security id:keycdp -security id:key其中 -security 參數(shù)后需要跟阿里云賬號的id和key，中間使用冒號分割，具體id和key的值和上面消息服務(wù)/控制臺使用幫助消息服務(wù)/控制臺使用幫助參數(shù)時，Console默認(rèn)直接使用用戶命令行指定鑒權(quán)信息。即同樣的 參數(shù)命令行傳遞優(yōu)先級高于perti

11、es配置文件。公共是指一部分可在多個命令參數(shù)搭配使用的參數(shù)，例如指定命令行輸出格式等。公共參數(shù)大部分在客戶端配 置文件中也可配置，當(dāng)兩者同時提供時，以命令行參數(shù)指定值為準(zhǔn)。另一般可被多個用戶共享使用的參數(shù)，多 為配置文件配置。鑒權(quán)參數(shù)實際上也屬于公共參數(shù)一部分，但是由于內(nèi)容重要，上面單獨作為一章節(jié)講解。-security：阿里云賬號的id和key，中間使用冒號分割。具體可參看上面認(rèn)證和鑒權(quán)部分小節(jié)。-output json|text：指定輸出格式，包括提供給機器(程序)用戶的json格式和提供給人類用戶的普通文本流 默認(rèn)的輸出格式，但是如果用戶需要編寫程序讀取輸出流，必須選擇json格 式。我

12、們不承諾text輸出不改變格式，可能由于產(chǎn)品調(diào)整會修改text的輸出格式，如果您依賴了Console 輸出格式需要注意可能的變化。perties配置項client.output和此命令行功能一致。該參數(shù)適配Console所 有命令。模式輸出時，Console會提供大量的交互細(xì)節(jié)暴露給用戶用以程序異 常時診斷。包括每次請求客戶端提交的HTTP URI和HTTP Body，以及服務(wù)端返回該參數(shù)多用于系統(tǒng)調(diào)試。perties配置項client.verbose和此命令行功能一致。該參數(shù)適配Console所有命令。(asynchronized)啟動的命令指Console將作業(yè) 提交給CDP后即可返回，而

13、不必等該作業(yè)運行完畢。同步(synchronized)啟動命令指Console將作業(yè)提交給 CDP后，須等待該作業(yè)運行結(jié)束，并且等待運行結(jié)束過程中Console會輸出所有的作業(yè)運行狀態(tài)。該參數(shù)主要 適配運行周期較長的命令，包括: cdp job -start 使用-async后，作業(yè)提交即可返回，如果提交失敗會有相應(yīng)地異常信息打??；cdpjob-stop-async后，作業(yè)stop即可返回(不保證stop及時完成)-url：指定CDP服務(wù)訪問點，對于公有云環(huán)境值為 HYPERLINK /api /perties配置項CDP服務(wù)，此配置項在配置文件中設(shè)置即可。該參數(shù) 適配Console所有命令。

14、cdp job -start -p $pipeline。對于離線作業(yè)Job的增刪改查需要在一個管道Pipeline內(nèi)完成，此 參數(shù)設(shè)置了作業(yè)對應(yīng)管道。perties配置項user.pipeline和此命令行功能一致具體如在指定的管道啟動 一個離線同步作業(yè)：cdp job -start -p $pipelinePipeline管理CDP Console針對管道Pipeline提供了create（創(chuàng)建）、query（查找）、close（關(guān)閉）、open（打開）、list（檢索）等操作。CDP Console執(zhí)行Pipeline類目命令的示例如下圖所示：查詢Pipelinecdp pipeline

15、-query $pipeline根據(jù)用戶指定的Pipeline name，查詢具體的Pipeline信息：cdp pipeline -query $pipeline瀏覽Pipeline支持檢索條件criteria，檢索條件使用json格式描述。目前針對Pipeline的搜索只提供了pageIndex(頁碼索引cdp pipeline -list -c pageIndex: 3, pageSize: 4)以及pageSize(頁碼大小),具體如：cdp pipeline -list -c pageIndex: 3, pageSize: 4創(chuàng)建Pipelinecdp pipeline -creat

16、e -f cdp pipeline -create -j 使用本地或者命令行提供的JSON信息進(jìn)行創(chuàng)建，支持本地文件-f 以及命令行 -j 給出pipeline的描述信息。由于Linux Shell存在字符轉(zhuǎn)義的潛規(guī)則，CDP更期望您使用-f從本地讀取JSON文件，而不推薦您使用-j從命令行讀取JSON，可能會存在大量JSON和Shell轉(zhuǎn)義字符沖突的情況。創(chuàng)建示例：cdp pipeline -create -f cdp pipeline -create -j 其中，name指的是要創(chuàng)建的Pipeline名字， -f file示例可見模版文件$CDP_HOME/template/pipelin

17、e.json$CDP_HOME/template/pipeline.jsondescription:this is your pipeline description-j json示例為:description:this is your pipeline descriptionHPC/優(yōu)化工具HPC/優(yōu)化工具修改Pipelinecdp pipeline -update -f cdp pipeline -update -j 使用本地或者命令行提供的JSON對Pipeline信息進(jìn)行修改，使用方式類似創(chuàng)建Pipeline，具體示例：cdp pipeline -update -f cdp pipel

18、ine -update -j 關(guān)閉Pipelinecdp pipeline -close 關(guān)閉后該Pipeline不允許提交新Job，但是不會影響當(dāng)前管道正在運行的同步作業(yè)。該功能必有由Pipeline的創(chuàng) 建者進(jìn)行調(diào)用，具體示例：cdp pipeline -close 開啟Pipelinecdp pipeline -open 同關(guān)閉Pipeline語義相對，將Pipeline置為正常狀態(tài)。該功能必有由Pipeline的創(chuàng)建者進(jìn)行調(diào)用，具體示例：cdp pipeline -open 作業(yè)管理CDP Console針對作業(yè)提供了start（啟動）、query（查找）、list（檢索）、log（日

19、志）、stop（停止）、status（狀態(tài)）等操作。此類目命令需要給出作業(yè)編號id以及管道名字pipeline，作業(yè)編號在啟動一個作業(yè)時由CDP Server返回給的客戶端。用戶可以選擇在命令行終端通過-p指定Pipeline，或者通過perties配置文件指定，優(yōu)先級為命令行配置文件。CDP Console執(zhí)行Job類目命令的示例如下圖所示：查詢作業(yè)可以查詢作業(yè)的整體信息，包括用戶輸入信息和Job運行時信息，具體示例：可以查詢作業(yè)的整體信息，包括用戶輸入信息和Job運行時信息，具體示例：cdp job -query -p 查看作業(yè)狀態(tài)cdp job -status -p -t s查詢作業(yè)的廣

20、義運行狀態(tài)信息。-t 參數(shù)是該命令啟動后，輪詢獲取該Job狀態(tài)的時間間隔（單位為秒）,默認(rèn)為10s，此query命令直至Job結(jié)束命令行結(jié)束。具體示例：cdp job -status -p -t s瀏覽Jobcdp job -list -p -c 根據(jù)指定的搜索條件在指定的Pipeline下搜索符合條件Job清單，具體示例：cdp job -list -p -c 其中criteria可以為:traceId=XXXtraceId進(jìn)行模糊(like)查詢state=XXXstate狀態(tài)查詢job，支持多狀態(tài)并集查詢，使用,(英文逗號)作為分隔符submitUser=XXXsubmitUser進(jìn)行精

21、確(is)查詢submitIp=XXXsubmitIp進(jìn)行精確(is)查詢endUser=XXXendUser進(jìn)行精確(is)查詢submitTime=startTime,endTime 根據(jù)submitTime進(jìn)行范圍（between）查詢,時間請使用類似2014-12-1200:00:00,2014-12-1300:00:00JavaSDK的不一致，JavaSDK要求用戶填寫Unix時間戳。設(shè)計上考慮到Console面向人工操作，JavaSDK面向編寫Java代碼，更適合使用Unix時間戳。startTime=startTime,endTime 根據(jù)startTime進(jìn)行范圍（between）查詢,時間請使用類似2014- 12-1200:00:00,2014-12-1300:00:00格式填寫。endTime=startTime,endTime 根據(jù)endTime進(jìn)行范圍（between）查詢，時間請使用類似2014- 12-1200:00:00,2014-12-1300:00:00格式填寫。cdpjob-list-cpageIndex3pageSize4traceId:basecdpsyncjob-p pipelineName查詢作業(yè)日志cdp job -log -p 查詢Job底層運行日志，用于排錯或者調(diào)試使用，此日志為底層同步引擎DataX