ETL平臺(tái)案例實(shí)戰(zhàn)

ETL平臺(tái)案例實(shí)戰(zhàn)Lab1任務(wù)開發(fā)和調(diào)測(cè)通過(guò)插件配置完成一個(gè)簡(jiǎn)單的ETL開發(fā)手動(dòng)本地方式運(yùn)行ETL跟蹤本地方式運(yùn)行日志強(qiáng)制停止本地方式任務(wù)實(shí)例手動(dòng)遠(yuǎn)程方式運(yùn)行跟蹤遠(yuǎn)程實(shí)時(shí)運(yùn)行日志強(qiáng)制停止遠(yuǎn)程方式任務(wù)實(shí)例使用JS雨件動(dòng)態(tài)獲取時(shí)間變量添加注釋小結(jié)（Lab1）Lab2流程設(shè)計(jì)和調(diào)測(cè)創(chuàng)建一個(gè)單層流程創(chuàng)建一個(gè)多層的流程增加一個(gè)數(shù)據(jù)校驗(yàn)點(diǎn)增加一個(gè)數(shù)據(jù)校驗(yàn)點(diǎn)增加異常告警點(diǎn)小結(jié)（Lab2）Lab3流程監(jiān)控增加一個(gè)監(jiān)控視圖通過(guò)監(jiān)控視圖查看流程執(zhí)行狀態(tài)查看流程運(yùn)行時(shí)間記錄查看校驗(yàn)點(diǎn)輸出結(jié)果…定位異常重處理任務(wù)小結(jié)（Lab3）Lab1任務(wù)開發(fā)目標(biāo)：將表從數(shù)據(jù)源庫(kù)復(fù)制到本地庫(kù)。.登陸進(jìn)入ETL平臺(tái)，切換到“設(shè)計(jì)”場(chǎng)景下；.展開目錄，定位到目錄“09測(cè)試”下“l(fā)ab”子目錄；.右鍵單擊“l(fā)ab”子目錄，選擇“新建任務(wù)”，彈出任務(wù)設(shè)計(jì)視圖，按Ctrl+S或工具欄上的保存按鈕進(jìn)行保存，命名為“T-lab01"，按確定后確認(rèn)保存成功；.切換左側(cè)TAB頁(yè)簽至“插件”欄下，依次從“輸入”文件夾拖入“表輸入”插件，從“表輸出”文件夾中拖入“表輸出”插件；.選中右側(cè)設(shè)計(jì)區(qū)中“表輸入”插件實(shí)例，按住shift鍵同時(shí)按下鼠標(biāo)連接至“表輸出”，再次保存；.雙擊“表輸入”插件，進(jìn)入插件參數(shù)配置界面。點(diǎn)擊“新建”按鈕新建出源表所在的數(shù)據(jù)庫(kù)連接，假定源表在166的crm_inter用戶下：

將數(shù)據(jù)庫(kù)連接取名為L(zhǎng)AB(166_crm_inter)

.點(diǎn)擊“測(cè)試”，確認(rèn)配置正確。點(diǎn)擊“確定”返回，在當(dāng)前頁(yè)面，再次點(diǎn)擊“數(shù)據(jù)庫(kù)連接”后的“新建…”按鈕，按6同樣的方法新建出目標(biāo)庫(kù)，這里假定是134的eda用戶下，連接名取為“LAB(134_eda)”

.返回到“表輸入”插件配置表單。將名稱改為帶業(yè)務(wù)含義：“主產(chǎn)品實(shí)例源表(562)數(shù)據(jù)庫(kù)連接選擇“LAB(166_crm_inter)”，在SQL域填入以下內(nèi)容：SELECTPRDINSTID,PRDINSTNAME,PRDINSTDESC,PRDINSTTYPEID,SERVICE_NBR,PHYSICAL_NBR,CUST_AGREEMENT_ID,REGION_ID,SERV_REGION_ID,EXCH_ID,RES_ZONE_ID,URBAN_FLAG,URGE_CD,PRDINSTSTASID,PAYCUSTID,USECUSTID,OWNCUSTID,CRTDATE,EFFDATE,EXPDATE,MODDATE,EFFSTATE,LATNID,PRDID,OFRID,COMPLETEDATE,SERVNUM,INSTALLADDR,STANDADDR,ORDERID,CONTRACTED,EVOLUTIONPTYID,ACCTID,USERBILLID,USERTYPEID,USERKINDID,ACCEPTDATE,ACCEPTEMPEEID,ACCEPTTYPECOD,INSTALLDATE,INSTALLEMPEEID,SUPPADDRDESC,SENDSTATUS,LASTORDERID,DEVEFPDATE,DEVEXPDATE,BESPDATE,BESPSYMBOL,BILLDATE,BILLXCHGID,PAYCYCLE,USERACCOUNT,IFPREPAY,IPFLAG,BASICSTATE,EXTSTATE,VOICEAOCTYPE,DATAAOCTYPE,ISMPAOCTYPE,SMSAOCTYPE,USECUSTNAME1,USECUSTNAME2,USECUSTNAME3,BUSINAME,USEADDR,IFIVPN,LOADDATE,LOCALPARTITIONIDFROMprdprdinstd562WHERErownum<=100000

這里表示從源表中復(fù)制所有字段，暫取其中的10萬(wàn)行記錄；點(diǎn)擊“預(yù)覽（P）”按鈕進(jìn)入數(shù)據(jù)查看窗體，以此驗(yàn)證SQL配置正確性；表皆入SQL步驟名稱q堂呈實(shí)例源表（5葩h數(shù)據(jù)庫(kù)連接:DATA_AOC_TYPEI5MP_A0C_TYPESMS_AOC_T￥PE.USE_CUST_NA14E1USELCUST_HAME27SE_CUST_NAME3.SUSI_NAMESQL步驟名稱q堂呈實(shí)例源表（5葩h數(shù)據(jù)庫(kù)連接:DATA_AOC_TYPEI5MP_A0C_TYPESMS_AOC_T￥PE.USE_CUST_NA14E1USELCUST_HAME27SE_CUST_NAME3.SUSI_NAME,USELADDEIFIVPN.LOAD_DATE,LOCA1_FARTITION_IDFROMtb_prd_prd_inst_d_5S2VHEREx'Qwnij.B<=100000口行71列允中延遲轉(zhuǎn)換r替換刖L語(yǔ)句里的變量.從步驟插入藪據(jù)I

執(zhí)行每一行？廠

記錄數(shù)量限制|0步驟主產(chǎn)品實(shí)例通表卷改）的數(shù)據(jù)（1000行）PRDIKSTID1000^30FEBINSTNAME司編轅...?新建我取宴逼詢語(yǔ)句一一3456T8910確定W取消您）100038310003351000386100038710003SS100033910003911000393immcjd關(guān)閉?I顯示日志工）.在SQLPlus或PL/SQLDeveloper中通過(guò)語(yǔ)句創(chuàng)建出目標(biāo)表：createtabletbprdprdinstd562asselect*fromcrminter.tbprdprdinstd562@edwwhere1=2;.點(diǎn)“確定”后返回，雙擊“表輸出”，按下圖輸入配置內(nèi)容，切換至“數(shù)據(jù)庫(kù)字段”，點(diǎn)擊“獲取字段”，所有的默認(rèn)映射關(guān)系已按順序自動(dòng)建立。

匚匚3費(fèi)給出步驟名稱|主產(chǎn)品實(shí)例」接口表6四）數(shù)據(jù)庫(kù)連接；|lAB（134_e（la）目標(biāo)模式扃；目標(biāo)表提交記錄數(shù)量載典表ftb_prd_prd_inst_d_562目標(biāo)表提交記錄數(shù)量載典表ftb_prd_prd_inst_d_562|200004>茅選項(xiàng)f確定⑥|取消?茅選項(xiàng)f確定⑥|取消?密插入錯(cuò)誤匚理野據(jù)庫(kù)摩咸營(yíng)1.2手動(dòng)啟動(dòng)本地執(zhí)行.雙擊“主產(chǎn)品實(shí)例接口表（562）”插件實(shí)例打開參數(shù)編輯狀態(tài)，基于本地機(jī)器性能和網(wǎng)絡(luò)考慮，臨時(shí)修改“提交記錄數(shù)量”為100,表示每100條提交一次，便于看到演示效果；.通過(guò)點(diǎn)擊任務(wù)設(shè)計(jì)區(qū)左上角啟動(dòng)按鈕，彈出“執(zhí)行任務(wù)對(duì)話框”；.選擇“本地執(zhí)行”；.選中“執(zhí)行前清理日志”，選擇“詳細(xì)日志”級(jí)別；.點(diǎn)擊“啟動(dòng)”。

實(shí)時(shí)跟蹤本地方式運(yùn)行實(shí)例的執(zhí)行情況啟動(dòng)一旦生效，可以看到以下幾類執(zhí)行信息：1、點(diǎn)擊設(shè)計(jì)區(qū)下方“執(zhí)行結(jié)果”欄“執(zhí)行歷史”頁(yè)簽中左上角刷新按鈕，可看到當(dāng)前正在運(yùn)行的任務(wù)實(shí)例，以start狀態(tài)體現(xiàn)，每執(zhí)行一次這里就會(huì)產(chǎn)生條記錄；2、設(shè)計(jì)區(qū)下方“執(zhí)行結(jié)果”欄“日志”頁(yè)簽中顯示的是當(dāng)前實(shí)例的實(shí)時(shí)日志;TOC\o"1-5"\h\z執(zhí)行結(jié)果回X|年執(zhí)行歷史心日志、型步廊tri"旦崩圖Q臺(tái)|覆2010/10/2203：C735-LAIC65_crm_inter)-Coittecieito也t北a8.超|2010/10/2203：CT35-LAIQ65erminter)-加匕5nBitoff_12010/10/2203：CT35-主產(chǎn)品實(shí)例源表白6￡)0-Camieitedtoiatibise...2010/10/2203:CT35-T-laMl-步驟［主產(chǎn)品實(shí)列源表石昭).0］衽始七不完全』有缺陷.2010/10/2203:C735-T-laWl-方驟［主產(chǎn)品實(shí)娜口病562).0］初蛤化不完全」有缺陷.2010/10/2203：CT33-comect_e:1jlat-?reparing：mtatemen:：2010/10/2203:C735-匚0小e「4打1式-IHSBRTIITDETL_STEP_STaTUSCSrATlTS,CREMEDME,ZD.BXTCH,ZD_5fEP,IIJRAMSl㈠LVE三(?,\?2010/10/2203:CT35-主產(chǎn)品實(shí)例源蓑弼￡)0-開蛇運(yùn)行一2010/10/2203:07:36-comect_etljlat-Preparingstatenent：2010/10/2203:07=36-co皿act二ell_pl@t—IHSEETIITDETL_STEFSTATUSCSTATVS.CRMTEDATE,ID_BKTCH,ID.STEP,IDJRABS)VALUES(7.￡?,2010/10/2203:CT35-T-laMl-在落望分配了2援程一加1列珥.2010/10/2203:C736-主產(chǎn)品實(shí)例接口表(5費(fèi)).0-開始運(yùn)行..2010/10/2203：C735-主產(chǎn)品實(shí)例接口表6改).0-Fr?arEdstatement：ZiEERTIMTOedatb_prd_pri_inSt_d_562(FRIJIEIJD,.FRL_IBSTJfA叫FR3.設(shè)計(jì)區(qū)下方“執(zhí)行結(jié)果”欄“步驟Metrics”顯示的是當(dāng)前任務(wù)的步驟信息、記錄數(shù)信息,動(dòng)態(tài)刷新；同時(shí)通過(guò)語(yǔ)句在SQLPlu或PL/SQLDevelope沖查詢到目標(biāo)端的插入記錄數(shù)；selectcount(*)fromtb_prd_prd_inst_d_562t4、任務(wù)執(zhí)行期間，點(diǎn)擊任務(wù)頁(yè)簽上的叉號(hào)，關(guān)閉當(dāng)前任務(wù)設(shè)計(jì)窗體，面布b(F費(fèi)'通過(guò)資源庫(kù)目錄點(diǎn)擊再次打開該任務(wù)，查看“執(zhí)行歷史”、“日志”和“步驟Metrics”頁(yè)簽內(nèi)容，刷新到最新?tīng)顟B(tài)，可看到當(dāng)前任務(wù)仍處于執(zhí)行狀態(tài)，但日志和步驟信息清零；稍等片刻后，日志出現(xiàn)“任務(wù)完成”信息上述過(guò)程說(shuō)明，在本地執(zhí)行時(shí)，關(guān)閉當(dāng)前窗體并不關(guān)閉任務(wù)的執(zhí)行退出平臺(tái)時(shí)，手動(dòng)方式啟動(dòng)的本地執(zhí)行實(shí)例會(huì)自動(dòng)停止。5、設(shè)計(jì)區(qū)下方“執(zhí)行結(jié)果”欄“執(zhí)行歷史頁(yè)簽”中，點(diǎn)擊已運(yùn)行完?duì)顟B(tài)為end的實(shí)例，在最底下可看到日志信息，處于start狀態(tài)的日志則沒(méi)有。執(zhí)行結(jié)果%執(zhí)行歷史，廳日志"步腳泌門⑴尸性篇圖$.1忖?*M三刖鄴頁(yè)共1頁(yè)#任務(wù)名稱1抵戌［D］狀態(tài)1符續(xù)讀」寫］更新輸入輔出楮誤r1T-labOl337Sstart00000002T-labOl33T4IIS7577471515494□T57747757747D13T-labOl33T3end\410000□10000iaooo0II4T-labLH33T2T910000200000100001000005T-labLH33T1end6610000200000100001000006T-labOl3370start001D00007T-labOl3369endT31000020DD001DD001000004|STAHT2010/10/2203:41:^2-T-labOI*initialising2sttpi...)2010/10/2203:41:22-主產(chǎn)品實(shí)例源正史62).0?Rujnningonsjiweserver#0/1.2010/10/2203:41:22-主產(chǎn)品實(shí)例接中^^白^上CL—-ENcniirjrFfrslaveserver#0/1.HI1.4手動(dòng)啟動(dòng)遠(yuǎn)程執(zhí)行.點(diǎn)擊“當(dāng)前對(duì)象”，右擊“子服務(wù)器”文件夾“新建”，進(jìn)入“子服務(wù)器對(duì)話框”配置界面;配置如下參數(shù):配置好的服務(wù)器將在遠(yuǎn)程執(zhí)行對(duì)話框中可選;.雙擊“主產(chǎn)品實(shí)例接口表（562）”插件實(shí)例，修改“提交記錄數(shù)量”為10000;.通過(guò)點(diǎn)擊任務(wù)設(shè)計(jì)區(qū)左上角啟動(dòng)按鈕，彈出“執(zhí)行任務(wù)對(duì)話框”；.選擇“遠(yuǎn)程執(zhí)行”及服務(wù)器；5.點(diǎn)擊“啟動(dòng)”1.5實(shí)時(shí)跟蹤遠(yuǎn)程方式運(yùn)行實(shí)例的執(zhí)行情況1、啟動(dòng)生效后，會(huì)自動(dòng)彈出運(yùn)行服務(wù)器上的實(shí)例監(jiān)控頁(yè)簽，展開任務(wù)目錄，可以看到當(dāng)前任務(wù)處于Running狀態(tài)，并有記錄數(shù)實(shí)時(shí)提示；

點(diǎn)擊“刷新”按鈕可以實(shí)時(shí)看最新的狀態(tài)信息;2、選中任務(wù)'T-lab01”中的一個(gè)步驟，可在下方看到實(shí)時(shí)輸出日志；XT-labO1￡g丫，terv?白：1泡84.1口E1：34:皿9口*5>>\^任務(wù)/步驟|復(fù)制的行數(shù)量|讀|寫|輸入|輸出|更新|拒魴|日…；E任務(wù)上壬產(chǎn)品實(shí)例源表（56||?-X「1必一_■TTTTrrrffW7777上壬產(chǎn)品實(shí)例源表（56||?生產(chǎn)品實(shí)例接口表06210110011100010010001000+O流程?I2010/10/2203:50：25-LAB（166_crm_inter）-Connectedtodatabase.2010/10/2203:50:25-LAB1166—erm：nter）-Autocommito￡￡2010/10/2203:50:25-主產(chǎn)品實(shí)例I源表⑤62].口-Connectedtodatabase...2010/10/2203:50:25-T-lab01-Step[主產(chǎn)品實(shí)例源表（562[.0]initializedflawlessly.2010/10/2203:50:25-TT典—"SI即[上廣品實(shí)網(wǎng)接耳表（562）.0]initializedflawlessly.2010/10/2203:50：25-ct_etl_plat-Preparient：2010/10/2203:50:25XconnecCetlplat-INSERTINTOETI>^TEF_STATUS（STATUS,CREATEDATE,ID.BATCH,ID.STEF,ID_TE2010/10/2203:50:2/-主產(chǎn)品實(shí)例I源表（5B2）.口-Startingt口、n...2010/10/2203:50:^5-connect_etl_plat-Preparingstatement：2010/10/2203:50:25-匚口nnect二etljlat-INSERTINTOETL_STEf_STATUS（STATUS,CREATEDATE,工D_EATCH,工D_STEF,ID_TE2010/10/2203:50：Zt-T-lab01-Transformationhasall口隹threadsand1rowsets.2010/10/2203：5口：26%主產(chǎn)品實(shí)例]接口表（562）.口-Startin?Xrun...2010/10/2203:50:26品實(shí)例接口表（562）.口-Prepa^Gdstatement：INSERTINTOeda.tb_prd_prd_inst_d_562（FED_IB3、通過(guò)關(guān)閉叉號(hào)關(guān)閉當(dāng)前監(jiān)控頁(yè):

Slaveserver134.64.106,134:0090"4、切換至“當(dāng)前對(duì)象”下，通過(guò)子服務(wù)器右鍵菜單“監(jiān)控”，再次激活出“監(jiān)控”頁(yè)簽;任務(wù)設(shè)計(jì)當(dāng)前對(duì)象賽懣庫(kù)過(guò)濾器賽懣庫(kù)-t任務(wù)E-XT-labOl由仁瞳接國(guó)已St?pE（步驟）閨已HopN節(jié)點(diǎn)連接）：■■-0數(shù)據(jù)庫(kù)分區(qū)□a子服務(wù)器|也「一-一f二ETL平臺(tái)集群MchBma工134.S4.106,134:30共享134.S4.106,134:30監(jiān)控5、點(diǎn)擊設(shè)計(jì)區(qū)下方“執(zhí)行結(jié)果”欄“執(zhí)行歷史”頁(yè)簽中左上角刷新按鈕，可看到當(dāng)前在遠(yuǎn)程運(yùn)行的實(shí)例同樣存有記錄，以start狀態(tài)體現(xiàn)；2、設(shè)計(jì)區(qū)下方“執(zhí)行結(jié)果”欄“日志”頁(yè)簽中可以看到遠(yuǎn)程實(shí)例的啟動(dòng)時(shí)刻信息；“步驟Metrics無(wú)法顯示遠(yuǎn)程執(zhí)行的任務(wù)的步驟信息；3、退出平臺(tái)，重新登錄，觀察正在運(yùn)行的流程實(shí)例是否終止。

Lab2流程設(shè)計(jì)目標(biāo)：串聯(lián)Labi中完成的任務(wù)和一個(gè)外部程序，形成一個(gè)簡(jiǎn)單可執(zhí)行的流程。.雙擊Labi中的任務(wù)實(shí)例打開，通過(guò)另存為形成lab目錄下的副本，存為“T-lab02-01"，在Lab2的后面將會(huì)引用并做少量調(diào)整；-|n|x|任務(wù)屬性-|n|x|任務(wù)屬性確定|取消&)|_.右鍵lab文件夾，選中“新建流程”，新建出一個(gè)流程，ctrl+s存為“J-lab02-01”;±■監(jiān)控日?年任務(wù)/端程莊??日00主控調(diào)度-01接口抽取02企業(yè)數(shù)據(jù)模型整合白-。03基砒集市流表）生成+?01按天生成■—S02按月生成&04應(yīng)用集市生成由f08公用Fa06測(cè)試heguoqiRg新建目錄重命名刪除目錄新建流程新建任務(wù)刷新3,左邊資源頁(yè)簽切換至“插件”，拖入“通用”->“START插件，切換至“資源庫(kù)”，選中LAB仲的案例；切換回“插件”頁(yè)簽，拖入“腳本”->“shell”插件；連線成如下形式；4,配置shell1參數(shù)內(nèi)容，使其指向我們的一個(gè)外部程序，參數(shù)暫時(shí)制定常量值;回執(zhí)行一個(gè)玉hellM本一節(jié)點(diǎn)名稱：腳唾兩一般腳本插入腳本r腳本文件?瀏覽宴一一?喈腳本文件?瀏覽宴一一?喈IETL_HOME}/spp，1q工t，Lab_￡t_pTd_in工匕sh日志設(shè)置指定日志文件？「追加日志文件？r日志文件中包含時(shí)間Tr日志級(jí)別:日志文件中包含時(shí)間Tr日志級(jí)別:伊諾日志執(zhí)行成功返回碼;殍將上一結(jié)果作為參數(shù)？廠對(duì)每個(gè)輸入行執(zhí)行一枚？r確定?I取消確定?I取消?I5.修改節(jié)點(diǎn)名稱成如下形式，便于理解?，F(xiàn)在一個(gè)流程已經(jīng)設(shè)計(jì)完成。下面我們開始流程的測(cè)試。J-lab02-02J4abD2-01J-lab02-02J4abD2-01次1001V]資料整合〔麗芝二＞6.為了快速看到效果，將第一個(gè)任務(wù)的記錄數(shù)限制到10萬(wàn)行;.點(diǎn)擊啟動(dòng)按鈕，由于腳本在遠(yuǎn)程主機(jī)服務(wù)器上，因此只能選擇“遠(yuǎn)程執(zhí)行”.啟動(dòng)后，自動(dòng)彈出的服務(wù)器監(jiān)控中心中，可以找到對(duì)應(yīng)的流程和任務(wù)記錄:同樣，在執(zhí)行結(jié)果欄中，刷新后能看到執(zhí)行記錄:9.右鍵設(shè)計(jì)區(qū)的任務(wù)實(shí)例:資料接口抽I資料接口抽I新節(jié)點(diǎn)打開任務(wù)編輯節(jié)點(diǎn)編輯節(jié)點(diǎn)描述信息以并行方式運(yùn)行下一個(gè)節(jié)點(diǎn)復(fù)制節(jié)點(diǎn)復(fù)制被選擇的節(jié)點(diǎn)到段貼次CTRL-C前例/分布頁(yè)共1頁(yè)拆開節(jié)點(diǎn)刪除所有該節(jié)點(diǎn)的副本可以看到下方“執(zhí)行結(jié)果”區(qū)域有該任務(wù)的執(zhí)行記錄，每運(yùn)行一次產(chǎn)生一條記錄;-',JJ-lab02-01>■■余I囤I回主產(chǎn)品實(shí)例海表(562)主產(chǎn)品實(shí)例接口表［562〕STAET￡010/10/22<rts7i3-[J-141D2-01],T-l*LD2-01工血適泳2sUpc...2010/10/22iT^IJy.Lj*_4露3-011_*產(chǎn)品量*例涯柒6L'l"Y寶f胃：七onslaveserver#0/1.“I再次查看監(jiān)控中心日志:

2010/L0/22「4：332D10/10/22IL41132010/10/222010/L0/22「4：332D10/10/22IL41132010/10/22IL41132010/10/22「4L132010/10/221：4L132010/10/2211:41132010/10/2211:4]132010/10/22II43皚S010/10/22II411320107LC/EE"4口13和1QFLWEELL4113①I1W1W蹬LL41】32010/10/22IL4133S010/10/22IL4]TT^LQZW冬Jii川1414部2JS6￡）C5B2）-用尸數(shù)匯總歷眈J-用尸數(shù)憶總巧蹌〕-用戶數(shù)憶總網(wǎng)2〕(slieulj")■(sliout)-SELECT(sUouO-20101021,CsIiLout)qS62,(.sldoiLt)-prd_iiQldsmt)-countU.)(^ido-at)-FBDMtb_prd_prd_insl_d_56S(lUouO-6的底Ef--用戶數(shù)?匚林(56ZJCniijiiO-prd_id-用戶數(shù)匯總(56/Gl4m。-20HO-10-ZE1L：4L13[Mbu4[執(zhí)行耗時(shí)ML[記錄數(shù)】5l一甬戶翻匚置靛g(HdQUt)~-用戶數(shù)匯總行62〕-Connand/etl_hcme/ETL/app/1eev_numsti2OIOIOZ3562has;finished二.T71axFF1-Fi力iCqd』mh皿1ry「甩自費(fèi)注葛應(yīng)$之)11r“皿工,[trae])■??i菽E叩1-Finishedjobthlrj[密科接口抽取出82JJ(I■山日iWRg])-J-libffi-01-=========J*KFi』iih€a========WE__二――^住若/多騾復(fù)制的打窗量律1寫1箍入輸出|更勘拒造情派1憂意￡轉(zhuǎn)任藥&Ji1-141)01完成主產(chǎn)箱實(shí)例詼00由747TSTHT000DFifiished主產(chǎn)品實(shí)例接「075774177S774707E7747000Finia.d-：Y）流程-JJLQ-日洋單部分193B00000完成代收詳單6L2000011晶成語(yǔ)在錯(cuò)謖）L0-寬帶含并型&L20C門口才常感21-1&帥豆110M00300000100000100000000^丁完成_口U-接口我?！鯢L6UUUU￡1死山.；JOOOODO2300000LI-低收詳單-皇若c□0oQon靠成倍在錯(cuò)誤）dAl■ff|雌|俱止|顯示錯(cuò)謾行待完成后，通過(guò)SQ用句查詢結(jié)果表數(shù)據(jù):select*fromlabftprdinstt2.2創(chuàng)建一個(gè)多層的流程13目標(biāo)：我們將引用Lab2.1中的流程，模擬全省數(shù)據(jù)的處理流程。先并行做完3個(gè)地市的數(shù)據(jù)處理后，再做下一步的環(huán)節(jié)。單本地網(wǎng)做接口表抽取、基礎(chǔ)集市表數(shù)據(jù)整合，全省做完這兩步后，再進(jìn)行基礎(chǔ)集市表向匯總集市表的生成。.雙擊T-lab02-01中的任務(wù)實(shí)例打開，通過(guò)另存為形成lab目錄下的副本，存為“T-lab03-01”，在該例子中我們將對(duì)其做少量調(diào)整；.打開“T-lab03-01”的“任務(wù)設(shè)置”選項(xiàng)；

3.通過(guò)“參數(shù)”頁(yè)簽增加p_latn變量，使其成為可被復(fù)用的任務(wù);4.修改任務(wù)名稱如下:XTlabn2-D2>ii■口/0|0>電與東|國(guó)|[ira35.修改任務(wù)配置內(nèi)容，使其中的562以變量形式替換:圓表獴出-IEX圓表獴出步驟名稱|主產(chǎn)品實(shí)例接口表—地市)數(shù)據(jù)庫(kù)連接：|LABC134_eda)*遍羯二」醒—|目標(biāo)模式［Tda@瀏覽⑥…|目標(biāo)表一瀏覽⑥…|提交記錄數(shù)量版面截典表17忽咯插入錯(cuò)誤「指定數(shù)據(jù)庫(kù)字段F主要選項(xiàng)數(shù)據(jù)庫(kù)字段5表分區(qū)數(shù)據(jù)r分區(qū)字段?工］4>每個(gè)月分區(qū)數(shù)據(jù)*每天分區(qū)數(shù)據(jù)r使用批量插入舊確定仙|取消好>|卸L|6.現(xiàn)在可以測(cè)試該任務(wù)，遠(yuǎn)程方式啟動(dòng)，在p_latn6.現(xiàn)在可以測(cè)試該任務(wù)，遠(yuǎn)程方式啟動(dòng)，在p_latn參數(shù)中輸入562：通過(guò)彈出的服務(wù)器監(jiān)控頁(yè)簽確認(rèn)任務(wù)正確運(yùn)行完畢;將“J-lab02-01”另存為“J-lab03-01"，修改其中的結(jié)點(diǎn)名稱及配置項(xiàng)信息:；?02罐J?gb03?Q1資料抽取資料整合SI余I國(guó)|即3資料抽取資料整合START0X強(qiáng)渣程中的任務(wù)信息:0X設(shè)置日志指定日志文件？廠添加日志文件？廠日志文件名：R志立件后贛名?日志文件包含日期。日志文件包含時(shí)間？日志級(jí)別：1?rr慳有日志vj將上一結(jié)果作為參數(shù)？廠復(fù)制以前結(jié)果到參數(shù)。r執(zhí)行每一個(gè)輸入行？廠在執(zhí)行前清除結(jié)果行列表？廠在執(zhí)行前清除結(jié)果文件列表？廠在集群模式下運(yùn)行這個(gè)轉(zhuǎn)換？廠遠(yuǎn)程子服務(wù)器?三］金等待遠(yuǎn)程任務(wù)完成。p按本地中止對(duì)遠(yuǎn)程任務(wù)中止？廠參數(shù)參數(shù)表傳說(shuō)所有悉數(shù)剎子仔冬R7「▲?參數(shù)?流列名?值?Tplatn${platn}增加流程“J-lab03-01”的預(yù)設(shè)參數(shù):START資料整合現(xiàn)在我們可以測(cè)試一下流程的執(zhí)行情況，仍然選擇遠(yuǎn)程方式啟動(dòng)。J，lab（n，EsjJ'liabuj-uiJ，lab（n，EsjJ'liabuj-ui10MV|執(zhí)行福程本地或遠(yuǎn)程執(zhí)行r本地執(zhí)行START蝴抽取詳進(jìn)運(yùn)程主機(jī)I134.0090_?]START蝴抽取詳進(jìn)運(yùn)程主機(jī)I134.0090_?]r居用安至模式17執(zhí)行前清除日志二］日忐誼別二］至啟前間（yny/?H/diKK：rrrr：=s?U執(zhí)行結(jié)果fits》,1當(dāng)前岬一頁(yè)共口更而煌名稱批火工。I狀右U執(zhí)行結(jié)果fits》,1當(dāng)前岬一頁(yè)共口更而煌名稱批火工。I狀右I持蜘間p_diUSOLOEOZIJ2J變量該流程需輸入日期和本地網(wǎng)兩個(gè)參數(shù)。通過(guò)彈出的服務(wù)器監(jiān)控頁(yè)簽確認(rèn)任務(wù)正確運(yùn)行完畢;7.新建一個(gè)流程，保存為“J-lab03-02”。在其中重復(fù)拖出三份J-lab03-01（可配置好一個(gè)后復(fù)制）并做如下連線，模擬并行方式運(yùn)行三個(gè)地市的數(shù)據(jù)：其中J-lab03-01實(shí)例的配置參考，564,566規(guī)則一致;狄行直程狄行直程.…r日志設(shè)定指定日志文件？r

追加日志文件？r將上一結(jié)果作為參數(shù)？r復(fù)制以前結(jié)果到參數(shù)？r對(duì)每個(gè)輸入行執(zhí)行一次？r等待遠(yuǎn)程流程完成？p根據(jù)本地中止而中止遠(yuǎn)程流程？r費(fèi)數(shù)參數(shù)表所有參數(shù)值傳遞到分流程？|7確定?I取消?I設(shè)定并行方式運(yùn)行:打開流程編輯節(jié)點(diǎn)褊輯節(jié)點(diǎn)描述信息以并行方式運(yùn)行下一個(gè)節(jié)點(diǎn)復(fù)制節(jié)點(diǎn)]復(fù)制被選擇的節(jié)點(diǎn)到萼貼根CTRL-C排列/分布拆開節(jié)點(diǎn)吉果刪除所有該節(jié)點(diǎn)的副本巾口土]L3￥馬||一1一二一二連線變成虛線即為生效。預(yù)設(shè)“J-lab03-02'自身的流程參數(shù):J?研心02*'>■|*|余|囤|畫3<1J此bOMil（跖司C施程蟠性9.發(fā)現(xiàn)運(yùn)行出錯(cuò)，其中除了562運(yùn)行正確外，其它都是錯(cuò)，原因是接口目標(biāo)只建了562的。Elg流程：LO-寬帶合并詳單…食口-代收詳單-全省i…仆000000L1-Elg流程：LO-寬帶合并詳單…食口-代收詳單-全省i…仆000000L1-接口離校聆??…。,T-lab03-01:…。J-labUJ-UZ??…DJ-lab02-01…翼L0-口洋單部必

OL0-代收許單612□□□□□0000001023000009180000010000020000010000010000000010000020000010000010000000q100000200000100000100000000193800□0061200000完成完成格在錯(cuò)誤)完成完成京成完成L存在錯(cuò)誤：J成成成

完{兀完Z010/10/Z22010/10/222010/10/22Z010/10/Z22010/10/222010/10/22Z010/10/Z215:57：55-LAfi(134_eda)-Coimectedtodatabase.15；57；55-[JT*bQ3-QlL主產(chǎn)品實(shí)例接口表〔單地市).口-Coimaatadtodata.ba.Ea[LAB(134_ada.)](aommit=10000)15:57:5515:57:5515:57:5515:57:5515:57:55-LjM!(134_eda)-Autoccmmito￡￡-[J-lab03-02].J-lab03-01-Finishedjobentry[資料:-[J-1shri3-m]主產(chǎn)晶實(shí)例接口表綠地?fù)?n-error-[JT*bCi3-Cil].主產(chǎn)品實(shí)例按口表1單地市).口-EREDR-[尸1沖口3-。1].圭尤品塞包接口塞津地市).口-ERROR「tr1i-、L\rd1-i~u~3~Z：口一-TTJErs?：I~~I~=F/ritaLLkTIT'cSQL:TRUNCATETAELEe_dinst補(bǔ)充其它兩張表的建立:prdprdinstdeatetabletb_prd_prd_inst_d_564asselect*fromcrm_inter.tb_prd_prd_inst_d_564@edwwhere1=2;prdprdinstd566asselect*fromcrminter.tbprdprdinstd566@edwwhere1=2;再運(yùn)行一次，確認(rèn)成功后，通過(guò)SQ皿句統(tǒng)計(jì)結(jié)果信息：J-lab03-02作為這里的一個(gè)子流程;J-lab03-02作為這里的一個(gè)子流程;新建一個(gè)流程，命名為"”保存，拖入以下結(jié)點(diǎn)再保存;STARTJ-lab03^2Shell1為匯總腳本程序錄入信息:前執(zhí)行一個(gè)shell腳本…節(jié)點(diǎn)名稱：?資料匯總確定地）I取消?向“J-lab03-02”子流程傳遞參數(shù):資源庫(kù)目錄:|/oeiRlJK/lab/03流程文件名:4>日志設(shè)定指定日志文件？r追加日志文件?r日志文件名：日志文件擴(kuò)展名：日志文件中包含日期?日志文件中包含時(shí)間？日志皴別:將上一結(jié)果作為參數(shù)？r復(fù)制以前結(jié)果到參數(shù)？r對(duì)每個(gè)輸入行執(zhí)行一i知r遠(yuǎn)程子服務(wù)器|三］拿等待遠(yuǎn)程流程完成？p確定⑹|確定⑹|取消?|為“J-lab03-03”當(dāng)前流程預(yù)設(shè)參數(shù):STARTJ-lab03-C2資料匯總CSTARTJ-lab03-C2資料匯總C流程展勝到此，我們可以對(duì)J-lab03-03進(jìn)行測(cè)試，運(yùn)行完畢后，可以執(zhí)行以下語(yǔ)句確認(rèn)結(jié)果:selectlatnid,count(*)fromlabdmservnumgroupbylatnid;Lab3流程監(jiān)控.新建一個(gè)監(jiān)控視圖任務(wù)設(shè)計(jì)任務(wù)設(shè)計(jì)EDW系*日F-監(jiān)控白一|ijt(EDW系*新建視圖::「品日1編輯系統(tǒng)i:品丹刪除系一M烽ODS-B^I田?己j任務(wù)/流程.新建視圖.右鍵視圖設(shè)置:重命名為L(zhǎng)AB01,3.從資源庫(kù)中拖入我們已設(shè)計(jì)好的流程“J-lab03-03”，通過(guò)畫框和顏色設(shè)置功能調(diào)整外觀;二二LA町但DW系場(chǎng)工.口?4.保存并發(fā)發(fā)布監(jiān)控視圖:■保存監(jiān)控視圖□■保存監(jiān)控視圖請(qǐng)選擇以下一種保存形式：r編輯狀態(tài)門發(fā)布到監(jiān)控室取消ILAB01"，雙擊打開。LAB01"，雙擊打開。?5Tce加系統(tǒng)）笈_(tái)*It。廣秒|臼J-hb03-03J-hb03-03可以看到綠色的狀態(tài)腳標(biāo)，這是我們之前運(yùn)行成功的記錄，由于監(jiān)控周期設(shè)置為一天，顯示的一天內(nèi)能找到的最新的實(shí)例狀態(tài)。.雙擊“J-lab03-03”流程，打開流程明細(xì);

1#流程名指T批次工口|狀態(tài)［持絳時(shí)向丁讀1寫1更新「輸入1輸出J-1AB03-O38144end3?3000006000000300000300000J-labO3HD36139啟斯44。30000016000000300000300000J-l*b03-O3S134end283000006000000300000300000.降H當(dāng)前呷—頁(yè)共1頁(yè)更行結(jié)果為田中《后臺(tái)實(shí)時(shí)日志更行結(jié)果為田中《后臺(tái)實(shí)時(shí)日志START2010/10/22X3.22AI-Thrt*d[J-L*bO3-03仃-1噸口3叩3(Thrttd-4603)),5,mtin]-ncn。0,STAKT)2010/10/221&：22：41-J-labO3-O3-Startingentry[j-labO3-02]|2010/10/2215;22:41-Thrt*d[J^l*bD3-03U-l*b03-03CThr?td-4603)XS.ntirJ-??cQH0J-l*b03-O2)2010/10/221&：22：4L-J-labO3-CJ2-LoadingjobEromrepository：[/09Owlab/03.J-lab03-02]2010/10/221&;22;4L-尸1m0*02-Leading0not”2010/10/221&.22：41-blabOW-度-Loading4joh電htries.2010/10/221&：22:41-J1?W3-Q2-Loading3jobhop,可以看到，其中的子流程和腳本任務(wù)都是運(yùn)行正常的；并且在下方運(yùn)行結(jié)果中可以看到運(yùn)行的開始時(shí)間、結(jié)束時(shí)間、耗時(shí)。7.再雙擊“J-lab03-03”流程中的“J-lab03-02”流程，查看子流程明細(xì);L\KllLE州系妖)/丁-1?103-0311-1而03-次涕■■國(guó)ICO%，、'WJlabtn-OI(5E6)行結(jié)果現(xiàn)在重啟整個(gè)流程，查看各流程和任務(wù)的處理狀態(tài);9.切換至監(jiān)控視圖頁(yè)，逐層查看各層的狀態(tài)，看是否與下列圖片符合:LABO10KDW系統(tǒng)）u廣1處03?03]J<LabO3-Q2]13464鵑I$gL秒|臼IAB01（EDW系統(tǒng)）J-lab03-03O.|國(guó)|[100%引J-lab03-0234：8090L1JJ-l資料匯總7-lab03-02京LAB01（EDW系統(tǒng)）J-l4b03-037-lab03-02>■|[>l]同百稍等片刻，所有結(jié)點(diǎn)又會(huì)變成成功的綠色圖標(biāo)?，F(xiàn)在我們演練一下流程報(bào)錯(cuò)的情況，查看各流程和任務(wù)的處理狀態(tài)；.通過(guò)SQ斷句刪除掉其中一個(gè)中間表：droptabletbprdprdinstd566;.在“J-lab03-03”流程頁(yè)簽中，點(diǎn)擊左上角執(zhí)行按鈕，輸出參數(shù)20101021,進(jìn)入執(zhí)行狀態(tài);.切換至監(jiān)控視圖頁(yè)，逐層查看各層的狀態(tài)，看是否與下列圖片符合：^^口1系統(tǒng))J-LabCiW-g]QJT&bCiW一期)!$芻F-8fh3廣融陳藐)J-lab(n-(nJ-l4bO3-O2100%;±1現(xiàn)在我們演練一下重運(yùn)行處理的操作。J趾033[562〕目三二一i-翅START'、、J-lab03-01{564)%'17^1Em打開Jhbtnoi從謖節(jié)點(diǎn)起執(zhí)行J趾033[562〕目三二一i-翅START'、、J-lab03-01{564)%'17^1Em打開Jhbtnoi從謖節(jié)點(diǎn)起執(zhí)行執(zhí)行該節(jié)點(diǎn)直著校鴕結(jié)果STARTJ-lab03^02資料匯總儺資料匯總結(jié)果表新增加一個(gè)數(shù)據(jù)校驗(yàn)點(diǎn).13.轉(zhuǎn)到“設(shè)計(jì)