全時bo培訓(xùn)視屏-etl工具手冊編寫

JasperETL工具說主題：ETL抽取工具項目名稱：ETL抽取工具撰寫單位：海鼎作者：勝版本號：0.1勝文檔名（JasperETL工具說明背景ETL作業(yè)能夠在客戶環(huán)境中正常的運行。ETL工具搭建好后,ETLETL常用功能和控一．ETL工具安二.ETL工程的導(dǎo)入和導(dǎo)ETL此處默認(rèn)的工程名為HD_ETLETL三.ETL工程的配BusDatabase0.1:業(yè)務(wù)庫（POS4數(shù)據(jù)庫）DW20.1:BI的HDBI用戶的數(shù)據(jù)庫DWDatebase0.1:BIdatatrans用戶的數(shù)據(jù)庫Src_cardnormal0.1:card的普通用戶數(shù)據(jù)庫Src_cardsecure0.1:card的機要用戶數(shù)據(jù)庫【：IDDBOracleETL進入DIM_ETL_First1.0檢查錯誤信息存放的excel文件夾在應(yīng)用服務(wù)器上是否存在（E:ETL/EDIL/EL_EO.xsETLPLSQLDATATRANS用戶登錄HDBI數(shù)據(jù)庫,更新下面的內(nèi)容：2014/7/62014/7/5，insertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'cardhst','已完成',sysdate,'抽取卡流水信息成功');insertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'INVDRPT','已完成',sysdate,'抽取庫存日報成功');insertintoETL_INC_LOGvalues(to_date('2014/7/5'yyyy.mm.dd''SDRPTS',',sysdate,sdrptsdrptinsertintoETL_INC_LOGvalues(to_date('2014/7/5'yyyy.mm.dd''BUYSsysdate,BUYinsertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'BUSBILL','已完成',sysdate,'抽取供應(yīng)鏈表單成功');insertintoETL_procFAC_LOG','yyyy.mm.dd'),'APPLYCHAIN','已完成',sysdate,'加工庫存成功 'PAC_CARDSALE_DAY','已完成',sysdate,'加工會員成功');insertintoETL_procFAC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'INVDRPT',已完成',sysdate,'加工庫存成功insertintoETL_procFAC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),SALE',成',sysdate,'加工銷售成功');BIBIHDBIhdbivalues配置表，用于配置各類基本資料的分級代select*fromhdbi.hdbivaluesforupdate;ETL在數(shù)據(jù)庫中可以編譯DIV_ETLDIM_CARDNORMAL1.0抽取card基本資料DIM_ETL_GOODS1.0ETL_DIM_STORE1.0：抽取門店基本資料FAC_APPLYCHAIN0.1：抽取供應(yīng)鏈資料FAC_CARDNORMAL0.1：抽取card資料ETL_FAC_INVDRPT0.1：抽取庫存資料ETL_FAC_INV0.1：抽取庫存月報資料ETL_FAC_XS2.0：抽取銷售資料ETL_APPLYCHAIN0.1供應(yīng)鏈資料加載ETL_CARDPRO0.1ETL_INVPRO0.1ETL_PRO0.1 datatrans6庫，檢查hdbi_log表里面是否有邏輯報Select*from郵件的配郵件的推送人員郵箱，并在sendername和subject中增加客戶名稱。檢查excel對應(yīng)的文件 四．定時調(diào)度HD安裝包\HDETLETLpycron-0.5.9.0.exeETL參考 打開要調(diào)度的作業(yè),選中【Scheduler[deprecated]】里面的【+】,選中要調(diào)度的任務(wù),ETL_CARDPRO0.1【Scheduler[deprecated],ShowviewScheduler[deprecated]】調(diào)度口令為：*****E:/ETL/TOS_DI-Win32-r78327-V5.0.2/jre/bin/java.exe-Xms256M- E:/ETL/TOS_DI-Win32-r78327-V5.0.2/jre/bin/java.exe將-Xms256M etl_hd.etl_cardpro_0_1.ETL_CARDPRO--context=Default%*里面的TOS_DI-Win32-r78327-Minute：設(shè)置分鐘*5,656分鐘執(zhí)pycron.log，如果作業(yè)完成的rc=0，表示運行正確，rc=1表示運行錯誤rc1的情況下，要查看錯誤日志里面記錄的錯誤注意：不管是按照I的方法，還是II的方法,都必須將TOS_DI-Win32-r78327-V5.0.2文件夾下面的workspace一份到與TOS_DI-Win32-r78327-V5.0.2在同級 批量調(diào)度任3處地方需要調(diào)整：crontab.txt在標(biāo)準(zhǔn)環(huán)境：C:\ProgramFiles\pycron以一個客戶的門店基礎(chǔ)數(shù)據(jù)調(diào)度任務(wù)為例（已經(jīng)將TOS_DI-Win32-r78327-V5.0.2/去掉）調(diào)度任務(wù)為：*****D:/Java/jre6/bin/java.exe-Xms256M-Xmx1024M-Dfile.encoding=GBK- qdyk_etl.etl_dim_store_1_0.ETL_DIM_STORE--context=Default%*java（java存放的地址會有所不同java地址替換所有java地址用D:/Java/jre6/bin/java.exe替換方框中所有內(nèi)容 （ 用D:/etl_tool替換圖中方框中的所有內(nèi)容（qdyk_etl替換掉圖中畫線的所有內(nèi)容注意：不管是按照I的方法，還是II的方法,都必須將TOS_DI-Win32-r78327-V5.0.2文件夾下面的workspace一份到與TOS_DI-Win32-r78327-V5.0.2在同級 五.ETL常用功能和控【：IDJOB庫中創(chuàng)建好Schema注意：數(shù)據(jù)如果是DEC類型的字段,精度會丟失,配置的時候把精度加通過etl軟件的SchemaSchemaSchema”,可以把業(yè)務(wù)庫的字段傳遞過控件都在屏幕右邊的畫板中,這里介紹常見的控件tOracleInputtOracleInputschema中,tOracleInputtOracleOutput或tFileOutputExcel一起用tOracleOutput例如上面的將AREA表數(shù)據(jù)抽取結(jié)束轉(zhuǎn)到BRAND表的抽取,就用到了觸發(fā)器,一般觸發(fā)器我tOracleRowtOracleRow控件用來進行對表的增刪改查的操作,也可以進行過程操作，過程可以tfileOutputExcelexcelexcel存放的地址，文件名以及數(shù)據(jù)的存放tfileoutputexcel文件,tOracleInput一起連用,ETL_INC_LOGE:/ETL/SENDMAIL/ETL_INC_LOG.xlsETL_INC_LOG.xlstLogCatcher是用來捕獲tOracleRow,tOracleOutput,tContextLoad, dMail等控件在運行中產(chǎn)生的錯誤信息,一般和tFileOutExcel文件一起用,以便將所得信息存放在excel當(dāng)中注意：tOracleRow,tOracleOutput,tContextLoad,dMail控件的【錯誤時終止】必須勾上,否dMail將在excel當(dāng)中的內(nèi)容通過郵件發(fā)送出tContextLoadtLoop控件（循環(huán)語句的使用select'lastday'key,to_char(max(fildate)+1,'yyyy-mm-dd')value