數(shù)據(jù)倉庫化實(shí)施手冊

1、文件：標(biāo)準(zhǔn)數(shù)據(jù)倉庫標(biāo)準(zhǔn)化實(shí)施手冊起草 部門：數(shù)據(jù)分析事業(yè)部管理 部門：數(shù)據(jù)分析事業(yè)部起草人：修訂人：審核人：、湯宇航批準(zhǔn) 人：發(fā) 布 日 期：2015 年 04 月 15 日修訂頁章節(jié)名稱修訂內(nèi)容簡述修訂日期修訂前版本號修訂后版本號修訂人批準(zhǔn)人1全篇?jiǎng)?chuàng)建2015-04-15V1.0目錄前言. -6-1. 硬件資源確認(rèn)及環(huán)境檢查. -6-1.1確認(rèn)服務(wù)器硬件資源. -6-1.2檢查數(shù)據(jù)庫服務(wù)器環(huán)境. -8-2. 數(shù)據(jù)倉庫部署. -11-2.1創(chuàng)建表空間及用戶. -11-2.2數(shù)據(jù)倉庫安裝. -14-3. 數(shù)據(jù)抽取部署及運(yùn)維. -14-3.1標(biāo)準(zhǔn)化 ETL 工具部署. -14-3.1.1.首次部署

2、. -14-3.1.2.部署驗(yàn)證. -15-3.2標(biāo)準(zhǔn)化 ETL 工具運(yùn)行. -16-3.2.1.對象初始化（默認(rèn)索引、數(shù)據(jù)準(zhǔn)備區(qū)、分區(qū)調(diào)整） -16-3.2.2.作業(yè)流運(yùn)行（多個(gè)作業(yè)）. -18-3.2.3.作業(yè)運(yùn)行（單個(gè)作業(yè)）. -19-3.2.4.配置初始化或增量流程. -20-3.3抽取日常 -21-3.3.1.數(shù)據(jù)抽取調(diào)度（多個(gè)作業(yè)）：. -21-3.3.2.數(shù)據(jù)抽取調(diào)度（單個(gè)作業(yè)）：. -22-3.3.3.數(shù)據(jù)抽取運(yùn)行（直接運(yùn)行抽取過程）：. -22-3.4標(biāo)準(zhǔn)化 ETL 工具配置（需要時(shí)執(zhí)行配置）. -22-3.4.1.作業(yè)配置. -23-3.4.2.作業(yè)流配置. -27-3.5

3、統(tǒng)計(jì)信息收集. -28-4. 部署后驗(yàn)證. -29-前言為實(shí)現(xiàn)快速實(shí)施部署，提高工作效率，降低實(shí)施成實(shí)施流程，特制訂本手冊1. 硬件資源確認(rèn)及環(huán)境檢查現(xiàn)場實(shí)施在進(jìn)行硬件資源確認(rèn)及環(huán)境檢查工作前，先整備好基礎(chǔ)環(huán)境準(zhǔn)備情況檢查表，表單內(nèi)容可根據(jù)實(shí)際情況進(jìn)行調(diào)整，及時(shí)將各項(xiàng)結(jié)果和存在的問題到表單中，并相關(guān)處理。1.1 確認(rèn)服務(wù)器硬件資源1、 驗(yàn)證服務(wù)器連通性根據(jù)甲方提供的硬件資源列表，使用 SSH 連接方式，確認(rèn)所提供的服務(wù)器是否可正常連通。2、 檢查服務(wù)器主機(jī)名：主機(jī)名3、 檢查服務(wù)器CPU：#cat /prouinfo prosor : 0vendor_id: Genuineel cpu fam

4、ily: 6m42mname:el(R) Xeon(R) CPU E5-2660 0 2.20GHz step7#hostnameahdsj2app014、 檢查服務(wù)器內(nèi)存：5、 檢查服務(wù)器磁盤:說明：根據(jù)甲方提供的硬件資源列表，按以上方法檢查各服務(wù)器的主機(jī)名、CPU、內(nèi)存、硬盤容量是否符合前期規(guī)劃的硬件配置，并到基礎(chǔ)環(huán)境檢查表中。#df k文件系統(tǒng)1K-塊已用可用 已用% 掛載點(diǎn)/dev/sda3163112085371248 10111392 35% /tmpfs76677607667760% /dev/shm/dev/sda1162353 14% /boot/dev/sdb1524288

5、000 10742216 513545784 2% /weblogic#free mtotalusedfreesharedbufferscached Mem:65523-/+ buffers/cache:2371259Swap:409504095cpu MHz : 2693.880cache size: 3072 KB1.2 檢查數(shù)據(jù)庫服務(wù)器環(huán)境1、 檢查數(shù)據(jù)庫實(shí)例名及狀態(tài)：此處為實(shí)例名此處為實(shí)例狀說明：確認(rèn)是否符合數(shù)據(jù)庫參數(shù)配置規(guī)范(只需檢查一個(gè)節(jié)點(diǎn))，兩行 Open 說明兩個(gè)RAC 節(jié)點(diǎn)實(shí)例都是打開狀態(tài)。如果只有一個(gè)或沒有 Open 行說明數(shù)據(jù)庫未處于打開狀態(tài)。2、 檢查數(shù)據(jù)庫字符集：說明

6、：檢查確認(rèn)字符集是否與征管系統(tǒng)的數(shù)據(jù)庫字符集一致 (只需檢查一個(gè)節(jié)點(diǎn))。3、 檢查oracle 用戶環(huán)境變量：#su - oracle#su - oracle$sqlplus / as sysdbaSQL select userenv(language) from dual; USERENV(LANGUAGE)AMERICAN_AMERICA.ZHS16GBK#su - grid$crsctl sus res -t | grep -E .db|Open ora.ahdszcfx.dbONLINEONLINEhcu19-vp02OpenONLINEONLINEhcu20-vp02Open說明：主

7、要檢查 ORACLE_SID 和NLS_LANG 設(shè)置是否正確(兩個(gè)節(jié)點(diǎn)都要檢查)，如果執(zhí)行如上兩條命令時(shí)返回空行，則說明該環(huán)境變量未設(shè)置，請?jiān)趏racle 用戶的.profile（linux 系統(tǒng)為.bash_profile）文件中設(shè)置。4、 檢查ASM 磁盤組設(shè)置：說明：主要檢查是否符合前期規(guī)劃的數(shù)據(jù)庫參數(shù)配置要求(只需檢查一個(gè)節(jié)點(diǎn))；NAME：ASM 磁盤組名稱；TOTAL_MB：磁盤組空間總量(MB)； FREE_MB：磁盤組剩余空間(MB)。#su - grid$sqlplus / as sysdbaSQL select name,total_mb,free_mb from v$as

8、m_diskgroup; NAMETOTAL_MBFREE_MBOCR_VOTE1536014338FRA542720487084DATA43417604225240$echo $ORACLE_SID ahdszcfx1$echo $NLS_LANGAMERICAN_AMERICA.ZHS16GBK5、 檢查數(shù)據(jù)庫系統(tǒng)全局區(qū)(SGA)和程序全局區(qū)(PGA)：說明：確認(rèn) SGA、PGA 大小是否符合數(shù)據(jù)庫參數(shù)配置規(guī)范(兩個(gè)節(jié)點(diǎn)都要檢查)。6、 檢查數(shù)據(jù)庫連接數(shù)設(shè)置：說明：#su - oracle$sqlplus / as sysdbaSQL select value from v$paramet

9、er where name = proses; VALUE1000#su - oracle$sqlplus / as sysdba SQL sho parameter gaPGA 大小，要求為物理內(nèi)存的NAMETYPEVALUE0.14 倍。lock_sgaFALSEpga_aggregate_bigeger8413M pre_page_sgaFALSEsga_max_sizebigeger25280MSGA 大小，要求為物理內(nèi)存的sga_bigeger25280M0.56 倍。要求至少 1000(兩個(gè)節(jié)點(diǎn)都要檢查)。2. 數(shù)據(jù)倉庫部署2.1 創(chuàng)建表空間及用戶1、 創(chuàng)建表空間：創(chuàng)建以下兩個(gè)業(yè)務(wù)

10、表空間：TS_DAT_SJZBQ、TS_DAT_SJCK創(chuàng)建以下臨時(shí)表空間：TEMP_SJCK2、 創(chuàng)建用戶：創(chuàng)建sjzbq 用戶：- Create the usercreate user SJZBQidentified by sjzbqdefault tablespace TS_DAT_SJZBQtemporary tablespace TEMP_SJCKprofile DEFAULT;- Grant/Revoke role privilegesgrant connect to SJZBQ;grant dba to SJZBQ;grant resource to SJZBQ;- Grant/

11、Revoke system privilegesgrant alter any index to SJZBQ;grant alter any materialized view to SJZBQ;grant alter any table to SJZBQ;grant alter sesto SJZBQ;grant create any index to SJZBQ;grant create any materialized view to SJZBQ;grant create any procedure to SJZBQ;grant create any table to SJZBQ;gra

12、nt create database link to SJZBQ;grant create job to SJZBQ;grant create view to SJZBQ;grant delete any table to SJZBQ;grant drop any index to SJZBQ;grant drop any table to SJZBQ;grant execute any operator to SJZBQ;grant execute any procedure to SJZBQ;grant execute any program to SJZBQ;grant insert a

13、ny table to SJZBQ;grant select any sequence to SJZBQ;grant select any table to SJZBQ;grant unlimited tablespace to SJZBQ;grant update any table to SJZBQ;創(chuàng)建sjck 用戶：- Create the usercreate user SJCKidentified by sjckdefault tablespace TS_DAT_SJCKtemporary tablespace TEMP_SJCKprofile DEFAULT;- Grant/Re

14、voke role privilegesgrant connect to SJCK;grant dba to SJCK;grant resource to SJCK;- Grant/Revoke system privilegesgrant alter any materialized view to SJCK;grant alter any table to SJCK;grant alter sesto SJCK;grant create any materialized view to SJCK;grant create any procedure to SJCK;grant create

15、 any table to SJCK;grant create database link to SJCK;grant create job to SJCK;grant create view to SJCK;grant delete any table to SJCK;grant drop any table to SJCK;grant execute any procedure to SJCK;grant execute any program to SJCK;grant insert any table to SJCK;grant select any sequence to SJCK;

16、grant select any table to SJCK;grant unlimited tablespace to SJCK;grant update any table to SJCK;2.2 數(shù)據(jù)倉庫安裝按照標(biāo)準(zhǔn)數(shù)據(jù)倉庫安裝包說明進(jìn)行即可3. 數(shù)據(jù)抽取部署及運(yùn)維3.1 標(biāo)準(zhǔn)化 ETL 工具部署3.1.1. 首次部署標(biāo)準(zhǔn)化ETL 工具版本步驟：從產(chǎn)品實(shí)施組（數(shù)據(jù)團(tuán)隊(duì)）出庫，在 PL/SQL 工具中部署，部署的1、運(yùn)行創(chuàng)建用戶.sql2、運(yùn)行創(chuàng)建對象.sql3、運(yùn)行創(chuàng)建數(shù)據(jù).Sql4、導(dǎo)入配置庫文件ETL_REP.pde（Tools-Improt Tables-PL/SQL Develo

17、per）3.1.2. 部署驗(yàn)證1、確保部署的對象（過程、函數(shù)、包）都處于編譯成功狀態(tài)。2、標(biāo)準(zhǔn)化ETL 工具部署以后，確保下列表中的對象都存在。對象類型對象名對象說明包PKG_CTL_LOG日志功能包PKG_CTL_TOOL工具功能包PKG_ETL_QJ期間維度功能包PKG_ETL_S調(diào)度功能包PKG_ETL_TAB標(biāo)準(zhǔn)ETL 功能包序列SEQ_CTL_BATCH批號號SEQ_CTL_LOG日志IDSEQ_CTL_STEP步驟ID表T_CTL_FLOW_DEP作業(yè)依賴關(guān)系表T_CTL_FLOW_INFO作業(yè)流信息表T_CTL_FLOW_TAB工作流表T_CTL_INDEX_LIST索引生成T_

18、CTL_JOB_INFO作業(yè)信息表T_CTL_LOG_DEP作業(yè)依賴日志表3.2 標(biāo)準(zhǔn)化 ETL 工具運(yùn)行3.2.1. 對象初始化（默認(rèn)索引、數(shù)據(jù)準(zhǔn)備區(qū)、分區(qū)調(diào)整）1、數(shù)據(jù)準(zhǔn)備區(qū)初始化：首先將需要從源系統(tǒng)抽取的表、用戶名、服務(wù)器名，配置到 T_CTL_SJZBQ_LIST 表，然后運(yùn)行過程PKG_CTL_TOOL.P_CTL_SJZBQ_TABLE，自動(dòng)在建立數(shù)據(jù)準(zhǔn)備區(qū)建立對應(yīng)的表及描述、主鍵、索引、審計(jì)字段。例子：T_CTL_LOG_FLOW作業(yè)流日志表T_CTL_LOG_S作業(yè)狀態(tài)日志表T_CTL_LOG_STEP作業(yè)步驟日志表T_CTL_PERIOD周期信息表T_CTL_PROS系統(tǒng)信息

19、表T_CTL_SERVER服務(wù)器信息表T_ETL_COL_MAP字段信息表T_ETL_TAB_CONF表配置信息T_ETL_TAB_MAP表信息視圖V_CTL_LOG_FLOW作業(yè)流日志視圖V_CTL_LOG_DEP依賴日志視圖V_CTL_LOG_S狀態(tài)日志視圖V_CTL_LOG_STEP步驟日志視圖(1)、配置 T_CTL_SJZBQ_LIST(2)、運(yùn)行過程在數(shù)據(jù)準(zhǔn)備區(qū)中建立相應(yīng)的表：beginpkg_ctl_tool.p_ctl_sjzbq_table;end;2、數(shù)據(jù)倉庫默認(rèn)索引初始化：T_CTL_INDEX_LIST 包含數(shù)據(jù)倉庫中默認(rèn)的索引，運(yùn)行 PKG_CTL_TOOL.P_CT

20、L_DEFAULT_INDEX，自動(dòng)在數(shù)據(jù)倉庫生成表中的索引。命令如下：beginpkg_ctl_tool.p_ctl_default_index;end;3、數(shù)據(jù)倉庫默認(rèn)分區(qū)初始化：T_CTL_PART_LIST 包含數(shù)據(jù)倉庫中默認(rèn)的分區(qū)表，運(yùn)行PKG_CTL_TOOL.P_CTL_DEFAULT_PART，自動(dòng)在調(diào)整數(shù)據(jù)倉庫的表為分區(qū)表。命令如下：beginpkg_ctl_tool.p_ctl_default_part;end;SOURCE_OWNERSOURCE_TABSOURCE_SERVERCREATE_FLAGENABLE_FLAGHX_DJDJ_NSRXXG3HX013.2.2.

21、 作業(yè)流運(yùn)行（多個(gè)作業(yè)）作業(yè)流為多個(gè)作業(yè)的有機(jī)集合，作業(yè)之間有依賴關(guān)系，運(yùn)行的方式有兩種方式：正常運(yùn)行、斷點(diǎn)續(xù)跑。正常運(yùn)行：PKG_ETL_TAB.P_ETL_S_FLOW（作業(yè)流調(diào)度外殼），輸入作業(yè)流 ID，運(yùn)行即可；作業(yè)流調(diào)度外殼會(huì)作業(yè)流的并發(fā)數(shù)量，以及作業(yè)流中的依賴關(guān)系，依次運(yùn)行，如果無作業(yè)可執(zhí)行或者作業(yè)執(zhí)行完畢，作業(yè)流調(diào)度外殼回結(jié)束運(yùn)行。例如：運(yùn)行納稅信用等級的作業(yè)流，在T_CTL_FLOW_INFO 表找到納稅信用等級對應(yīng)的flow_id（ETL_NSXYDJ），命令如下：beginpkg_etl_s.p_etl_s_flow(ETL_NSXYDJ,null,null);end;斷點(diǎn)

22、續(xù)跑：PKG_ETL_TAB.P_ETL_S_FLOW（作業(yè)流調(diào)度外殼），輸入作業(yè)流 ID，批次類型為 2，批次類型為指定存在的批次號，運(yùn)行；作業(yè)流調(diào)度外殼回作業(yè)流的并發(fā)數(shù)量，作業(yè)流依賴日志的依賴關(guān)系（對應(yīng)批次號的歷史依賴），如果執(zhí)行成功的作業(yè)會(huì)跳過執(zhí)行，只執(zhí)行歷史中未運(yùn)行及失敗的作業(yè)。如果無作業(yè)可執(zhí)行或者作業(yè)執(zhí)行完畢，作業(yè)流調(diào)度外殼回結(jié)束運(yùn)行。例如：運(yùn)行納稅信用等級的作業(yè)流，在T_CTL_FLOW_INFO 表找到納稅信用等級對應(yīng)的flow_id（ETL_NSXYDJ），在 T_CTL_LOG_FLOW 表中找到需要續(xù)跑的BATCH_ID（9867），命令如下：beginpkg_etl_s.

23、p_etl_s_flow(ETL_NSXYDJ,2,9867);end;3.2.3. 作業(yè)運(yùn)行（單個(gè)作業(yè)）當(dāng)出現(xiàn)異常問題需要單獨(dú)調(diào)試時(shí)，單獨(dú)執(zhí)行作業(yè)運(yùn)行有三種方式：作業(yè)調(diào)度外殼調(diào)用作業(yè)、標(biāo)準(zhǔn)過程、標(biāo)準(zhǔn)化 ETL過程直接運(yùn)行作業(yè)調(diào)度外殼PKG_ETL_S.P_ETL_S_CALL 直接調(diào)用作業(yè)，輸入 i_job_name =作業(yè)名，運(yùn)行。批次號可以默認(rèn)為空，但是不能重復(fù)歷史存在。作業(yè)調(diào)度外殼會(huì)有兩個(gè)返回值，o_succ_flag 為作業(yè)的成功標(biāo)志，1 為成功，0 為失敗。o_s_flag 為作業(yè)調(diào)度外殼的成功標(biāo)志，1 為成功，0 為失敗。PKG_ETL_S.P_ETL_S_CALL 將會(huì)直接T_

24、CTL_JOB_INFO（作業(yè)信息表）的配置信息，如全量標(biāo)志、增量時(shí)間，結(jié)束后根據(jù)作業(yè)狀態(tài)進(jìn)行翻牌操作。先確定需要單獨(dú)調(diào)試的作業(yè)名（P_SJCQ_TEST_6），運(yùn)行下面：declare o_succ_flag varchar(1); o_s_flag varchar(1); I_BATCH_ID NUMBER(10);begin I_BATCH_ID := nvl(I_BATCH_ID,SEQ_CTL_BATCH.NEXTVAL); pkg_etl_s.p_etl_s_call(P_SJCQ_TEST_6,I_BATCH_ID,o_succ_flag,o_s_flag);end;標(biāo)準(zhǔn)過程可以

25、直接運(yùn)行，但是需要輸入增量時(shí)間、全量標(biāo)志，數(shù)據(jù)開發(fā)規(guī)約定，全量標(biāo)志為是，默認(rèn)忽略增量時(shí)間，否則使用增量時(shí)間。在PL/SQL 中找到對應(yīng)的過程，TEST，輸入?yún)?shù)，點(diǎn)擊運(yùn)行標(biāo)準(zhǔn)化ETL過程，首先確保 T_CTL_JOB_INFO（作業(yè)信息表）中的 JOB_TYPE 為標(biāo)準(zhǔn)化ETL，再從 T_ETL_TAB_CONF 中找到對應(yīng)，如果 PROC_TYPE 為時(shí)間戳處理，使用 PKG_ETL_TAB包中的P_ETL_TAB_TIME；如果 PROC_TYPE 為視圖日志處理，使用PKG_ETL_TAB 包中P_ETL_TAB_VIEW；如果 PROC_TYPE 為刷新物化視圖，使用 PKG_ETL_

26、TAB 包中的存的儲(chǔ)P_ETL_TAB_REFRESH； 使用參數(shù)的規(guī)則同標(biāo)準(zhǔn)過程。先在T_ETL_TAB_CONF 找到目標(biāo)表對應(yīng)JOB_NAME，在從 PKG_ETL_TAB 包中找到對應(yīng)的存儲(chǔ)過程，TEST，輸入?yún)?shù)，點(diǎn)擊運(yùn)行。3.2.4. 配置初始化或增量流程作業(yè)流外殼調(diào)度、作業(yè)外殼調(diào)度是使用到T_CTL_JOB_INFO（作業(yè)信息表）的配置信息，讀取ALL_FLAG、INC_BEGIN_DATE、INC_END_DATE，數(shù)據(jù)開發(fā)規(guī)約定如果ALL_FLAG 為全量，將忽略INC_BEGIN_DATE、INC_END_DATE，否則使用 INC_BEGIN_DATE、INC_END_D

27、ATE 作為增量范圍。初始化流程如下：通過下列 SQL 找出相關(guān)的作業(yè)，或者直接通過 T_CTL_JOB_INFO 找出相關(guān)的作業(yè)，將T_CTL_JOB_INFO 的字段ALL_FLAG 改為 1（此流程一般初始化才用到），運(yùn)行作業(yè)流（見作業(yè)流運(yùn)行章節(jié)）。select * from T_CTL_JOB_INFO t where t.job_name in(select a.job_name from T_CTL_FLOW_DEP a where a.flow_id = ETL_NSXYDJ)- ETL_NSXYDJ為納稅信用等級的作業(yè)流ID增量流程如下通過下列 SQL 找出相關(guān)的作業(yè)，或者直接

28、通過 T_CTL_JOB_INFO 找出相關(guān)的作業(yè)，確認(rèn)T_CTL_JOB_INFO 的字段ALL_FLAG 是否為 0，運(yùn)行作業(yè)流（見作業(yè)流運(yùn)行章節(jié)）select * from T_CTL_JOB_INFO t where t.job_name in(select a.job_name from T_CTL_FLOW_DEP a where a.flow_id = ETL_NSXYDJ)- ETL_NSXYDJ為納稅信用等級的作業(yè)流ID標(biāo)準(zhǔn)過程、標(biāo)準(zhǔn)化ETL過程（PKG_ETL_TAB），手動(dòng)傳入?yún)?shù)運(yùn)行。數(shù)據(jù)開發(fā)規(guī)約定如果I_ALL_FLAG 為全量，將忽略 I_BEGIN_TIME、I_

29、END_DATE，否則使用 I_BEGIN_TIME、I_END_DATE 作為增量范圍。見作業(yè)流運(yùn)行（多個(gè)作業(yè)）3.3 抽取日常3.3.1. 數(shù)據(jù)抽取調(diào)度（多個(gè)作業(yè)）：通過 PKG_ETL_S.P_ETL_S_FLOW 調(diào)度作業(yè)流運(yùn)行，需要查看下列日志（以下 3 個(gè)日志都成功才算成功）：查看作業(yè)流日志視圖V_CTL_LOG_FLOW，按表中的批次號倒序查詢，最新的日志最近一次作業(yè)流運(yùn)行的統(tǒng)計(jì)信息，flow_s最終的狀態(tài)，1 為成功，0 為失敗。us查看作業(yè)狀態(tài)日志表T_CTL_LOG_S，按表中的日志號倒序查詢，最新作業(yè)流中所有的作業(yè)運(yùn)行狀態(tài)、運(yùn)行時(shí)間、參數(shù)。JOB 狀態(tài)（0 為失敗、1 為

30、成功、2 為運(yùn)行、3 未啟用、4 未運(yùn)行、5 為超時(shí)）。查看作業(yè)步驟日志表T_CTL_LOG_STEP，按表中的步驟號倒序查詢，最新作業(yè)運(yùn)行的詳細(xì)步驟，RUN_CODE、RUN_ERRM了失敗信息。3.3.2. 數(shù)據(jù)抽取調(diào)度（單個(gè)作業(yè)）：通過 PKG_ETL_S.P_ETL_S_CALL 調(diào)度作業(yè)運(yùn)行，需要查看下列日志：查看作業(yè)狀態(tài)日志表T_CTL_LOG_S，按表中的日志號倒序查詢，作業(yè)運(yùn)行狀態(tài)、運(yùn)行時(shí)間、參數(shù)。JOB 狀態(tài)（0 為失敗、1 為成功、2 為運(yùn)行、3 未啟用、4 未運(yùn)行、5 為超時(shí)）。查看作業(yè)步驟日志表T_CTL_LOG_STEP，按表中的步驟號倒序查詢，作業(yè)運(yùn)行的詳細(xì)步驟，R

31、UN_CODE、RUN_ERRM了失敗信息。3.3.3. 數(shù)據(jù)抽取運(yùn)行（直接運(yùn)行抽取過程）：直接運(yùn)行標(biāo)準(zhǔn)過程、標(biāo)準(zhǔn)化 ETL過程（PKG_ETL_TAB），需要查看下列日志：查看作業(yè)步驟日志表T_CTL_LOG_STEP，按表中的步驟號倒序查詢，作業(yè)運(yùn)行的詳細(xì)步驟，RUN_CODE、RUN_ERRM了失敗信息。3.4 標(biāo)準(zhǔn)化 ETL 工具配置（需要時(shí)執(zhí)行配置）如果有新增抽取時(shí)，才執(zhí)行以下步驟：先配置作業(yè)信息（作業(yè)信息表或者標(biāo)準(zhǔn)化ETL 相關(guān)三張表）配置作業(yè)流信息3.配置作業(yè)之間的依賴關(guān)系 作業(yè)配置標(biāo)準(zhǔn)過程：標(biāo)準(zhǔn)過程編譯成功后，只需要配置一張表（T_CTL_JOB_INFO），填寫

32、說明如下：T_CTL_JOB_INFO（作業(yè)信息表）字段名字段填寫說明job_id填寫：號job_name填寫：過程名job_type填寫：1（1過程、2 標(biāo)準(zhǔn)化 etl、3 數(shù)據(jù)補(bǔ)差異）all_flag增量標(biāo)志（0 為增量、1 為全量），如果為 1，將忽略 inc_begin_date、inc_end_dateperiod_id周期類型（1 為小時(shí)、2 為天、3 為周、4 為月、5 為季、6 為半年、7 為年、0 為最新時(shí)間），跟 inc_begin_date、 inc_end_date 的翻牌有直接關(guān)系his_date歷史初始日期（使用默認(rèn)值）back_offset向歷史偏移周期（周期類型

33、為最新時(shí)間時(shí)，偏移為分鐘，其他情況時(shí)跟周期類型一致）front_offset向未來偏移周期（周期類型為最新時(shí)間時(shí)，偏移為分鐘，其他情況時(shí)跟周期類型一致）fail_loop_num使用默認(rèn)值fail_exec_e使用默認(rèn)值inc_begin_date使用默認(rèn)值inc_end_date使用默認(rèn)值標(biāo)準(zhǔn) ETL 配置標(biāo)準(zhǔn)化 ETL 配置，通過配置源表和目標(biāo)表的對應(yīng)關(guān)系、源字段和目標(biāo)字段的對應(yīng)關(guān)系，由PKG_ETL_TAB 標(biāo)準(zhǔn)化 ETL 功能包實(shí)現(xiàn)數(shù)據(jù)抽取功能，需要配置四張表（T_CTL_JOB_INFO、T_ETL_TAB_CONF、T_ETL_TAB_MAP、T_ETL_COL_MA

34、P）。T_CTL_JOB_INFO，作業(yè)的基本信息，填寫說明如下：T_CTL_JOB_INFO（作業(yè)信息表）字段名字段填寫說明job_id填寫：號job_name填寫：處理環(huán)節(jié) + 目標(biāo)表名job_type填寫：2（1過程、2 標(biāo)準(zhǔn)化 etl、3 數(shù)據(jù)補(bǔ)差異）all_flag增量標(biāo)志（0 為增量、1 為全量），如果為 1，將忽略 inc_begin_date、inc_end_dateperiod_id周期類型（1 為小時(shí)、2 為天、3 為周、4 為月、5 為季、6 為半年、7 為年、0 為最新時(shí)間），跟 inc_begin_date、 inc_end_date 的翻牌有直接關(guān)系his_date

35、歷史初始日期（使用默認(rèn)值）back_offset向歷史偏移周期（周期類型為最新時(shí)間時(shí)，偏移為分鐘，PROS_ID處理環(huán)標(biāo)表所屬層級：具體代碼見T_CTL_PROS）SERVER_ID所屬服務(wù)器（源表所屬服務(wù)器：具體代碼見 T_CTL_SERVER），數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)歸屬到來源系統(tǒng)enable_flag啟用標(biāo)記（1 為使用、0 為禁用）T_ETL_TAB_CONF，作業(yè)對應(yīng)目標(biāo)表的基本信息，填寫說明如下：T_ETL_TAB_CONF（表配置信息）字段名字段填寫說明TAB_ID表ID（跟 T_CTL_JOB_INFO 的 JOB_ID 保持一致）TAB_BATCH表批次（默認(rèn) 1，如果來源不同的源

36、表，依次累加批次號）JOB_NAME作業(yè)名（跟 T_CTL_JOB_INFO 的 JOB_NAME 保持一致）PROC_TYPE處理方式（1 為時(shí)間戳處理、2 為 DSG 處理、3 為視圖日志處理、4 為自定義 insert、5 刷新物化視圖）_SERVER目標(biāo)服務(wù)器其他情況時(shí)跟周期類型一致）front_offset向未來偏移周期（周期類型為最新時(shí)間時(shí)，偏移為分鐘，其他情況時(shí)跟周期類型一致）fail_loop_num使用默認(rèn)值fail_exec_e使用默認(rèn)值inc_begin_date使用默認(rèn)值inc_end_date使用默認(rèn)值PROS_ID處理環(huán)標(biāo)表所屬層級：具體代碼見 T_CTL_PROS

37、）SERVER_ID所屬服務(wù)器（源表所屬服務(wù)器：具體代碼見 T_CTL_SERVER），數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)歸屬到來源系統(tǒng)enable_flag啟用標(biāo)記（1 為使用、0 為禁用）T_ETL_TAB_MAP，作業(yè)對應(yīng)源表的關(guān)系，填寫說明如下：T_ETL_TAB_MAP（表信息）字段名字段填寫說明tab_id表id（對應(yīng) T_ETL_TAB_CONF 的 tab_id）TAB_BATCH表批次（對應(yīng) T_ETL_TAB_CONF 的 TAB_BATCH）source_owner源用戶source_tab源名稱source_alias源別名（每個(gè)表ID、表批次的源別名唯一）source_server源服

38、務(wù)器main_flag主表標(biāo)志（1 為是、0 為否，每個(gè)表ID、表批次只有一個(gè)主表，主表必須具備物化視圖日志）mview_flag抽取數(shù)據(jù)完成后視圖日志標(biāo)志（1 為清空、0 為無操作）_OWNER目標(biāo)用戶_TAB目標(biāo)名稱RELA_COND關(guān)聯(lián)條件，類似 where 表間關(guān)聯(lián)、過濾條件INC_COND增量條件，類似 where 后面的增量語句CUST_QUERY自定義查詢，單條 insert 且不包含 commit_H目標(biāo)優(yōu)化提示SOURCE_H源優(yōu)化提示ENABLE_FLAG啟用標(biāo)記（1 為使用、0 為禁用）暫時(shí)不使用T_ETL_COL_MAP，目標(biāo)表對應(yīng)源表的字段關(guān)系，填寫說明如下：3.4.

39、2. 作業(yè)流配置作業(yè)流信息配置T_CTL_FLOW_INFO，作業(yè)流信息，支持作業(yè)并發(fā)，填寫說明如下：T_ETL_COL_MAP（字段信息）字段名字段填寫說明tab_id表id（對應(yīng) T_ETL_TAB_CONF 的 tab_id）TAB_BATCH表批次（對應(yīng) T_ETL_TAB_CONF 的 TAB_BATCH）LOOP_ORDER表批次（默認(rèn)唯一），支持同表不同列到目標(biāo)表_col目標(biāo)列source_col源列uk_col_flag唯一鍵標(biāo)志（1 是、0 否）source_col源列cust_fun自定義函數(shù)（如 MAX）GROUP_COL_FLAG分組標(biāo)志（1 是、0 否）

40、enable_flag啟用標(biāo)記（1 為使用、0 為禁用）source_clean_type抽取數(shù)據(jù)完成后源方式（1 無操作、2 增量刪除、3 清空）uk_col唯一鍵列（視圖日志處理模式使用）enable_flag啟用標(biāo)記（1 為使用、0 為禁用）暫時(shí)不使用作業(yè)依賴信息配置T_CTL_FLOW_INFO，作業(yè)流中作業(yè)之間的依賴信息，支持依賴多個(gè)作業(yè)，填寫說明如下：3.5 統(tǒng)計(jì)信息收集在sjck 用戶下執(zhí)行以下命令（時(shí)間可能會(huì)比較長）beginT_ETL_COL_MAP（字段信息）字段名字段填寫說明FLOW_ID作業(yè)流 IDJOB_NAME作業(yè)名DEP_JOB_NAME依賴作業(yè)名（開始作業(yè)的依賴作業(yè)名為 0）DEP_TYPE依賴類型（0 為失敗依賴、1 為成功依賴、2 為正常依賴）ENABLE_FLAG啟用標(biāo)記（1 為使用、0 為禁用）T_ETL_COL_MAP（字段信息）字段名字段填寫說明FLOW_ID作業(yè)流 IDFLOW_NAME作業(yè)流名稱APP_PRODUCT應(yīng)用產(chǎn)品(如納稅人信用等級系統(tǒng))PARALLEL