作業(yè)調(diào)度及監(jiān)控設計說明書

SPDBCCC調(diào)度監(jiān)控模塊

設計說明書

/^i^rsofftI安碩科技

起草人：秦向軍

復審人：胡震宇

文檔版本日期：2007-12-18

文檔版本編號：V1.0

文檔狀態(tài)

文檔信息

項目名稱：SPDBCCC

項目經(jīng)理：閆民文檔版本編號：V1.0

項目管理階段：文檔版本日期：

質(zhì)量復審方法：

起草人：秦向軍起草日期：2007-12-18

復審人：復審日期：

分發(fā)名單

From自日期部門職務Email/電話

給To部門職務行動*截止日期Email/電話

*行動類別:批準,復審,通知,存檔,所需行動,參加會議,其它（請指明）

版本歷史

版本編號版本日期描述文件名

V1.02007-12-18設計說明書

1概述........................................................................................4

1.1編寫目的................................................................................4

1.2背景...................................................................................4

1.3閱讀對象................................................................................4

2總體描述.....................................................................................5

2.1設計目標.................................................................................5

2.2設計約束.................................................................................5

2.2.1軟件運行平臺約束...................................................................................................................................................5

3應用程序設計.................................................................................6

3.1架構(gòu)設計(ARCHITECTURALDESIGN)...............................................................................................................................6

3.1.1應用模塊結(jié)構(gòu)...........................................................................................................................................................6

3.2模塊一調(diào)度................................................................................6

3.2.1功能描述................................................................................................................................................................6

3.2.2程序結(jié)構(gòu)設計........................................................................................................................................................7

3.2.3相關數(shù)據(jù)表(RelatedTables)................................................................................................................................7

3.3模塊一監(jiān)控...............................................................................8

3.3.1功能描述................................................................................................................................................................8

3.3.2展示畫面................................................................................................................................................................8

3.3.3相關數(shù)據(jù)表(RelatedTables)................................................................................................................................8

3.4模塊一日志................................................................................9

3.4.1功能描述.................................................................................................................................................................9

3.4.2展示畫面.................................................................................................................................................................9

3.4.3相關數(shù)據(jù)表(RelatedTables).................................................................................................................................9

3.5模塊一系統(tǒng)管理............................................................................9

3.5.1功能描述.....................................................................................................................................................................9

3.5.2展示畫面..................................................................................................................................................................10

3.5.3相關數(shù)據(jù)表(RelatedTables)..................................................................................................................................10

4數(shù)據(jù)結(jié)構(gòu)定義.................................................................................12

4.1集合命令定義表[DISP_COWIAND_DEF].....................................................................................................................12

4.2任務信息表[D1SP_TASK_DEF].................................................................................................................................13

4.3任務關系定義表[DISP_TASK_REL]...........................................................................................................................14

4.4任務參數(shù)定義表[T_CONF_SP-PARA」NFO]...........................................................................................................14

4.5任務變量定義表[T_DATA_VARIABLE]....................................................................................................................15

4.6集合任務運行日志[DISP_COMMAND_RUN_RECORD]....................................................................................15

4.7任務運行日志[DISP_TASK_LOG]...........................................................................................................................16

5運行過程中相關問題...........................................................................17

5.1日志信息查詢...........................................................................17

5.1.1日志文件命名規(guī)則..............................................................................................................................................17

5.1.2日志文件查詢.........................................................................................................................................................17

5.1.3日志表信息查詢........................................................................................................................................17

5.2任務錯誤分析及解決......................................................................19

6運行解決案例...............................................................................20

6.1源數(shù)據(jù)重復導致..........................................................................20

6.1.1問題分析.......................................................................................................................................................20

6.1.2解決方案......................................................................................................................................................20

6.2鏡像數(shù)據(jù)庫重啟導致任務失敗.............................................................20

6.2.1問題分析.......................................................................................................................................................20

6.2.2解決方案.......................................................................................................................................................20

6.3無法連接數(shù)據(jù)庫導致任務失敗.............................................................21

6.3.1問題分析.......................................................................................................................................................21

6.3.2解決方案.......................................................................................................................................................21

6.4數(shù)據(jù)庫磁盤空間滿導致任務失敗............................................................21

6.4.1問題分析.......................................................................................................................................................27

6.4.2解決方案.......................................................................................................................................................21

1概述

該文檔主要描述作業(yè)調(diào)度及監(jiān)控平臺的設計思路及實現(xiàn)方法。

1.1編寫目的

該文檔主要描述作業(yè)調(diào)度及監(jiān)控平臺的設計思路及實現(xiàn)方法。

1.2背景

浦發(fā)銀行數(shù)據(jù)處理系統(tǒng)需要從核心系統(tǒng)、花旗數(shù)據(jù)集市、催收和反欺詐系統(tǒng)中導入相關數(shù)據(jù)，然后進行

處理，最后再導出給SAS系統(tǒng)。行里原來的方案中僅僅定義了數(shù)據(jù)導入、導出在行里的DataStage平臺上

完成，但沒有明確ETL任務的調(diào)度、監(jiān)控。

盡管行里有統(tǒng)一的ETL任務調(diào)度、監(jiān)控平臺Automation,但因為多方面原因，本次數(shù)據(jù)處理系統(tǒng)的調(diào)

度、監(jiān)控模塊將不能利用現(xiàn)有平臺，需要單獨開發(fā)一套獨立模塊。

1.3閱讀對象

該文檔主要閱讀對象：

?上海浦發(fā)銀行相關業(yè)務人員

?上海浦發(fā)銀行相關技術(shù)人員

?安碩科技項目組人員

2總體描述

2.1設計目標

作業(yè)調(diào)度及監(jiān)控平臺要實現(xiàn)如下功能目標

1、任務的定義，設置；

2、任務運行的自動調(diào)度和手工調(diào)度；

3、任務運行日志的監(jiān)控紀錄；

4、任務出錯后的續(xù)跑和回滾；

5、操作界面友好、方便。

2.2設計約束

因為調(diào)度模塊需要遠程調(diào)用DataStage的JOB,而DataStage僅僅提供了Windows平臺的API接口,

所以，調(diào)度、監(jiān)控模塊一定要在Windows平臺上開發(fā)實施。

2.2.1軟件運行平臺約束

序號軟件平臺版本說明

1Windows2000以上

2DataStageClient7.5以上

3OracleClient9i以上

4.NET平臺C#語言VS2005

3應用程序設計

3.1架構(gòu)設計(ArchitecturalDesign)

3.1.1應用模塊結(jié)構(gòu)

序號模塊代碼模塊名稱說明

1Dispatcher調(diào)度

2Monitor監(jiān)控

3Log日志查詢

4Manager系統(tǒng)管理

3.2模塊—調(diào)度

3.2.1功能描述

調(diào)度模塊的功能主要是讀取任務和任務調(diào)度信息，然后依次執(zhí)行相應任務，并隨時保存任務執(zhí)行情況。

任務類型包括四種類型

?SP：Oracle數(shù)據(jù)庫中的存儲過程；

?DSJOB：通過執(zhí)行本地DataStageClient命令，調(diào)研遠程DataStage上的JOB。

?DOS:調(diào)用DOS命令或者bat文件

?SQR

?其他

任務執(zhí)行方式主要分為兩種

?界面執(zhí)行方式

?后臺監(jiān)控方式

任務的調(diào)用類型主要分為三種

?任務正常啟動:正常啟動任務

?任務回滾:回滾失敗的任務

?斷點執(zhí)行:如果任務由于某種情況執(zhí)行失敗，解決問題后，不需要回滾，可采用.

任務啟動類型主要分為四種情況

?手工任務執(zhí)行

?定時任務執(zhí)行

?循環(huán)標志文件

?標志文件執(zhí)行

運行任務可以利用多線程并行執(zhí)行，同時支持任務之間的依賴關系。

3.2.2程序結(jié)構(gòu)設計

序號用例名稱1說明___________________________________________________________

1開始調(diào)度通過定時器，信號文件或者手工觸發(fā)

2讀取任務、調(diào)度信息

3執(zhí)行任務

4保存任務運行信息

5

3.2.3相關數(shù)據(jù)表(RelatedTables)

列出模塊中使用到的數(shù)據(jù)庫表清單及相關說明

序號數(shù)據(jù)庫表名1作用說明__________________________________________________

1集合命令定義表定義集合命令信息,集合任務是多個任何的集合

2任務信息表定義任務的基本信息，包括名稱，類別等其他參數(shù)

任務關系定義表定義集合命令與任務的關聯(lián)關系以及任務執(zhí)行中優(yōu)先級配置信息

3

的等等

任務參數(shù)定義表任務的各項參數(shù)，包括SP.Datastage等在調(diào)用的時候所需要的參數(shù)

4.

信息.

5.任務變量定義表任務變量定義

6.集合命令運行日志集合命令運行情況

7.任務運行日志任務運行情況

3.3模塊—監(jiān)控

3.3.1功能描述

監(jiān)控模塊是系統(tǒng)的主界面，主要功能是實時讀取任務執(zhí)行情況，如果任務運行發(fā)生異常，報警提示。另

外，監(jiān)控界面中提供手工觸發(fā)調(diào)度功能的方式。

3.3.2展示畫面

展示畫面的信息包括：

?已經(jīng)執(zhí)行完成的任務號、任務名稱、開始時間、結(jié)束時間、狀態(tài)；

?正在執(zhí)行的任務號、任務名稱、開始時間、狀態(tài)；

如果任務失敗，將彈出一個警示窗口，包括下列信息：

?任務號

?任務名稱

?開始時間

?出錯時間

?出錯信息

3.3.3相關數(shù)據(jù)表(RelatedTables)

列出模塊中使用到的數(shù)據(jù)庫表清單及相關說明

序號數(shù)據(jù)庫表名作用說明

1參數(shù)定義表定義系統(tǒng)配置信息

2任務執(zhí)行情況表記錄任務的運行信息

3

3.4模塊—日志

3.4.1功能描述

主要功能是查詢?nèi)蝿盏臍v史運行情況。

3.4.2展示畫面

查詢條件包括:

?任務號

?運行日期

?運行結(jié)果

查詢結(jié)果包括:

?任務號

?任務名稱

?開始時間

?結(jié)束時間

?狀態(tài)

?錯誤信息

3.4.3相關數(shù)據(jù)表(RelatedTables)

列出模塊中使用到的數(shù)據(jù)庫表清單及相關說明

序號數(shù)據(jù)庫表名作用說明

1任務執(zhí)行情況表記錄任務的運行信息

2

3

3.5模塊—系統(tǒng)管理

3.5.1功能描述

主要功能是配置任務、任務關系以及系統(tǒng)各種參數(shù)。

3.5.2展示畫面

3.5.2.1任務配置

配置任務界面的信息包括：

?任務號

?任務名稱

?任務類型

?任務參數(shù)

?任務運行條件

配置任務界面的功能按鈕包括:

?新增

?修改

?刪除

?確定

?取消

352.2任務關系配置

界面的信息包括：

?任務號

?父任務

界面的功能按鈕包括：

?新增

?刪除

?確定

?取消

3.52.3參數(shù)配置

界面的信息包括：

?參數(shù)名稱

?參數(shù)值

界面的功能按鈕包括：

?新增

?修改

?刪除

?確定

?取消

3.5.3相關數(shù)據(jù)表(RelatedTables)

列出模塊中使用到的數(shù)據(jù)庫表清單及相關說明

序號|數(shù)據(jù)庫表名|作用說明

n?參數(shù)定義表?定義系統(tǒng)配置信息，包括：報警方式，定時時間間隔

2

3

4數(shù)據(jù)結(jié)構(gòu)定義

4.1集合命令定義表[DISP_COMMAND_DEF]

序號數(shù)據(jù)列中文名1主鍵可為空默認值說明

1.C0MMANDN0集合命令編號

2.COMMANDNAME集合命令名稱

RUNTIMETYPE開始時間類型DAY:每日執(zhí)行

3.

MONTH:月執(zhí)行

RUNTIME命令開始時間分秒:例如1305為

4..13點05分開始執(zhí)

Z-

仃

5..COMMANDPARA命令運行參數(shù)

COMMANDSTATUS集合命令狀態(tài)1或者空為正常

6.

0.停用

PREOKFILE集合命令開始文當調(diào)用狀態(tài)不是手

7..件工調(diào)用，即需要判斷

標志是否存在.

POSTOKFILE集合命令完成標任務完成后建立的

8.

志文件標志文件

9.FTPSERVERFTPserver暫停用

DSSERVERDatastageServ

10.

er

11.FTPUSERNAMEFtp用戶名暫停用

12.FTPPASSWORDFtp密碼暫停用

DSUSER1DDataStage用戶

13.

名

DSPROJECTNAMEDataStage

14.

project名稱

15.DSPASSWORDDataStage密碼

16.REMARKS備注

STARTDAY開始日期如果開始時間類型

定義成MONTH,這

17.

需要設置此值99

為月底

ISORDERDATE是否按照日期順NN:否

18.

序執(zhí)行Y:YES

4.2任務信息表[DISP_TASK_DEF]

_說明

TASKNO任務編號

2.TASKNAME任務名稱

RUNTIMETYPE開始時間類型DAY:每日執(zhí)行

3.

MONTH:月執(zhí)行

TASKPARA任務參數(shù)DOS命令

SP名稱

4.DataStage命令可以

不填寫

SQR命令

5.PREOKFILE任務開始文件

POSTOKFILE任務成功后生成

6.

文件

7.TASKDBLINK任務數(shù)據(jù)庫連接暫時不使用

8.ISHASSPPARA是否需要參數(shù)暫時不使用

DSPROJECTNADataStage項目

9.

ME名稱

DSJOBNAMEDataStageJob

10.

名

TASKCYCLE任務運行周期1.DAILY

2.MONTH

3.WEEK

4.YEAR

STARTDAY任務運行日期1.空為每天都跑

2.TaskCycle為

Daily是每天都跑，

無需輸入

3.TaskCycle為

MONTH是，需要

輸入日期,如每月

3日執(zhí)行，則直接

輸入3,月底為99

12.

4.TaskCycle為

WEEK是,需要輸

入星期，皆為英文

星期簡寫，如

SUN.MON等

5.TaskCycle為

YEAR時,格式為

MMDD.需要輸入

日期，比如說每年

12月31日執(zhí)行，

則為1231

SQRDIRECTORSQR目錄

13.暫時不使用

Y

14.REMARKS任務備注

15.

4.3任務關系定義表[DISP_TASK_REL]

序號數(shù)據(jù)列中文名主鍵可為空默認值說明_________

1.COMMANDNO集合命令編號

2.TASKNO任務名稱

PARENTTASKNO父任務名稱如果當前任務要執(zhí)行，

所配置的

3.

ParentTaskNo必須時

執(zhí)行完成的.

4.TASKSTAGE任務階段號

4.4任務參數(shù)定義表[T_CONF_SP_PARA」NFO]

序號數(shù)據(jù)列中文名主鍵可為空默認值說明

1.PARAID參數(shù)編號

2.PARAGBNAME參數(shù)中文名

PARAORDER參數(shù)順序號如果當前任務要執(zhí)行，

所配置的

3.

ParentTaskNo必須時

執(zhí)行完成的.

4.ISVARIABLE是否變量暫時不使用

5.IN0UTINOUT屬性存儲過程INOUT參數(shù)

PARADATATYPE參數(shù)數(shù)據(jù)類型類SP任務,配置參數(shù)數(shù)據(jù)

6.

型類型

PARALENGTH參數(shù)數(shù)據(jù)類型長

7.

度

STATUS參數(shù)狀態(tài)1.正常

8.

0.停用

9.PARAVALUE參數(shù)值

10.TASKNO任務號

11.PARAID

4.5任務變量定義表[T_DATA_VARIABLE]

序號數(shù)據(jù)列中文名主鍵;可為空默認值說明

1.VARIABLEID變量編號

2.VARIABLENAME變量中文名

VARIABLETYPE變量類型FUNCTION:函數(shù)獲得

DATE:根據(jù)

3.

TASKDATE獲得日期

格式

4.VARIABLEVALUE變量常量暫時不使用

VARIABLEDATEFORMA變量日期類型的

5.

TDateFormatDateFormat

6.VARIABLEFUNCTION函數(shù)表達式

4.6集合任務運行日志[DISP_COMMAND_RUN_RECORD]

序號數(shù)據(jù)列中文名主鍵1可為空默認值說明

1COMMANDRUNID日志流水號

2COMMANDNO集合任務編號

COMMANDRUNTY調(diào)用類型

3

PE

COMMANDPREFIL任務開始文件

4

E

COMMANDPOSTFI任務結(jié)束文件

5

LE

6STARTTIME開始時間

7ENDTIME結(jié)束時間

COMMANDRUNPA任務運行變量

8

RA參參數(shù)

COMMANDSTATUS任務狀態(tài)2.運行成功

3.運行失敗

9.

1.正在運行

9.運行等待

COMMANDREMAR任務執(zhí)行備注

10.

K

11.TASKDATE數(shù)據(jù)日期

4.7任務運行日志[DISP_TASK_LOG]

序號數(shù)據(jù)列中文名主鍵可為空默認值說明

1.TASKRUNID日志流水號

2.TASKNO任務編號

3.TASKNAME調(diào)用類型

4.COMMANDRUNID任務開始文件

5.ROLLBACKTASKID任務結(jié)束文件

6.ENDDATE結(jié)束日期

7.RUNPARA運行參數(shù)

8.ENDTIME結(jié)束時間

9.STARTDATE開始日期

10.STARTTIME開始時間

11.REMARKS備注

RUNRESULT運行狀態(tài)2.運行成功

3.運行失敗

12.

1.正在運行

9.運行等待

4.TASKRUNPARA

5運行過程中相關問題

5.1日志信息查詢

日志信息分為日志文件信息以及日志數(shù)據(jù)表信息

5.1.1日志文件命名規(guī)則

日志文件分為3個文件.分別為Detail,Exception.Debug

■DetaikDetail中記錄了集合任務以及任務的運行情況

■Exception:Exception文件記錄了程序在任務執(zhí)行過程中遇到的異常信息

■Debug:任務運行的詳細信息

1.調(diào)度程序.exe的日志文件命名（YYYYMMDD為系統(tǒng)當前日期）

■Detail:YYYYMMDD_DETAIL.txt

■Exception:YYYYMMDD_EXCEPITON.txt

■Debug:YYYYMMDD_DEBUG.txt

2.TaskCommand.exe日志文件命名

■Detail:YYYYMMDD_TaskCommand_DETAIL.txt

■Exception:YYYYMMDD_TaskCommand_EXCEPITON.txt

■Debug:YYYYMMDD_TaskCommand_DEBUG.txt

5.1.2日志文件查詢

■如果任務出錯，可以查看Exception日志文件，找到相關錯誤信息

■查看任務運行信息，可以查看Detail日志文件.

■查看任務詳細運行信息以及調(diào)度程序運行狀態(tài)信息，可以查看Debug日志文件

5.1.3日志表信息查詢

1.集合任務運行情況

SELECTCOMMANDRUNIDAS運行編號,

COMMANDNOAS命令編號，

COMMANDNAMEAS命令名稱，

TASKDATE數(shù)據(jù)日期，

STARTTIMEAS開始時間，

ENDTIMEAS結(jié)束時間，

DECODE(COMMANDSTATUS,

3,

'運行失敗'，

2,

'運行成功'，

9,

'等待'，

'未知錯誤')