廣發(fā)核心系統(tǒng)項(xiàng)目_數(shù)據(jù)清理方案

1、 IBS 整合測(cè)試工具(IUCI)系統(tǒng)設(shè)計(jì)說明書廣發(fā)核心系統(tǒng)項(xiàng)目概要設(shè)計(jì)書(數(shù)據(jù)清理)V1.02013年11月高陽科技控股有限公司（香港）第 2 頁 共 11 頁北京高陽金信信息技術(shù)有限公司3aba15a302d89e39079e4aac9311a72c.pdf目錄1概述31.1理論背景31.2需求背景31.3功能清單41.4關(guān)鍵策略41.5限制/假設(shè)52術(shù)語定義62.1清理編號(hào)62.2清理類型62.3清理時(shí)間62.4保留期限72.5清理狀態(tài)83數(shù)據(jù)結(jié)構(gòu)93.1數(shù)據(jù)結(jié)構(gòu)描述93.1.1數(shù)據(jù)清理參數(shù)表94功能描述104.1數(shù)據(jù)清理參數(shù)表維護(hù)104.2技術(shù)平臺(tái)數(shù)據(jù)下載和清理104.3應(yīng)用系統(tǒng)數(shù)據(jù)下

2、載和清理114.3.1應(yīng)用系統(tǒng)數(shù)據(jù)下載和清理114.3.2計(jì)算清理日組件114.3.3計(jì)算保留日組件114.3.4數(shù)據(jù)清理控制組件125附錄13第 12 頁 共 12 頁【內(nèi)部資料 請(qǐng)勿外泄】1 概述1.1 理論背景完整的數(shù)據(jù)生命周期是：應(yīng)用系統(tǒng)的數(shù)據(jù)在生產(chǎn)應(yīng)用系統(tǒng)中的在線階段，歸檔階段，銷毀階段的單一流向過程。完整的核心銀行系統(tǒng)數(shù)據(jù)管理流程涉及主機(jī)和開放平臺(tái)，其流程包括：1、 主機(jī)數(shù)據(jù)下載:定期將符合條件的應(yīng)用數(shù)據(jù)生成文件，下載至開放平臺(tái)。2、主機(jī)數(shù)據(jù)清理:定期將符合條件的應(yīng)用數(shù)據(jù)刪除。3、主機(jī)數(shù)據(jù)歸檔:裝載下載的數(shù)據(jù)文件至開放平臺(tái)的檔案管理系統(tǒng)。4、歸檔數(shù)據(jù)銷毀: 定期銷毀開放平臺(tái)檔案管理

3、系統(tǒng)中的應(yīng)用數(shù)據(jù)。本文檔描述的是主機(jī)數(shù)據(jù)清理的總體方案。1.2 需求背景歷史數(shù)據(jù)是指各種檔案中帶有日期項(xiàng)的數(shù)據(jù)，這些日期項(xiàng)可能是鍵值之一（如交易歷史表），也可能不是鍵值（例如賬戶主檔中的銷戶日期），根據(jù)這些日期和記錄某些狀態(tài)，就能夠確定那些數(shù)據(jù)已經(jīng)過期，無需在主機(jī)中繼續(xù)保留而可以被清除。歷史數(shù)據(jù)清理是保護(hù)資源，提高系統(tǒng)性能的重要措施之一，因此數(shù)據(jù)清理的標(biāo)準(zhǔn)在需求分析階段就要確定下來，但清理的時(shí)間和數(shù)據(jù)保留的期限卻會(huì)隨著數(shù)據(jù)量的增長(zhǎng)和業(yè)務(wù)的發(fā)展而不斷變化。比如票據(jù)業(yè)務(wù)的需求是“對(duì)于已結(jié)清的票據(jù)記錄，如果結(jié)清期限超過1年的，允許在年末統(tǒng)一作物理刪除”。在這個(gè)需求中，數(shù)據(jù)清理的時(shí)間（年末）和數(shù)據(jù)保留

4、的期限（1年），可能會(huì)隨著業(yè)務(wù)的大幅增長(zhǎng)而發(fā)生改變（例如改為每月末清理，保留半年內(nèi)數(shù)據(jù)），但清理的條件“已結(jié)清的票據(jù)記錄”卻是固定不變的。為了降低需求變更所帶來的程序修改，我們將“數(shù)據(jù)清理時(shí)間”和“數(shù)據(jù)保留期限”單獨(dú)抽取出來，變成可以定義維護(hù)的參數(shù)，而清理的條件和具體要清理那些數(shù)據(jù)庫表的記錄則留給應(yīng)用程序來完成。1.3 關(guān)鍵策略數(shù)據(jù)清理動(dòng)作統(tǒng)一由應(yīng)用發(fā)起。應(yīng)用清理程序每天都啟動(dòng)執(zhí)行，根據(jù)處理對(duì)象(清理編號(hào))調(diào)用數(shù)據(jù)清理日期查詢組件檢查當(dāng)天是否需要進(jìn)行數(shù)據(jù)清理；如果需要數(shù)據(jù)清理，清理日期查詢組件則返回記錄的最小保留日期（詳見接口說明文檔），應(yīng)用根據(jù)最小保留日期進(jìn)行如下處理。1、檔案無需支持24小

5、時(shí)。應(yīng)用程序掃描需要清理的檔案，將符合條件的記錄作刪除。需要考慮所有必要的條件，包括：記錄最后修改日小于最小保留日期；記錄屬于業(yè)務(wù)無效的狀態(tài)；有關(guān)聯(lián)的表的主從記錄需要同步刪除。2、檔案需要支持24小時(shí)(針對(duì)雙主檔)。第一步：應(yīng)用程序掃描批量檔案，確定需要?jiǎng)h除那些檔案的那些記錄（日期小于最小保留日期的記錄），將這些記錄的KEY值登記下來生成BSP檔案（注意：這些KEY值不一定帶有日期數(shù)據(jù)，例如已銷戶超過一定期限的活期存款的KEY值其實(shí)是存款賬號(hào)）。第二步：根據(jù)BSP檔案發(fā)動(dòng)BSP處理，通過KEY值真正刪除聯(lián)機(jī)檔案中的相關(guān)記錄。這時(shí)應(yīng)用的BSP程序可能還需要再次檢查記錄的狀態(tài)和日期，以免發(fā)生意外錯(cuò)

6、誤（例如已銷戶的活期存款被銷戶重開了）。1.4 性能因素1、采用程序的方式刪除記錄，系統(tǒng)會(huì)登記DB2 LOG，對(duì)于一次清理大量的數(shù)據(jù)會(huì)引起系統(tǒng)性能下降。因此在需求分析時(shí)，對(duì)于涉及大數(shù)據(jù)量的清理，盡量通過增加清理次數(shù)的方式來分散每次清理的數(shù)據(jù)量。2、數(shù)據(jù)清理后一般要對(duì)數(shù)據(jù)庫表進(jìn)行REORG，也可以參照日常系統(tǒng)運(yùn)行的REORG執(zhí)行日期，來安排數(shù)據(jù)清理的運(yùn)行實(shí)施。2 術(shù)語定義數(shù)據(jù)清理模塊的核心數(shù)據(jù)結(jié)構(gòu)是數(shù)據(jù)清理參數(shù)表，其包含如下要素。2.1 清理編號(hào)清理編號(hào)是8位的字符串，它代表了一類數(shù)據(jù)清理的規(guī)則，由應(yīng)用技術(shù)人員維護(hù)。為了方便記憶，可以定義為數(shù)據(jù)庫表的名稱。2.2 清理類型對(duì)同一個(gè)清理編號(hào)之下清理

7、規(guī)則的再次劃分，是20位字符串的自由格式，由應(yīng)用自己定義和使用。比如對(duì)交易歷史的清理，在同一清理編號(hào)下，不同的模塊賬號(hào)，或者不同的產(chǎn)品可能有不同的清理規(guī)則。2.3 清理時(shí)間表示數(shù)據(jù)清理的時(shí)間要求，即在什么時(shí)間點(diǎn)來做數(shù)據(jù)清理，在IBS CORE中，數(shù)據(jù)清理時(shí)間由清理頻率和清理周期組成：清理頻率清理周期摘要日NNN=199，表示相對(duì)于年初每 NN 天就啟動(dòng)數(shù)據(jù)清理。例如 NN =01 表示每天都清理，NN =05 表示每5天清理一次。周NN=17，表示每周 N 啟動(dòng)數(shù)據(jù)清理。例如 N=1 表示周一清理，N=7 表示每周日清理。旬NNNN=0110，表示每旬的 NN 日啟動(dòng)清理。例如 NN =01

8、表示每旬的第1日清理，當(dāng) NN=10表示每旬末清理。月NNNN=0131，表示每個(gè)月的 NN 日啟動(dòng)清理。例如 NN =01 表示每月的1日清理，NN =15 表示每月的15日清理, 特別地當(dāng) NN=31表示每月月末清理。季NNNN=0131，表示每季度的 NN 日啟動(dòng)清理。例如 NN =01 表示3、6、9、12月的1日清理，NN =15 表示3、6、9、12月的15日清理，特別地當(dāng) NN=31表示季末清理。半年NNNN=0131，表示每半年的 NN 日啟動(dòng)清理。例如 NN =01 表示6、12月的1日清理，NN =15 表示6、12月的15日清理，特別地當(dāng) NN=31表示6月30日、12月

9、31日清理。年MMDDMMDD表示指定的月、日，特別地，如果設(shè)置為0229則只會(huì)每4年清理一次。指定CCYYMMDD于指定的日期清理。清理的啟動(dòng)需要按批量的假期表進(jìn)行計(jì)算，當(dāng)出現(xiàn)假期跨一個(gè)清理周期的時(shí)候，仍然以當(dāng)天的批量處理時(shí)間為準(zhǔn)。例如定義每天清理一次，每次保留5天以內(nèi)的數(shù)據(jù)，且假設(shè)國(guó)慶節(jié)7天都為假期不跑批量，那么在9月30日?qǐng)?zhí)行清理的時(shí)候，只是清理9月26日前的數(shù)據(jù)，10月8日上班的第一天仍然可以查詢到9月2630日的數(shù)據(jù)，而不僅僅是10月37日的數(shù)據(jù)。但在10月8日?qǐng)?zhí)行數(shù)據(jù)清理時(shí)，會(huì)刪除10月4日前的所有數(shù)據(jù)。如果遇到清理日是假期而沒有運(yùn)行批量時(shí)，系統(tǒng)需要在下一個(gè)批量日?qǐng)?zhí)行數(shù)據(jù)清理。2.

10、4 保留期限代表數(shù)據(jù)保留的時(shí)間長(zhǎng)短要求，在IBS CORE中，數(shù)據(jù)保留時(shí)間由保留頻率和保留周期組成：保留頻率保留周期摘要日NNNNN=000999，表示保留NN天的數(shù)據(jù)，特別地，當(dāng) NN=000時(shí)，表示一天都不保留。月NNNN=0199，表示保留NN個(gè)月的數(shù)據(jù)。年NNNN=0150，表示保留NN年的數(shù)據(jù)。數(shù)據(jù)保留期限是相對(duì)于清理時(shí)間而言的，為了不要在月末等特殊日期執(zhí)行數(shù)據(jù)清理，清理的時(shí)間可能會(huì)改在其它日期執(zhí)行，為避免因此而造成的將一個(gè)業(yè)務(wù)周期的數(shù)據(jù)拆分成兩段的情況，系統(tǒng)提供一個(gè)“是否允許按月拆分”的選項(xiàng)，當(dāng)該選項(xiàng)為“不允許”時(shí)，表示數(shù)據(jù)必須按月為周期進(jìn)行保留。例如每個(gè)月的3日啟動(dòng)數(shù)據(jù)清理，要求

11、保留一個(gè)月的數(shù)據(jù)，那么在5月3日清理時(shí)，如果是“不允許”按月拆分，系統(tǒng)會(huì)保留4月1日5月3日的數(shù)據(jù)，如果是“允許”按月拆分，系統(tǒng)就只保留4月4日5月3日的數(shù)據(jù)。系統(tǒng)控制按日保留時(shí)，“是否允許按月拆分”選項(xiàng)是不可選的，且必須為“允許”。清理時(shí)間和保留期限之間的參數(shù)配置可能會(huì)出現(xiàn)不作清理的情況，需要在詳細(xì)設(shè)計(jì)時(shí)考慮。例如選擇按日清理，又要保留一個(gè)完整月的數(shù)據(jù)，那么每月2日以后的清理動(dòng)作將會(huì)是多余的。2.5 清理狀態(tài)為了簡(jiǎn)化和方便參數(shù)維護(hù)，為每條記錄建立清理狀態(tài)：Y或N。Y-表示清理記錄有效；N-表示清理記錄無效。系統(tǒng)不提供參數(shù)的刪除交易，而是由參數(shù)維護(hù)人員通過修改刪除狀態(tài)為“N”來實(shí)現(xiàn)，這樣當(dāng)希望

12、暫時(shí)不作數(shù)據(jù)清理時(shí)，只需要修改清理狀態(tài)即可。3 數(shù)據(jù)結(jié)構(gòu)3.1 數(shù)據(jù)結(jié)構(gòu)描述3.1.1 數(shù)據(jù)清理參數(shù)表l 描述：用于定義數(shù)據(jù)清理時(shí)間、保留期限及其他相關(guān)要素。l 表COLUMN描述：ID名稱類型/長(zhǎng)度備注BNK銀行號(hào)9(03)CLN_NO清理編號(hào)X(08)清理的數(shù)據(jù)編號(hào)，可以使用數(shù)據(jù)庫表名。CLN_TYP清理類型X(20)自由格式，由應(yīng)用負(fù)責(zé)解釋和使用DES說明X(60)STS狀態(tài)X(01)Y-有效，N-無效CLN_FRY清理頻率X(01)D-日，W-周，T-旬，M-月，Q-季，H-半年，Y-年，S-指定CLN_CYC清理周期9(08)根據(jù)清理頻率不同取值不同RES_FRY保留頻率X(01)D

13、-日， M-月，Y-年RES-CYC保留周期9(03)根據(jù)保留頻率不同取值含義不同RES-FLG是否允許按月拆分X(01)Y-允許，N-不允許CLN_FLG自動(dòng)處理標(biāo)志X(1)Y-自動(dòng)，由平臺(tái)集中調(diào)應(yīng)用組件下載和清理；N-應(yīng)用程序自行下載和清理COM_NAM2清理組件名X(20)當(dāng)自動(dòng)處理標(biāo)志為Y時(shí)，必選REMARK備注X(60)UPT_DT最后更新日期9(08)UPT_TLR最后修改柜員X(10)UPT_BRH最后修改機(jī)構(gòu)號(hào)X(10)l KEY，INDEX描述：IDTYPECOLUMN備注SEQIDA/DPKPK1BNKA2CLN_NOA3CLN_TYPAU1CI1BNKA2CLN_NOA3

14、CLN_TYPA4 功能描述4.1 參數(shù)表維護(hù)l 功能：對(duì)數(shù)據(jù)清理參數(shù)表記錄做增加、修改、查詢、瀏覽。系統(tǒng)限定增加、修改交易只能由總行柜員執(zhí)行，查詢和瀏覽交易則不作限定。l 輸入：參數(shù)表中定義的各數(shù)據(jù)項(xiàng)。l 輸出：交易成功畫面l 處理：Ø 只允許總行級(jí)柜員使用；Ø 增加、修改時(shí)更新參數(shù)檔案（使用統(tǒng)一的參數(shù)表）；Ø 增加、修改時(shí)登記歷史檔案，并作改前改后的明細(xì)登記；4.2 模塊組件4.2.1 清理操作查詢組件l 功能：根據(jù)會(huì)計(jì)日期、清理編號(hào)等輸入，計(jì)算當(dāng)天是否清理日，以及清理的保留日期；與輸入數(shù)據(jù)相匹配，參數(shù)表中指示當(dāng)日需要進(jìn)行清理的參數(shù)記錄可能有多筆，對(duì)應(yīng)輸出描述

15、中的數(shù)組；絕大多數(shù)應(yīng)用程序調(diào)用此組件即可。l 輸入：輸入數(shù)據(jù)英文名輸入數(shù)據(jù)中文名數(shù) 據(jù) 類 型輸入屬性備注QDDT-BK銀行號(hào)9(3)OptionalQDDT-NO代碼種類X(8)MandatoryQDDT-TYPE清理類型X(20)OptionalQDDT-AC-DATE會(huì)計(jì)日期9(8)Mandatoryl 輸出：輸出數(shù)據(jù)英文名輸出數(shù)據(jù)中文名數(shù) 據(jù) 類 型備注QDDT-RC-MMO返回應(yīng)用符X(2)QDDT-RC-CODE返回碼X(4)QDDT-RN-BK銀行號(hào)9(3)OCCURS 100 TIMESQDDT-RN-TYPE清理類型X(8)OCCURS 100 TIMESQDDT-RN-DA

16、TE最小保留日期9(8)OCCURS 100 TIMES4.2.2 計(jì)算清理日期組件l 功能：判斷當(dāng)天是否需要進(jìn)行數(shù)據(jù)的清理。l 輸入：輸入數(shù)據(jù)英文名輸入數(shù)據(jù)中文名數(shù) 據(jù) 類 型輸入屬性備注CDDT-DELE-FRY清理頻率X(1)MandatoryCDDT-DELE-CYC清理周期9(8)MandatoryCDDT-AC-DATE會(huì)計(jì)日期9(8)MandatoryCDDT-LAST-DATE上一會(huì)計(jì)日期9(8)Mandatoryl 輸出：輸出數(shù)據(jù)英文名輸出數(shù)據(jù)中文名數(shù) 據(jù) 類 型備注CDDT-RC-MMO返回應(yīng)用符X(2)CDDT-RC-CODE返回碼X(4)CDDT-DELE-FLAG清理

17、標(biāo)志X(1)'Y'， 'N'.4.2.3 計(jì)算保留日期組件l 功能：返回最小的保留日期。l 輸入：輸入數(shù)據(jù)英文名輸入數(shù)據(jù)中文名數(shù) 據(jù) 類 型輸入屬性備注CSDT-STOR-FRY保留頻率X(1)MandatoryCSDT-STOR-CYC保留周期9(3)MandatoryCSDT-SPLIT-FLAG按月拆分標(biāo)志X(1)MandatoryCSDT-AC-DATE會(huì)計(jì)日期9(8)Mandatoryl 輸出：輸出數(shù)據(jù)英文名輸出數(shù)據(jù)中文名數(shù) 據(jù) 類 型備注CSDT-RC-MMO返回應(yīng)用符X(2)CSDT-RC-CODE返回碼X(4)CSDT-STOR-DATE最小保留日期X(8)5 應(yīng)用規(guī)則1、并發(fā)規(guī)則：根據(jù)被清理應(yīng)用表的分PART情況和數(shù)據(jù)量，確定清理作業(yè)是并發(fā)方式或非并發(fā)方式。如果是對(duì)分PART的數(shù)據(jù)量較大的表，宜采用分PART方式。2、關(guān)聯(lián)規(guī)則：相關(guān)聯(lián)的應(yīng)用表的數(shù)據(jù)清理，在性能允許的情況下，