銀行卡統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)處理策略

銀行卡統(tǒng)計(jì)分析系統(tǒng)PAGE銀行卡統(tǒng)計(jì)分析系統(tǒng)銀行卡統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)處理策略銀行卡統(tǒng)計(jì)分析系統(tǒng)項(xiàng)目組目錄TOC\o"1-5"\h\z\u一、源數(shù)據(jù) 1二、傳輸源數(shù)據(jù) 4三、文件解壓 4四、基礎(chǔ)數(shù)據(jù)預(yù)處理、加工 4五、加載 4六、轉(zhuǎn)換 5七、加工 5八、生成報(bào)表區(qū) 5九、生成XML文件 5十、生成事實(shí)表、維表 5十一、生成Cube 6第6頁第1頁銀行卡統(tǒng)計(jì)分析系統(tǒng)對(duì)數(shù)據(jù)的處理分為每日和月底兩種情況。所有的處理在調(diào)度系統(tǒng)的管理下全封閉運(yùn)行，正常情況下不需要人工干預(yù)。銀行卡統(tǒng)計(jì)分析系統(tǒng)的數(shù)據(jù)處理流程主要如下：源數(shù)據(jù)-->基礎(chǔ)數(shù)據(jù)-->應(yīng)用數(shù)據(jù)；應(yīng)用數(shù)據(jù)-->報(bào)表數(shù)據(jù)-->XML文件；應(yīng)用數(shù)據(jù)-->多維數(shù)據(jù)-->生成CUBE。一、源數(shù)據(jù)源數(shù)據(jù)分ABIS和AIPS，其中ABIS數(shù)據(jù)是由總行統(tǒng)一下發(fā)的，AIPS數(shù)據(jù)需要分行根據(jù)要求的字段和頻率進(jìn)行抽取。1)ABIS源數(shù)據(jù)數(shù)據(jù)文件以ACSII碼方式提供，文件命名格式與總行下發(fā)的一致，字段間使用”|!”分隔，其中分戶帳表在年底為結(jié)算后的數(shù)據(jù)。清單提供如下：表名中文名頻度ccy貨幣表每日caod透支交易明細(xì)表每日pcci信用卡信息表每日pptc掛失登記簿每日pptl重要非金融性交易流水表每日ppts商戶表每日caom透支主檔表每日tlt渠道柜員表每日bdt行部表每日pdci借記卡信息表每日pptj銀行卡交易流水表每日apsh活期交易歷史明細(xì)每日tmt終端表每日小計(jì)13pccg額度等級(jí)表月底capm個(gè)人貸款主檔月底cmaa支票賬戶主檔月底cacm對(duì)公貸款主檔月底pdcr借記卡產(chǎn)品賬號(hào)對(duì)照表月底abom國債核算主檔月底afsm定活兩便賬戶主檔月底afnm通知存款賬戶主檔月底afdm整整賬戶主檔月底afcm零存整取賬戶主檔月底iac通用分戶帳月底erp牌價(jià)表月底apsm活期賬戶主檔月底pcsi睡眠卡信息表月底合計(jì)272）．前置數(shù)據(jù)數(shù)據(jù)文件以ACSII碼方式提供，文件命名格式ABIS數(shù)據(jù)一致，字段間使用”|!”分隔，文件命名中的省市代碼采用ABIS的省市代碼。清單提供如下：表名中文名頻度csd卡業(yè)務(wù)明細(xì)表每日abisteller銀行卡前置柜員表每日ebankqrytrace網(wǎng)銀交易信息表每日合計(jì)3Csd提供的字段如下：字段名字段中文名字段類型字段長度字段小數(shù)位長度PK值acctype帳戶類型CHAR3amt交易金額DECIMAL202date日期CAHR8Yfee手續(xù)費(fèi)DECIMAL202reqid請(qǐng)求設(shè)備標(biāo)識(shí)CHAR8reqseqno請(qǐng)求流水號(hào)CHAR12Yrespseqno應(yīng)答流水號(hào)即AP流水號(hào)CHAR12Ytranscode交易碼CHAR4reqtype請(qǐng)求設(shè)備類型CHAR2accno帳號(hào)CHAR19Ytransstatus交易結(jié)果狀態(tài)CHAR1accflag行內(nèi)帳戶標(biāo)志CHAR1Abisteller提供的字段如下：字段名字段中文名字段類型字段長度字段小數(shù)位長度PK值teller柜員號(hào)CHAR4term終端號(hào)CHAR4reqid請(qǐng)求標(biāo)識(shí)CHAR8YEbankqrytrace提供的字段如下：字段名字段中文名字段類型字段長度字段小數(shù)位長度PK值reqid請(qǐng)求設(shè)備標(biāo)識(shí)CHAR8reqseqno請(qǐng)求流水號(hào)CHAR19reqdate請(qǐng)求日期CHAR8reqtime請(qǐng)求時(shí)間CHAR6respseqno應(yīng)答流水號(hào)CHAR19transcode網(wǎng)銀交易碼CHAR4ebankseqno網(wǎng)銀流水號(hào)CHAR19Ycustomerno客戶號(hào)CHAR11accno借方賬號(hào)CHAR30accname借方戶名CHAR60acctype借方賬戶類型CHAR3acccurrency借方貨幣碼CHAR3accoftype借方鈔匯標(biāo)志CHAR1accopenbank借方開戶行行名CHAR100accbankno借方開戶行行號(hào)CHAR6craccno貸方賬號(hào)CHAR30craccname貸方戶名CHAR60cracctype貸方賬戶類型CHAR3cracccurrency貸方貨幣碼CHAR3craccoftype貸方鈔匯標(biāo)志CHAR1craccopenbank貸方開戶行行名CHAR100craccbankno貸方開戶行行號(hào)CHAR6transvern轉(zhuǎn)賬業(yè)務(wù)版本號(hào)CHAR1transamt交易金額CHAR20purpose交易用途CHAR100grpflag集團(tuán)交易標(biāo)識(shí)CHAR1grpcomm集團(tuán)交易說明CHAR100transenter業(yè)務(wù)受理渠道CHAR20abisrespcode主機(jī)應(yīng)答碼CHAR4jrnno主機(jī)日志號(hào)CHAR9vchno主機(jī)傳票號(hào)CHAR8transstatus交易處理標(biāo)志CHAR1printflag打印標(biāo)志CHAR1crprintflag貸方打印標(biāo)志CHAR1二、傳輸源數(shù)據(jù)利用csas_file_list把源數(shù)據(jù)文件傳輸?shù)姐y行卡統(tǒng)計(jì)分析系統(tǒng)主機(jī)。三、文件解壓系統(tǒng)利用腳本對(duì)接收的源數(shù)據(jù)文件進(jìn)行解壓，具體查詢?nèi)罩灸夸洖?wkfile/ap/log/日期/ER01，通常文件不能解壓可能出現(xiàn)的問題如下：Ctl文件不存在。每個(gè)源數(shù)據(jù)文件數(shù)據(jù)均以.gz和.gz.ctl文件成對(duì)存放，若只有.gz文件而無ctl文件，程序不進(jìn)行解壓。文件無法解壓，需要檢查提供的源數(shù)據(jù)文件是否正確。文件系統(tǒng)問題。由于是用gzip命令進(jìn)行解壓，可能會(huì)有類似空間不夠、權(quán)限不夠等問題造成不能解壓。大文件問題。即系統(tǒng)必須支持2G以上的大文件，否則也不能解壓。四、基礎(chǔ)數(shù)據(jù)預(yù)處理、加工具體查詢?nèi)罩灸夸洖?wkfile/ap/log/日期/EE01，該部分主要是進(jìn)行日期處理、次主鍵等處理，生成中間文件。五、加載把生成的中間文件加載到IQ的加載區(qū)中，具體查詢?nèi)罩灸夸洖?wkfile/ap/log/日期/LL01，此時(shí)生成的數(shù)據(jù)一般只保留1天。通?？赡艹霈F(xiàn)的問題如下：源文件有問題。比如源文件內(nèi)容有誤，需具體分析，將有問題的行剔除，然后再繼續(xù)加載。IQ數(shù)據(jù)庫有問題。此時(shí)一般會(huì)有明顯的提示信息，可根據(jù)提示進(jìn)行處理。六、轉(zhuǎn)換把數(shù)據(jù)從加載區(qū)遷移到基礎(chǔ)數(shù)據(jù)區(qū)的過程，具體查詢?nèi)罩灸夸洖?wkfile/ap/log/日期/TT01，此時(shí)生成的數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)，原則上要求保存3年，但由于空間和系統(tǒng)效率問題，分行可以根據(jù)備份策略進(jìn)行備份。七、加工根據(jù)統(tǒng)計(jì)口徑的要求，對(duì)基礎(chǔ)數(shù)據(jù)區(qū)的數(shù)據(jù)進(jìn)行加工生成應(yīng)用數(shù)據(jù)區(qū)數(shù)據(jù)。具體查詢?nèi)罩灸夸洖?wkfile/ap/log/日期/TRANP，該目錄內(nèi)各文件名與各個(gè)數(shù)據(jù)表名一一對(duì)應(yīng)。八、生成報(bào)表區(qū)根據(jù)應(yīng)用區(qū)的數(shù)據(jù)，映射生成報(bào)表區(qū)的數(shù)據(jù)，具體查詢?nèi)罩灸夸洖?wkfile/ap/log/日