基于WINDOWS平臺(tái)下銀行卡系統(tǒng)流水文件的自動(dòng)識(shí)別與分析-軟件技術(shù)

1、.基于WINDOWS平臺(tái)下銀行卡系統(tǒng)流水文件的自動(dòng)識(shí)別與分析-軟件技術(shù)基于WINDOWS平臺(tái)下銀行卡系統(tǒng)流水文件的自動(dòng)識(shí)別與分析 李嶺 張?chǎng)危ㄖ袊?guó)銀聯(lián)股份有限公司 上海201201）（電子商務(wù)與電子支付國(guó)家工程實(shí)驗(yàn)室 上海201201）摘要在銀行卡交易的清分及結(jié)算環(huán)節(jié)，流水文件作為卡組織與其成員金融機(jī)構(gòu)結(jié)算、對(duì)賬的重要媒介，為應(yīng)對(duì)卡組織對(duì)賬文件種類多、存儲(chǔ)信息量大、字段結(jié)構(gòu)復(fù)雜以及文件字節(jié)過大用戶無法人工閱讀的特點(diǎn)，通過參數(shù)化靈活設(shè)置、內(nèi)存映射及動(dòng)態(tài)定位等技術(shù)方式，實(shí)現(xiàn)可基于WINDOWS平臺(tái)的文件處理能力。關(guān)鍵詞文件分析自動(dòng)識(shí)別內(nèi)存映射doi:10.3969/j.issn.1674-7933

2、.2016.06.010引言銀行卡流水文件作為卡組織與銀行機(jī)構(gòu)之間每日清算對(duì)賬的主要途徑，提供了大量的交易場(chǎng)景及所有參與方的計(jì)費(fèi)明細(xì)信息，具有信息量大、準(zhǔn)確性高的特點(diǎn)。同時(shí)，隨著銀行卡產(chǎn)業(yè)的快速發(fā)展，交易種類繁多、交易量快速放大，對(duì)機(jī)構(gòu)業(yè)務(wù)對(duì)賬的難度和復(fù)雜度要求提升，而銀行卡流水是基于系統(tǒng)處理的具有定復(fù)雜度的文本格式文件，業(yè)務(wù)人員難以直觀明了的看懂文件中一筆筆流水所包含的實(shí)際交易信息，在日常的業(yè)務(wù)分析中也難以人工進(jìn)行統(tǒng)計(jì)分析?；赪INDOWS平臺(tái)的銀行卡流水文件處理，主要針對(duì)卡組織與其他金融機(jī)構(gòu)之間的流水文件的自動(dòng)識(shí)別與分析可具有良好的可擴(kuò)展性、高可用性、高穩(wěn)定性，包含查詢、解析、統(tǒng)計(jì)等幾大

3、功能。同時(shí)，提供了友好的界面展示，通過從界面導(dǎo)入待處理的流水文件，支持用戶輸入在文件中搜索的查詢條件，通過內(nèi)存映射技術(shù)在流水文件中快速的查詢出符合條件的流水；把查詢結(jié)果進(jìn)行解析，直觀顯示各個(gè)流水字段的內(nèi)容；分類統(tǒng)計(jì)流水中的金額類字段，給出類似報(bào)表的統(tǒng)計(jì)結(jié)果。能夠?yàn)閷I(yè)技術(shù)、業(yè)務(wù)人員降低開發(fā)、測(cè)試和業(yè)務(wù)分析時(shí)間。1技術(shù)方案1.1系統(tǒng)邏輯架構(gòu) 通過用戶錄入待查詢的文件（位于本地或者遠(yuǎn)程FTP服務(wù)器上）、個(gè)性化的訂制信息來完成對(duì)流水文件的載入、解析、查詢和統(tǒng)計(jì)，并把查詢的結(jié)果顯示在系統(tǒng)的界面上。對(duì)于查詢和統(tǒng)計(jì)結(jié)果，用戶可以選擇導(dǎo)出到本地CSV文件中，以進(jìn)行進(jìn)一步的處理。系統(tǒng)的邏輯架構(gòu)如圖1所示。1.

4、2系統(tǒng)物理架構(gòu)系統(tǒng)通過集成FTP客戶端功能和網(wǎng)絡(luò)文件讀取功能，可以具備較好的易用性，不僅可以處理位于本地主機(jī)上的文件，還可以處理提供了FTP Server服務(wù)的遠(yuǎn)程服務(wù)器或者個(gè)人PC上的文件。系統(tǒng)物理架構(gòu)圖如圖2所示。1.3系統(tǒng)應(yīng)用架構(gòu)作為基于WINDOWS的應(yīng)用，系統(tǒng)在架構(gòu)設(shè)計(jì)上主要包括三大部分：參數(shù)部分、文件引入部分和交易流水處理部分。不依賴于數(shù)據(jù)庫而通過高效的參數(shù)配置文件來實(shí)現(xiàn)參數(shù)的獲取，減少系統(tǒng)安裝部署環(huán)節(jié)需要數(shù)據(jù)庫軟件支撐的要求。該系統(tǒng)能夠處理目前境內(nèi)卡組織中國(guó)銀聯(lián)的核心清算系統(tǒng)（CUPS系統(tǒng)）生成的所有流水文件，對(duì)文件中的交易進(jìn)行快速的解析、搜索、統(tǒng)計(jì)。并且，可以通過增加參數(shù)配置文

5、件中的文件解析參數(shù)來適應(yīng)以后新出現(xiàn)的文件，具有很高的擴(kuò)展性。三大部分組成的系統(tǒng)應(yīng)用機(jī)構(gòu)如圖3所示。2關(guān)鍵功能技術(shù)要點(diǎn)通過分析卡組織技術(shù)規(guī)范以及聯(lián)網(wǎng)聯(lián)合規(guī)范要求，針對(duì)性地設(shè)計(jì)流水文件的自動(dòng)識(shí)別，流水文件中所有交易的快速查詢、解析、統(tǒng)計(jì)，把查詢結(jié)果按照操作人員的訂制顯示，以及查詢結(jié)果按照交易類型等維度對(duì)訂制的交易中的金額字段進(jìn)行統(tǒng)計(jì)，然后把統(tǒng)計(jì)結(jié)果顯示在日志區(qū)。該系統(tǒng)不僅能夠支持本地文件的處理，還支持遠(yuǎn)程FTP文件的處理。系統(tǒng)在關(guān)鍵技術(shù)上使用了內(nèi)存映射【1】、動(dòng)態(tài)定位等能夠解決Windows平臺(tái)下內(nèi)存、IO限制導(dǎo)致對(duì)文件處理緩慢、甚至系統(tǒng)崩潰等問題，尤其需要解決對(duì)GB級(jí)別大文件的快速處理。該系統(tǒng)同

6、時(shí)也提供了csv文件導(dǎo)出的功能，以便于通過EXCEL軟件的進(jìn)一步處理。以文件類型識(shí)別處理為例，針對(duì)銀行卡技術(shù)規(guī)范【2】中描述的不同流水文件格式，結(jié)合交換系統(tǒng)技術(shù)規(guī)范中關(guān)于報(bào)文域的定義解釋，以流水文件進(jìn)行識(shí)別和分析這項(xiàng)關(guān)鍵技術(shù)為例，其流程及要點(diǎn)如圖4所示。1)判斷是否結(jié)算類文件，決定該文件中字符串內(nèi)容是按照行來拆分，還是按照交易類別來拆分。2)非結(jié)算類文件分析方法：對(duì)一行流水內(nèi)容，判斷行長(zhǎng)度、結(jié)尾符是否符合參數(shù)配置要求，正確繼續(xù)進(jìn)行處理，錯(cuò)誤則將行號(hào)寫入內(nèi)存分析報(bào)告。取下一行繼續(xù)處理。(1)字段級(jí)分析。按照文件類型對(duì)應(yīng)的字段格式參數(shù)信息（包括字段中文名稱、字段長(zhǎng)度及字符屬性要求、報(bào)文域號(hào)），對(duì)字

7、段進(jìn)行先切割拆分，后分析匹配。從內(nèi)存參數(shù)中匹配中文字段名稱、字段長(zhǎng)度值、域號(hào)、數(shù)據(jù)庫表字段，檢查字段中字符是否符合僅數(shù)字，僅英文字符要求，檢查字符分隔符是否符合要求，寫入內(nèi)存分析報(bào)告中。(2)行級(jí)分析。對(duì)整行拆分后字段查找關(guān)鍵域（報(bào)文類型域、交易類型碼域、商戶類型域、服務(wù)點(diǎn)條件碼域、交易渠道域），并根據(jù)上述域在參數(shù)中匹配交易名稱（未匹配上記為未匹配），寫入內(nèi)存分析報(bào)告中。(3)文件級(jí)分析。所有行分析結(jié)束后，按照每筆交易本金及其借貸關(guān)系方向、手續(xù)費(fèi)及其借貸關(guān)系方向，分別進(jìn)行軋差分析，按照交易名稱一致性進(jìn)行統(tǒng)計(jì)分析，寫入內(nèi)存分析報(bào)告中。3)結(jié)算類文件分析方法。獲取首位三個(gè)字符的交易類型碼，從該文件

8、類型參數(shù)中查找該交易碼，查找到則將該交易類型碼寫入內(nèi)存分析報(bào)告中，并繼續(xù)從文件中獲取四個(gè)字符的16位位圖，并進(jìn)行二進(jìn)制轉(zhuǎn)換。對(duì)二進(jìn)制中為1的段位，從參數(shù)中獲取對(duì)應(yīng)字段參數(shù)格式信息進(jìn)行從文件中拆分。拆分完，重復(fù)上述步驟。(1)字段級(jí)分析。按照段位圖對(duì)應(yīng)的字段格式參數(shù)信息（包括字段中文名稱，字段長(zhǎng)度及字符屬性要求，報(bào)文域號(hào)），對(duì)字段進(jìn)行先切割拆分，后分析匹配。從內(nèi)存參數(shù)中匹配中文字段名稱、字段長(zhǎng)度值、域號(hào)，數(shù)據(jù)庫表字段，檢查字段中字符是否符合僅數(shù)字，僅英文字符要求，檢查字符分隔符是否符合要求，寫入內(nèi)存分析報(bào)告中。(2)文件級(jí)分析。按照寫入內(nèi)存中的每筆交易本金及其借貸關(guān)系方向、手續(xù)費(fèi)及其借貸關(guān)系方向，分別進(jìn)行軋差分析，按照交易類型名稱一致性進(jìn)行統(tǒng)計(jì)分析，寫入內(nèi)存分析報(bào)告中。通過上述對(duì)流水文件的識(shí)別、分析，引入技術(shù)規(guī)范定義等匹配拆允實(shí)現(xiàn)對(duì)流水文件中的交易翻譯，并完成各項(xiàng)交易費(fèi)用的對(duì)應(yīng)軋差。3總結(jié)本文所提出的銀行卡流水文件分析系統(tǒng)，經(jīng)過對(duì)眾多技術(shù)人員和業(yè)務(wù)人員使用情況的跟蹤，系統(tǒng)運(yùn)行穩(wěn)定，性能良好，各項(xiàng)指標(biāo)均達(dá)到原來的設(shè)計(jì)目標(biāo)。系統(tǒng)對(duì)本地文件的處理速度大約10萬筆，秒，對(duì)遠(yuǎn)程文件的處理速度大約3.8萬筆，秒，符合正常條件下對(duì)銀行卡交易流水的使用及分析用途。已申請(qǐng)一種文件類型識(shí)別分析方法及系統(tǒng)一種可配置并按文件類型自動(dòng)識(shí)別查詢條件與顯示字段，及生成可二次處理文件的工