金融信息中心歷史數(shù)據(jù)歸檔和管理平臺(tái)建設(shè)項(xiàng)目技術(shù)方案

1、中國(guó)人民銀行金融信息中心歷史數(shù)據(jù)歸檔和管理平臺(tái)項(xiàng)目技術(shù)方案（立項(xiàng)版）撰寫(xiě)審核批準(zhǔn)中國(guó)人民銀行科技司制二一年 十二月 十六日編 制 說(shuō) 明 本文檔在項(xiàng)目申報(bào)單位提交項(xiàng)目申報(bào)材料和業(yè)務(wù)需求書(shū)后，由項(xiàng)目開(kāi)發(fā)/建設(shè)單位編寫(xiě)，并由科技司組織審核論證。審核通過(guò)后將作為項(xiàng)目立項(xiàng)和資金預(yù)算編制的依據(jù)，并為項(xiàng)目實(shí)施時(shí)制定詳細(xì)的技術(shù)方案奠定基礎(chǔ)。一、技術(shù)方案（立項(xiàng)版）編寫(xiě)應(yīng)遵循以下原則： 1.技術(shù)方案（立項(xiàng)版）依照總行兩級(jí)數(shù)據(jù)中心的戰(zhàn)略布局，遵循資源整合和數(shù)據(jù)集中的原則，根據(jù)人民銀行信息化建設(shè)的實(shí)際情況制定。2.技術(shù)方案（立項(xiàng)版）應(yīng)結(jié)合人民銀行已有系統(tǒng)，從架構(gòu)的角度進(jìn)行總體規(guī)劃，盡量在現(xiàn)有系統(tǒng)框架內(nèi)，通過(guò)調(diào)整、改

2、造，新增子系統(tǒng)或模塊的方式實(shí)現(xiàn)業(yè)務(wù)需求，推動(dòng)系統(tǒng)整合和架構(gòu)優(yōu)化。3.應(yīng)統(tǒng)籌布局、調(diào)配軟硬件資源，并統(tǒng)一搭建生產(chǎn)運(yùn)行平臺(tái)。4.應(yīng)提出項(xiàng)目擬采用的標(biāo)準(zhǔn)以及項(xiàng)目建設(shè)過(guò)程中相關(guān)的標(biāo)準(zhǔn)化需求。二、此模板主要以應(yīng)用系統(tǒng)開(kāi)發(fā)類(lèi)項(xiàng)目為例，為技術(shù)方案（立項(xiàng)版）的編制提供參考。其他工程類(lèi)項(xiàng)目可根據(jù)實(shí)際需要，參考此模板自行編制。目 錄1.概述42.系統(tǒng)規(guī)劃52.1平臺(tái)與其它系統(tǒng)的關(guān)系52.2平臺(tái)的定位52.3 可行性分析63.系統(tǒng)技術(shù)方案63.1平臺(tái)設(shè)計(jì)思路63.2數(shù)據(jù)量估算73.3平臺(tái)部署83.4 數(shù)據(jù)分級(jí)存儲(chǔ)方案94.產(chǎn)品調(diào)研105.系統(tǒng)軟硬件需求105.1 軟件需求105.2 硬件需求116.產(chǎn)品購(gòu)買(mǎi)計(jì)劃及部

3、署規(guī)劃1112本技術(shù)方案討論在面對(duì)人民銀行信息系統(tǒng)數(shù)據(jù)量急劇增長(zhǎng)的現(xiàn)狀下，以數(shù)據(jù)生命周期管理的思想，利用適當(dāng)?shù)募夹g(shù)手段和工具，對(duì)國(guó)庫(kù)類(lèi)、貨金類(lèi)、多應(yīng)用加載平臺(tái)等基礎(chǔ)生產(chǎn)系統(tǒng)的歷史數(shù)據(jù)進(jìn)行歸檔和管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)從產(chǎn)生、在線使用、離線備用到失效銷(xiāo)毀的完整的生命周期管理過(guò)程。1 .概述生產(chǎn)系統(tǒng)所承載數(shù)據(jù)量急劇增長(zhǎng)，快速膨脹的數(shù)據(jù)量嚴(yán)峻考驗(yàn)了應(yīng)用系統(tǒng)的負(fù)載能力，系統(tǒng)資源、運(yùn)行效率都面臨著越來(lái)越大的壓力。為實(shí)現(xiàn)對(duì)用戶提供高可用性、連續(xù)性的信息系統(tǒng)要求，必須考慮異構(gòu)環(huán)境下海量數(shù)據(jù)的歸檔和管理，探索集中模式下海量數(shù)據(jù)在跨平臺(tái)、異構(gòu)數(shù)據(jù)形態(tài)環(huán)境的歸檔管理方法。面對(duì)信息管理的重要性日益顯現(xiàn)的現(xiàn)實(shí)，在保證信息共享

4、和安全的同時(shí)，如何減少數(shù)據(jù)冗余，加快信息的流轉(zhuǎn)速度，提高處理效率和信息共享程度，是實(shí)現(xiàn)管理標(biāo)準(zhǔn)化和規(guī)范化的基礎(chǔ)。隨著業(yè)務(wù)發(fā)展，為規(guī)范信息與數(shù)據(jù)的管理，降低成本，控制在線數(shù)據(jù)規(guī)模，保證應(yīng)用系統(tǒng)健康高效運(yùn)行，對(duì)應(yīng)用系統(tǒng)各種信息與數(shù)據(jù)從創(chuàng)建到最終銷(xiāo)毀的生命周期進(jìn)行全程管理顯得越來(lái)越迫切。國(guó)庫(kù)信息處理系統(tǒng)、貨幣發(fā)行管理信息系統(tǒng)、聯(lián)網(wǎng)核查公民身份信息系統(tǒng)，等人民銀行重要業(yè)務(wù)系統(tǒng)隨著數(shù)據(jù)量的急劇增長(zhǎng)，需要采用技術(shù)手段將歷史數(shù)據(jù)從生產(chǎn)系統(tǒng)中抽取，并進(jìn)行壓縮歸檔。建立數(shù)據(jù)生命周期管理平臺(tái)，既能滿足業(yè)務(wù)部門(mén)對(duì)歷史數(shù)據(jù)的查詢請(qǐng)求，又能有效控制生產(chǎn)系統(tǒng)的數(shù)據(jù)規(guī)模，降低系統(tǒng)運(yùn)行風(fēng)險(xiǎn)（圖1）。圖1：數(shù)據(jù)生命周期管理平臺(tái)

5、與多系統(tǒng)的關(guān)系在數(shù)據(jù)生命周期管理思想的驅(qū)動(dòng)下，為有效管理國(guó)庫(kù)信息處理系統(tǒng)（以下簡(jiǎn)稱(chēng)“TIPS”），信管中心編制國(guó)庫(kù)信息處理系統(tǒng)（TIPS）數(shù)據(jù)生命周期技術(shù)規(guī)范（詳見(jiàn)附件）。該規(guī)范刻畫(huà)了國(guó)庫(kù)交易數(shù)據(jù)的特征和對(duì)應(yīng)的生命周期管理辦法。本文在規(guī)范的指導(dǎo)下，以TIPS系統(tǒng)為例建立歷史數(shù)據(jù)歸檔管理平臺(tái)，實(shí)現(xiàn)對(duì)TIPS系統(tǒng)數(shù)據(jù)抽取、歸檔、數(shù)據(jù)加工等工作。其他重要業(yè)務(wù)系統(tǒng)可以通過(guò)橫向擴(kuò)展該平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的生命周期管理目標(biāo)。2 .系統(tǒng)規(guī)劃2.1平臺(tái)與其它系統(tǒng)的關(guān)系歷史數(shù)據(jù)歸檔管理平臺(tái)建設(shè)定位在對(duì)生產(chǎn)系統(tǒng)數(shù)據(jù)的抽取，清理和歸檔作業(yè)。從系統(tǒng)定位的角度來(lái)看，歷史數(shù)據(jù)管理平臺(tái)具有長(zhǎng)期保持、數(shù)據(jù)保真、控制生產(chǎn)系統(tǒng)數(shù)據(jù)增長(zhǎng)等

6、特點(diǎn)。與數(shù)據(jù)備份的區(qū)別是數(shù)據(jù)備份是全部數(shù)據(jù)，而數(shù)據(jù)歸檔則不包含系統(tǒng)運(yùn)行的過(guò)程性數(shù)據(jù)。數(shù)據(jù)備份需要通過(guò)在特定的數(shù)據(jù)庫(kù)環(huán)境下恢復(fù)才能實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)，而歷史數(shù)據(jù)歸檔可以自行對(duì)數(shù)據(jù)進(jìn)行歸檔和存儲(chǔ)，提供近線的查詢接口來(lái)實(shí)現(xiàn)對(duì)歷史數(shù)據(jù)的訪問(wèn)。與ODS的區(qū)別是，ODS主要功能是數(shù)據(jù)交換和報(bào)表；而歷史數(shù)據(jù)歸檔管理平臺(tái)主要是數(shù)據(jù)保持。ODS為數(shù)據(jù)倉(cāng)庫(kù)提供批量的數(shù)據(jù)傳輸，并不保存歷史數(shù)據(jù)，也不對(duì)生產(chǎn)系統(tǒng)的數(shù)據(jù)進(jìn)行清理工作，主要滿足歷史數(shù)據(jù)查詢和審計(jì)的需要。歷史數(shù)據(jù)歸檔管理平臺(tái)與之不同，它側(cè)重于將生產(chǎn)系統(tǒng)的數(shù)據(jù)定時(shí)抽取出來(lái)并原汁原味的轉(zhuǎn)存到歸檔平臺(tái)中。與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別是，數(shù)據(jù)倉(cāng)庫(kù)是面向主題的數(shù)據(jù)組織，不包含明細(xì)到每筆

7、交易的數(shù)據(jù)，其目的是為了決策和分析使用；而歷史數(shù)據(jù)歸檔管理平臺(tái)是需要把某一個(gè)時(shí)點(diǎn)的所有事實(shí)數(shù)據(jù)保存起來(lái)，為了查詢和審計(jì)使用。歷史數(shù)據(jù)歸檔管理平臺(tái)對(duì)數(shù)據(jù)不進(jìn)行重新組織，而數(shù)據(jù)倉(cāng)庫(kù)往往需要對(duì)數(shù)據(jù)進(jìn)行重新組織以滿足數(shù)據(jù)分析和挖掘等需要。2.2平臺(tái)的定位考慮到歷史數(shù)據(jù)歸檔查詢平臺(tái)的功能及與生產(chǎn)系統(tǒng)、ODS和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系，該平臺(tái)的定位如下圖（圖2）：圖2：歷史數(shù)據(jù)歸檔查詢平臺(tái)與生產(chǎn)系統(tǒng)、ODS和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系可見(jiàn)，歷史數(shù)據(jù)歸檔查詢平臺(tái)處于相對(duì)獨(dú)立的位置。2.3 可行性分析 目前，數(shù)據(jù)庫(kù)歸檔領(lǐng)域（ILM, Information Lifecycle Management）已經(jīng)出現(xiàn)多個(gè)適用的商業(yè)軟件產(chǎn)品。

8、同時(shí)，人民銀行數(shù)據(jù)中心國(guó)庫(kù)類(lèi)、貨金類(lèi)和統(tǒng)計(jì)類(lèi)業(yè)務(wù)系統(tǒng)采用IBM DB2數(shù)據(jù)庫(kù)軟件。磁帶庫(kù)和存儲(chǔ)設(shè)備為多系統(tǒng)共享方式使用。這些條件為建設(shè)平臺(tái)化的數(shù)據(jù)歸檔查詢系統(tǒng)提供了可能。3 .系統(tǒng)技術(shù)方案3.1平臺(tái)設(shè)計(jì)思路 歷史數(shù)據(jù)歸檔查詢平臺(tái)定位為數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)的統(tǒng)一歸檔平臺(tái)。先期完成對(duì)TIPS系統(tǒng)、貨金系統(tǒng)的歷史數(shù)據(jù)歸檔工作。 TIPS系統(tǒng)部署交易數(shù)據(jù)庫(kù)（TIPSODB）和歷史查詢庫(kù)（TIPSQDB）兩個(gè)數(shù)據(jù)庫(kù)（如圖3）。其中，TIPSODB主要處理和保存日間交易數(shù)據(jù)和3個(gè)月內(nèi)交易數(shù)據(jù)，TIPSODB每日日間交易結(jié)束后，將3月前數(shù)據(jù)按日定時(shí)遷移到TIPSQDB中。TIPSQDB存儲(chǔ)TIPS系統(tǒng)歷史交易

9、數(shù)據(jù)，并提供在線歷史數(shù)據(jù)查詢功能。圖3：TIPS系統(tǒng)數(shù)據(jù)庫(kù)邏輯部署圖通過(guò)歷史數(shù)據(jù)歸檔管理平臺(tái)，TIPSQDB的業(yè)務(wù)數(shù)據(jù)，如達(dá)到預(yù)定義的時(shí)間點(diǎn)后，按照預(yù)定策略，從在線使用狀態(tài)轉(zhuǎn)移到離線備用的狀態(tài)。同時(shí)，這些數(shù)據(jù)從活躍態(tài)（Active）轉(zhuǎn)化成非活躍態(tài)（Inactive）。處于離線備用狀態(tài)的數(shù)據(jù)不再被改變，但是不被封存，而是通過(guò)歷史數(shù)據(jù)歸檔管理平臺(tái)提供的接口繼續(xù)提供近線查詢、匯總、分析等功能。最后，根據(jù)法規(guī)和監(jiān)管的要求，當(dāng)這些數(shù)據(jù)的保存時(shí)間達(dá)到規(guī)定值后，數(shù)據(jù)失效（Expired）并進(jìn)入銷(xiāo)毀階段（圖4）。圖4：TIPS數(shù)據(jù)生命周期階段3.2數(shù)據(jù)量估算預(yù)估未來(lái)1年內(nèi)，TIPSQDB數(shù)據(jù)庫(kù)每周的數(shù)據(jù)庫(kù)備份

10、規(guī)模在400GB（壓縮后）左右： TIPSQDB數(shù)據(jù)庫(kù)的備份量 = 數(shù)據(jù)庫(kù)數(shù)據(jù)全備 + 數(shù)據(jù)庫(kù)日志備份其中，數(shù)據(jù)庫(kù)日志備份規(guī)模在50G至80G，數(shù)據(jù)庫(kù)數(shù)據(jù)全備隨著業(yè)務(wù)增長(zhǎng)態(tài)勢(shì)，將從目前的250G增長(zhǎng)到320G左右。同時(shí)，TIPSODB數(shù)據(jù)庫(kù)存儲(chǔ)3個(gè)月的交易數(shù)據(jù)，該數(shù)據(jù)庫(kù)全備的規(guī)模在80GB（壓縮后），預(yù)估1年后增長(zhǎng)到130GB。假定數(shù)據(jù)歸檔操作按照每季度（3個(gè)月）進(jìn)行。數(shù)據(jù)歸檔操作在以太網(wǎng)和光線網(wǎng)絡(luò)兩種環(huán)境下備份規(guī)模對(duì)比如下：以太網(wǎng)光纖網(wǎng)絡(luò)文件傳輸率10MB/s100MB/s初始數(shù)據(jù)歸檔規(guī)模250GB至320GB250GB至320GB初始?xì)w檔時(shí)間6.9小時(shí)至8.8小時(shí)42分鐘至54分鐘小時(shí)每季

11、度數(shù)據(jù)歸檔規(guī)模80GB至130GB80GB至130GB歸檔時(shí)間2.2小時(shí)至3.6小時(shí)14分鐘至22分鐘可見(jiàn)，采用光纖網(wǎng)絡(luò)方式部署歷史數(shù)據(jù)歸檔管理平臺(tái)能較好的支持TIPS的數(shù)據(jù)歸檔需求。3.3平臺(tái)部署基于以上分析，部署歷史數(shù)據(jù)歸檔管理平臺(tái)后的TIPS系統(tǒng)和貨金系統(tǒng)整體結(jié)構(gòu)如下（圖5）。其中，新增數(shù)據(jù)歸檔管理平臺(tái)服務(wù)器用于配置、調(diào)度和管理TIPS歸檔數(shù)據(jù)。該配置服務(wù)器通過(guò)部署在被管數(shù)據(jù)庫(kù)服務(wù)器的Agent發(fā)起歸檔作業(yè)。生產(chǎn)數(shù)據(jù)按照歸檔策略從生產(chǎn)數(shù)據(jù)庫(kù)中清理并轉(zhuǎn)移到二級(jí)存儲(chǔ)設(shè)備（磁帶庫(kù)或虛擬帶庫(kù)）?？蛻舳送ㄟ^(guò)向數(shù)據(jù)歸檔管理平臺(tái)服務(wù)器發(fā)起查詢、瀏覽、查詢、數(shù)據(jù)漂白等操作。 圖5：TIPS數(shù)據(jù)生命周期管

12、理平臺(tái)邏輯部署圖歷史數(shù)據(jù)歸檔查詢管理平臺(tái)的物理部署圖如下。人民銀行數(shù)據(jù)中心國(guó)庫(kù)類(lèi)、統(tǒng)計(jì)類(lèi)系統(tǒng)的數(shù)據(jù)庫(kù)部署Agent后，就可以通過(guò)配置服務(wù)器發(fā)起數(shù)據(jù)抽取、歸檔作業(yè)。可以采用復(fù)用數(shù)據(jù)中心現(xiàn)有磁帶庫(kù)系統(tǒng)完成數(shù)據(jù)的歸檔存儲(chǔ)需要。 圖6：歷史數(shù)據(jù)歸檔查詢管理平臺(tái)物理部署圖歷史數(shù)據(jù)歸檔查詢管理平臺(tái)應(yīng)可以按照任意時(shí)間間隔發(fā)起數(shù)據(jù)抽取操作；歸檔數(shù)據(jù)可以以數(shù)據(jù)庫(kù)或文件格式保存；具備數(shù)據(jù)壓縮功能；需提供基本的SQL語(yǔ)法對(duì)歸檔數(shù)據(jù)進(jìn)行操作，滿足業(yè)務(wù)系統(tǒng)近線查詢需求；應(yīng)滿足數(shù)據(jù)在生命周期各階段的功能；采用代理方式與多個(gè)生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)交互，對(duì)生產(chǎn)系統(tǒng)影響最小化；具備橫向擴(kuò)展的部署結(jié)構(gòu)；對(duì)異構(gòu)數(shù)據(jù)庫(kù)平臺(tái)提供統(tǒng)一的配置和管

13、理視圖。 3.4 數(shù)據(jù)分級(jí)存儲(chǔ)方案歷史數(shù)據(jù)歸檔查詢平臺(tái)根據(jù)不同類(lèi)型的數(shù)據(jù)生命周期進(jìn)行劃分，使數(shù)據(jù)在高低頻訪問(wèn)設(shè)備之間進(jìn)行遷移。而這種遷移，會(huì)由程序根據(jù)規(guī)范自動(dòng)地完成操作。圖7：分層存儲(chǔ)硬件基礎(chǔ)架構(gòu)數(shù)據(jù)歸檔領(lǐng)域（ILM）的硬件基礎(chǔ)結(jié)構(gòu)見(jiàn)上圖（圖7），每兆存儲(chǔ)成本從企業(yè)級(jí)的磁盤(pán)存儲(chǔ)，到中端光纖存儲(chǔ)，再到磁帶，逐步降低；與此同時(shí)，數(shù)據(jù)的服務(wù)級(jí)別也隨著成本的降低而降低。目前，人民銀行數(shù)據(jù)中心采用共享方式部署了存儲(chǔ)系統(tǒng)和磁帶庫(kù)系統(tǒng)，通過(guò)構(gòu)建的SAN網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)各業(yè)務(wù)系統(tǒng)的統(tǒng)一數(shù)據(jù)存儲(chǔ)服務(wù)。歷史數(shù)據(jù)歸檔查詢平臺(tái)可以利用現(xiàn)有存儲(chǔ)環(huán)境實(shí)現(xiàn)對(duì)歸檔數(shù)據(jù)的分級(jí)存儲(chǔ)模式。4 .產(chǎn)品調(diào)研目前，主流數(shù)據(jù)生命周期管理軟件有

14、IBM Optim，HP IAP和Informatica Applimation。各產(chǎn)品的功能對(duì)比表如下：功能HP IAPApplimationIBM Optim 數(shù)據(jù)源需建立特定歸檔數(shù)據(jù)庫(kù)需建立特定歸檔數(shù)據(jù)庫(kù)JDBC/ODBC數(shù)據(jù)壓縮不提供數(shù)據(jù)壓縮能力依賴于歸檔數(shù)據(jù)庫(kù)內(nèi)置的數(shù)據(jù)壓縮能力采用統(tǒng)一壓縮式歸檔文件進(jìn)行存儲(chǔ)，壓縮比較高分級(jí)存儲(chǔ)數(shù)據(jù)實(shí)際存儲(chǔ)在歸檔數(shù)據(jù)庫(kù)中，難以靈活遷移數(shù)據(jù)實(shí)際存儲(chǔ)在歸檔數(shù)據(jù)庫(kù)中，難以靈活遷移不依賴于存儲(chǔ)介質(zhì)，對(duì)存儲(chǔ)的需求較低系統(tǒng)維護(hù)歸檔數(shù)據(jù)庫(kù)需隨著生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)變化而維護(hù)多個(gè)版本歸檔數(shù)據(jù)庫(kù)需隨著生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)變化而維護(hù)多個(gè)版本采用數(shù)據(jù)結(jié)構(gòu)快照技術(shù)，無(wú)

15、需專(zhuān)門(mén)跟蹤生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)的變化。操作系統(tǒng)支持性主要支持HP-UX支持所有常見(jiàn)操作系統(tǒng)平臺(tái)支持所有常見(jiàn)操作系統(tǒng)平臺(tái)數(shù)據(jù)庫(kù)支持性僅支持Oracle和Sybase主要支持Oracle支持DB2等主流數(shù)據(jù)庫(kù)產(chǎn)品數(shù)據(jù)加工不支持?jǐn)?shù)據(jù)漂白支持?jǐn)?shù)據(jù)漂白支持?jǐn)?shù)據(jù)漂白，支持隱私數(shù)據(jù)保護(hù)，支持審計(jì)和合規(guī)性等需求根據(jù)上表，IBM Optim滿足人民銀行數(shù)據(jù)中心數(shù)據(jù)庫(kù)軟件的要求；對(duì)存儲(chǔ)的需求較低，數(shù)據(jù)壓縮比較高，采用JDBC/ODBC數(shù)據(jù)源方式與生產(chǎn)數(shù)據(jù)庫(kù)交互，適合靈活部署。因此，該產(chǎn)品滿足人民銀行數(shù)據(jù)中心對(duì)歷史數(shù)據(jù)歸檔管理平臺(tái)的主要需求。5 .系統(tǒng)軟硬件需求5.1 軟件需求軟件名稱(chēng)數(shù)量說(shuō)明數(shù)據(jù)庫(kù)歸檔領(lǐng)域主流產(chǎn)品1套需要采購(gòu)。完成從數(shù)據(jù)中心國(guó)庫(kù)類(lèi)、貨金類(lèi)、統(tǒng)計(jì)類(lèi)等生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)（IBM DB2）抽取數(shù)據(jù)、歸檔、查詢、審計(jì)功能。5.2 硬件需求設(shè)備名稱(chēng)設(shè)備數(shù)量說(shuō)明數(shù)據(jù)庫(kù)歸檔配置服務(wù)器2臺(tái)部署歷史數(shù)據(jù)歸檔查詢配置軟件，調(diào)度歸檔作業(yè)，提供歸檔數(shù)據(jù)查詢接口。歸檔數(shù)據(jù)查詢客