農(nóng)信-ibm軟件平臺(tái)建議-v0

IBM專有Copyright?2003IBMChinaCompanyLimited,s本技術(shù)文件是商業(yè)，所有信息均為IBM信息，山東農(nóng)信新一代銀—IBM平臺(tái)方案時(shí)使用。務(wù)請(qǐng)妥善保管并且僅在與項(xiàng)目有關(guān)范圍內(nèi)使用，IBM盡管IBM已經(jīng)盡力使本文檔內(nèi)容的完整性和有效性，但仍可能有技術(shù)方面不夠準(zhǔn)確的地方或印刷錯(cuò)誤。IBM依然保留根據(jù)項(xiàng)目各方的特定需求而對(duì)此文本進(jìn)行進(jìn)一步修改或撤消此文本的權(quán)利。IBM是國(guó)際商業(yè)機(jī)器公司的商標(biāo)。本文檔提及的其他公司、產(chǎn)品和服務(wù)的名稱，可能是其他內(nèi)容范圍:本文檔是專門用于山東農(nóng)信新一代銀行--IBM平臺(tái)參考建議 平 (CICS,CTG,WAS,MQ,ESB,WXS,API IBM方廠商,IBM通過提供先進(jìn)的IT技術(shù)幫助銀行實(shí)現(xiàn)基于SOA的業(yè)務(wù)提升同時(shí)支持銀行業(yè)務(wù)，通過降信息管理平HACMP將共享資源、網(wǎng)絡(luò)IP資源漂移到備機(jī)，并啟動(dòng)備機(jī)數(shù)據(jù)庫(kù)，最終完成HA切換。正常情況下，RTO30-60CBOD2.0CBODRTO時(shí)間。同ODS數(shù)據(jù)庫(kù)性能優(yōu)化ODS系統(tǒng)，主要提供歷史數(shù)據(jù)、計(jì)算報(bào)表、聯(lián)機(jī)交易查詢、數(shù)據(jù)等功能。目前大部分的批量報(bào)ODSODS8T左右。隨著數(shù)據(jù)量增長(zhǎng)，在機(jī)構(gòu)ODSCBOD2.0ODS系統(tǒng)的部署架CBOD數(shù)據(jù)庫(kù)整合CBOD系統(tǒng)較多，例如中間業(yè)務(wù)、外匯等，其業(yè)務(wù)功能多樣，工作負(fù)載情況各有不同，但均獨(dú)立使用單點(diǎn)故障導(dǎo)致全局影響的問題。面對(duì)眾多的系統(tǒng)數(shù)據(jù)庫(kù)，運(yùn)維管理工作量大，技術(shù)要求高。在CBOD2.0中，希望通過數(shù)據(jù)庫(kù)整合方式，解耦業(yè)務(wù)系統(tǒng)與數(shù)據(jù)庫(kù)環(huán)境的一對(duì)一關(guān)系，實(shí)現(xiàn)運(yùn)維高可用性策略，，提升硬件資源利用率，降低運(yùn)維管理的工作量和技術(shù)要求ODS數(shù)據(jù)優(yōu)化ODS需要為地市的查詢分析庫(kù)提供大量的業(yè)務(wù)數(shù)據(jù)在ODS批量處理結(jié)束后需要為每個(gè)地市數(shù)據(jù)，ODS端到數(shù)據(jù)文件發(fā)送到各級(jí)下屬機(jī)構(gòu)的數(shù)據(jù)平臺(tái)的時(shí)間較長(zhǎng)，其原因是多方面的，DB2export方式影響明顯，該種方式功能豐富，但性能一般。同時(shí)大量小文件的傳輸過程也比較緩慢,CBOD2.0DB2export的性能，提升數(shù)據(jù)導(dǎo)出效率和交易日志分析及歷史數(shù)據(jù)查詢CICSESB端，不斷產(chǎn)生大量的交易日志，有效分析這些日志將為交易安全和性能提供有力的幫助，但也沒有有效的管理平臺(tái)對(duì)不斷增長(zhǎng)的數(shù)據(jù)進(jìn)行分析。在CBOD2.0HADOOP大數(shù)據(jù)技術(shù)，建立一套低成本，高性能的海量數(shù)據(jù)處理平臺(tái)，實(shí)現(xiàn)對(duì)歷史數(shù)IBM信息管理平臺(tái)解決方本方案通過IBM信息管理平臺(tái)的強(qiáng)大功能來增強(qiáng)CBOD及其數(shù)據(jù)庫(kù)使其提升高可用性性能或資源利用率等關(guān)鍵能力，實(shí)現(xiàn)更可靠的數(shù)據(jù)庫(kù)，性能更優(yōu)異的數(shù)據(jù)庫(kù)和資源配置更合理的數(shù)據(jù)庫(kù)。針對(duì)CBOD數(shù)據(jù)庫(kù)及其 數(shù)據(jù)庫(kù)的現(xiàn)狀和功能需求IBM數(shù)庫(kù)管理平臺(tái)解決方案分系分層次的優(yōu)化數(shù)據(jù)處理的 能力。提升CBOD數(shù)據(jù)庫(kù)的高可用性，實(shí)現(xiàn)更加快速的備庫(kù)啟用，降低RTO窗口時(shí)間提升ODS庫(kù)的處理性能，優(yōu)化ODS處理所需的IO資源和擴(kuò)展能力，實(shí)現(xiàn)處理性能的大幅度提升提升CBOD數(shù)據(jù)庫(kù)的資源使用率，實(shí)現(xiàn)多個(gè)數(shù)據(jù)庫(kù)的單一平臺(tái)運(yùn)行，硬件資源環(huán)境，運(yùn)維，高可用性。提升ODS庫(kù)的數(shù)據(jù)性能，縮短省級(jí)ODS庫(kù)內(nèi)數(shù)據(jù)的數(shù)據(jù)時(shí)間IBM信息管理平臺(tái)架構(gòu)如下CBODCBOD2.0IBM信息管理提供的基于HADR的高可用性技基于sharenothing架構(gòu)的分區(qū)數(shù)據(jù)庫(kù)優(yōu)化機(jī)制（DPF基于sharedisk基于快速數(shù)據(jù)導(dǎo)出的DB2數(shù)據(jù)技IBM信息管理平臺(tái)方案場(chǎng)景用IBM信息管理平臺(tái)方案主要應(yīng)用在CBOD系統(tǒng)數(shù)據(jù)庫(kù)高可用性、ODS數(shù)據(jù)庫(kù)性能優(yōu)化、CBOD數(shù)據(jù)庫(kù)整合、ODS數(shù)據(jù)優(yōu)化、交易日志分析及歷史數(shù)據(jù)查詢。下面對(duì)這些典型應(yīng)用場(chǎng)景逐數(shù)據(jù)庫(kù)高可用性(DB2（HADR一旦主機(jī)發(fā)生故障，備機(jī)可以在秒級(jí)實(shí)現(xiàn)接管。與基于磁盤資源漂移的HARTOHACBOD數(shù)據(jù)庫(kù)的高可用性的同時(shí)，可以利用“在備用數(shù)據(jù)庫(kù)上”(ROS)功能，實(shí)現(xiàn)不影響備用數(shù)據(jù)庫(kù)的HA職責(zé)。從而幫助減輕CBOD數(shù)據(jù)庫(kù)上的工作負(fù)載，但不影響數(shù)據(jù)庫(kù)高您可以從四種不同同步方式中選擇。這些同步方式為SYNCNEARSYNCASYNC和SUPERASYNC（按照保護(hù)級(jí)別從高到低排列。從CBOD性能要求和RPO要求考慮，建議同機(jī)房?jī)?nèi)HADRNEARSYNC-近同步的方式。讀寫工作讀寫工作負(fù)載分 數(shù)據(jù)CBOD應(yīng)CBOD數(shù)據(jù)庫(kù)高可用性方案場(chǎng)ODS數(shù)據(jù)庫(kù)分區(qū)性能優(yōu)化(DB2nothing是海量數(shù)據(jù)分析和處理的理想架構(gòu)。利用DB2DPF，對(duì)相同或不同服務(wù)器上的進(jìn)行數(shù)據(jù)分段。這種ODSODS性能大大的提高了。當(dāng)進(jìn)行ODS庫(kù)數(shù)據(jù)量增長(zhǎng)或處理能力出現(xiàn)瓶頸時(shí)，可以進(jìn)行水平擴(kuò)展，即增加新的服務(wù)器和資ODS數(shù)據(jù)庫(kù)集群的整體硬件計(jì)算和處理資源的增長(zhǎng)，ODS處理能力實(shí)現(xiàn)近線性的增長(zhǎng)?！r(nóng)信ODS平DB2分區(qū)數(shù)據(jù)庫(kù)集ODSCBOD數(shù)據(jù)庫(kù)整合(DB2利用pureScale數(shù)據(jù)庫(kù)集群技術(shù)，可以實(shí)現(xiàn)分散的DB2數(shù)據(jù)庫(kù)在一個(gè)DB2數(shù)據(jù)庫(kù)實(shí)例上的在一套DB2軟硬件平臺(tái)上，運(yùn)行不同的數(shù)據(jù)庫(kù)系統(tǒng)，為不同的 同時(shí)，這些數(shù)據(jù)庫(kù)共享的安全性、高可用性等環(huán)境服務(wù)。從而實(shí)現(xiàn) 即內(nèi)存直接）和全局鎖定等技術(shù)，減少系統(tǒng)負(fù)擔(dān)，為集群數(shù)據(jù)庫(kù)系統(tǒng)提供最佳性能InformationOnDemand，隨時(shí)可加入系統(tǒng)資源，增加系統(tǒng)性能；數(shù)據(jù)DB2pureScale集CBOD數(shù)據(jù)庫(kù)整合應(yīng)用場(chǎng)ODS數(shù)據(jù)優(yōu)化應(yīng)用(DB2HPU是一款DB2數(shù)據(jù)工具，它是一個(gè)獨(dú)立實(shí)用程序，可以在DB2databasemanager運(yùn)行的同時(shí)對(duì)數(shù)據(jù)進(jìn)行卸載、遷移等操作，還可以同時(shí)和DB2databasemanager同一個(gè)物理文件。利用HPU卸載數(shù)據(jù)高速特性，可以大幅度提升ODS系統(tǒng)數(shù)據(jù)能力，縮短省與各個(gè)下屬機(jī)構(gòu)之另外，在特殊場(chǎng)景下，HPU可以滿足從數(shù)據(jù)庫(kù)備份中直接抽取數(shù)據(jù)的業(yè)務(wù)需求，從而提供有意義的……高速數(shù)……高速數(shù)導(dǎo)

農(nóng)信ODSDB2

某市級(jí)數(shù)據(jù)平 ODS數(shù) 優(yōu)化應(yīng)用場(chǎng)交易日志分析及歷史數(shù)據(jù)查詢針對(duì)數(shù)據(jù)的海量及查詢分析的要求采用基于x86PC服務(wù)器的IBMInfoSphereBigInsights海量數(shù)據(jù)分析平臺(tái)來實(shí)現(xiàn)。農(nóng)信各個(gè)系統(tǒng)積累的歷史數(shù)據(jù)以及交易時(shí)產(chǎn)生的日志文件數(shù)據(jù)量巨大，使用傳統(tǒng)的方式進(jìn)行管igInsightsx86統(tǒng)能力同時(shí)利用HBase高效鍵值查詢性能實(shí)現(xiàn)海量數(shù)據(jù)的快速檢索BigSQLHadoopIBMInfoSphereBigInsightsIBMInternet級(jí)別數(shù)據(jù)量的結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)的強(qiáng)大特的技術(shù)優(yōu)勢(shì)，如管理能力，工作流，安全管理，并融入了IBM研究的獨(dú)特和領(lǐng)先的數(shù)據(jù)分析與農(nóng)信大數(shù)據(jù)平ODSODS歷史數(shù)交易日 分IBM大數(shù)據(jù)解決方IBM信息管理平臺(tái)方案特成企業(yè)級(jí)信息管理平IBM提供的產(chǎn)品均面向企業(yè)級(jí)用戶，具有成熟，穩(wěn)定，低技術(shù)風(fēng)險(xiǎn)的特點(diǎn)IBM信息管理平臺(tái)方案參考客海通、招商銀行、威海商行、鞍山鋼鐵等(DB2HADR), 中信銀行、浙商銀行、浙江農(nóng)信、農(nóng)信、重慶農(nóng)信等(DB2DPF), (DB2pureScale)IBM信息管理平臺(tái)方分平簡(jiǎn)名版本功數(shù)據(jù)DB2DB2級(jí)企業(yè)DB2DPF群，DB2集HighPerformanceDB2高速卸載大數(shù)據(jù)IBMInfoSphereIBM業(yè)級(jí)HadoopIBM文件傳輸解決方案硬件2.0GHz8GB500G客戶端硬件配置為2.0GHz4GB500G安裝RationalSystemArchitect所需的請(qǐng)參閱下表。WindowsServer2008R2WindowsServer2008SP2WindowsServer2003R2SP2WindowsServer2003數(shù)據(jù)庫(kù)（選擇一種?SQLServer2008?SQLServer2008SQLServerOracle?10gOracle?11gWindows7（32位和64位）WindowsVista（3264）SP2WindowsXP（32位）SP3瀏覽器（兩者選一InternetExplorer7和8Mozilla?Firefox?3.5，3.6數(shù)據(jù)庫(kù)（可選?SQLServer2008R2?SQLServer2008SQLServer2005應(yīng) (CICS,CTG,WAS,MQ,ESB,WXS,API可管理的文件傳輸當(dāng)前現(xiàn)狀和需求分FTP前我行已經(jīng)建立ESBMQFTS文件傳輸系統(tǒng)也被期望在傳輸性能和傳輸過程方面有更大提升,新一代銀行需要從根本上改變體系復(fù)雜的網(wǎng)狀傳輸架構(gòu)，建立文件傳輸平臺(tái)實(shí)現(xiàn)管理傳輸接口和傳輸狀態(tài),同時(shí)實(shí)現(xiàn)和機(jī)制。IBM文件傳輸解本方案建議通過IBM可管理的文件傳輸ConnectDirectAdvanced產(chǎn)品來建設(shè)全行的可管理的可管理的文件ManagedFileTransfer(MFT),實(shí)現(xiàn)與ESB并行的企業(yè)文件總線,建立文件傳輸標(biāo)準(zhǔn)和規(guī)范,實(shí)現(xiàn)可靠文件傳輸和管理。IBMConnectDirectAdvanced解決方案完善了全行文件交換標(biāo)準(zhǔn)文件交換集中和管理能力,為全行提供文件傳輸基礎(chǔ)設(shè)施,對(duì)、網(wǎng)點(diǎn)、前置、數(shù)據(jù)倉(cāng)庫(kù)等系統(tǒng)的文件交換進(jìn)行的底層支持作為底層文件傳輸中間件的IBMConnectDirectAdvanced是一個(gè)適用于不同操作系統(tǒng)的安全可靠的點(diǎn)對(duì)點(diǎn)文件傳輸工具。此產(chǎn)品通過斷點(diǎn)續(xù)傳,智能線程重試,完整性校驗(yàn)等多種機(jī)制保證了文件傳輸?shù)目煽啃?；通過節(jié)點(diǎn)驗(yàn)證,用戶驗(yàn)證及,Secure+等多種功能保證了文件傳輸?shù)陌踩裕煌ㄟ^定時(shí)觸發(fā),API接口及用戶出口,實(shí)現(xiàn)了與應(yīng)用的集；通過多線程支持及壓縮功能,大大的增加帶寬的利用率及傳輸效率。IBM可管理的文件傳輸平臺(tái)架構(gòu)如下:IBMConnect:DirectAdvanced主要提供基于消息的文件傳輸組件IBMWebSphereMQFTE及基于文件可靠性、可審計(jì)性、可管理性及可擴(kuò)展性，以及IBMSterlingControlCenter組件，實(shí)現(xiàn)對(duì)文件交換平臺(tái)及對(duì)內(nèi)文件傳輸平臺(tái)的、審計(jì)、告警、報(bào)表。同時(shí)，告警的內(nèi)容可以通過SNMP或應(yīng)用API等方式推送給銀行告警系統(tǒng)。SterlingControlCenter內(nèi)嵌智能報(bào)表工具Cognos，實(shí)現(xiàn)統(tǒng)計(jì)性報(bào)表等功能。功過IBMMFT可以很好地實(shí)現(xiàn)從CBOD、信貸、等源數(shù)據(jù)系統(tǒng)到ODS系統(tǒng)的文件數(shù)據(jù)傳輸及ODS報(bào)表及分析數(shù)據(jù)到我行下屬多法人機(jī)構(gòu)的文件數(shù)據(jù)下發(fā)。同時(shí)針對(duì)小文件大并發(fā)的情況，IBMConnectDirectAdvanced通過了隊(duì)列優(yōu)先，文件打包發(fā)送， 和API,端口分離等功能，大大的IBM文件傳輸解決方案場(chǎng)景全行級(jí)的文件傳輸主要應(yīng)用在系統(tǒng)夜間跑批、數(shù)據(jù)倉(cāng)庫(kù)或ODS數(shù)據(jù)的上收與下發(fā)、數(shù)據(jù)傳輸總ESB處于平行位置，可以相互配合完成文件傳出工作。如下圖所示IBM文件傳輸方案可以與銀行的調(diào)度中心或應(yīng)用無縫集成，實(shí)現(xiàn)銀行業(yè)務(wù)的自動(dòng)化操作IBM文件傳輸解決方案特IBM提供了的全行級(jí)文件傳輸架構(gòu)，適應(yīng)銀行各種文件傳輸需求，既能滿足架構(gòu)的性，又能滿足銀行對(duì)文件傳輸安全性可靠性審計(jì)性性可視化及擴(kuò)展。IBMConnect:DirectAdvance特性如下:既能支持基于文件的傳輸，又能支持基于消息的文件傳輸，并且二者之間可以靈活集成，支持點(diǎn)對(duì)點(diǎn)、星型等架構(gòu)模式，滿足不同的擴(kuò)展模式,支持橫向及縱向擴(kuò)展，在業(yè)務(wù)不受影響的情況提供流程、各種語言的API、各種系統(tǒng)的S IBM文件傳輸解決方案參考IBMConnect:DirectAdvanceIBM文件傳輸解分平簡(jiǎn)名版本功文件傳IBM可靠文件傳輸工文件傳輸服務(wù)MQWebsphereMQFileTransferEngine基于消息的文件傳輸工IBMSterlingControl文件傳輸?shù)墓BM文件傳輸解決方案硬件2.0GHz8GB500G客戶端硬件配置為2.0GHz4GB500G安裝RationalSystemArchitect所需的請(qǐng)參閱下表。WindowsServer2008R2WindowsServer2008SP2WindowsServer2003R2SP