銀行歷史數(shù)據(jù)管理方案

甘肅銀行歷史數(shù)據(jù)及應(yīng)用管理2016年7月1目錄1

我行歷史數(shù)據(jù)應(yīng)用與管理方案與架構(gòu)23歷史數(shù)據(jù)平臺與ODS功能定位歷史數(shù)據(jù)應(yīng)用與管理面臨的問題與挑戰(zhàn)2銀行對歷史數(shù)據(jù)管理的需求業(yè)務(wù)需求直觀地搜索企業(yè)95%的信息經(jīng)營報表歷史查詢客戶歷史賬單查詢Fast,easysearchAlignbusiness,legalandITneedsIT需求數(shù)據(jù)查詢數(shù)據(jù)備份數(shù)據(jù)歸檔數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)法規(guī)需求把更多的電子發(fā)現(xiàn)工作留在企業(yè)內(nèi)部審計合規(guī)檢查監(jiān)管報送實行保留策略和法律存(LegalHold)出于法規(guī)相關(guān)或特權(quán)查閱信息3如何優(yōu)化存儲控制成本怎樣保證可靠性和性能怎樣歸檔管理留存信息，保證無篡改，無丟失，滿足未來需求的格式怎樣提高響應(yīng)時間或者確保良好的響應(yīng)時間IT部門需要面臨的問題如何保證完整的保留信息怎樣有效靈活的統(tǒng)計，

方便快速的查詢防止信息泄露與審查方法來自業(yè)務(wù)需求的挑戰(zhàn)滿足銀行各部門對信息風(fēng)險監(jiān)管的高彈性、健壯性、高性能需求？合規(guī)審查保留審計各部門對數(shù)據(jù)的問題與挑戰(zhàn)提高響應(yīng)時間或者確保良好的響應(yīng)時間4IT部門對歷史數(shù)據(jù)面臨的與挑戰(zhàn)5趨勢挑戰(zhàn)信息數(shù)據(jù)的海量增長IT預(yù)算的緊縮數(shù)據(jù)存儲的需求大于IT預(yù)算不斷增長的數(shù)據(jù)使用需求數(shù)據(jù)應(yīng)用頻繁信息無處不在內(nèi)部數(shù)據(jù)丟失問題日益嚴重數(shù)據(jù)要求嚴格、數(shù)據(jù)存儲時間長嚴格的數(shù)據(jù)管理安全的數(shù)據(jù)完整性和可用性。信息的審計和法規(guī)遵從信息難以審計信息統(tǒng)一法規(guī)遵從的挑戰(zhàn)5目錄我行歷史數(shù)據(jù)應(yīng)用與管理方案與架構(gòu)3歷史數(shù)據(jù)平臺與ODS功能定位歷史數(shù)據(jù)應(yīng)用與管理面臨的問題與挑戰(zhàn)216分析系統(tǒng)&業(yè)務(wù)系統(tǒng)區(qū)別7歷史數(shù)據(jù)平臺&ODS功能定位歷史數(shù)據(jù)平臺系統(tǒng)ODS系統(tǒng)系統(tǒng)定位1用于交易明細查詢,非結(jié)構(gòu)化數(shù)據(jù)存儲查詢等2分流交易系統(tǒng)明細數(shù)據(jù)查詢壓力1業(yè)務(wù)指標(biāo),報表展現(xiàn)．2數(shù)據(jù)交換面向用戶1柜面（柜員）2客服中心(客服)3網(wǎng)上銀行(客戶)4手機銀行等渠道(客戶)１

業(yè)務(wù)管理層(報表平臺)２

企業(yè)管理層(高管駕駛倉)３

下游數(shù)據(jù)消費系統(tǒng)(數(shù)據(jù)交換平臺)響應(yīng)能力1高并發(fā),高可用1批量,獨占資源保存期限長期存在,3年以上1接口文件保存13個月2加工匯總后數(shù)據(jù)長期保存優(yōu)點1保留數(shù)據(jù)的原樣性2滿足了數(shù)據(jù)的管理要求1突出數(shù)據(jù)的統(tǒng)一性

2滿足了數(shù)據(jù)的應(yīng)用要求8OLTP&ODS數(shù)據(jù)結(jié)構(gòu)對比9OLTP&OLAP系統(tǒng)對比比較項目OLTP(聯(lián)機事務(wù)處理)OLAP(聯(lián)機分析處理)ODSDW建設(shè)目的業(yè)務(wù)操作，事務(wù)處理事務(wù)處理，短時分析決策支持，分析功能服務(wù)對象生產(chǎn)層業(yè)務(wù)管理層企業(yè)管理層存儲周期即時短期長期處理頻率實時準(zhǔn)實時(T+1)非實時數(shù)據(jù)容量小小非常大功能結(jié)構(gòu)分散相對集中集中數(shù)據(jù)類型明細數(shù)據(jù)明細數(shù)據(jù)明細數(shù)據(jù),匯總數(shù)據(jù)面向用戶操作人員,低層管理人員業(yè)務(wù)管理人員決策人員,高級管理人員訪問方式實時訪問（增，刪，改，查）準(zhǔn)實時（增，刪，改，查）非實時（主要是讀操作）數(shù)據(jù)處理量100MB-GB100GB-TB100GB-TB數(shù)據(jù)簡單的事務(wù)（處理的數(shù)據(jù)量?。?fù)雜的查詢（數(shù)據(jù)量大）復(fù)雜的查詢（數(shù)據(jù)量大）10歸檔備份歸檔

儲存生產(chǎn)系統(tǒng)（OLTP）OLTP&OLAP數(shù)據(jù)處理流程11引出的問題Q1:數(shù)據(jù)倉庫是否能夠替代歸檔系統(tǒng)．既突出數(shù)據(jù)的統(tǒng)一性，又保持數(shù)據(jù)的原樣性Q2:數(shù)據(jù)備份是否能滿足歷史數(shù)據(jù)的可用性，能否使用自動化歸檔系統(tǒng)加以改善Q3:數(shù)據(jù)倉庫和歸檔系統(tǒng)兩者雖然都是針對數(shù)據(jù)進行操作的．但只能分別進行部署．?dāng)?shù)據(jù)冗余大．資源浪費嚴重。12DW與歸檔系統(tǒng)相結(jié)合的綜合方案思考：如果能夠?qū)?shù)據(jù)的應(yīng)用與管理進行綜合規(guī)劃．那就既滿足了數(shù)據(jù)的應(yīng)用要求．又滿足了數(shù)據(jù)的管理要求．對二者進行有機結(jié)合,是符合商業(yè)銀行長遠發(fā)展要求的。解決思路：1綜合倉庫和歸檔系統(tǒng)的優(yōu)勢2解決倉庫單純橫向規(guī)劃系統(tǒng)而不能將海量數(shù)據(jù)作為歸檔數(shù)據(jù)使用的不足．3解決歸檔系統(tǒng)單純以數(shù)據(jù)的生命周期存儲為目的不能及時為商業(yè)分析提供綜合數(shù)據(jù)的不足。優(yōu)勢：1分流數(shù)據(jù),減輕生產(chǎn)系統(tǒng)的壓力2減輕數(shù)據(jù)倉庫大量查詢的壓力13目錄1我行歷史數(shù)據(jù)應(yīng)用與管理方案與架構(gòu)2歷史數(shù)據(jù)平臺與ODS功能定位歷史數(shù)據(jù)應(yīng)用與管理面臨的問題與挑戰(zhàn)1314數(shù)據(jù)歸檔系統(tǒng)架構(gòu)