演示文稿數(shù)據(jù)生命周期管理

優(yōu)質(zhì)文檔精選數(shù)據(jù)生命周期管理當前第1頁\共有33頁\編于星期五\4點目錄一、工行數(shù)據(jù)管理的總體情況二、數(shù)據(jù)生命周期管理理論與方法三、工行數(shù)據(jù)生命周期管理實踐當前第2頁\共有33頁\編于星期五\4點工行數(shù)據(jù)管理的指導思想指導思想構(gòu)建合理的數(shù)據(jù)管理組織架構(gòu)和數(shù)據(jù)架構(gòu)體系，做好數(shù)據(jù)治理，促進各應用系統(tǒng)信息高度共享，充分發(fā)揮數(shù)據(jù)價值，為經(jīng)營決策提供科學依據(jù)做好信息標準化管理，提高數(shù)據(jù)有效性、一致性和規(guī)范性做好數(shù)據(jù)質(zhì)量管理，確保數(shù)據(jù)的準確性做好數(shù)據(jù)生命周期管理，實現(xiàn)數(shù)據(jù)從產(chǎn)生到銷毀的全過程規(guī)范化管理做好信息安全管理，確保信息不被泄露一、工行數(shù)據(jù)管理的總體情況當前第3頁\共有33頁\編于星期五\4點構(gòu)建了分層的數(shù)據(jù)架構(gòu)體系數(shù)據(jù)采集層數(shù)據(jù)集成層指標模型層管理操作層交易信息客戶信息管理信息外部信息數(shù)據(jù)倉庫風險集市數(shù)據(jù)指標績效等經(jīng)營管理系統(tǒng)營銷等業(yè)務管理系統(tǒng)信息獲取信息整合信息加工信息展現(xiàn)信息反饋及應用績效考核客戶關(guān)系管理客戶經(jīng)理各級管理人員高級分析用戶（靈活查詢）（數(shù)據(jù)挖掘）模型用戶統(tǒng)一操作界面資本管理、操作風險管理等風險管理系統(tǒng)靈活查詢一、工行數(shù)據(jù)管理的總體情況當前第4頁\共有33頁\編于星期五\4點數(shù)據(jù)采集層采集的數(shù)據(jù)主要包括客戶信息、交易信息、管理信息和外部信息，這些信息有些是客戶和行內(nèi)人員手工錄入，有些是從外部批量導入。?？蛻粜畔?、交易信息主要從對客和自營業(yè)務系統(tǒng)收集，包括存貸結(jié)算基本業(yè)務、銀行卡業(yè)務、代理與投資業(yè)務、金融市場業(yè)務、信貸管理與單證業(yè)務、托管業(yè)務、投行業(yè)務等系統(tǒng)。管理信息主要從內(nèi)部管理系統(tǒng)收集，包括資訊平臺、制度園地、人力資源管理、分支機構(gòu)管理、辦公管理等系統(tǒng)。外部信息主要包括監(jiān)管機構(gòu)提供的信息（如征信信息、風險提示信息等）、行業(yè)信息、外部報價信息等。一、工行數(shù)據(jù)管理的總體情況當前第5頁\共有33頁\編于星期五\4點數(shù)據(jù)基礎層（建立數(shù)據(jù)倉庫和數(shù)據(jù)集市）為了對客戶行為和業(yè)務管理進行科學分析和預測，需要建立集合各類業(yè)務數(shù)據(jù)為一體的數(shù)據(jù)倉庫，進行面向各類主題的數(shù)據(jù)統(tǒng)計和挖掘分析，為市場營銷和管理決策提供科學依據(jù)。工商銀行在2002年完成數(shù)據(jù)大集中之后，就已經(jīng)意識到數(shù)據(jù)對于銀行經(jīng)營管理的重要作用，在姜建清董事長等行領導的關(guān)心指導下，開始著手數(shù)據(jù)倉庫建設工作。10來年，工商銀行數(shù)據(jù)倉庫建設穩(wěn)扎穩(wěn)打，已成為各類業(yè)務數(shù)據(jù)集中存儲的重要載體和關(guān)鍵基礎平臺。一、工行數(shù)據(jù)管理的總體情況當前第6頁\共有33頁\編于星期五\4點指標模型層指標模型層主要包括指標和模型兩部分指標部分目前主要建立了面向績效的全行指標庫，包含總行、分行的指標需求，支持分行自行定制分行特色指標。手工類衍生類模型類科目定制類基礎類手工類衍生類科目定制類全行指標分行特色指標全行指標庫分行定性指標、同業(yè)指標基于總行基礎指標進行衍生基于科目定制分行指標分行客戶歸屬規(guī)則、網(wǎng)銀業(yè)績歸屬規(guī)則一、工行數(shù)據(jù)管理的總體情況當前第7頁\共有33頁\編于星期五\4點指標模型層（模型部分）模型是實現(xiàn)各類共用指標成熟的計算方法，主要用來規(guī)范和統(tǒng)一各類指標的計算，達到方法共享和提高數(shù)據(jù)一致性的目的。目前已經(jīng)實現(xiàn)的模型包括如下內(nèi)容：客戶評價模型產(chǎn)品定價模型績效評估模型風險計量模型財務預算模型。。。一、工行數(shù)據(jù)管理的總體情況當前第8頁\共有33頁\編于星期五\4點管理操作層主要面向客戶服務和內(nèi)部經(jīng)營管理，包括客戶營銷、資本管理、資產(chǎn)與負債管理、信用風險管理、操作風險管理、市場風險管理、績效考核管理、內(nèi)部審計與合規(guī)管理等。管理操作層的基礎數(shù)據(jù)主要來自各個業(yè)務系統(tǒng)，有些統(tǒng)計指標類數(shù)據(jù)是經(jīng)數(shù)據(jù)倉庫加工提供。為滿足日常經(jīng)營管理，提供了以固定報表為主的綜合報表統(tǒng)計平臺。為便于突發(fā)性和臨時查詢需要，提供了基于數(shù)據(jù)倉庫的靈活查詢功能。為規(guī)范對外數(shù)據(jù)報送，建立了統(tǒng)一的對外數(shù)據(jù)報送平臺。一、工行數(shù)據(jù)管理的總體情況當前第9頁\共有33頁\編于星期五\4點一、工行數(shù)據(jù)管理的總體情況信息標準化管理工行信息標準化工程工行從2010年開始啟動工行信息標準化工程，目標是建立“定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、來源統(tǒng)一、參照統(tǒng)一”的工行信息標準，使各個應用系統(tǒng)內(nèi)部、及系統(tǒng)間的數(shù)據(jù)交互能夠遵循相同的數(shù)據(jù)標準，從而顯著降低信息使用成本，增強信息的一致性、標準性、權(quán)威性和共享性。目前已建立700多項基礎信息標準，900多項指標標準。當前第10頁\共有33頁\編于星期五\4點一、工行數(shù)據(jù)管理的總體情況信息標準化建設總體目標2.有效性：信息準確度高、理解上不存在歧義。1.完整性：涵蓋客戶、機構(gòu)、產(chǎn)品、帳戶等銀行全部重要信息3.一致性：做到“五統(tǒng)一”。5.開放性：行內(nèi)標準與國家標準、國際標準可翻譯、可對照。4.規(guī)范性：制度規(guī)范、流程控制、系統(tǒng)管理等。6.共享性：標準化信息在工行內(nèi)共享使用?？傮w目標：通過統(tǒng)一信息標準制定、發(fā)布使用、制度約束、系統(tǒng)控制等手段，實現(xiàn)工行信息的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，提高工行信息化水平。當前第11頁\共有33頁\編于星期五\4點4來源統(tǒng)一對于已經(jīng)標準化的數(shù)據(jù)，其來源應該有且只有一個2口徑統(tǒng)一對于有數(shù)量表達的信息標準，計算口徑必須要統(tǒng)一3名稱統(tǒng)一各信息項應該采用統(tǒng)一規(guī)范的命名

定義統(tǒng)一同一信息項的業(yè)務含義和所適用的業(yè)務場景保持一致15參照統(tǒng)一工行標準和行外各類標準的銜接應建立明確的對應關(guān)系一、工行數(shù)據(jù)管理的總體情況信息標準化建設原則信息標準化是“統(tǒng)一語言、統(tǒng)一計量”的過程，遵循“五統(tǒng)一”原則當前第12頁\共有33頁\編于星期五\4點數(shù)據(jù)質(zhì)量管理體系數(shù)據(jù)質(zhì)量管理制度《數(shù)據(jù)質(zhì)量考核辦法》及實施細則《數(shù)據(jù)質(zhì)量管理平臺業(yè)務管理辦法》《數(shù)據(jù)質(zhì)量技術(shù)規(guī)范》數(shù)據(jù)質(zhì)量考核監(jiān)督納入分行內(nèi)控評價體系和行長績效考核建立數(shù)據(jù)質(zhì)量定期通報機制操作風險管理委員會定期審議一、工行數(shù)據(jù)管理的總體情況數(shù)據(jù)質(zhì)量管理當前第13頁\共有33頁\編于星期五\4點3、做好規(guī)范管理完善制度、規(guī)范流程、系統(tǒng)硬控制，把好數(shù)據(jù)質(zhì)量“流轉(zhuǎn)關(guān)”。2、督促問題治理部署檢查規(guī)則，實現(xiàn)問題數(shù)據(jù)發(fā)現(xiàn)、分發(fā)、治理、監(jiān)督、考核閉環(huán)管理，把好數(shù)據(jù)質(zhì)量“治理關(guān)”。1、從源頭治理從數(shù)據(jù)錄入、內(nèi)部處理入手，把好數(shù)據(jù)質(zhì)量“入口關(guān)”。一、工行數(shù)據(jù)管理的總體情況數(shù)據(jù)質(zhì)量管理流程當前第14頁\共有33頁\編于星期五\4點數(shù)據(jù)安全管理為了加強數(shù)據(jù)安全管理，工行制定了《數(shù)據(jù)管理辦法》和《數(shù)據(jù)管理辦法實施細則》，明確了各環(huán)節(jié)的數(shù)據(jù)安全管理要求，并采取了一些技術(shù)手段進行硬控制。數(shù)據(jù)安全的主要管理要求：使用生產(chǎn)數(shù)據(jù)必須經(jīng)過申請和審批，開發(fā)測試環(huán)境使用生產(chǎn)數(shù)據(jù)必須進行數(shù)據(jù)變形。涉及敏感信息的生產(chǎn)數(shù)據(jù)的傳輸必須采用加密處理或使用專用郵箱、專用FTP服務器傳輸?shù)取ιa(chǎn)用戶進行嚴格授權(quán)管理，防范非授權(quán)訪問生產(chǎn)數(shù)據(jù)。對生產(chǎn)數(shù)據(jù)建立和實施嚴格的備份機制。對數(shù)據(jù)保存介質(zhì)進行分類登記，及時進行清理和轉(zhuǎn)存。一、工行數(shù)據(jù)管理的總體情況當前第15頁\共有33頁\編于星期五\4點目錄一、工行數(shù)據(jù)管理的總體情況二、數(shù)據(jù)生命周期管理理論與方法三、工行數(shù)據(jù)生命周期管理實踐當前第16頁\共有33頁\編于星期五\4點二、數(shù)據(jù)生命周期管理理論與方法背景情況早期銀行的金融產(chǎn)品相對較少，主要是以存貸匯為主，且數(shù)據(jù)是以?。ㄊ校閱挝环植即娣牛瑪?shù)據(jù)量相對較少；此外由于還還沒有數(shù)據(jù)集中分析挖掘的需求，日常處理對象主要是短期之內(nèi)的數(shù)據(jù)，時間跨度小，處理的數(shù)據(jù)規(guī)模相對可控。隨著各家銀行實施了數(shù)據(jù)大集中，集中存放和處理的數(shù)據(jù)量急劇增加，例如工行目前核心銀行數(shù)據(jù)已達150T，數(shù)據(jù)倉庫存放的數(shù)據(jù)已達185T；同時隨著各類業(yè)務的快速發(fā)展，銀行每天都在產(chǎn)生大量的數(shù)據(jù)，并需要對這些數(shù)據(jù)進行分析挖掘，系統(tǒng)資源開銷和運行效率都面臨著越來越大的壓力。為控制在線數(shù)據(jù)規(guī)模、保證應用系統(tǒng)健康高效運行，對數(shù)據(jù)從創(chuàng)建到最終銷毀的生命周期進行全程管理顯得越來越迫切。當前第17頁\共有33頁\編于星期五\4點數(shù)據(jù)生命周期管理的目標通過規(guī)范數(shù)據(jù)的生命周期管理，提高數(shù)據(jù)的整體管理水平。優(yōu)化數(shù)據(jù)存儲結(jié)構(gòu)，有效控制在線數(shù)據(jù)規(guī)模，提高生產(chǎn)數(shù)據(jù)訪問效率。提高系統(tǒng)資源使用效率，確保系統(tǒng)安全、穩(wěn)定、高效運行。做好歷史數(shù)據(jù)管理，為客戶服務和經(jīng)營分析提供數(shù)據(jù)支撐。二、數(shù)據(jù)生命周期管理理論與方法當前第18頁\共有33頁\編于星期五\4點二、數(shù)據(jù)生命周期管理理論與方法數(shù)據(jù)生命周期的基本原理數(shù)據(jù)訪問頻度與數(shù)據(jù)量的變化會隨著時間的遷移而呈反比例變化利用隨時間積累，數(shù)據(jù)訪問頻次變化和數(shù)據(jù)量累積變化成反比這一客觀規(guī)律，對數(shù)據(jù)根據(jù)訪問頻次進行數(shù)據(jù)價值評估，對大量低價值信息采取低成本的數(shù)據(jù)保存手段，使數(shù)據(jù)的價值和存儲的技術(shù)和管理相匹配，進而大幅降低整體數(shù)據(jù)存儲成本；當前第19頁\共有33頁\編于星期五\4點數(shù)據(jù)生命周期管理的總體原則在數(shù)據(jù)的整個生命周期中，不同階段的數(shù)據(jù)其性能、可用性、保存等要求也不一樣。通常情況下，在其生命周期初期，數(shù)據(jù)的使用頻率較高，需要使用高速存儲，確保數(shù)據(jù)的高可用性。隨著時間的推移，數(shù)據(jù)重要性會逐漸降低，使用頻率會隨之下降，應將數(shù)據(jù)進行不同級別的存儲，為其提供適當?shù)目捎眯?、存儲空間，以降低管理成本和資源開銷。最終大部分數(shù)據(jù)將不再會被使用，可以將數(shù)據(jù)清理后歸檔保存，以備臨時需要時使用。二、數(shù)據(jù)生命周期管理理論與方法當前第20頁\共有33頁\編于星期五\4點數(shù)據(jù)生命周期管理流程二、數(shù)據(jù)生命周期管理理論與方法說明：在線歸檔階段（也被稱為近線階段）：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在另外的磁盤并提供相應的查詢；離線歸檔階段：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在磁帶、光盤及低端磁盤上。離線歸檔后不提供信息聯(lián)機訪問接口，如有相應的查詢要求，需特定的查詢工具或?qū)w檔數(shù)據(jù)導入相應系統(tǒng)當前第21頁\共有33頁\編于星期五\4點數(shù)據(jù)生命周期管理流程數(shù)據(jù)各生命階段的管理策略數(shù)據(jù)生命階段管理策略在線階段（數(shù)據(jù)產(chǎn)生與使用階段）永久保存：數(shù)據(jù)從產(chǎn)生開始一直在生產(chǎn)系統(tǒng)中保存，此類數(shù)據(jù)不需要進行清理。

保存一段時間后清理：數(shù)據(jù)被標記為失效或過期后在系統(tǒng)中保存一段時間后進行清理。歸檔階段（數(shù)據(jù)備份與保存階段）在線歸檔：查詢頻度仍相對較高的數(shù)據(jù)，通過數(shù)據(jù)庫形式保存數(shù)據(jù)，用戶仍可以通過系統(tǒng)在線查詢；部分數(shù)據(jù)通過在線歸檔一段時間后進入離線歸檔階段。

離線歸檔：查詢頻度相對較低的數(shù)據(jù)，通過光盤或磁帶等介質(zhì)保存數(shù)據(jù)，用戶無法在線訪問，需通過恢復光盤或磁帶介質(zhì)。銷毀階段（數(shù)據(jù)被銷毀至消失）物理刪除磁盤和磁帶上的數(shù)據(jù)，銷毀光盤介質(zhì)。二、數(shù)據(jù)生命周期管理理論與方法當前第22頁\共有33頁\編于星期五\4點目錄一、工行數(shù)據(jù)管理的總體情況二、數(shù)據(jù)生命周期管理理論與方法三、工行數(shù)據(jù)生命周期管理實踐當前第23頁\共有33頁\編于星期五\4點建立了數(shù)據(jù)生命周期管理體系工行數(shù)據(jù)生命周期管理從組織建設、制度規(guī)范、系統(tǒng)工具、日常管理各方面開展相關(guān)工作。制定了全行統(tǒng)一的《數(shù)據(jù)生命周期管理技術(shù)規(guī)范》，并配套發(fā)布了一系列數(shù)據(jù)清理工具，根據(jù)規(guī)范制定的策略定期進行清理，并將清理的數(shù)據(jù)歸檔到歷史數(shù)據(jù)管理應用中。三、工行數(shù)據(jù)生命周期管理實踐當前第24頁\共有33頁\編于星期五\4點三、工行數(shù)據(jù)生命周期管理實踐《數(shù)據(jù)生命周期管理技術(shù)規(guī)范》總體情況《規(guī)范》建立了統(tǒng)一的對所有數(shù)據(jù)的有效期管理的具體標準、方案、指引和制度，是數(shù)據(jù)管理的指導方針，提高了數(shù)據(jù)管理工作的統(tǒng)一性、系統(tǒng)性、全面性和科學性《規(guī)范》改變了以往根據(jù)磁盤容量和依賴于技術(shù)人員經(jīng)驗的狀況，使全行有了科學統(tǒng)一的數(shù)據(jù)管理標準，減少了因數(shù)據(jù)保留時間不當而出現(xiàn)應用風險，使中國工行的各類業(yè)務系統(tǒng)可以更好、更穩(wěn)定地為廣大客戶提供優(yōu)質(zhì)地服務。當前第25頁\共有33頁\編于星期五\4點三、工行數(shù)據(jù)生命周期管理實踐規(guī)范主要內(nèi)容借鑒國際先進數(shù)據(jù)模型,對工行的各應用系統(tǒng)數(shù)據(jù)進行提煉和分類，在數(shù)據(jù)生命周期的各個階段制定了有效的管理策略。將工行的應用系統(tǒng)按產(chǎn)品線（共20類）進行劃分，并在此基礎上對各產(chǎn)品線的數(shù)據(jù)類別進行了確認；規(guī)定了各產(chǎn)品線各類數(shù)據(jù)的數(shù)據(jù)有效期，建立了完整的數(shù)據(jù)有效期管理工作規(guī)范體系，確立指導工行各類數(shù)據(jù)的基本管理原則和具體應遵循執(zhí)行的各種辦法當前第26頁\共有33頁\編于星期五\4點三、工行數(shù)據(jù)生命周期管理實踐規(guī)范主要內(nèi)容數(shù)據(jù)清理原則業(yè)務處理層聯(lián)機交易數(shù)據(jù)不應直接進行物理刪除操作，要通過相關(guān)標志位、最后更新時間等字段實現(xiàn)邏輯刪除，對于無法實現(xiàn)邏輯刪除的聯(lián)機交易數(shù)據(jù)，應重新設計以滿足邏輯刪除要求；物理刪除要通過本規(guī)范制定的數(shù)據(jù)生命周期按統(tǒng)一策略進行清理。數(shù)據(jù)進行清理時，各應用應記錄清理的相關(guān)信息（包括清理的表名、清理時間、清理數(shù)據(jù)量）。數(shù)據(jù)清理時，應考慮清理數(shù)據(jù)對系統(tǒng)的影響，比如考慮重建索引、重組等相關(guān)事項。

當前第27頁\共有33頁\編于星期五\4點三、工行數(shù)據(jù)生命周期管理實踐規(guī)范主要內(nèi)容數(shù)據(jù)清理周期

對于進行批量清理的數(shù)據(jù)，按固定周期進行清理；對保留時間在1月以內(nèi)的數(shù)據(jù)，清理周期不宜超過1月；對于保留時間在2年以內(nèi)的數(shù)據(jù)，清理周期不應超過保留時間的1/2；對于保留時間在2年以上的數(shù)據(jù)，清理周期不應超過1年。當前第28頁\共有33頁\編于星期五\4點三、工行數(shù)據(jù)生命周期管理實踐數(shù)據(jù)生命周期規(guī)范的執(zhí)行工行應用系統(tǒng)的建設從需求編制開始就關(guān)注數(shù)據(jù)生命周期的管理，在系統(tǒng)設計、開發(fā)、測試、運維各個始終按照規(guī)范要求，有效貫徹數(shù)據(jù)清理工作的精神。主要數(shù)據(jù)表的生命周期管理策略制定所有新建和修改表的數(shù)據(jù)生命周期管理策略的等級和修改清理工具和程序的編制、策略的導入以及測試數(shù)據(jù)清理工作的執(zhí)行、清理信息的收集、分析和展現(xiàn)清理工作的確認和檢查設計人員設計、開發(fā)人員開發(fā)、測試人員運維人員清理后數(shù)據(jù)的查詢、展現(xiàn)和導出。技術(shù)管理人員當前第29頁\共有33頁\編于星期五\4點三、工行數(shù)據(jù)生命周期管理實踐數(shù)據(jù)生命周期規(guī)范的執(zhí)行（續(xù)）

清理工作的確認和檢查工行會定期對數(shù)據(jù)生命周期管理相關(guān)工作進行檢查、確認。對于數(shù)據(jù)生命周期管理策略，每季度會對設計情況、數(shù)據(jù)生命周期管理策略填寫情況進行抽查，確保策略的正確性；每月在進行新的數(shù)據(jù)表的清理工作時，會對涉及的表的生命周期管理策略進