數據和生命周期管理原則和策略（36頁)ppt課件

1、數據生命周期管理實際與實際2021.9目錄一、工行數據管理的總體情況二、數據生命周期管理實際與方法三、工行數據生命周期管理實際工行數據管理的指點思想指點思想構建合理的數據管理組織架構和數據架構體系，做好數據治理，促進各運用系統(tǒng)信息高度共享，充分發(fā)揚數據價值，為運營決策提供科學根據做好信息規(guī)范化管理，提高數據有效性、一致性和規(guī)范性做好數據質量管理，確保數據的準確性做好數據生命周期管理，實現數據從產生到銷毀的全過程規(guī)范化管理做好信息平安管理，確保信息不被泄露一、工行數據管理的總體情況構建了分層的數據架構體系數據采集層數據集成層目的模型層管理操作層買賣信息客戶信息管理信息外部信息數據倉庫風險集市數據

2、目的績效等運營管理系統(tǒng)營銷等業(yè)務管理系統(tǒng)信息獲取信息整合信息加工信息展現信息反響及運用績效考核客戶關系管理客戶經理各級管理人員高級分析用戶靈敏查詢數據發(fā)掘模型用戶一致操作界面資本管理、操作風險管理等風險管理系統(tǒng)靈敏查詢一、工行數據管理的總體情況數據采集層采集的數據主要包括客戶信息、買賣信息、管理信息和外部信息，這些信息有些是客戶和行內人員手工錄入，有些是從外部批量導入?？蛻粜畔?、買賣信息主要從對客和自營業(yè)務系統(tǒng)搜集，包括存貸結算根本業(yè)務、銀行卡業(yè)務、代理與投資業(yè)務、金融市場業(yè)務、信貸管理與單證業(yè)務、托管業(yè)務、投行業(yè)務等系統(tǒng)。管理信息主要從內部管理系統(tǒng)搜集，包括資訊平臺、制度園地、人力資源管理、

3、分支機構管理、辦公管理等系統(tǒng)。外部信息主要包括監(jiān)管機構提供的信息如征信信息、風險提示信息等、行業(yè)信息、外部報價信息等。一、工行數據管理的總體情況數據根底層建立數據倉庫和數據集市為了對客戶行為和業(yè)務管理進展科學分析和預測，需求建立集合各類業(yè)務數據為一體的數據倉庫，進展面向各類主題的數據統(tǒng)計和發(fā)掘分析，為市場營銷和管理決策提供科學根據。工商銀行在2002年完成數據大集中之后，就曾經認識到數據對于銀行運營管理的重要作用，在姜建清董事長等行指點的關懷指點下，開場著手數據倉庫建立任務。10來年，工商銀行數據倉庫建立穩(wěn)扎穩(wěn)打，已成為各類業(yè)務數據集中存儲的重要載體和關鍵根底平臺。 一、工行數據管理的總體情況

4、目的模型層目的模型層主要包括目的和模型兩部分目的部分目前主要建立了面向績效的全行目的庫，包含總行、分行的目的需求，支持分行自行定制分行特征目的。手工類衍生類模型類 科目定制類根底類手工類衍生類 科目定制類全行目的分行特征目的全行目的庫分行定性目的、同業(yè)目的基于總行根底目的進展衍生基于科目定制分行目的分行客戶歸屬規(guī)那么、網銀業(yè)績歸屬規(guī)那么一、工行數據管理的總體情況目的模型層模型部分模型是實現各類共用目的成熟的計算方法，主要用來規(guī)范和一致各類目的的計算，到達方法共享和提高數據一致性的目的。目前曾經實現的模型包括如下內容：客戶評價模型產品定價模型績效評價模型風險計量模型財務預算模型。一、工行數據管理

5、的總體情況管理操作層主要面向客戶效力和內部運營管理，包括客戶營銷、資本管理、資產與負債管理、信譽風險管理、操作風險管理、市場風險管理、績效考核管理、內部審計與合規(guī)管理等。管理操作層的根底數據主要來自各個業(yè)務系統(tǒng)，有些統(tǒng)計目的類數據是經數據倉庫加工提供。為滿足日常運營管理，提供了以固定報表為主的綜合報表統(tǒng)計平臺。為便于突發(fā)性和暫時查詢需求，提供了基于數據倉庫的靈敏查詢功能。為規(guī)范對外數據報送，建立了一致的對外數據報送平臺。一、工行數據管理的總體情況一、工行數據管理的總體情況信息規(guī)范化管理工行信息規(guī)范化工程工行從2021年開場啟開工行信息規(guī)范化工程，目的是建立 “定義一致、口徑一致、稱號一致、來源

6、一致、參照一致的工行信息規(guī)范，使各個運用系統(tǒng)內部、及系統(tǒng)間的數據交互可以遵照一樣的數據規(guī)范，從而顯著降低信息運用本錢，加強信息的一致性、規(guī)范性、權威性和共享性。目前已建立700多項根底信息規(guī)范，900多項目的規(guī)范。一、工行數據管理的總體情況信息規(guī)范化建立總體目的2.有效性：信息準確度高、了解上不存在歧義。1.完好性：涵蓋客戶、機構、產品、帳戶等銀行全部重要信息3.一致性：做到“五一致。5.開放性：行內規(guī)范與國家規(guī)范、國際規(guī)范可翻譯、可對照。4.規(guī)范性：制度規(guī)范、流程控制、系統(tǒng)管理等。6.共享性：規(guī)范化信息在工行內共享運用?？傮w目的：經過一致信息規(guī)范制定、發(fā)布運用、制度約束、系統(tǒng)控制等手段，實現

7、工行信息的完好性、有效性、一致性、規(guī)范性、開放性和共享性管理，提高工行信息化程度。4 來源一致對于曾經規(guī)范化的數據，其來源應該有且只需一個2 口徑一致對于有數量表達的信息規(guī)范，計算口徑必需求一致3 稱號一致各信息項應該采用一致規(guī)范的命名 定義一致同一信息項的業(yè)務含義和所適用的業(yè)務場景堅持一致15 參照一致工行規(guī)范和行外各類規(guī)范的銜接應建立明確的對應關系一、工行數據管理的總體情況信息規(guī)范化建立原那么信息規(guī)范化是“一致言語、一致計量的過程，遵照“五一致原那么數據質量管理體系數據質量管理制度及實施細那么數據質量考核監(jiān)視納入分行內控評價體系和行長績效考核建立數據質量定期通報機制操作風險管理委員會定期審

8、議一、工行數據管理的總體情況數據質量管理3、做好規(guī)范管理完善制度、規(guī)范流程、系統(tǒng)硬控制，把好數據質量“流轉關。2、督促問題治理部署檢查規(guī)那么，實現問題數據發(fā)現、分發(fā)、治理、監(jiān)視、考核閉環(huán)管理，把好數據質量“治理關。1、從源頭治理從數據錄入、內部處置入手，把好數據質量“入口關。一、工行數據管理的總體情況數據質量管理流程數據平安管理為了加強數據平安管理，工行制定了和，明確了各環(huán)節(jié)的數據平安管理要求，并采取了一些技術手段進展硬控制。數據平安的主要管理要求：運用消費數據必需經過懇求和審批，開發(fā)測試環(huán)境運用消費數據必需進展數據變形。涉及敏感信息的消費數據的傳輸必需采用加密處置或運用公用郵箱、公用FTP效

9、力器傳輸等 。對消費用戶進展嚴厲授權管理，防備非授權訪問消費數據 。對消費數據建立和實施嚴厲的備份機制。對數據保管介質進展分類登記，及時進展清理和轉存。一、工行數據管理的總體情況目錄一、工行數據管理的總體情況二、數據生命周期管理實際與方法三、工行數據生命周期管理實際二、數據生命周期管理實際與方法背景情況早期銀行的金融產品相對較少，主要是以存貸匯為主，且數據是以省市為單位分布存放，數據量相對較少；此外由于還還沒有數據集中分析發(fā)掘的需求，日常處置對象主要是短期之內的數據，時間跨度小，處置的數據規(guī)模相對可控。隨著各家銀行實施了數據大集中，集中存放和處置的數據量急劇添加，例如工行目前中心銀行數據已達1

10、50T，數據倉庫存放的數據已達185T；同時隨著各類業(yè)務的快速開展，銀行每天都在產生大量的數據，并需求對這些數據進展分析發(fā)掘，系統(tǒng)資源開銷和運轉效率都面臨著越來越大的壓力。為控制在線數據規(guī)模、保證運用系統(tǒng)安康高效運轉，對數據從創(chuàng)建到最終銷毀的生命周期進展全程管理顯得越來越迫切 。數據生命周期管理的目的經過規(guī)范數據的生命周期管理，提高數據的整體管理程度。優(yōu)化數據存儲構造，有效控制在線數據規(guī)模，提高消費數據訪問效率。提高系統(tǒng)資源運用效率，確保系統(tǒng)平安、穩(wěn)定、高效運轉。 做好歷史數據管理，為客戶效力和運營分析提供數據支撐。二、數據生命周期管理實際與方法二、數據生命周期管理實際與方法數據生命周期的根本

11、原理數據訪問頻度與數據量的變化會隨著時間的遷移而呈反比例變化利用隨時間積累，數據訪問頻次變化和數據量累積變化成反比這一客觀規(guī)律，對數據根據訪問頻次進展數據價值評價，對大量低價值信息采取低本錢的數據保管手段，使數據的價值和存儲的技術和管理相匹配，進而大幅降低整體數據存儲本錢；數據生命周期管理的總體原那么在數據的整個生命周期中，不同階段的數據其性能、可用性、保管等要求也不一樣。通常情況下，在其生命周期初期，數據的運用頻率較高，需求運用高速存儲，確保數據的高可用性。隨著時間的推移，數據重要性會逐漸降低，運用頻率會隨之下降，應將數據進展不同級別的存儲，為其提供適當的可用性、存儲空間，以降低管理本錢和資

12、源開銷。最終大部分數據將不再會被運用，可以將數據清理后歸檔保管，以備暫時需求時運用。二、數據生命周期管理實際與方法數據生命周期管理流程二、數據生命周期管理實際與方法闡明：在線歸檔階段也被稱為近線階段：將訪問頻度較低且運用需求不高的數據從運用中分別出來，保管在另外的磁盤并提供相應的查詢；離線歸檔階段：將訪問頻度較低且運用需求不高的數據從運用中分別出來，保管在磁帶、光盤及低端磁盤上。離線歸檔后不提供信息聯機訪問接口，如有相應的查詢要求，需特定的查詢工具或將歸檔數據導入相應系統(tǒng)數據生命周期管理流程數據各生命階段的管理戰(zhàn)略數據生命階段管理策略 在線階段（數據產生與使用階段）永久保存：數據從產生開始一直

13、在生產系統(tǒng)中保存，此類數據不需要進行清理。保存一段時間后清理：數據被標記為失效或過期后在系統(tǒng)中保存一段時間后進行清理。 歸檔階段（數據備份與保存階段）在線歸檔：查詢頻度仍相對較高的數據，通過數據庫形式保存數據，用戶仍可以通過系統(tǒng)在線查詢；部分數據通過在線歸檔一段時間后進入離線歸檔階段。離線歸檔：查詢頻度相對較低的數據，通過光盤或磁帶等介質保存數據，用戶無法在線訪問，需通過恢復光盤或磁帶介質。 銷毀階段（數據被銷毀至消失）物理刪除磁盤和磁帶上的數據，銷毀光盤介質。二、數據生命周期管理實際與方法目錄一、工行數據管理的總體情況二、數據生命周期管理實際與方法三、工行數據生命周期管理實際建立了數據生命周

14、期管理體系工行數據生命周期管理從組織建立、制度規(guī)范、系統(tǒng)工具、日常管理各方面開展相關任務。制定了全行一致的，并配套發(fā)布了一系列數據清理工具，根據規(guī)范制定的戰(zhàn)略定期進展清理，并將清理的數據歸檔到歷史數據管理運用中。三、工行數據生命周期管理實際三、工行數據生命周期管理實際總體情況建立了一致的對一切數據的有效期管理的詳細規(guī)范、方案、指引和制度，是數據管理的指點方針，提高了數據管理任務的一致性、系統(tǒng)性、全面性和科學性改動了以往根據磁盤容量和依賴于技術人員閱歷的情況，使全行有了科學一致的數據管理規(guī)范，減少了因數據保管時間不當而出現運用風險，使中國工行的各類業(yè)務系統(tǒng)可以更好、更穩(wěn)定地為寬廣客戶提供優(yōu)質地效

15、力。三、工行數據生命周期管理實際規(guī)范主要內容自創(chuàng)國際先進數據模型,對工行的各運用系統(tǒng)數據進展提煉和分類，在數據生命周期的各個階段制定了有效的管理戰(zhàn)略 。將工行的運用系統(tǒng)按產品線共20類進展劃分，并在此根底上對各產品線的數據類別進展了確認；規(guī)定了各產品線各類數據的數據有效期，建立了完好的數據有效期管理任務規(guī)范體系，確立指點工行各類數據的根本管理原那么和詳細應遵照執(zhí)行的各種方法三、工行數據生命周期管理實際規(guī)范主要內容數據清理原那么 業(yè)務處置層聯機買賣數據不應直接進展物理刪除操作，要經過相關標志位、最后更新時間等字段實現邏輯刪除，對于無法實現邏輯刪除的聯機買賣數據，應重新設計以滿足邏輯刪除要求；物理

16、刪除要經過本規(guī)范制定的數據生命周期按一致戰(zhàn)略進展清理。數據進展清理時，各運用應記錄清理的相關信息包括清理的表名、清理時間、清理數據量。數據清理時，應思索清理數據對系統(tǒng)的影響，比如思索重建索引、重組等相關事項。 三、工行數據生命周期管理實際規(guī)范主要內容數據清理周期 對于進展批量清理的數據，按固定周期進展清理；對保管時間在1月以內的數據，清理周期不宜超越1月；對于保管時間在2年以內的數據，清理周期不應超越保管時間的1/2；對于保管時間在2年以上的數據，清理周期不應超越1年。三、工行數據生命周期管理實際數據生命周期規(guī)范的執(zhí)行工行運用系統(tǒng)的建立從需求編制開場就關注數據生命周期的管理，在系統(tǒng)設計、開發(fā)、

17、測試、運維各個一直按照規(guī)范要求，有效貫徹數據清理任務的精神。主要數據表的生命周期管理戰(zhàn)略制定一切新建和修正表的數據生命周期管理戰(zhàn)略的等級和修正清理工具和程序的編制、戰(zhàn)略的導入以及測試數據清理任務的執(zhí)行、清理信息的搜集、分析和展現清理任務確實認和檢查設計人員設計、開發(fā)人員開發(fā)、測試人員運維人員清理后數據的查詢、展現和導出。技術管理人員三、工行數據生命周期管理實際數據生命周期規(guī)范的執(zhí)行續(xù) 清理任務確實認和檢查工行會定期對數據生命周期管理相關任務進展檢查、確認。對于數據生命周期管理戰(zhàn)略，每季度會對設計情況、數據生命周期管理戰(zhàn)略填寫情況進展抽查，確保戰(zhàn)略的正確性；每月在進展新的數據表的清理任務時，會對

18、涉及的表的生命周期管理戰(zhàn)略進展確認，以確保數據清理的正確、合理。三、工行數據生命周期管理實際系統(tǒng)工具工行開發(fā)了相關系統(tǒng)和工具，確?？梢愿鶕?guī)范制定的數據生命周期管理戰(zhàn)略進展一致執(zhí)行；工行在各個環(huán)節(jié)注重數據生命周期管理，并對工具和系統(tǒng)不斷進展優(yōu)化，提升數據清理任務效果；對清理后的數據陸續(xù)納入系統(tǒng)，實現清理數據的在線歸檔，并提供有效查詢。工行擬建立清理集中管理平臺，實現清理信息的有效搜集，提供分析和統(tǒng)計。元數據及軟件資源管理系統(tǒng)SEASSEAS實現了填寫的數據生命周期管理在提交前會自動進展戰(zhàn)略校驗，對于不符合邏輯的戰(zhàn)略會進展提示要求修正；SEAS實現了數據表新增時各項信息的審批功能，在系統(tǒng)控制的根底上再添加人工確認，進一步確保信息的準確性。三、工行數據生命周期管理實際電子影像及文檔效力平臺及綜合檔案管理電子影像及文檔效力平臺是工行各類事中、事后類業(yè)務系統(tǒng)電子影像檔案的一致存儲平臺，并為各類業(yè)務產生的各種非構造化數據主要是影像資料、word、excel進