數(shù)據(jù)生命周期管理學習教案

1、會計學1數(shù)據(jù)數(shù)據(jù)(shj)生命周期管理生命周期管理第一頁，共36頁。一、工行數(shù)據(jù)管理的總體一、工行數(shù)據(jù)管理的總體(zngt)(zngt)情情況況二、數(shù)據(jù)生命周期管理理論與方法二、數(shù)據(jù)生命周期管理理論與方法三、工行數(shù)據(jù)生命周期管理實踐三、工行數(shù)據(jù)生命周期管理實踐第1頁/共36頁第二頁，共36頁。指導思想指導思想l構建合理的數(shù)據(jù)管理組織架構和數(shù)據(jù)架構體系，做好數(shù)據(jù)治理，促進各應用系統(tǒng)信息高度共享，充分發(fā)揮數(shù)據(jù)價值(jizh)，為經(jīng)營決策提供科學依據(jù)l做好信息標準化管理，提高數(shù)據(jù)有效性、一致性和規(guī)范性l做好數(shù)據(jù)質量管理，確保數(shù)據(jù)的準確性l做好數(shù)據(jù)生命周期管理，實現(xiàn)數(shù)據(jù)從產生到銷毀的全過程規(guī)范化管理l

2、做好信息安全管理，確保信息不被泄露第2頁/共36頁第三頁，共36頁。數(shù)據(jù)數(shù)據(jù)(shj)采采集層集層數(shù)據(jù)數(shù)據(jù)(shj)集成層集成層指標模型層指標模型層管理操作層管理操作層交易信息客戶信息管理信息外部信息數(shù)據(jù)倉庫風險集市數(shù)據(jù)指標績效等經(jīng)營管理系統(tǒng)營銷等業(yè)務管理系統(tǒng)信息獲取信息整合信息加工信息展現(xiàn)信息反饋及應用績效考核客戶關系管理客戶經(jīng)理各級管理人員高級分析用戶（靈活查詢）（數(shù)據(jù)挖掘）模型用戶統(tǒng)一操作界面資本管理、操作風險管理等風險管理系統(tǒng)靈活查詢第3頁/共36頁第四頁，共36頁。投行業(yè)務等系統(tǒng)。n管理信息主要從內部管理系統(tǒng)收集，包括資訊平臺、制度園地、人力資源管理、分支機構管理、辦公管理等系統(tǒng)。n

3、外部信息主要包括監(jiān)管機構提供的信息（如征信(zhn xn)信息、風險提示信息等）、行業(yè)信息、外部報價信息等。第4頁/共36頁第五頁，共36頁。建清董事長等行領導的關心指導下，開始著手數(shù)據(jù)倉庫建設工作。10來年，工商銀行數(shù)據(jù)倉庫建設穩(wěn)扎穩(wěn)打，已成為各類業(yè)務數(shù)據(jù)集中存儲的重要載體和關鍵(gunjin)基礎平臺。第5頁/共36頁第六頁，共36頁。全行指標全行指標分行特色指標分行特色指標全行指標庫全行指標庫分行定性指標、同業(yè)指標分行定性指標、同業(yè)指標基于總行基礎指標進行衍生基于總行基礎指標進行衍生基于科目定制分行指標基于科目定制分行指標分行客戶歸屬規(guī)則、網(wǎng)銀業(yè)績歸屬規(guī)則分行客戶歸屬規(guī)則、網(wǎng)銀業(yè)績歸屬規(guī)

4、則第6頁/共36頁第七頁，共36頁。n風險計量模型n財務預算模型n。第7頁/共36頁第八頁，共36頁。n固定報表為主的綜合報表統(tǒng)計平臺。n為便于突發(fā)性和臨時查詢需要，提供了基于數(shù)據(jù)倉庫的靈活查詢功能。n為規(guī)范對外數(shù)據(jù)報送，建立了統(tǒng)一的對外數(shù)據(jù)報送平臺。第8頁/共36頁第九頁，共36頁。性。n目前已建立700多項基礎信息標準，900多項指標標準。第9頁/共36頁第十頁，共36頁。2.2.有效性：有效性：信息準確度高、理解上不存在歧義。1.1.完整性：完整性：涵蓋客戶、機構、產品、帳戶等銀行全部重要信息3.3.一致性：一致性：做到“五統(tǒng)一”。5.5.開放性：開放性：行內標準與國家標準、國際標準可翻

5、譯、可對照。4.4.規(guī)范性：規(guī)范性：制度規(guī)范、流程控制、系統(tǒng)管理等。6.6.共享性：共享性：標準化信息在工行內共享使用?？傮w目標：通過統(tǒng)一信息標準制定總體目標：通過統(tǒng)一信息標準制定(zhdng)(zhdng)、發(fā)布使用、制度約束、系、發(fā)布使用、制度約束、系統(tǒng)控制等手段，實現(xiàn)工行信息的完整性、有效性、一致性、規(guī)范性、開放性和共統(tǒng)控制等手段，實現(xiàn)工行信息的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，提高工行信息化水平。享性管理，提高工行信息化水平。第10頁/共36頁第十一頁，共36頁。4 來源(liyun)統(tǒng)一對于已經(jīng)標準化的數(shù)據(jù)，其來源(liyun)應該有且只有一個2 口徑(kujng)

6、統(tǒng)一對于有數(shù)量表達的信息標準，計算口徑必須要統(tǒng)一3 名稱統(tǒng)一各信息項應該采用統(tǒng)一規(guī)范的命名 定義統(tǒng)一同一信息項的業(yè)務含義和所適用的業(yè)務場景保持一致15 參照統(tǒng)一工行標準和行外各類標準的銜接應建立明確的對應關系第11頁/共36頁第十二頁，共36頁。數(shù)據(jù)質量管理體系數(shù)據(jù)質量管理制度n數(shù)據(jù)質量考核辦法及實施細則n數(shù)據(jù)質量管理平臺業(yè)務管理辦法n數(shù)據(jù)質量技術規(guī)范數(shù)據(jù)質量考核監(jiān)督n納入分行內控評價體系和行長績效考核n建立數(shù)據(jù)質量定期通報機制n操作風險管理委員會定期審議l 數(shù)據(jù)數(shù)據(jù)(shj)質量管理質量管理第12頁/共36頁第十三頁，共36頁。3、做好規(guī)范管理、做好規(guī)范管理完善制度、規(guī)范流程、完善制度、規(guī)范

7、流程、系統(tǒng)硬控制，把好數(shù)系統(tǒng)硬控制，把好數(shù)據(jù)據(jù)(shj)質量質量“流轉流轉關關”。2、督促問題治理、督促問題治理部署檢查部署檢查(jinch)規(guī)則，實現(xiàn)問題規(guī)則，實現(xiàn)問題數(shù)據(jù)發(fā)現(xiàn)、分發(fā)、治理、監(jiān)督、考核數(shù)據(jù)發(fā)現(xiàn)、分發(fā)、治理、監(jiān)督、考核閉環(huán)管理，把好數(shù)據(jù)質量閉環(huán)管理，把好數(shù)據(jù)質量“治理關治理關”。1、從源頭治理、從源頭治理從數(shù)據(jù)從數(shù)據(jù)(shj)錄錄入、內部處理入手，入、內部處理入手，把好數(shù)據(jù)把好數(shù)據(jù)(shj)質量質量“入口關入口關”。第13頁/共36頁第十四頁，共36頁。n涉及敏感信息的生產數(shù)據(jù)的傳輸必須采用加密處理或使用專用郵箱、專用FTP服務器傳輸?shù)?。n對生產用戶進行嚴格授權(shuqun

8、)管理，防范非授權(shuqun)訪問生產數(shù)據(jù) 。n對生產數(shù)據(jù)建立和實施嚴格的備份機制。對數(shù)據(jù)保存介質進行分類登記，及時進行清理和轉存。第14頁/共36頁第十五頁，共36頁。一、工行數(shù)據(jù)一、工行數(shù)據(jù)(shj)(shj)管理的總體管理的總體情況情況二、數(shù)據(jù)二、數(shù)據(jù)(shj)(shj)生命周期管理理生命周期管理理論與方法論與方法三、工行數(shù)據(jù)三、工行數(shù)據(jù)(shj)(shj)生命周期管生命周期管理實踐理實踐第15頁/共36頁第十六頁，共36頁。量急劇增加，例如工行目前核心銀行數(shù)據(jù)已達150T，數(shù)據(jù)倉庫存放的數(shù)據(jù)已達185T；同時隨著(su zhe)各類業(yè)務的快速發(fā)展，銀行每天都在產生大量的數(shù)據(jù)，并需要

9、對這些數(shù)據(jù)進行分析挖掘，系統(tǒng)資源開銷和運行效率都面臨著越來越大的壓力。n為控制在線數(shù)據(jù)規(guī)模、保證應用系統(tǒng)健康高效運行，對數(shù)據(jù)從創(chuàng)建到最終銷毀的生命周期進行全程管理顯得越來越迫切 。第16頁/共36頁第十七頁，共36頁。第17頁/共36頁第十八頁，共36頁。l利用隨時間積累，數(shù)據(jù)訪問頻次變化和數(shù)據(jù)量累積變化成反比這一客觀規(guī)律，對數(shù)據(jù)根據(jù)訪問頻次進行(jnxng)數(shù)據(jù)價值評估，對大量低價值信息采取低成本的數(shù)據(jù)保存手段，使數(shù)據(jù)的價值和存儲的技術和管理相匹配，進而大幅降低整體數(shù)據(jù)存儲成本；第18頁/共36頁第十九頁，共36頁。存儲空間，以降低管理成本和資源開銷。n最終大部分數(shù)據(jù)將不再會被使用，可以將數(shù)

10、據(jù)清理后歸檔保存，以備臨時需要時使用。第19頁/共36頁第二十頁，共36頁。說明：說明：在線歸檔階段（也被稱為在線歸檔階段（也被稱為(chn wi)近線階段）：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在另外的磁盤并提供相應的查詢；近線階段）：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在另外的磁盤并提供相應的查詢；離線歸檔階段：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，保存在磁帶、光盤及低端磁盤上。離線歸檔后不提供信息聯(lián)機訪問接口，如有相應的查詢要求，需特定的查詢工具或將歸檔數(shù)據(jù)導入相應系統(tǒng)離線歸檔階段：將訪問頻度較低且應用需求不高的數(shù)據(jù)從應用中分離出來，

11、保存在磁帶、光盤及低端磁盤上。離線歸檔后不提供信息聯(lián)機訪問接口，如有相應的查詢要求，需特定的查詢工具或將歸檔數(shù)據(jù)導入相應系統(tǒng)第20頁/共36頁第二十一頁，共36頁。數(shù)據(jù)生命階段數(shù)據(jù)生命階段管理策略管理策略 在線階段在線階段（數(shù)據(jù)產生與使用階段）（數(shù)據(jù)產生與使用階段）永久保存：永久保存：數(shù)據(jù)從產生開始一直在生產系統(tǒng)中保存，此類數(shù)據(jù)不需要進行清理。保存一段時間后清理保存一段時間后清理：數(shù)據(jù)被標記為失效或過期后在系統(tǒng)中保存一段時間后進行清理。 歸檔階段歸檔階段（數(shù)據(jù)備份與保存階段）（數(shù)據(jù)備份與保存階段）在線歸檔在線歸檔：查詢頻度仍相對較高的數(shù)據(jù)，通過數(shù)據(jù)庫形式保存數(shù)據(jù)，用戶仍可以通過系統(tǒng)在線查詢；部

12、分數(shù)據(jù)通過在線歸檔一段時間后進入離線歸檔階段。離線歸檔離線歸檔：查詢頻度相對較低的數(shù)據(jù)，通過光盤或磁帶等介質保存數(shù)據(jù)，用戶無法在線訪問，需通過恢復光盤或磁帶介質。 銷毀階段銷毀階段（數(shù)據(jù)被銷毀至消失）（數(shù)據(jù)被銷毀至消失）物理刪除磁盤和磁帶上的數(shù)據(jù)，銷毀光盤介質。第21頁/共36頁第二十二頁，共36頁。一、工行數(shù)據(jù)管理的總體情況一、工行數(shù)據(jù)管理的總體情況(qngkung)(qngkung)二、數(shù)據(jù)生命周期管理理論與方法二、數(shù)據(jù)生命周期管理理論與方法三、工行數(shù)據(jù)生命周期管理實踐三、工行數(shù)據(jù)生命周期管理實踐第22頁/共36頁第二十三頁，共36頁。三、工行數(shù)據(jù)生命周期管理三、工行數(shù)據(jù)生命周期管理(gu

13、nl)實踐實踐第23頁/共36頁第二十四頁，共36頁。標準，減少了因數(shù)據(jù)保留時間不當而出現(xiàn)應用風險，使中國工行的各類業(yè)務系統(tǒng)(xtng)可以更好、更穩(wěn)定地為廣大客戶提供優(yōu)質地服務。第24頁/共36頁第二十五頁，共36頁。指導工行各類數(shù)據(jù)的基本管理原則和具體(jt)應遵循執(zhí)行的各種辦法第25頁/共36頁第二十六頁，共36頁。n清理的相關信息（包括清理的表名、清理時間、清理數(shù)據(jù)量）。n數(shù)據(jù)清理時，應考慮清理數(shù)據(jù)對系統(tǒng)的影響，比如考慮重建索引、重組(zhn z)等相關事項。第26頁/共36頁第二十七頁，共36頁。第27頁/共36頁第二十八頁，共36頁。主要(zhyo)數(shù)據(jù)表的生命周期管理策略制定所有

14、新建和修改表的數(shù)據(jù)生命周期管理策略的等級和修改清理工具和程序的編制、策略的導入以及測試數(shù)據(jù)清理工作的執(zhí)行、清理信息的收集、分析和展現(xiàn)清理工作的確認和檢查設計人員設計、開發(fā)人員開發(fā)、測試人員運維人員清理后數(shù)據(jù)的查詢、展現(xiàn)和導出。技術管理人員第28頁/共36頁第二十九頁，共36頁。作(gngzu)時，會對涉及的表的生命周期管理策略進行確認，以確保數(shù)據(jù)清理的正確、合理。第29頁/共36頁第三十頁，共36頁。n工行擬建立清理集中管理平臺(pngti)，實現(xiàn)清理信息的有效收集，提供分析和統(tǒng)計。第30頁/共36頁第三十一頁，共36頁。第31頁/共36頁第三十二頁，共36頁。索引服務，與電子影像及文檔服務平臺進行配合，完成非結構化數(shù)據(jù)的歸檔、存儲、查詢、調閱等功能；n綜合檔案服務于有非結構化數(shù)據(jù)的業(yè)務處理系統(tǒng)和相應業(yè)務部門，實現(xiàn)業(yè)務處理的非結構化數(shù)據(jù)的統(tǒng)一管理并提供(tgng)了查詢服務。第32頁/共36頁