金融行業(yè)數(shù)據(jù)倉庫應用案例

數(shù)據(jù)倉庫應用案例2023/1/171內容提要（一）自我介紹（二）案例背景（三）期望的數(shù)據(jù)倉庫（四）數(shù)據(jù)倉庫建設實踐2023/1/1722023/1/173案例背景中國大型商業(yè)銀行信貸應用與分析系統(tǒng)系統(tǒng)構建了全行的信貸數(shù)據(jù)倉庫（總行）。系統(tǒng)建立了全行450個信貸數(shù)據(jù)集市?；谌珖總€地市級分行建立信貸數(shù)據(jù)分析中心。數(shù)據(jù)規(guī)模6T，數(shù)據(jù)以500G/年的數(shù)據(jù)增長。系統(tǒng)已運行八年。

系統(tǒng)用戶20,000+。系統(tǒng)累計投資5億+。系統(tǒng)采用ROLAP模型，采用BusinessObjects為分析工具，采用Informix為數(shù)據(jù)倉庫平臺，采用Domino/Notes為應用平臺。2023/1/174案例背景信貸系統(tǒng)目前的體系結構2023/1/175案例背景一個典型的ETL流程2023/1/176期望的數(shù)據(jù)倉庫大家期望的數(shù)據(jù)倉庫是什么？數(shù)據(jù)倉庫項目無法作為形象工程！數(shù)據(jù)倉庫類型的系統(tǒng)無法在短期內看到效益，無法在短期內提供有效的回報，數(shù)據(jù)倉庫類型的系統(tǒng)建成后需要一個較長的時間來使用和積累，才能發(fā)揮作用。數(shù)據(jù)倉庫不是報表系統(tǒng)！數(shù)據(jù)倉庫是面向主題的面向分析的系統(tǒng)，不是日常的報表系統(tǒng)，數(shù)據(jù)倉庫在于從業(yè)務的角度上發(fā)現(xiàn)問題，分析問題，解決問題。報表系統(tǒng)在于真實的反映日常的運行狀況，要求高效快捷，無須深入分析和挖掘。數(shù)據(jù)倉庫能干什么！數(shù)據(jù)倉庫用來分析業(yè)務數(shù)據(jù)的潛在關系，用來指導業(yè)務人員思考和分析，用來發(fā)現(xiàn)問題，指導業(yè)務的開展和改造。雖然這些成果都是以報表、圖表、圖示的方式展現(xiàn)出來，但這些展現(xiàn)方式都是表層，以這些展現(xiàn)方式來展現(xiàn)數(shù)據(jù)背后的關系才是數(shù)據(jù)倉庫的用途。根據(jù)Bill.Inmon的定義，“數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的，主要用于決策支持的數(shù)據(jù)庫系統(tǒng)”。

2023/1/177期望的數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的、分離維護的數(shù)據(jù)集合。2023/1/178期望的數(shù)據(jù)倉庫現(xiàn)實中的數(shù)據(jù)倉庫系統(tǒng)包括哪些部分？數(shù)據(jù)采集部分直接的數(shù)據(jù)采集、其他系統(tǒng)作為數(shù)據(jù)源等ETL數(shù)據(jù)整合部分數(shù)據(jù)匯總、清洗、轉換，當然還包括數(shù)據(jù)傳輸、數(shù)據(jù)匯集、分發(fā)、校驗、過濾、過程記錄等。采用工具還是自己開發(fā)。重點關注效率問題數(shù)據(jù)倉庫存儲系統(tǒng)部分大型存儲設備、高運算能力的服務器等設備數(shù)據(jù)庫軟件平臺數(shù)據(jù)倉庫與數(shù)據(jù)集市、集中數(shù)據(jù)與分布數(shù)據(jù)重點關注效率問題數(shù)據(jù)倉庫展現(xiàn)分析部分主流分析展現(xiàn)工具。定制功能的工具開發(fā)。2023/1/179期望的數(shù)據(jù)倉庫數(shù)據(jù)倉庫項目中的角色企業(yè)最高領導團隊你是否打算建設成為形象工程？這是你重大決策的原動力、而不是你的秘書。你是否有足夠的耐心和準備，來建設這個長期性的項目。數(shù)據(jù)提供部門如何解決我為別人服務的問題。如何解決數(shù)據(jù)倉庫項目成為了我的負擔。如何解決數(shù)據(jù)準確性和時效性。系統(tǒng)建設部門如何理解數(shù)據(jù)倉庫項目的建設過程。如何面對模糊的需求、巨大的數(shù)據(jù)量、異想天開的要求。如果不要陷入運行泥潭。數(shù)據(jù)使用部門數(shù)據(jù)為什么總是有問題為什么我總是無法應用系統(tǒng)為什么他什么都做不到2023/1/1710期望的的數(shù)據(jù)據(jù)倉庫庫成功的的數(shù)據(jù)據(jù)倉庫庫：面面向過過程的的開發(fā)發(fā)方法法2022/12/3111期望的數(shù)據(jù)據(jù)倉庫成功的數(shù)據(jù)據(jù)倉庫：結結構化元數(shù)據(jù)管理理數(shù)據(jù)挖掘主管信息系系統(tǒng)設計建模抽取清洗轉換加載數(shù)據(jù)倉庫信息展現(xiàn)業(yè)務流程物理模型邏輯模型聯(lián)機分析處處理報表、即席席查詢咨詢服務IntelligentInfrastructure外部數(shù)據(jù)企業(yè)信息門戶內部數(shù)據(jù)數(shù)據(jù)庫管理理工具數(shù)據(jù)庫2022/12/3112期望的數(shù)據(jù)據(jù)倉庫數(shù)據(jù)倉庫不僅僅是數(shù)據(jù)存儲加加上一個查查詢工具數(shù)據(jù)倉庫不僅僅是產(chǎn)品服務+產(chǎn)產(chǎn)品數(shù)據(jù)倉庫的的成功必須須有正確的構造方法為指導數(shù)據(jù)倉庫的的構造包括括多方面的的問題基礎架構(硬件、數(shù)數(shù)據(jù)庫、網(wǎng)網(wǎng)絡)規(guī)劃設計數(shù)據(jù)轉移數(shù)據(jù)訪問(REPORT、OLAP、EIS、WEB)元數(shù)據(jù)管理理數(shù)據(jù)挖掘系統(tǒng)管理2022/12/3113數(shù)據(jù)倉庫庫建設實實踐主要的建建設階段段：目標調研研、需求求分析確立數(shù)據(jù)據(jù)倉庫系系統(tǒng)的主主題目標標分析業(yè)務務需求，，制定需需求框架架，逐步步細化系統(tǒng)設計計和開發(fā)發(fā)技術構架架設計業(yè)務分析析模型設設計運行、完完善機制制設計系統(tǒng)開發(fā)發(fā)和上線線發(fā)布系統(tǒng)運行行、積累累和完善善系統(tǒng)的使使用和運運行；數(shù)數(shù)據(jù)、分分析的積積累系統(tǒng)的再再完善，，數(shù)據(jù)重重構2022/12/3114數(shù)據(jù)倉庫建建設實踐目標調研、、需求分析析：確立數(shù)據(jù)倉倉庫的主題題目標數(shù)據(jù)倉庫的的目標不能能包括所能能想起來的的所有目標標，要根據(jù)據(jù)企業(yè)的實實施能力、、分析能力力、數(shù)據(jù)基基礎制定合合理的建設設目標，建建議按照目目標的可實實現(xiàn)度分布布建設。分析業(yè)務需需求、制定定需求框架架、逐步細細化分析具體業(yè)業(yè)務需求，，對于無法法確定的需需求，要首首先制定需需求框架，，給系統(tǒng)體體系設計提提供指標估估算。在項項目的設計計和建設中中可逐步細細化局體需需求條目。。2022/12/3115數(shù)據(jù)倉庫建建設實踐系統(tǒng)設計和和開發(fā)技術構架設設計系統(tǒng)規(guī)模評評估系統(tǒng)技術構構架選型系統(tǒng)存儲、、服務器選選型系統(tǒng)軟件平平臺選型系統(tǒng)分析工工具選型系統(tǒng)ETL工具選型系統(tǒng)技術實實現(xiàn)確定系統(tǒng)數(shù)據(jù)分分布設計業(yè)務分析模模型設計業(yè)務主題設設計分析模型設設計運行、完善善機制設計計運行機制設設計完善機制設設計系統(tǒng)開發(fā)和和上線發(fā)布布系統(tǒng)開發(fā)系統(tǒng)上線數(shù)據(jù)裝載2022/12/3116數(shù)據(jù)倉庫建建設實踐系統(tǒng)運行、、積累和完完善系統(tǒng)的使用用和運行；；數(shù)據(jù)、分分析的積累累數(shù)據(jù)準確性性的反饋分析執(zhí)行效效率的反饋饋數(shù)據(jù)模型合合理性反饋饋分析主題的的積累和反反饋系統(tǒng)的再完完善，數(shù)據(jù)據(jù)重構系統(tǒng)的擴展展和糾正元數(shù)據(jù)管理理數(shù)據(jù)的重構構2022/12/3117數(shù)據(jù)據(jù)倉倉庫庫建建設設實實踐踐環(huán)境模型設計數(shù)據(jù)轉移

報表工具OLAP