智慧銀行大數(shù)據(jù)平臺數(shù)據(jù)治理整體解決方案智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案-副本

1、智慧銀行大數(shù)據(jù)可視化平臺整體解決方案V6.0數(shù)據(jù)源夕雇數(shù)據(jù)基數(shù)平大數(shù)據(jù)平臺礎(chǔ)據(jù)臺數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用統(tǒng)計睢重市數(shù)據(jù)接口巨麻網(wǎng) 物服網(wǎng)據(jù)理臺數(shù)管平大數(shù)據(jù)可視化平臺建 設(shè) 方 案智慧銀行大數(shù)據(jù)可視化平臺整體解決方案V6.0目錄 TOC o 1-5 h z 第1章前言 0第2章銀行大數(shù)據(jù)現(xiàn)狀分析 1基本現(xiàn)狀1總體現(xiàn)狀1行領(lǐng)導1業(yè)務(wù)人員 1數(shù)據(jù)架方面 2業(yè)務(wù)表現(xiàn)2問題2數(shù)據(jù)應(yīng)用難題3缺少統(tǒng)一的應(yīng)用分析標準 3業(yè)務(wù)表現(xiàn) 3問題 3 HYPERLINK l bookmark6 o Current Document 缺少統(tǒng)一的基石Hi數(shù)據(jù)標準 4業(yè)務(wù)表現(xiàn) 4問題 5 HYPERLINK l bookmark28

2、 o Current Document 缺少反饋機制5業(yè)務(wù)表現(xiàn) 6問題 6數(shù)據(jù)應(yīng)用現(xiàn)狀總結(jié) 6郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 第3章銀行大數(shù)據(jù)治理階段目標 0 HYPERLINK l bookmark34 o Current Document 數(shù)據(jù)平臺邏輯架構(gòu) 1數(shù)據(jù)平臺部署架構(gòu) 1建設(shè)目標2建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施，完善全行數(shù)據(jù)體系架構(gòu) 2開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新 2培養(yǎng)大數(shù)據(jù)人才隊伍，建立大數(shù)據(jù)分析能力 2數(shù)據(jù)治理目標3發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，推動大數(shù)據(jù)治理工作的開展，建立數(shù)據(jù)質(zhì)量檢核系統(tǒng).3分析、梳理業(yè)務(wù)系統(tǒng)，推動數(shù)據(jù)標準的建立，統(tǒng)一全行口徑 3

3、建立數(shù)據(jù)倉庫模型框架，優(yōu)化我行數(shù)據(jù)架構(gòu)，建設(shè)穩(wěn)定、可擴展的數(shù)據(jù)倉庫3目標建設(shè)方法 4建設(shè)內(nèi)容4工作階段4源系統(tǒng)分析階段 4、工作內(nèi)容 4、工作依據(jù) 4、工作重點 5數(shù)據(jù)質(zhì)量問題檢查階段 5、工作內(nèi)容 5、工作依據(jù) 5郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 、工作重點 6數(shù)據(jù)質(zhì)量問題分析階段 6、工作內(nèi)容 6、工作依據(jù) 6、工作重點 6預期建設(shè)效益 6實現(xiàn)數(shù)據(jù)共享 6加強業(yè)務(wù)合作7促進業(yè)務(wù)創(chuàng)新7提升建設(shè)效率 7改善數(shù)據(jù)質(zhì)量 7第4章銀行大數(shù)據(jù)建設(shè)總體規(guī)劃 0功能需求0個人和企業(yè)畫像 0實現(xiàn)精準營銷2為金融業(yè)提供風險管控 3運營優(yōu)化4銀行大數(shù)據(jù)應(yīng)用架構(gòu)遠景 4銀行

4、需要從“坐商”轉(zhuǎn)型為“行商” 5客戶下沉5與“互聯(lián)網(wǎng)金融”進行差異化競爭 5銀行大數(shù)據(jù)平臺應(yīng)用架構(gòu) 6郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 銀行大數(shù)據(jù)平臺架構(gòu) 7銀行大數(shù)據(jù)支撐平臺 7大數(shù)據(jù)虛擬化平臺 7、設(shè)計原則 8虛擬化平臺設(shè)計 10、硬件基礎(chǔ)設(shè)施層 10虛擬化存儲 11虛擬化計算 11平臺管理 12數(shù)據(jù)存儲系統(tǒng)設(shè)計 12、高性能SAN#儲系統(tǒng) 14、存儲方案優(yōu)勢 15大數(shù)據(jù)分析管理平臺 16大數(shù)據(jù)分析處理平臺 16分布式內(nèi)存分析引擎 17數(shù)據(jù)挖掘引擎17分布式實時在線數(shù)據(jù)處理引擎 18流處理引擎18大數(shù)據(jù)分析支撐系統(tǒng) 18大數(shù)據(jù)分析節(jié)點群 24軟硬件配

5、置 25虛擬化平臺關(guān)鍵特性 27郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 虛擬化平臺配置 29安全保障系統(tǒng) 30設(shè)計原則30總體設(shè)計31物理安全設(shè)計31網(wǎng)絡(luò)安全設(shè)計33、外網(wǎng)邊界安全 33、網(wǎng)絡(luò)基礎(chǔ)設(shè)施安全 34、主機安全設(shè)計 35應(yīng)用安全設(shè)計35數(shù)據(jù)庫安全設(shè)計 36安全制度與人員管理 37安全管理體系建設(shè) 37安全運維38安全人員管理39技術(shù)安全管理 39安全保障系統(tǒng)配置 40計算機網(wǎng)絡(luò)系統(tǒng) 40設(shè)計原則40系統(tǒng)設(shè)計42計算機網(wǎng)絡(luò)系統(tǒng)配置 45基礎(chǔ)支本掌軟件45郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 地理信息軟件 45、操作系

6、統(tǒng)軟件 47數(shù)據(jù)庫管理軟件 48機房建設(shè)方案 49基礎(chǔ)支撐系統(tǒng)軟硬件配置 52第5章 系統(tǒng)架構(gòu)設(shè)計 56總體設(shè)計目標 56總體設(shè)計原則 56案例分析建議58中國聯(lián)通大數(shù)據(jù)平臺 58項目概述58項目實施情況 60項目成果 67項目意義 68恒豐銀行大數(shù)據(jù)平臺 69項目概述 69項目實施情況 73項目成果 81項目意義 82華通CDN1營商海量日志采集分析系統(tǒng) 84項目概述84項目實施情況 85郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 項目成果 90項目意義 90、案例總結(jié)91系統(tǒng)總體架構(gòu)設(shè)計 92、總體技術(shù)框架92系統(tǒng)總體邏輯結(jié)構(gòu) 96平臺組件關(guān)系99系統(tǒng)接口設(shè)計

7、 105系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)110第6章系統(tǒng)功能設(shè)計 113概述113平臺管理功能114多應(yīng)用管理 114多租戶管理 118統(tǒng)一運維監(jiān)控 119Hadoop集群自動化部署 121、Hadoop集群性能監(jiān)控 123Hadoop集群資源管理 127、圖形界面方式多租戶管理 130系統(tǒng)巡檢信息收集 135系統(tǒng)性能跟蹤 137、與集團運維監(jiān)控平臺對接 139郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 作業(yè)調(diào)度管理 143數(shù)據(jù)管理145數(shù)據(jù)管理框架145結(jié)構(gòu)化數(shù)據(jù)管理框架 145半/非結(jié)構(gòu)化數(shù)據(jù)管理框架 146數(shù)據(jù)采集147、數(shù)據(jù)交換151數(shù)據(jù)存儲與管理 152數(shù)據(jù)存儲管理功能 1

8、55數(shù)據(jù)多溫度管理 157生命周期管理 159多索引模式 160多數(shù)據(jù)副本管理 162數(shù)據(jù)平衡管理 162在線節(jié)點管理 163分區(qū)管理 164數(shù)據(jù)導入與導出 165多級數(shù)據(jù)存儲 166多種數(shù)據(jù)類型支持 168多種文件格式支持 170數(shù)據(jù)自定義標簽管理 174數(shù)據(jù)讀寫鎖處理 174郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 元數(shù)據(jù)備份 175表壓縮 175數(shù)據(jù)加工清洗 175數(shù)據(jù)計算177多計算框架支持 177并行計算與并行處理能力 179PL/SQL存儲過程 183分布式事務(wù)支持 187ACID測試案例 189數(shù)據(jù)查詢199、OLAP8數(shù)支持 199、分布式 Cu

9、be 200、SQL兼容性 203、SQL功能 221數(shù)據(jù)管控225主數(shù)據(jù)管理 225元數(shù)據(jù)管理技術(shù) 227數(shù)據(jù)質(zhì)量231數(shù)據(jù) ETL239數(shù)據(jù)分析與挖掘 242數(shù)據(jù)分析流程 245R語言開發(fā)環(huán)境與接口 246郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 并行化R算法支持 247可視化 R軟件包 251編程語言支持 253、自然語言處理和文本挖掘 253實時分析254分析管理255需求管理 256過程管理 257成果管理 259分析支持260指標維護 260分析流程固化261分析結(jié)果發(fā)布 261環(huán)境支持261數(shù)據(jù)展現(xiàn)262交互式報表 265、儀表盤271即席查詢27

10、2內(nèi)存分析273移動分析274電子地圖支持275第7章技術(shù)要求實現(xiàn) 276郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 產(chǎn)品架構(gòu)276基礎(chǔ)構(gòu)建平臺281大數(shù)據(jù)平臺組件功能介紹 282Transwarp Hadoop 分布式文件系統(tǒng) 282Transwarp Inceptor 內(nèi)存分析交互弓I擎 284、穩(wěn)定的Spark計算框架 286支持Memory+SSD勺混合存儲架構(gòu) 287完整SQL功能支持 287Transwarp Discover 機器學習弓I擎 293并行化統(tǒng)計算法庫 295機器學習并行算法庫 298Transwarp Hyperbase 歹1J式存儲數(shù)

11、據(jù)庫 304智能索引 316、全局索引 317、全文索引 318索引類型 319圖數(shù)據(jù)庫 320、全文數(shù)據(jù)處理 321Transwarp Stream 數(shù)據(jù)實時處理分析 323分布式消息隊列 327流式計算引擎 328流式 SQL執(zhí)行 329郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 、 流式機器學習 330系統(tǒng)分布式架構(gòu) 330運行環(huán)境支持 333系統(tǒng)操作支持以及環(huán)境配置 333與第三方軟件平臺的兼容說明 334客戶端支持 335客戶端支持 335移動端支持 336數(shù)據(jù)支持 336集成實現(xiàn)338運維實現(xiàn)341運維目標341運維服務(wù)內(nèi)容342運維服務(wù)流程345運維

12、服務(wù)制度規(guī)范 347應(yīng)急服務(wù)響應(yīng)措施 348、平臺監(jiān)/空兼容349資源管理350、系統(tǒng)升級353系統(tǒng)監(jiān)控平臺功能 353性能監(jiān)控 353一鍵式收集 357郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 系統(tǒng)資源監(jiān)控圖形化 359、服務(wù)進程監(jiān)控 360、消息隊列監(jiān)控 361故障報警 361告警以及統(tǒng)巡檢以及信息收集 362平臺性能 364、集群切換364主集群異常及上層業(yè)務(wù)切換 364從集群異常及上層業(yè)務(wù)切換 365、節(jié)點切換365性能調(diào)優(yōu)367、圖形化性能監(jiān)控 367、圖形化調(diào)優(yōu)工具 367、調(diào)優(yōu)策略 372并行化高性能計算 373計算性能線性擴展 377平臺擴展性

13、378可靠性和可用性 380單點故障消除380容災(zāi)備份優(yōu)化 382擴容、備份、恢復機制 382、集群數(shù)據(jù)容災(zāi)優(yōu)化 383郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 數(shù)據(jù)完整性保障和方案 385主集群異常及上層業(yè)務(wù)切換 386從集群異常及上層業(yè)務(wù)切換 387系統(tǒng)容錯性 388開放性和兼容性 390高度支持開源 395PMC-HaoyuanLi 395Committor-AndrewXia 397Committor-ShaneHuang 399Committor-ZhihongYu 402、Committor-JasonDai 405Committor-WeiXue

14、408操作系統(tǒng)支持以及軟件環(huán)境配置 409兼容性與集成能力 410安全性412身份鑒別412訪問控制 413安全通訊421核心產(chǎn)品優(yōu)勢421、高速運算、統(tǒng)計分析和精確查詢 421、Spark引擎結(jié)合分布式內(nèi)存列存提供高性能計算 421、多種索引支持與智能索引 423郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 有效的資源利用 424高并發(fā)、低延遲性能優(yōu)化 425計算資源有效管控 426API設(shè)計和開發(fā)工具支持 428友好的運維監(jiān)控界面 430擴容、備份、恢復機制 435、集群自動負載均衡 437計算能力擴展437自主研發(fā)技術(shù)優(yōu)勢 438高穩(wěn)定、高效的計算引擎Ince

15、ptor 438完整的 SQL編譯引擎 440高性能的SQL分析引擎 441SQL統(tǒng)計分析能力 442完整的 CURD1能443Hyperbase高效的檢索能力 444基于Hyperbase和SQL引擎的高并發(fā)分布式事務(wù) 447、 Hyperbase非結(jié)構(gòu)化數(shù)據(jù)的支持 448機器學習與數(shù)據(jù)挖掘 449Transwarp Stream 454內(nèi)存/SSD/磁盤混合存儲 457MR/Spark/ 流處理統(tǒng)一平臺 459多租戶支持能力 460郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 多租戶安全功能 461標準 JDBC與 ODB源口 462第8章系統(tǒng)性能指標和測試結(jié)果

16、說明 463性能測試報告463測試目標463測試內(nèi)容464測試環(huán)境 464測試過程和結(jié)果 466TPC-DS測試才艮告 469測試目標469測試內(nèi)容469測試環(huán)境472測試過程和結(jié)果 473量收遷移驗證T生測試報告 474測試目標474測試內(nèi)容474測試環(huán)境475串行執(zhí)行情況476并行執(zhí)行情況478、生產(chǎn)表數(shù)據(jù)規(guī)模 480測試結(jié)果484某銀行性能測試報告 484郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 測試目標484測試內(nèi)容485測試環(huán)境485測試過程和結(jié)果 486第9章系統(tǒng)配置方案 501硬件系統(tǒng)配置建議 501基石出Hadoop平臺集群配置規(guī)劃 501數(shù)據(jù)倉

17、庫集群配置規(guī)劃 504集群規(guī)模綜述 506開發(fā)集群配置建議 507測試集群配置建議 507軟件配置建議 508軟硬件配置總表 510網(wǎng)絡(luò)拓撲513第10章系統(tǒng)測試 514系統(tǒng)測試方法514系統(tǒng)測試階段 515系統(tǒng)測試相關(guān)提交物 517第11章項目實施 518項目實施總體目標 518項目管理519郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利 TOC o 1-5 h z 業(yè)務(wù)確認 520數(shù)據(jù)調(diào)研521系統(tǒng)設(shè)計階段 522集成部署階段 523ETL過程設(shè)計 524ETL開發(fā)與測試 525系統(tǒng)開發(fā)階段 526系統(tǒng)測試階段 527系統(tǒng)上線及驗收 528提交物531系統(tǒng)的交接與知識轉(zhuǎn)移 534智慧銀行大數(shù)

18、據(jù)可視化平臺整體解決方案V6.0第1章前言隨著信息化程度的加深，以及移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的崛起， 人們產(chǎn)生的數(shù)據(jù)急劇膨脹，傳統(tǒng)的數(shù)據(jù)處理技術(shù)難以支撐數(shù)據(jù)大 量的增長和處理能力。經(jīng)過近幾年的發(fā)展，大數(shù)據(jù)技術(shù)逐步成熟， 可以幫助企業(yè)整合更多的數(shù)據(jù)，從海量數(shù)據(jù)中挖掘出隱藏價值。 大數(shù)據(jù)已經(jīng)從“概念”走向“價值”，逐步進入實施驗證階段。 人們越來越期望能實現(xiàn)海量數(shù)據(jù)的處理，從數(shù)據(jù)中發(fā)現(xiàn)價值。數(shù)據(jù)越來越成為一種重要的資產(chǎn)。我行已深刻認識到數(shù)據(jù)戰(zhàn)略對企業(yè)運營以及企業(yè)未來發(fā)展 方向的重要性?；ヂ?lián)網(wǎng)金融的本質(zhì)是金融，核心是數(shù)據(jù)，載體是 平臺，關(guān)鍵是客戶體驗，發(fā)展趨勢是互聯(lián)網(wǎng)與金融的深度融合， 要提升大數(shù)據(jù)貢獻度

19、。因此，要深化互聯(lián)網(wǎng)思維理念，穩(wěn)步推進 互聯(lián)網(wǎng)金融產(chǎn)品和服務(wù)模式創(chuàng)新，積極利用移動互聯(lián)網(wǎng)、 大數(shù)據(jù)等新技術(shù)新手段，沉著應(yīng)對沖擊和挑戰(zhàn)，實現(xiàn)傳統(tǒng)金融與互聯(lián)網(wǎng) 金融的融合發(fā)展。做好海量異構(gòu)數(shù)據(jù)的專業(yè)化整合集成、關(guān)聯(lián)共享、安全防護和維護管理，深度挖掘數(shù)據(jù)內(nèi)含的巨大價值，探索 銀行業(yè)務(wù)創(chuàng)新，實現(xiàn)數(shù)據(jù)資源的綜合應(yīng)用、深度應(yīng)用，已成為提 升企業(yè)核心競爭力，實現(xiàn)企業(yè)信息化可持續(xù)發(fā)展的關(guān)鍵途徑。按照行領(lǐng)導部署，信息科技部組織力量對大數(shù)據(jù)技術(shù)進行研究，完成對市場上主流的大數(shù)據(jù)平臺及應(yīng)用技術(shù)預研，征求業(yè)務(wù)部門建議，提出項目建設(shè)要求。郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利第2章銀行大數(shù)據(jù)現(xiàn)狀分析基本現(xiàn)狀銀行已

20、建立面向整個金融業(yè)務(wù)的數(shù)據(jù)倉庫，整合了前臺業(yè)務(wù)運營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向金融的管理分析應(yīng)用；銀行大數(shù)據(jù)積累了 一定量的業(yè)務(wù)數(shù)據(jù)， 同時業(yè)務(wù)人員也從客 戶管理、風險評級和經(jīng)營規(guī)模預測等方面， 提出了大量分析預測 需求。總體現(xiàn)狀行領(lǐng)導缺乏數(shù)據(jù)梳理，造成行領(lǐng)導看到的數(shù)據(jù)相互沖突和矛盾；IT架構(gòu)中中都是以部門級應(yīng)用為主（如計財、資金計劃部 等），缺乏從大的管理職能（財務(wù)、風險、運營等）綜合方面的 數(shù)據(jù)整合、數(shù)據(jù)標準和統(tǒng)一業(yè)務(wù)定義。業(yè)務(wù)人員業(yè)務(wù)職能不清晰或相互重疊，觀察數(shù)據(jù)視角不盡相同，缺少 數(shù)據(jù)標準與業(yè)務(wù)統(tǒng)一定義，語軌不一致；由于業(yè)務(wù)系統(tǒng)輸入的隨意性，導致部分關(guān)鍵業(yè)務(wù)數(shù)據(jù)質(zhì)量較差。郎豐利智慧銀

21、行大數(shù)據(jù)可視化平臺建設(shè)方案 郎豐利數(shù)據(jù)架構(gòu)方面由于全行的數(shù)據(jù)散落在各個業(yè)務(wù)系統(tǒng)中，沒有進行有效整合，形成豎井式架構(gòu)，造成多個信息孤島，整體架構(gòu)缺少一個穩(wěn)定的、抗源變化的保存最細粒度歷史數(shù)據(jù)的數(shù)據(jù)層。無法支撐未來共享性應(yīng)用。業(yè)務(wù)表現(xiàn)信息孤島數(shù)據(jù)冗余共享性差歷史數(shù)據(jù)缺失問題數(shù)據(jù)分散，難以管理沒有一個穩(wěn)定的，抗源變化的數(shù)據(jù)層郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利缺外穩(wěn)定的、 抗源變化的數(shù)據(jù)層豎井式架構(gòu)， 造成信息孤島其它 報表績效考犢客戶管理營風報戶險表戶部表中間 崢 報表支付報表客戶風險客戶一部中間業(yè)窘支付業(yè)務(wù)主題屋報表應(yīng)用共用集市層zy.匯總率據(jù)層ODS層BDSgDEPJg源系統(tǒng)-JTJ口

22、沒有進行整合，無法） 共享，不能支持如客 戶管理等共享性應(yīng)用綜合業(yè)資信貸管理國際轉(zhuǎn)算債券核算數(shù)據(jù)應(yīng)用難題缺少統(tǒng)一的應(yīng)用分析標準業(yè)務(wù)表現(xiàn)各集市系統(tǒng)指標存在重復各集市系統(tǒng)在保有存量的同時，不斷產(chǎn)生新的指標（增量）集市指標派生無法實現(xiàn)指標邏輯視圖（指標分類）不一致問題重復投入數(shù)據(jù)不一致指標設(shè)計、口徑不一致郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利指標難以共享客戶風險集市客戶一部集市我想看本期貸款 余額J看哪個呢？活期存款指標數(shù)據(jù) 怎么不一致跑?借據(jù)號朝末余額壬育業(yè)務(wù)收入 負債總頓借據(jù)集考期末賃款余額總資產(chǎn)資金計劃 部3用戶況信息r有哪些呢?3用戶2.4.2、缺少統(tǒng)一的基礎(chǔ)數(shù)據(jù)標準2.4.2.1業(yè)務(wù)

23、表現(xiàn)各系統(tǒng)存在冗余數(shù)據(jù)各系統(tǒng)存在業(yè)務(wù)含義一致，名稱定義不一致的屬性各系統(tǒng)存在含義不一致，名稱定義一致的情況業(yè)務(wù)代碼定義混亂郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利2.4.2,2、 問題重復投入數(shù)據(jù)不一致、不準確難以利用和管理各系統(tǒng)數(shù)據(jù)難以共享核心貸款分戶賬表業(yè)務(wù)含義一致,名稱定義不一致5級分類標志 /2關(guān)注02關(guān)注借庭計息周期3次級（不良）03次假4可疑（不良）04可疑5損失（不良）05報失缺少反饋機制沒有歸納弁總結(jié)數(shù)據(jù)質(zhì)量問題，缺少反饋機制,導致長期存 在各類數(shù)據(jù)質(zhì)量問題。郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利業(yè)務(wù)表現(xiàn)指標難以共享數(shù)據(jù)不一致、不準確問題部分關(guān)鍵業(yè)務(wù)數(shù)據(jù)缺失源系統(tǒng)校驗

24、關(guān)系缺失及業(yè)務(wù)人員操作隨意客戶號客戶簡稱核心客戶表75682839 糧食局糧油綜合97326762乳山市國鑫資產(chǎn)數(shù)據(jù)應(yīng)用現(xiàn)狀總結(jié)隨著業(yè)務(wù)的不斷發(fā)展和信息化的不斷深入，需建設(shè)的業(yè)務(wù)系統(tǒng)越來越多，隨著業(yè)務(wù)系統(tǒng)的數(shù)據(jù)種類不斷豐富完善，數(shù)據(jù)量的不斷增大，如果不采取有效手段解決數(shù)據(jù)架構(gòu)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量問題，隨著信息化建設(shè)的深入， 這些問題將像雪球一樣越滾郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利越大，越積越多智慧銀行大數(shù)據(jù)可視化平臺整體解決方案V6.0統(tǒng)一制定目標和甘 自定義報表工具多種格式報表分析工具折模生行十列的新單定義方式云數(shù)據(jù)推送平臺已實現(xiàn)了主要零售及XXX業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來X

25、XX大數(shù)據(jù)數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源口銀行挾笫層統(tǒng)一規(guī)劃分析方法 統(tǒng)一劃分分析主裁 藐二景計數(shù)雅翁銀行以能管控層第3章銀行大數(shù)據(jù)治理階段目標通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，銀行大數(shù)據(jù)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類業(yè)務(wù)進行前瞻性預測及分析，為銀 行各層次用戶提供統(tǒng)一的決策分析支持， 提升數(shù)據(jù)共享與流轉(zhuǎn)能 力。各翅業(yè)務(wù)搽作層郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利3.1、數(shù)據(jù)平臺邏輯架構(gòu)源數(shù)據(jù) 數(shù)據(jù)倉庫數(shù)據(jù)應(yīng)用CM2006EEBONDPEFES3.2、裁於性齒平木配置再 fflC集市層一 一 1非晚場蓋晉菜市財會出走第市ETL風險根擊隹擊匯總展機掏客戶賬戶ETL整合層ETL作高修恭世熟虻

26、由貼海層作處詞嫁告業(yè)若旱培 匚 MN0C5 國際雄胃飆傳齊首理系生 陽L熨金號燒軌躺整蛻 相濟引空基跖當事人的驚當事人赍盧數(shù)據(jù)質(zhì)量檢查系統(tǒng)數(shù)據(jù)平臺部署架構(gòu)總th:1II：新舊置牧勺23Q非現(xiàn)場報表財會報表客戶風篩報恚高管駕駛艙數(shù)據(jù)傳輸教愜管理系統(tǒng)赭取胃1/應(yīng)年低轉(zhuǎn)均量雷ri. 107sm曜近用：中間”西1 MO機山？TH番方游K段C 4All護!I llti I Knl 1 qir ikWOl.M. 4 “ihl據(jù)tiw 1 5 EE 卻曳平白代aN月 ，拿ffE聲 Dmajn5j：i：LLJHvMIVtii*IffimiliiiMd 團嚇alHIMWA 七* K削總占；|IA口門ETLBl務(wù)

27、 UL 9. ti. LOy.L郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案 郎豐利建設(shè)目標以大數(shù)據(jù)項目建設(shè)作為契機，凝聚我行優(yōu)勢力量，全面梳理 數(shù)據(jù)資源，完善數(shù)據(jù)體系架構(gòu)，自主掌握大數(shù)據(jù)關(guān)鍵技術(shù)，加速 大數(shù)據(jù)資源的開發(fā)利用,將數(shù)據(jù)決策化貫穿到經(jīng)營管理全流程， 建設(shè)智慧銀行，提升核心競爭力。建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施，完善全行數(shù)據(jù)體系架構(gòu)構(gòu)建大數(shù)據(jù)平臺，實現(xiàn)更廣泛的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)集 中采集、存儲、加工、分析和應(yīng)用，極大地豐富我行的信息資源， 同現(xiàn)有的企業(yè)級數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲系統(tǒng)一起，形成基礎(chǔ)數(shù)據(jù)體系，提供支撐經(jīng)營管理的各類數(shù)據(jù)應(yīng)用。開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新建設(shè)離線數(shù)據(jù)分析、實時數(shù)據(jù)

28、/流數(shù)據(jù)分析集群和各類數(shù)據(jù) 分析集市，提供高性能可擴展的分布式計算引擎， 通過數(shù)據(jù)挖掘、 計量分析和機器學習等手段，對豐富的大數(shù)據(jù)資源進行開發(fā)使 用，弁將數(shù)據(jù)決策化過程結(jié)合到風控、營銷、營運等經(jīng)營管理活 動。培養(yǎng)大數(shù)據(jù)人才隊伍，建立大數(shù)據(jù)分析能力結(jié)合大數(shù)據(jù)項目的落地實施，建立起一支大數(shù)據(jù)技術(shù)和分析 人員隊伍，具備自主運營和開發(fā)大數(shù)據(jù)的能力，以更好推動業(yè)務(wù)郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利創(chuàng)新，提升我行核心競爭力數(shù)據(jù)治理目標發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，推動大數(shù)據(jù)治理工作的開展，建立數(shù)據(jù)質(zhì)量檢核系統(tǒng)對源系統(tǒng)進行數(shù)據(jù)質(zhì)量檢核，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題弁統(tǒng)計影響到的報表對數(shù)據(jù)質(zhì)量問題進行歸類總結(jié)，分析成因和改

29、進建議建設(shè)數(shù)據(jù)質(zhì)量檢核系統(tǒng)分析、梳理業(yè)務(wù)系統(tǒng)，推動數(shù)據(jù)標準的建立，統(tǒng)一全行口徑建立基礎(chǔ)標準和指標標準框架確定標準化范圍，對重要屬性進行標準化建立數(shù)據(jù)倉庫模型框架，優(yōu)化我行數(shù)據(jù)架構(gòu)，建設(shè)穩(wěn)定、可擴展的數(shù)據(jù)倉庫引進業(yè)內(nèi)具有先進水平的金融數(shù)據(jù)模型，進行客戶化改造 后，建成符合某行特點的數(shù)據(jù)倉庫模型框架覆蓋某行主要業(yè)務(wù)系統(tǒng)數(shù)據(jù)，以便快速高效的為應(yīng)用系統(tǒng) 提供數(shù)據(jù)存儲歷史數(shù)據(jù)，解決新報表上線才有數(shù)的問題。郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利匯總層建設(shè)（共性加工）目標建設(shè)方法建設(shè)內(nèi)容分析源系統(tǒng)表數(shù)據(jù)，從及時性、完整性、準確性、有效性、 一致性方面對源系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)校驗，發(fā)現(xiàn)弁記錄數(shù)據(jù)質(zhì)量問題，生

30、成數(shù)據(jù)質(zhì)量問題報告。建設(shè)數(shù)據(jù)質(zhì)量檢核系統(tǒng)，對源系統(tǒng)基礎(chǔ)業(yè)務(wù)數(shù)據(jù)的進行全面 的數(shù)據(jù)質(zhì)量檢查，弁實現(xiàn)重要業(yè)務(wù)數(shù)據(jù)質(zhì)量的周期性動態(tài)檢查， 對發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題生成數(shù)據(jù)質(zhì)量報告，反饋給業(yè)務(wù)部門。工作階段源系統(tǒng)分析階段全面分析主要源業(yè)務(wù)系統(tǒng)。、 工作內(nèi)容全面分析和消化主要源業(yè)務(wù)系統(tǒng)重點分析核心業(yè)務(wù)系統(tǒng)和信貸兩個系統(tǒng)、 工作依據(jù)源系統(tǒng)文檔：源系統(tǒng)操作手冊、源業(yè)務(wù)系統(tǒng)設(shè)計說明書、源系統(tǒng)數(shù)據(jù)字典郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利源系統(tǒng)環(huán)境及調(diào)研數(shù)據(jù)、工作重點系統(tǒng)內(nèi)：梳理業(yè)務(wù)流程、業(yè)務(wù)邏輯、業(yè)務(wù)關(guān)聯(lián)、數(shù)據(jù)庫表和字段的設(shè)計系統(tǒng)間：梳理業(yè)務(wù)關(guān)聯(lián)關(guān)系、數(shù)據(jù)關(guān)聯(lián)關(guān)系數(shù)據(jù)質(zhì)量問題檢查階段根據(jù)制定的檢查規(guī)則編寫程

31、序，對源系統(tǒng)數(shù)據(jù)進行檢查。、工作內(nèi)容梳理和制定數(shù)據(jù)質(zhì)量檢查規(guī)則，定義標準模板依據(jù)數(shù)據(jù)檢查規(guī)則，編寫程序，對核心業(yè)務(wù)系統(tǒng)、信貸管理系統(tǒng)的進行檢查、工作依據(jù)系統(tǒng)調(diào)研和分析成果數(shù)據(jù)質(zhì)量檢查規(guī)則的依據(jù)調(diào)研成果的以下內(nèi)容進行梳理：業(yè)務(wù)流程、業(yè)務(wù)邏輯數(shù)據(jù)邏輯設(shè)計報表數(shù)據(jù)應(yīng)用郎豐利智慧銀行大數(shù)據(jù)可視化平臺建設(shè)方案郎豐利、 工作重點重點報表用到的表進行分析數(shù)據(jù)質(zhì)量問題分析階段分析有質(zhì)量問題數(shù)據(jù)對現(xiàn)有應(yīng)用的影響；提出解決措施。、 工作內(nèi)容分析有質(zhì)量問題數(shù)據(jù)對現(xiàn)有報表應(yīng)用的影響對數(shù)據(jù)質(zhì)量問題的成因進行分析和總結(jié)對數(shù)據(jù)質(zhì)量問題的解決措施進行分析和總結(jié)、 工作依據(jù)數(shù)據(jù)質(zhì)量檢查結(jié)果源數(shù)據(jù)與報表依賴關(guān)系、 工作重點重點分析