案例恒豐銀行——基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用建設(shè)一點(diǎn)資訊

1、案例】恒豐銀行基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用建設(shè)一點(diǎn)資訊 數(shù)據(jù)猿導(dǎo)讀恒豐銀行探索采用大數(shù)據(jù)技術(shù)構(gòu)建統(tǒng)一的 企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)，重構(gòu)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，減少數(shù)據(jù)重復(fù)加 工與存儲(chǔ)，促進(jìn)信息管理應(yīng)用的數(shù)據(jù)融合共享，提高數(shù)據(jù)處 理總體效率，提升數(shù)據(jù)分析和應(yīng)用創(chuàng)新能力，正逐步取得預(yù) 期的成效。在論壇現(xiàn)場(chǎng)，也將頒發(fā)“技術(shù)創(chuàng)新獎(jiǎng)”、“應(yīng)用創(chuàng)新 獎(jiǎng)”、“最佳實(shí)踐獎(jiǎng)”、“優(yōu)秀案例獎(jiǎng)”四大類(lèi)案例獎(jiǎng)本文長(zhǎng)度為 9800 字，建議閱讀 20 分鐘隨著利率市場(chǎng)化進(jìn)程加快、互聯(lián) 網(wǎng)金融業(yè)態(tài)的發(fā)展，傳統(tǒng)銀行與實(shí)體經(jīng)濟(jì)的業(yè)務(wù)橫向聯(lián)系與 深度融合進(jìn)展迅速，業(yè)務(wù)數(shù)據(jù)的內(nèi)容不斷豐富，數(shù)據(jù)規(guī)模也 不斷增長(zhǎng)。伴隨著商業(yè)銀行業(yè)務(wù)的快速發(fā)展，傳統(tǒng)

2、數(shù)據(jù)倉(cāng)庫(kù) 技術(shù)架構(gòu)面臨越來(lái)越大的挑戰(zhàn)，其表現(xiàn)如下： （ 1）大部分傳 統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)對(duì)分布式并行計(jì)算模式的支持不夠，難以實(shí)現(xiàn)處 理能力的水平彈性擴(kuò)展，依賴(lài)于服務(wù)器硬件的升級(jí)實(shí)現(xiàn)處理 能力擴(kuò)容，不僅成本非常高昂，而且受到服務(wù)器硬件升級(jí)周 期較長(zhǎng)的限制。（2）商業(yè)銀行因業(yè)務(wù)復(fù)雜性和多樣性的原因， 現(xiàn)存的數(shù)據(jù)應(yīng)用系統(tǒng)種類(lèi)較多。在單個(gè)數(shù)據(jù)庫(kù)系統(tǒng)處理能力 有限的情況下， 普遍存在應(yīng)用各自獨(dú)立建設(shè)， 缺乏統(tǒng)籌規(guī)劃， 系統(tǒng)間數(shù)據(jù)處理職責(zé)劃分不合理、口徑不一致，存在大量的 重復(fù)加工和數(shù)據(jù)冗余的問(wèn)題。 （ 3）傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)軟件主要面 向數(shù)據(jù)分析型應(yīng)用，無(wú)法兼顧實(shí)時(shí)營(yíng)銷(xiāo)與實(shí)時(shí)風(fēng)險(xiǎn)管理等高 并發(fā)、低延遲應(yīng)用場(chǎng)景需要，較

3、難處理非結(jié)構(gòu)化數(shù)據(jù)，難以 快速實(shí)現(xiàn)業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)探索、數(shù)據(jù)挖掘與業(yè)務(wù)建模需求。 以 Hadoop/Spark 為代表的大數(shù)據(jù)技術(shù)發(fā)展迅猛，為解決傳 統(tǒng)架構(gòu)的瓶頸帶來(lái)了新思維。以大數(shù)據(jù)技術(shù)為基礎(chǔ)的數(shù)據(jù)管 理平臺(tái)與傳統(tǒng)數(shù)據(jù)庫(kù)軟件相比，具備如下優(yōu)勢(shì)： （ 1）更低的 成本投入能夠基于 X86 服務(wù)器彈性水平擴(kuò)展， 通過(guò)節(jié)點(diǎn)冗余 增加容錯(cuò)能力，多核計(jì)算資源能充分利用，相比小型機(jī)方案 成本低廉；利用本地磁盤(pán)做存儲(chǔ)，節(jié)省昂貴的集中存儲(chǔ)設(shè)備 投入；軟件產(chǎn)品和服務(wù)的價(jià)格更低。 （ 2）更強(qiáng)的整體處理能 力消除集中存儲(chǔ)的帶寬瓶頸，可采用 SSD 介質(zhì)加速隨機(jī)讀 寫(xiě)速度 ,獲得極高的 IO 處理能力；針對(duì)并行計(jì)算

4、需求設(shè)計(jì)， 采用異步無(wú)鎖的高并發(fā)服務(wù)框架，提供可線(xiàn)性增長(zhǎng)的數(shù)據(jù)并 行處理能力，可提供高并發(fā)低延遲數(shù)據(jù)處理服務(wù)。 （3）更優(yōu) 的資源管理和調(diào)度機(jī)制可提供彈性的租戶(hù)資源管理體系，防 止不同應(yīng)用之間的資源過(guò)度競(jìng)爭(zhēng)，在不同時(shí)間段為各應(yīng)用按 需調(diào)配資源，利于在一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái)上構(gòu)建多個(gè)應(yīng)用系 統(tǒng)。處于業(yè)務(wù)發(fā)展的新階段恒豐銀行，更需要一個(gè)低成本可 線(xiàn)性擴(kuò)展的數(shù)據(jù)處理平臺(tái)，解決企業(yè)多個(gè)數(shù)據(jù)應(yīng)用形成數(shù)據(jù) 孤島，數(shù)據(jù)資源難以共享、數(shù)據(jù)標(biāo)準(zhǔn)不一、存在大量冗余數(shù) 據(jù)的問(wèn)題。恒豐銀行在進(jìn)行充分的可行性分析后，基于大數(shù) 據(jù)平臺(tái)重構(gòu)優(yōu)化了數(shù)據(jù)倉(cāng)庫(kù)及關(guān)聯(lián)應(yīng)用。同時(shí)基于統(tǒng)一的企 業(yè)公共數(shù)據(jù)模型上構(gòu)建發(fā)展各應(yīng)用集市和分析集市

5、，減少數(shù) 據(jù)的重復(fù)加工和各數(shù)據(jù)應(yīng)用的開(kāi)發(fā)成本。最后，構(gòu)建了包容 實(shí)時(shí)數(shù)據(jù)應(yīng)用和數(shù)據(jù)分析型應(yīng)用的統(tǒng)一軟硬件技術(shù)架構(gòu)，同 時(shí)滿(mǎn)足聯(lián)機(jī)數(shù)據(jù)查詢(xún)和海量數(shù)據(jù)分析需求，提高數(shù)據(jù)應(yīng)用的 開(kāi)發(fā)效率和增強(qiáng)了服務(wù)器資源有效利用率，減少了應(yīng)用總體 開(kāi)發(fā)和部署成本。周期 /節(jié)奏 2015 年 7 月，恒豐銀行正式啟 動(dòng)大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目。 2015 年底完成需求梳理、架構(gòu)與 應(yīng)用規(guī)劃。 2016 年 1 月，在開(kāi)源軟件、國(guó)產(chǎn)大數(shù)據(jù)平臺(tái)的 基礎(chǔ)上，恒豐銀行自主設(shè)計(jì)開(kāi)發(fā)建設(shè)企業(yè)級(jí)大數(shù)據(jù)應(yīng)用平臺(tái)， 利用全新的大數(shù)據(jù)平臺(tái)技術(shù)全面重構(gòu)了企業(yè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。 2016 年 5 月在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)公共數(shù)據(jù)集市成果基礎(chǔ)上，結(jié) 合大數(shù)據(jù)技

6、術(shù)服務(wù)能力，升級(jí)改造原有的渠道、授信管理、 審計(jì)、客戶(hù)管理等系統(tǒng)， 在客戶(hù)服務(wù)、 風(fēng)險(xiǎn)管理、 內(nèi)部管控、 營(yíng)銷(xiāo)管理等多個(gè)業(yè)務(wù)領(lǐng)域開(kāi)發(fā)基于大數(shù)據(jù)平臺(tái)的創(chuàng)新。 2017 年延續(xù)大數(shù)據(jù)思維，將打造更加智能化的技術(shù)平臺(tái)，整合深 度學(xué)習(xí)、知識(shí)圖譜、情感計(jì)算等前沿人工智能技術(shù)，自主研 發(fā)智能決策引擎產(chǎn)品，與渠道和產(chǎn)品系統(tǒng)充分整合，為恒豐 銀行業(yè)務(wù)發(fā)展植入更加智慧的數(shù)據(jù)大腦。 客戶(hù)名稱(chēng) /所屬分類(lèi) 恒豐銀行 /大數(shù)據(jù)技術(shù)服務(wù)任務(wù) /目標(biāo)商業(yè)銀行業(yè)務(wù)快速發(fā)展 對(duì)數(shù)據(jù)應(yīng)用的時(shí)效性和處理能力提出了更高要求，傳統(tǒng)數(shù)據(jù) 倉(cāng)庫(kù)技術(shù)普遍存在升級(jí)成本高、不能彈性擴(kuò)容、并發(fā)處理能 力較低的問(wèn)題。探索采用大數(shù)據(jù)技術(shù)構(gòu)建統(tǒng)一的企

7、業(yè)級(jí)數(shù)據(jù)管理平臺(tái)，重構(gòu)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，減少數(shù)據(jù)重復(fù)加工與冗余存 儲(chǔ)，促進(jìn)信息管理應(yīng)用的數(shù)據(jù)融合共享，提高數(shù)據(jù)處理總體 效率，提升數(shù)據(jù)分析和深度應(yīng)用能力，正逐漸成為商業(yè)銀行 IT 建設(shè)的熱點(diǎn)方向。 利用大數(shù)據(jù)技術(shù)可有效構(gòu)建以數(shù)據(jù)倉(cāng)庫(kù) 應(yīng)用為核心、彈性擴(kuò)容、資源相對(duì)隔離、多應(yīng)用共存的分布 式集群數(shù)據(jù)管理平臺(tái)， 有效解決長(zhǎng)期積累的問(wèn)題： (1) 解決平 臺(tái)處理能力不足，應(yīng)用分散問(wèn)題分布式并行數(shù)據(jù)處理解決超 大數(shù)據(jù)集的可計(jì)算難題，加速統(tǒng)計(jì)分析應(yīng)用的響應(yīng)速度；提 供可統(tǒng)一調(diào)度的超大硬件資源池，多個(gè)上層應(yīng)用和數(shù)據(jù)倉(cāng)庫(kù) 可共存于一套集群環(huán)境，極低成本快速實(shí)現(xiàn)企業(yè)應(yīng)用之間數(shù) 據(jù)的共享與融合，減少數(shù)據(jù)跨系統(tǒng)復(fù)制導(dǎo)

8、致的數(shù)據(jù)批處理時(shí) 延，減少多個(gè)應(yīng)用數(shù)據(jù)庫(kù)獨(dú)立部署帶來(lái)冗余的數(shù)據(jù)存儲(chǔ)成本。(2) 強(qiáng)化數(shù)據(jù)倉(cāng)庫(kù)核心應(yīng)用地位， 實(shí)現(xiàn)企業(yè)數(shù)據(jù)治理目標(biāo)數(shù)據(jù) 倉(cāng)庫(kù)應(yīng)用承擔(dān)更多的基礎(chǔ)與共性數(shù)據(jù)加工職能，有利于聚合 應(yīng)用共性需求，有效管控和實(shí)施數(shù)據(jù)標(biāo)準(zhǔn)，統(tǒng)一關(guān)鍵指標(biāo)計(jì) 算口徑，易于實(shí)現(xiàn)數(shù)據(jù)治理目標(biāo)。同時(shí)，建立統(tǒng)一的數(shù)據(jù)處 理任務(wù)調(diào)度平臺(tái)，多個(gè)數(shù)據(jù)應(yīng)用可以和數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用整合， 統(tǒng)一配置數(shù)據(jù)批處理任務(wù)和調(diào)度依賴(lài)關(guān)系，復(fù)用數(shù)據(jù)倉(cāng)庫(kù)建 立的企業(yè)數(shù)據(jù)模型資源，更清晰劃分?jǐn)?shù)據(jù)處理職責(zé)邊界，減 少數(shù)據(jù)重復(fù)加工和開(kāi)發(fā)成本，縮短各應(yīng)用數(shù)據(jù)批處理時(shí)間， 實(shí)現(xiàn)各系統(tǒng)每日盡早開(kāi)放服務(wù)。挑戰(zhàn)大數(shù)據(jù)技術(shù)是一種新型 的技術(shù)，從接觸概念、了解技術(shù)到大數(shù)

9、據(jù)平臺(tái)落地，會(huì)遇到 了多方面的挑戰(zhàn)，主要體現(xiàn)在大數(shù)據(jù)產(chǎn)品的選擇、平臺(tái)架構(gòu) 與應(yīng)用的規(guī)劃，人員培養(yǎng)三個(gè)方面。大數(shù)據(jù)產(chǎn)品選型以 Hadoop/Spark 為代表的大規(guī)模數(shù)據(jù)處理技術(shù)為超越傳統(tǒng)數(shù) 據(jù)庫(kù)的處理局限性提供了先進(jìn)的并行計(jì)算和資源調(diào)度框架。 但也應(yīng)該看到大數(shù)據(jù)相關(guān)技術(shù)還在發(fā)展的初級(jí)階段，開(kāi)源版 本產(chǎn)品在滿(mǎn)足企業(yè)級(jí)應(yīng)用場(chǎng)景的需求時(shí)，還存在明顯的局限 性。高并發(fā)低延遲、應(yīng)用開(kāi)發(fā)成本低、平臺(tái)功能完善是恒豐 銀行大數(shù)據(jù)產(chǎn)品選型的基本需求，軟件產(chǎn)品在系統(tǒng)架構(gòu)設(shè)計(jì) 上應(yīng)盡量突破開(kāi)源版本的技術(shù)局限性，吸取傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù) 的成功設(shè)計(jì)經(jīng)驗(yàn)，才能更好地滿(mǎn)足企業(yè)應(yīng)用場(chǎng)景的需求。選 擇的大數(shù)據(jù)產(chǎn)品應(yīng)滿(mǎn)足以下特點(diǎn)：

10、（1 ）兼顧大數(shù)據(jù)批量處理 和小樣本數(shù)據(jù)精確查詢(xún)統(tǒng)計(jì)的性能需求系統(tǒng)應(yīng)該在全量數(shù) 據(jù)并行處理和小樣本數(shù)據(jù)快速過(guò)濾兩種場(chǎng)景都有高性能表 現(xiàn)，同時(shí)能并發(fā)處理盡量多的小樣本數(shù)據(jù)計(jì)算需求。 （ 2）優(yōu) 化的數(shù)據(jù)存儲(chǔ)與訪(fǎng)問(wèn)管理模型支持表索引、數(shù)據(jù)分片 （sharding）/ 分區(qū) （partition） 、行列混合存儲(chǔ)、 數(shù)據(jù)塊分布統(tǒng)計(jì)、 復(fù)制表等概念，減少數(shù)據(jù)插入、更新和訪(fǎng)問(wèn)的總體 IO 時(shí)間 成本。（3 ）有效合理利用資源減少 JVM Inbox/OutBox 與多 層數(shù)據(jù)復(fù)制引發(fā)的內(nèi)存膨脹， 盡量避免出現(xiàn) JVM GC 引發(fā)的 性能抖動(dòng)，減少跨網(wǎng)絡(luò)節(jié)點(diǎn)的大量數(shù)據(jù)廣播，避免不必要的 重復(fù)計(jì)算。（4）易

11、于開(kāi)發(fā)和原有應(yīng)用盡量平滑遷移支持 SQL2003 標(biāo)準(zhǔn)，在 TPC-H 、 TPC-DS 基準(zhǔn)測(cè)試上有良好表 現(xiàn)，對(duì)主流傳統(tǒng)數(shù)據(jù)庫(kù)的專(zhuān)用特性 （如 Oracle 存儲(chǔ)過(guò)程） 提 供了必要的兼容性支持， 在 API 設(shè)計(jì)和開(kāi)發(fā)工具軟件支持等 方面減少系統(tǒng)遷移和新項(xiàng)目開(kāi)發(fā)成本。 （ 5）高度容錯(cuò)能力同 時(shí)支持 Erasure Code1.5 副本和 3 副本以上的數(shù)據(jù)容錯(cuò)和快 速修復(fù)；消除全系統(tǒng)軟硬件單點(diǎn)故障，任何單點(diǎn)失效都有容 錯(cuò)部件接管服務(wù)職能。 （ 6）友好的運(yùn)維監(jiān)控界面，提供外部 集成接口集成化的運(yùn)維監(jiān)控管理頁(yè)面，同時(shí)可為行內(nèi)集中監(jiān) 控系統(tǒng)提供軟件部件實(shí)時(shí)狀態(tài)信息與故障告警服務(wù)接口；可 以

12、跟蹤當(dāng)前作業(yè)任務(wù)進(jìn)度和資源使用情況?？稍敿?xì)持續(xù)記錄 SQL 執(zhí)行計(jì)劃和實(shí)際成本消耗， 統(tǒng)計(jì)分析資源消耗較多的熱 點(diǎn) SQL 。（ 7）支持在線(xiàn)擴(kuò)容系統(tǒng)能夠動(dòng)態(tài)不停機(jī)擴(kuò)容，可自 動(dòng)實(shí)現(xiàn)數(shù)據(jù)自動(dòng)重分布，擴(kuò)容時(shí)現(xiàn)有系統(tǒng)可以不間斷正常運(yùn) 行。平臺(tái)架構(gòu)與應(yīng)用規(guī)劃大數(shù)據(jù)產(chǎn)品源自廣泛的開(kāi)源技術(shù)， 是多種分布式存儲(chǔ)、計(jì)算引擎與資源調(diào)度的有機(jī)組合。架構(gòu) 與規(guī)劃的難點(diǎn)在于需要架構(gòu)設(shè)計(jì)人員清楚地了解各類(lèi)存儲(chǔ) 引擎的適用場(chǎng)景，對(duì)應(yīng)用并發(fā)、時(shí)效性、資源消耗等需求有 明確的認(rèn)識(shí)，合理地組合各類(lèi)存儲(chǔ)，設(shè)計(jì)數(shù)據(jù)流轉(zhuǎn)，才能發(fā) 揮大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)。同時(shí)，需要對(duì)上層應(yīng)用進(jìn)行分類(lèi)，針 對(duì)不同的分類(lèi)要分配不同的計(jì)算、存儲(chǔ)資源，細(xì)化資源

13、隔離 與管控的粒度，充分合理地利用硬件資源。人才培養(yǎng)大數(shù)據(jù) 平臺(tái)技術(shù)平臺(tái)比傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)復(fù)雜得多，對(duì)開(kāi)發(fā)實(shí)施團(tuán)隊(duì) 的技術(shù)理解能力要求很高，參與人員的技術(shù)培訓(xùn)和輔導(dǎo)是個(gè) 長(zhǎng)期的過(guò)程。按人員專(zhuān)長(zhǎng)成立了技術(shù)架構(gòu)設(shè)計(jì)、基礎(chǔ)環(huán)境支 持、應(yīng)用項(xiàng)目開(kāi)發(fā)、性能測(cè)試與系統(tǒng)優(yōu)化、數(shù)據(jù)模型設(shè)計(jì)、 數(shù)據(jù)分析與建模、 數(shù)據(jù)標(biāo)準(zhǔn)治理等多個(gè)專(zhuān)業(yè)小組， 各施其職、 通力協(xié)作。由于項(xiàng)目使用的大數(shù)據(jù)技術(shù)較新，基礎(chǔ)軟件產(chǎn)品 也處于迭代開(kāi)發(fā)中。恒豐銀行致力于打造一個(gè)學(xué)習(xí)型組織， 加強(qiáng)包括行內(nèi)員工和合作開(kāi)發(fā)公司員工的技術(shù)培訓(xùn)，對(duì)大數(shù) 據(jù)應(yīng)用開(kāi)發(fā)的難點(diǎn)編寫(xiě)培訓(xùn)教程和制定開(kāi)發(fā)規(guī)范，建立微信 學(xué)習(xí)群，不定期的分享開(kāi)發(fā)經(jīng)驗(yàn)和剖析不良的實(shí)現(xiàn)案例

14、，做 好了分層知識(shí)傳導(dǎo)，幫助大家在實(shí)施開(kāi)發(fā)過(guò)程少走彎路。實(shí) 施過(guò)程 /解決方案技術(shù)平臺(tái)能力要求企業(yè)應(yīng)用數(shù)據(jù)能力按數(shù) 據(jù)處理時(shí)效性可分為： (1) 離線(xiàn)批處理。 T+1 日時(shí)效性的數(shù)據(jù) 應(yīng)用，在企業(yè)內(nèi)部目前占大多數(shù)，包括傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 和 CRM 等系統(tǒng)應(yīng)用等。 (2) 準(zhǔn)實(shí)時(shí)應(yīng)用。能夠在生產(chǎn)數(shù)據(jù)產(chǎn) 生后 1 分鐘處理完的應(yīng)用，一般形成生產(chǎn)系統(tǒng)是松耦合的旁 路數(shù)據(jù)流關(guān)系。主要基于大數(shù)據(jù)的流處理技術(shù)實(shí)現(xiàn)，一般設(shè) 置一定的數(shù)據(jù)采樣時(shí)間間隔，通過(guò)系統(tǒng)在線(xiàn)日志數(shù)據(jù)采集或 網(wǎng)絡(luò)報(bào)文旁路方式提取業(yè)務(wù)發(fā)生數(shù)據(jù)，為交易監(jiān)控、風(fēng)險(xiǎn)預(yù) 警、客戶(hù)服務(wù)提供接近實(shí)時(shí)的處理能力。 (3) 實(shí)時(shí)應(yīng)用。能夠 在生產(chǎn)數(shù)據(jù)產(chǎn)生

15、后的 1 秒內(nèi)甚至幾毫秒內(nèi)完成的應(yīng)用，主要 與生產(chǎn)系統(tǒng)形成協(xié)同服務(wù)支持關(guān)系，通過(guò)企業(yè)內(nèi)部服務(wù)同步 調(diào)用或異步消息事件處理方式實(shí)現(xiàn)與客戶(hù)交互或交易過(guò)程 中基于大數(shù)據(jù)的深度加工處理能力。典型實(shí)現(xiàn)方式是構(gòu)建實(shí) 時(shí)流處理與實(shí)時(shí)事件總線(xiàn)相結(jié)合的實(shí)時(shí)處理架構(gòu)，構(gòu)建渠道 端的異步事件處理能力。典型的應(yīng)用場(chǎng)景有實(shí)時(shí)交易反欺詐、 個(gè)性化場(chǎng)景營(yíng)銷(xiāo)服務(wù)等。從技術(shù)支撐能力按從易到難順序可 以分為如下階段： (1) 支撐海量數(shù)據(jù)存儲(chǔ)和低延遲聯(lián)機(jī)查詢(xún)。 將企業(yè)主要數(shù)據(jù)匯聚到一個(gè)平臺(tái)上，支持大并發(fā)的低延遲聯(lián) 機(jī)查詢(xún)，這也是一般企業(yè)應(yīng)用大數(shù)據(jù)能力的初步目標(biāo)。 (2) 支持統(tǒng)計(jì)分析應(yīng)用。包括即席業(yè)務(wù)統(tǒng)計(jì)報(bào)表、多維業(yè)務(wù)數(shù)據(jù) 分析

16、、客戶(hù)群體細(xì)分等應(yīng)用，一般可替代傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的主 體功能。 (3)數(shù)據(jù)探索與業(yè)務(wù)預(yù)測(cè)。 支持業(yè)務(wù)分析團(tuán)隊(duì)的數(shù)據(jù) 探索和業(yè)務(wù)建模實(shí)驗(yàn)，實(shí)現(xiàn)諸如業(yè)務(wù)趨勢(shì)預(yù)測(cè)、客戶(hù)行為預(yù) 測(cè)等高階應(yīng)用。 (4) 決策支持能力。通過(guò)應(yīng)用決策樹(shù)、規(guī)則推 理引擎、運(yùn)籌優(yōu)化技術(shù)，實(shí)現(xiàn)客戶(hù)定價(jià)、風(fēng)險(xiǎn)預(yù)警等領(lǐng)域特 定業(yè)務(wù)問(wèn)題的機(jī)器自動(dòng)化流程管理和簡(jiǎn)單人機(jī)交互方式的 輔助業(yè)務(wù)決策支持應(yīng)用。 (5) 自主學(xué)習(xí)能力。 通過(guò)引入深度學(xué) 習(xí)網(wǎng)絡(luò)、知識(shí)圖譜、遺傳演化等智能技術(shù)構(gòu)建相對(duì)復(fù)雜的機(jī) 器智能學(xué)習(xí)體系，能從海量數(shù)據(jù)中提煉高價(jià)值信息，構(gòu)建自 主訓(xùn)練與反饋、可不斷從最新數(shù)據(jù)中調(diào)整演化的智能業(yè)務(wù)模 型體系。企業(yè)數(shù)據(jù)管理平臺(tái)功能層次數(shù)據(jù)管理

17、平臺(tái)按企業(yè)數(shù) 據(jù)能力需求的功能實(shí)現(xiàn)，可分為如下層次： (1) 數(shù)據(jù)存儲(chǔ)層。 對(duì)應(yīng)不同應(yīng)用需求場(chǎng)景和業(yè)務(wù)數(shù)據(jù)特點(diǎn) (更新頻度、 生命期、 數(shù)據(jù)價(jià)值密度) ，可整合不同的底層存儲(chǔ)技術(shù)和不同的數(shù)據(jù) 庫(kù)引擎，實(shí)現(xiàn)多樣化的數(shù)據(jù)存儲(chǔ)服務(wù)。 (2) 資源管理層。構(gòu)建在最新的大數(shù)據(jù)技術(shù)基礎(chǔ)上，具備靈活的資源管理和并行計(jì) 算調(diào)度能力，實(shí)現(xiàn)多種數(shù)據(jù)管理組件協(xié)同服務(wù)的分布式協(xié)作 軟件框架。 (3) 數(shù)據(jù)匯聚層。滿(mǎn)足生產(chǎn)系統(tǒng)日志準(zhǔn)實(shí)時(shí)采集、 異構(gòu)數(shù)據(jù)源并行抽取和大容量數(shù)據(jù)發(fā)送轉(zhuǎn)儲(chǔ)需求的數(shù)據(jù)移 動(dòng)技術(shù)架構(gòu)， T+1 、T+0 數(shù)據(jù)適配多種技術(shù)場(chǎng)景實(shí)現(xiàn)從源端 流轉(zhuǎn)并集中存儲(chǔ)到大數(shù)據(jù)管理平臺(tái)的數(shù)據(jù)存儲(chǔ)層。(4) 流式處理層

18、。構(gòu)建實(shí)時(shí)流處理計(jì)算層，包括實(shí)時(shí)流處理引擎、高效 的流數(shù)據(jù)緩存層和計(jì)算組件(包括分類(lèi)、匯總、過(guò)濾、路由 等多種功能)。(5)圖計(jì)算層。通過(guò)圖計(jì)算引擎，實(shí)現(xiàn)關(guān)系網(wǎng) 絡(luò)數(shù)據(jù)的抽象、 存儲(chǔ)和快速統(tǒng)計(jì)計(jì)算需求。 (6) 數(shù)據(jù)挖掘功能 層。貼近數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)挖掘算法功能層，由并行計(jì)算能力 強(qiáng)、集成度較高的分布式機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘軟件框架實(shí)現(xiàn)， 為應(yīng)用程序提供簡(jiǎn)單 API 調(diào)用接口， 也支持在其上構(gòu)建業(yè)務(wù) 數(shù)據(jù)探索軟件層。 (7) 數(shù)據(jù)管理應(yīng)用組件層。 需要自主開(kāi)發(fā)完 善的數(shù)據(jù)管理組件，包括元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)化管理、數(shù) 據(jù)生命期管理、數(shù)據(jù)開(kāi)放權(quán)限管理和審批流程、跨數(shù)據(jù)集群 的準(zhǔn)實(shí)時(shí)數(shù)據(jù)復(fù)制、完善的系統(tǒng)運(yùn)

19、行監(jiān)測(cè)與告警等。技術(shù)平 臺(tái)與產(chǎn)品選型 Apache Hadoop 是針對(duì)大規(guī)模分布式數(shù)據(jù)而 開(kāi)發(fā)的軟件框架，已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù)。 然而開(kāi)源 Hadoop 仍然面臨一些挑戰(zhàn)：首先，開(kāi)源 Hadoop 技術(shù)在對(duì) GB 到 TB 級(jí)數(shù)據(jù)的處理效率較低。其次，只有對(duì) 海量的數(shù)據(jù)進(jìn)行高效的分析及利用才能將大數(shù)據(jù)中存在的 巨大潛在價(jià)值轉(zhuǎn)換為實(shí)際的商業(yè)價(jià)值，這就需要完備的決策 分析工具集運(yùn)行在大數(shù)據(jù)平臺(tái)架構(gòu)之上，企業(yè)亟需完備的解 決方案來(lái)加速大數(shù)據(jù)應(yīng)用的業(yè)務(wù)創(chuàng)新。恒豐銀行從企業(yè)應(yīng)用 角度出發(fā)，通過(guò)對(duì)國(guó)內(nèi)外眾多主流大數(shù)據(jù)平臺(tái)產(chǎn)品的技術(shù)能 力和實(shí)現(xiàn)細(xì)節(jié)詳細(xì)了解、對(duì)比、篩選，并對(duì)候選產(chǎn)品進(jìn)行嚴(yán)

20、格的 POC 測(cè)試，最終選擇了更符合恒豐銀行需求的國(guó)產(chǎn) TDH 大數(shù)據(jù)平臺(tái)產(chǎn)品。 針對(duì)上層應(yīng)用的需求， 恒豐銀行利用 HBase 對(duì)二進(jìn)制數(shù)據(jù)的高并發(fā)存儲(chǔ)服務(wù)能力實(shí)現(xiàn)非結(jié)構(gòu)化 數(shù)據(jù)的高效存儲(chǔ)，采用 ElasticSearch 發(fā)揮文本數(shù)據(jù)的快速 全文檢索能力?；谏虡I(yè)數(shù)據(jù)可視化套件或開(kāi)源的 D3.js 或 Echart.js 等 Web 圖形組件開(kāi)發(fā)業(yè)務(wù)可視化分析應(yīng)用，結(jié)合 大數(shù)據(jù)內(nèi)存分析技術(shù)，實(shí)現(xiàn)業(yè)務(wù)團(tuán)隊(duì)自主數(shù)據(jù)探索和可視化 即席分析。 應(yīng)用 Discover,Mahout 、MLlib 等支持分布式并行 計(jì)算的機(jī)器學(xué)習(xí)軟件框架構(gòu)建更高效的數(shù)據(jù)挖掘人機(jī)交互 環(huán)境，提升業(yè)務(wù)建模效率。利用 St

21、orm 、 Spark-Streaming 等實(shí)時(shí)流處理技術(shù)，結(jié)合專(zhuān)家推理引擎、運(yùn)籌優(yōu)化與機(jī)器學(xué) 習(xí)算法等數(shù)據(jù)智能技術(shù)，構(gòu)建支持渠道自動(dòng)化交互場(chǎng)景的實(shí) 時(shí)營(yíng)銷(xiāo)和實(shí)時(shí)風(fēng)控應(yīng)用。按應(yīng)用場(chǎng)景分離的數(shù)據(jù)處理集群架 構(gòu)按照應(yīng)用場(chǎng)景需求的差異，基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)管理平 臺(tái)可分為四大數(shù)據(jù)應(yīng)用集群，并可在其上構(gòu)建不同的應(yīng)用系 統(tǒng)和公共應(yīng)用數(shù)據(jù)服務(wù)： （1）在線(xiàn)應(yīng)用集群。主要面向在線(xiàn) 數(shù)據(jù)應(yīng)用系統(tǒng)，有高并發(fā)低延遲應(yīng)用服務(wù)響應(yīng)要求。 （ 2）歷史數(shù)據(jù)分析集群。主要面向數(shù)據(jù)歷史數(shù)據(jù)分析應(yīng)用、分支機(jī) 構(gòu)數(shù)據(jù)開(kāi)放、業(yè)務(wù)團(tuán)隊(duì)數(shù)據(jù)自主探索和數(shù)據(jù)挖掘建模。 （ 3） 非結(jié)構(gòu)化應(yīng)用集群。主要針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、全文檢 索

22、和處理（包括文本分析、圖像識(shí)別等）需求。 （ 4）實(shí)時(shí)流 處理和日志分析集群。主要針對(duì)實(shí)時(shí)流處理應(yīng)用，特點(diǎn)是大 規(guī)?？焖賹?xiě)入需求，原始流數(shù)據(jù)的生命期較短，快進(jìn)快出， 一般可采用批處理模式進(jìn)一步壓縮提煉形成歷史統(tǒng)計(jì)數(shù)據(jù)， 用于實(shí)時(shí)流數(shù)據(jù)的機(jī)器學(xué)習(xí)與模式識(shí)別。數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用體系 建設(shè) 1. 結(jié)構(gòu)化數(shù)據(jù)分層技術(shù)架構(gòu)基于大數(shù)據(jù)平臺(tái)構(gòu)建數(shù)據(jù) 倉(cāng)庫(kù)結(jié)構(gòu)化數(shù)據(jù)應(yīng)用的整體架構(gòu)包括如下層級(jí)結(jié)構(gòu)：1） 源系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)：源系統(tǒng)按大數(shù)據(jù)平臺(tái)的供數(shù)規(guī)范要求提供表 數(shù)據(jù)文本和標(biāo)志文件。 2）文件交換區(qū) FSA ：文件的交換中樞， 含源系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)（主要是外 部數(shù)據(jù)）。 3）源數(shù)據(jù)緩存區(qū) ODM

23、：結(jié)構(gòu)化數(shù)據(jù)接入，在線(xiàn)數(shù) 據(jù)平臺(tái)的源數(shù)據(jù)歷史層 HDM 、基礎(chǔ)數(shù)據(jù)模型層的數(shù)據(jù)來(lái)源。 4）源數(shù)據(jù)歷史層 HDM ：源數(shù)據(jù)緩存區(qū)數(shù)據(jù)接入。 5）基礎(chǔ)數(shù)據(jù) 模型層 FDM ：源數(shù)據(jù)按數(shù)據(jù)倉(cāng)庫(kù)模型加工后存儲(chǔ)， 源數(shù)據(jù)緩 存區(qū)數(shù)據(jù)接入，公共數(shù)據(jù)模型層 CDM 的主要數(shù)據(jù)來(lái)源。僅 大數(shù)據(jù)平臺(tái)各數(shù)據(jù)層數(shù)據(jù)存儲(chǔ)和內(nèi)部流轉(zhuǎn)用。 6） 公共數(shù)據(jù)模 型層 CDM ：聚焦客戶(hù)營(yíng)銷(xiāo)和風(fēng)險(xiǎn)管理等業(yè)務(wù)領(lǐng)域公共需求 的銀行信息資產(chǎn)加工和存儲(chǔ)，源數(shù)據(jù)緩存區(qū)、基礎(chǔ)數(shù)據(jù)模型 層數(shù)據(jù)接入，數(shù)據(jù)服務(wù)接口的主要數(shù)據(jù)來(lái)源。 7） 數(shù)據(jù)服務(wù)接口 DSI ：在線(xiàn)數(shù)據(jù)平臺(tái)的對(duì)外數(shù)據(jù)服務(wù)接口， 源數(shù)據(jù)歷史層、 公共數(shù)據(jù)模型層數(shù)據(jù)接入， BI 應(yīng)

24、用集市的數(shù)據(jù)來(lái)源。 8）歷史 數(shù)據(jù)服務(wù)接口：歷史數(shù)據(jù)平臺(tái)的對(duì)外數(shù)據(jù)服務(wù)接口，源數(shù)據(jù) 歷史層、公共數(shù)據(jù)模型層數(shù)據(jù)接入，各類(lèi)查詢(xún)應(yīng)用的數(shù)據(jù)來(lái) 源。 9）綜合監(jiān)管集市：包括銀監(jiān)標(biāo)準(zhǔn)化 EAST 應(yīng)用在內(nèi)的綜 合監(jiān)管集市，數(shù)據(jù)服務(wù)接口的數(shù)據(jù)接入，綜合監(jiān)管應(yīng)用的數(shù) 據(jù)來(lái)源。 10） 數(shù)據(jù)分析集市： BI 統(tǒng)計(jì)分析類(lèi)應(yīng)用所在的數(shù)據(jù) 集市，公共數(shù)據(jù)匯總層 ADM 的加工和存儲(chǔ)，數(shù)據(jù)服務(wù)接口 的數(shù)據(jù)接入。 11） 統(tǒng)一調(diào)度平臺(tái)：大數(shù)據(jù)平臺(tái) ETL 過(guò)程的統(tǒng) 一作業(yè)調(diào)度監(jiān)控，包括：調(diào)度、監(jiān)控、日志、處理四部份內(nèi) 容。 2.應(yīng)用遷移數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用遷移主要包括在線(xiàn)數(shù)據(jù)平臺(tái)與 歷史數(shù)據(jù)平臺(tái)兩部分（不包含非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用

25、） 。應(yīng)用遷 移的主要目標(biāo)是建設(shè)在線(xiàn)數(shù)據(jù)平臺(tái)、歷史數(shù)據(jù)平臺(tái)，設(shè)計(jì)公 共數(shù)據(jù)模型， 并實(shí)現(xiàn)包括銀監(jiān)標(biāo)準(zhǔn)化 EAST 等內(nèi)建監(jiān)管報(bào)送 應(yīng)用的數(shù)據(jù)切換。整體設(shè)計(jì)思路分為數(shù)據(jù)移植、在線(xiàn)數(shù)據(jù)平 臺(tái)、歷史數(shù)據(jù)平臺(tái)、銀監(jiān)標(biāo)準(zhǔn)化 EAST 應(yīng)用遷移四個(gè)部分。 （1 ）數(shù)據(jù)移植流程利用 Sqoop 技術(shù)連接原數(shù)據(jù)倉(cāng)庫(kù)抽取數(shù) 據(jù)到 hdfs 文件系統(tǒng)；將原數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取到 hdfs 文件 系統(tǒng)后，在大數(shù)據(jù)平臺(tái)中構(gòu)建映射在這些數(shù)據(jù)文件上的外表， 其表結(jié)構(gòu)與原數(shù)據(jù)倉(cāng)庫(kù)表結(jié)構(gòu)一致；在構(gòu)建外表后，數(shù)據(jù)平 臺(tái)已可以查詢(xún)到原數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)， 為構(gòu)建數(shù)據(jù)平臺(tái)的 HDM 層源數(shù)據(jù)備份，還需將這部分的數(shù)據(jù)進(jìn)行還原操作。（ 2）

26、在 線(xiàn)數(shù)據(jù)平臺(tái)在線(xiàn)數(shù)據(jù)平臺(tái)集中了源數(shù)據(jù)緩沖層、源數(shù)據(jù)歷史 層、基礎(chǔ)數(shù)據(jù)模型層和公共數(shù)據(jù)模型層。源數(shù)據(jù)緩沖層作為 外部業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入層，單日緩存業(yè)務(wù)系統(tǒng)每日數(shù)據(jù)，供 歷史明細(xì)層程序處理已存入基礎(chǔ)數(shù)據(jù)平臺(tái)。基礎(chǔ)數(shù)據(jù)模型層 保留了留原數(shù)據(jù)倉(cāng)庫(kù)部分基礎(chǔ)數(shù)據(jù)模型，以支持公共數(shù)據(jù)模 型及其他應(yīng)用數(shù)據(jù)需求，保存模型歷史數(shù)據(jù)。公共數(shù)據(jù)模型 層，為數(shù)據(jù)倉(cāng)庫(kù)的主體數(shù)據(jù)體，是支撐數(shù)據(jù)匯總、數(shù)據(jù)分析 的多緯度數(shù)據(jù)集市。 （ 3）歷史數(shù)據(jù)平臺(tái)歷史數(shù)據(jù)平臺(tái)是在線(xiàn) 數(shù)據(jù)平臺(tái)的數(shù)據(jù)備份，每日數(shù)據(jù)同步。歷史數(shù)據(jù)平臺(tái)源數(shù)據(jù) 備份結(jié)構(gòu)與在線(xiàn)數(shù)據(jù)平臺(tái)一致，保存永久數(shù)據(jù)。歷史數(shù)據(jù)平 臺(tái)公共數(shù)據(jù)模型備份結(jié)構(gòu)與在線(xiàn)數(shù)據(jù)平臺(tái)一致，保存永久

27、數(shù) 據(jù)。并依托公共數(shù)據(jù)模型的歷史，構(gòu)建歷史數(shù)據(jù)查詢(xún)服務(wù)模 型接口。（ 4）銀監(jiān)標(biāo)準(zhǔn)化 EAST 等應(yīng)用遷移 EAST 等系統(tǒng)改 造內(nèi)容主要是數(shù)據(jù)連接改造 （ JDBC-hadoop ）和參數(shù)配置調(diào) 整，不包括系統(tǒng)功能和流程。由于 EAST 等系統(tǒng)數(shù)據(jù)結(jié)構(gòu)為 Oracle 表，存儲(chǔ)過(guò)程為 Oracle 存儲(chǔ)過(guò)程，需根據(jù)大數(shù)據(jù)平 臺(tái)的特性對(duì)表結(jié)構(gòu)進(jìn)行重構(gòu)，支持大數(shù)據(jù)平臺(tái)的存儲(chǔ)過(guò)程格 式，并進(jìn)行數(shù)據(jù)移植。 3.公共數(shù)據(jù)集市建設(shè)恒豐銀行當(dāng)前數(shù) 據(jù)倉(cāng)庫(kù)存在應(yīng)用離散、冗余數(shù)據(jù)加工、資源緊張等問(wèn)題。所 以，公共數(shù)據(jù)模型的建設(shè)需要統(tǒng)一需求管控，建立更大的項(xiàng) 目資源池，減少重復(fù)開(kāi)發(fā)，規(guī)劃應(yīng)用方向；統(tǒng)一計(jì)算口徑，

28、 減少數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制，減少重復(fù)數(shù)據(jù)加工；同時(shí)，能夠滿(mǎn)足不同應(yīng)用場(chǎng)景的共性需求，穩(wěn)妥推進(jìn)新技術(shù)應(yīng)用。在主 題模型領(lǐng)域，根據(jù)主題 +業(yè)務(wù)方式進(jìn)行數(shù)據(jù)存儲(chǔ)，以具體業(yè) 務(wù)為依據(jù)提練主題要素，涵蓋客戶(hù)、事件、產(chǎn)品、作業(yè)、財(cái) 務(wù)績(jī)效、資產(chǎn)管理、市場(chǎng)與公共元信息（如費(fèi)率、利率與匯 率）。依據(jù)可重用性、安全性、高可用性、可管理性、可擴(kuò) 展性、高性能的設(shè)計(jì)原則， 采取總體規(guī)劃、 分層實(shí)現(xiàn)的方式。 構(gòu)建公共模型層，數(shù)據(jù)來(lái)源主要包括行內(nèi)數(shù)據(jù)、同業(yè)數(shù)據(jù)和 外部數(shù)據(jù)三大部分：行內(nèi)數(shù)據(jù)：行內(nèi)的業(yè)務(wù)系統(tǒng)、管理系統(tǒng) 數(shù)據(jù)：核心、企貸、個(gè)貸、囯結(jié)等數(shù)十個(gè)源系統(tǒng)。九大類(lèi)數(shù) 據(jù)整合為公共數(shù)據(jù)模型七大主題，根據(jù)相應(yīng)主題+業(yè)務(wù)劃分

29、對(duì)源數(shù)據(jù)進(jìn)行重新整合分類(lèi)歸總。同業(yè)數(shù)據(jù)：同業(yè)數(shù)據(jù)包括 監(jiān)管當(dāng)局和其他銀行披露的各項(xiàng)業(yè)務(wù)指標(biāo)：規(guī)模數(shù)據(jù)、盈利 數(shù)據(jù)、風(fēng)險(xiǎn)數(shù)據(jù)。外部數(shù)據(jù)：從外部采購(gòu)或抓取的數(shù)據(jù)，如 公司、司法、輿情、宏觀(guān)數(shù)據(jù)。 4. 數(shù)據(jù)治理目標(biāo)實(shí)現(xiàn)利用大 數(shù)據(jù)平臺(tái)提供的數(shù)據(jù)處理能力，針對(duì)數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo) 準(zhǔn)管理、元數(shù)據(jù)管理三個(gè)方面建立了一套完善的數(shù)據(jù)生命周 期管理體系，建立統(tǒng)一的數(shù)據(jù)口徑和數(shù)據(jù)規(guī)范。數(shù)據(jù)質(zhì)量管 理：通過(guò)組件化的腳本對(duì)多數(shù)據(jù)源數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查， 將存在數(shù)據(jù)結(jié)構(gòu)、字段分隔符、記錄換行符、數(shù)據(jù)編碼格式 等問(wèn)題的臟數(shù)據(jù)在入庫(kù)前過(guò)濾出來(lái)，并通過(guò)數(shù)據(jù)入庫(kù)稽核的 方式，將不符合表結(jié)構(gòu)定義的臟數(shù)據(jù)單獨(dú)輸出到臟數(shù)據(jù)記錄

30、表，支持表的字段閾值以及質(zhì)量檢測(cè)條件（如統(tǒng)計(jì)值，約束 條件）等的定義，結(jié)合工作流調(diào)度引擎將數(shù)據(jù)質(zhì)量檢測(cè)貫穿 在整個(gè) ETL 過(guò)程中， 并提供告警信息， 通知運(yùn)維人員進(jìn)行處 理。數(shù)據(jù)標(biāo)準(zhǔn)管理：結(jié)合數(shù)據(jù)治理成果，將數(shù)據(jù)標(biāo)準(zhǔn)定義納 入系統(tǒng)管理，并以此為基礎(chǔ)，提供數(shù)據(jù)質(zhì)量自動(dòng)化檢測(cè)的依 據(jù)。元數(shù)據(jù)管理：提供行內(nèi)數(shù)據(jù)資產(chǎn)概覽，開(kāi)放元數(shù)據(jù)查詢(xún) 管理應(yīng)用，提供數(shù)據(jù)血緣分析和追溯能力。 5. 數(shù)據(jù)探索與業(yè) 務(wù)建模通過(guò) Rstudio 和其他面向業(yè)務(wù)用戶(hù)的圖形化工具，可 進(jìn)行可視化交互式數(shù)據(jù)挖掘與統(tǒng)計(jì)分析，深度挖掘數(shù)據(jù)價(jià)值 并建立業(yè)務(wù)數(shù)據(jù)模型，實(shí)現(xiàn)分析和預(yù)測(cè)功能，增強(qiáng)企業(yè)的決 策判斷力，提高商業(yè)智能化水平，提升

31、客戶(hù)體驗(yàn)，快速響應(yīng) 市場(chǎng)變化。在可視化交互式數(shù)據(jù)挖掘工具基礎(chǔ)上，恒豐銀行 構(gòu)建了業(yè)務(wù)模型實(shí)驗(yàn)室應(yīng)用，通過(guò)實(shí)現(xiàn)了一個(gè)集模型開(kāi)發(fā)、 模型驗(yàn)證、策略分析等業(yè)務(wù)功能于一體的環(huán)境，使得業(yè)務(wù)模 型和策略的開(kāi)發(fā)、維護(hù)、優(yōu)化以及升級(jí)等工作更加標(biāo)準(zhǔn)化， 實(shí)現(xiàn)一定程度的自動(dòng)化，提高了業(yè)務(wù)建模的整體效率。 6. 開(kāi) 發(fā)專(zhuān)業(yè)數(shù)據(jù)集市與創(chuàng)新應(yīng)用恒豐銀行詳細(xì)規(guī)劃了各管理分 析領(lǐng)域的業(yè)務(wù)應(yīng)用場(chǎng)景，形成了營(yíng)銷(xiāo)主題、風(fēng)險(xiǎn)主題、客戶(hù) 主題、資訊主題等專(zhuān)業(yè)共享數(shù)據(jù)集市，為具體管理分析域的 業(yè)務(wù)應(yīng)用提供了基礎(chǔ)明細(xì)層、共享加工層、結(jié)果數(shù)據(jù)存儲(chǔ)和 對(duì)外服務(wù)接口。同時(shí)針對(duì)各業(yè)務(wù)條線(xiàn)和經(jīng)營(yíng)單位關(guān)注點(diǎn)，進(jìn) 一步加工面向業(yè)務(wù)分析用途的主題匯總寬

32、表，以此為基礎(chǔ)結(jié) 合公共數(shù)據(jù)集市明細(xì)表開(kāi)放，構(gòu)建業(yè)務(wù)部門(mén)分析集市和各分 行數(shù)據(jù)集市。在基于大數(shù)據(jù)技術(shù)的創(chuàng)新應(yīng)用開(kāi)發(fā)方面，大數(shù) 據(jù)平臺(tái)上已經(jīng)陸續(xù)構(gòu)建了業(yè)務(wù)可視化分析平臺(tái)、精準(zhǔn)營(yíng)銷(xiāo)、 全面風(fēng)險(xiǎn)預(yù)警、客戶(hù)關(guān)系管理、移動(dòng)銷(xiāo)售作業(yè)系統(tǒng)、財(cái)富管 理系統(tǒng)、大數(shù)據(jù)資訊平臺(tái)、交易反欺詐、信用卡交易監(jiān)測(cè)、 用戶(hù)行為分析、客戶(hù)生命周期管理、運(yùn)營(yíng)風(fēng)險(xiǎn)監(jiān)測(cè)等 30 多 個(gè)上層應(yīng)用，充分發(fā)揮大數(shù)據(jù)平臺(tái)在海量數(shù)據(jù)計(jì)算、非結(jié)構(gòu) 化數(shù)據(jù)處理、實(shí)時(shí)流數(shù)據(jù)處理、內(nèi)存計(jì)算與列式存儲(chǔ)等領(lǐng)域 的能力與優(yōu)勢(shì)。 7.全方位提升金融服務(wù)能力為提升對(duì)實(shí)體經(jīng) 濟(jì)的金融服務(wù)支撐能力，恒豐銀行積極整合包括行業(yè)、市場(chǎng) 相關(guān)的外部數(shù)據(jù)，構(gòu)建業(yè)務(wù)發(fā)展規(guī)劃平臺(tái)，聚焦新興產(chǎn)業(yè)、 三農(nóng)和小微企業(yè)，配備合理的信貸資源和人力資源，主動(dòng)提 供一站式的綜合金融解決方案?；诤阖S銀行專(zhuān)業(yè)的產(chǎn)業(yè)經(jīng) 濟(jì)研究能力，我們也規(guī)劃通過(guò)移動(dòng)互聯(lián)應(yīng)用，向企業(yè)提供專(zhuān) 業(yè)的行業(yè)研究和市場(chǎng)分析情報(bào)，通過(guò)自建產(chǎn)業(yè)鏈交易撮合平臺(tái)、020服務(wù)平臺(tái)，降低企業(yè)交易成本與產(chǎn)品庫(kù)存，加速資金周轉(zhuǎn)。通過(guò)與核心企業(yè)、電商平臺(tái)合作，整合實(shí)體經(jīng)濟(jì)交 易數(shù)據(jù)，共建服務(wù)于特定區(qū)域和產(chǎn)業(yè)鏈的大數(shù)據(jù)應(yīng)用。運(yùn)用 集團(tuán)授信、平臺(tái)項(xiàng)目授信等多種授信管理創(chuàng)新模式，實(shí)現(xiàn)對(duì) 三農(nóng)