商業(yè)銀行-大數(shù)據(jù)建設(shè)規(guī)劃匯編

1、XX銀行大數(shù)據(jù)建設(shè)規(guī)劃一、項目背景隨著信息化程度的加深，以及移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的崛起，人們產(chǎn)生的數(shù)據(jù)急劇膨脹，傳統(tǒng)的數(shù)據(jù)處理技術(shù)難以支撐數(shù)據(jù)大量的增長和處理能力。經(jīng)過近幾年的發(fā)展，大數(shù)據(jù)技術(shù)逐步成熟，可以幫助企業(yè)整合更多的數(shù)據(jù)，從海量數(shù)據(jù)中挖掘出隱藏價值。大數(shù)據(jù)已經(jīng)從“概念”走向“價值”，逐步進入實施驗證階段。人們越來越期望能實現(xiàn)海量數(shù)據(jù)的處理，從數(shù)據(jù)中發(fā)現(xiàn)價值。數(shù)據(jù)越來越成為一種重要的資產(chǎn)。在2014年Gartner技術(shù)炒作曲線的報告中也體現(xiàn)了大數(shù)據(jù)技術(shù)將走向?qū)嶋H應(yīng)用。我行已深刻認識到數(shù)據(jù)戰(zhàn)略對企業(yè)運營以及企業(yè)未來發(fā)展方向的重要性?；ヂ?lián)網(wǎng)金融的本質(zhì)是金融，核心是數(shù)據(jù)，載體是平臺，關(guān)鍵是客戶體

2、驗，發(fā)展趨勢是互聯(lián)網(wǎng)與金融的深度融合，要提升大數(shù)據(jù)貢獻度。因此，要深化互聯(lián)網(wǎng)思維理念，穩(wěn)步推進互聯(lián)網(wǎng)金融產(chǎn)品和服務(wù)模式創(chuàng)新，積極利用移動互聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)新手段，沉著應(yīng)對沖擊和挑戰(zhàn)，實現(xiàn)傳統(tǒng)金融與互聯(lián)網(wǎng)金融的融合發(fā)展。做好海量異構(gòu)數(shù)據(jù)的專業(yè)化整合集成、關(guān)聯(lián)共享、安全防護和維護管理，深度挖掘數(shù)據(jù)內(nèi)含的巨大價值，探索銀行業(yè)務(wù)創(chuàng)新，實現(xiàn)數(shù)據(jù)資源的綜合應(yīng)用、深度應(yīng)用，已成為提升企業(yè)核心競爭力，實現(xiàn)企業(yè)信息化可持續(xù)發(fā)展的關(guān)鍵途徑。按照行領(lǐng)導(dǎo)部署，信息科技部組織力量對大數(shù)據(jù)技術(shù)進行研究，完成對市場上主流的大數(shù)據(jù)平臺及應(yīng)用技術(shù)預(yù)研，征求業(yè)務(wù)部門建議，提出項目建設(shè)要求。二、建設(shè)目標(biāo)以大數(shù)據(jù)項目建設(shè)作為契機

3、，凝聚我行優(yōu)勢力量，全面梳理數(shù)據(jù)資源，完善數(shù)據(jù)體系架構(gòu)，自主掌握大數(shù)據(jù)關(guān)鍵技術(shù)，加速大數(shù)據(jù)資源的開發(fā)利用,將數(shù)據(jù)決策化貫穿到經(jīng)營管理全流程，建設(shè)智慧銀行，提升核心競爭力。（一）建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施，完善全行數(shù)據(jù)體系架構(gòu)構(gòu)建大數(shù)據(jù)平臺，實現(xiàn)更廣泛的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)集中采集、存儲、加工、分析和應(yīng)用，極大地豐富我行的信息資源，同現(xiàn)有的企業(yè)級數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲系統(tǒng)一起，形成基礎(chǔ)數(shù)據(jù)體系，提供支撐經(jīng)營管理的各類數(shù)據(jù)應(yīng)用。（二）開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新建設(shè)離線數(shù)據(jù)分析、實時數(shù)據(jù)/流數(shù)據(jù)分析集群和各類數(shù)據(jù)分析集市，提供高性能可擴展的分布式計算引擎，通過數(shù)據(jù)挖掘、計量分析和機器學(xué)習(xí)等手段，

4、對豐富的大數(shù)據(jù)資源進行開發(fā)使用，并將數(shù)據(jù)決策化過程結(jié)合到風(fēng)控、營銷、營運等經(jīng)營管理活動。（三）培養(yǎng)大數(shù)據(jù)人才隊伍，建立大數(shù)據(jù)分析能力結(jié)合大數(shù)據(jù)項目的落地實施，建立起一支大數(shù)據(jù)技術(shù)和分析人員隊伍，具備自主運營和開發(fā)大數(shù)據(jù)的能力，以更好推動業(yè)務(wù)創(chuàng)新，提升我行核心競爭力。三、發(fā)展趨勢近年來，銀行業(yè)大力發(fā)展面向客戶的新一代核心業(yè)務(wù)系統(tǒng)，信息系統(tǒng)建設(shè)日趨完備，電子銀行等在線金融服務(wù)大幅增長，在提升客戶體驗和風(fēng)險管控能力、滿足監(jiān)管各項要求的同時，形成并儲存了龐大的可用數(shù)據(jù)資源。銀行業(yè)的數(shù)據(jù)資源不僅包括存貸匯等結(jié)構(gòu)化數(shù)據(jù)，也包括客戶瀏覽痕跡、在線交易記錄等非結(jié)構(gòu)化數(shù)據(jù)，還包含客戶電話語音、網(wǎng)點視頻等非結(jié)構(gòu)化

5、數(shù)據(jù)。2012年，銀行業(yè)的電話記錄數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模分別達到938T、1688T、3125T、5313T 和 3938T。Celent公司預(yù)計未來5年將增長7倍。除數(shù)據(jù)本身的快速增長外，銀行業(yè)面臨的更大的挑戰(zhàn)是大數(shù)據(jù)帶來的業(yè)務(wù)挑戰(zhàn)，這包括：小微貸市場上，銀行與互聯(lián)網(wǎng)小額貸款公司難以競爭；支付市場中，網(wǎng)銀支付所占比重越來越低，這使得銀行越來越難以知道客戶的消費行為；各種互聯(lián)網(wǎng)融資模式的出現(xiàn)，在未來可能會超過以銀行為中心的間接融資。所有這些挑戰(zhàn)，本質(zhì)上是銀行對于客戶的了解程度相對越來越弱。麥肯錫指出，在大數(shù)據(jù)時代，不能充分形成大數(shù)據(jù)使用能力的競爭者將被

6、淘汰。（一）同業(yè)案例情況國內(nèi)領(lǐng)先的商業(yè)銀行已經(jīng)啟動大數(shù)據(jù)平臺的建設(shè)，并應(yīng)用于精準(zhǔn)營銷、風(fēng)險管理和業(yè)務(wù)創(chuàng)新等領(lǐng)域，以獲得競爭優(yōu)勢。工商銀行通過構(gòu)建大數(shù)據(jù)平臺，收集網(wǎng)銀用戶的行為軌跡并進行分析，精準(zhǔn)營銷，擴大銷售，優(yōu)化網(wǎng)銀服務(wù)模塊的質(zhì)量，提升客戶體驗。招商銀行通過大數(shù)據(jù)平臺構(gòu)建全量數(shù)據(jù)分析和挖掘平臺，推出在線明細，實時征信，精準(zhǔn)營銷等創(chuàng)新業(yè)務(wù)，提升小微貸獲客率。上海銀行構(gòu)建大數(shù)據(jù)平臺，用于對客戶的資金的流入流出分析。中信銀行、光大銀行、平安銀行、民生銀行都在建設(shè)自身的大數(shù)據(jù)平臺。（二）業(yè)務(wù)應(yīng)用場景大數(shù)據(jù)技術(shù)在銀行業(yè)的應(yīng)用范圍包括：客戶洞察、營銷支撐、風(fēng)險管控和營運優(yōu)化等領(lǐng)域。l 客戶洞察分析用戶的

7、各種數(shù)據(jù)，包括電話語音、網(wǎng)絡(luò)的監(jiān)控錄像、商城交易信息、金融業(yè)務(wù)信息以及外部的社交信息、第三方履約行為等多方面信息，從而實現(xiàn)對客戶進行分類和服務(wù)。對現(xiàn)有CRM系統(tǒng)中的客戶分層的數(shù)據(jù)要素進行延伸。l 營銷支撐實時營銷：是根據(jù)客戶的實時狀態(tài)來進行營銷，如客戶當(dāng)時的所在地、客戶最近一次消費等信息來有針對地進行營銷。社交網(wǎng)絡(luò)營銷：主要是微博營銷，這主要是捕捉用戶的言論和行為，并有針對地開展相關(guān)營銷活動。事件式營銷：將改變生活的事件視為營銷機會，如換工作、改變婚姻狀況、置業(yè)等。l 風(fēng)險管控信用評級：運用社交網(wǎng)絡(luò)、行為特征、交易網(wǎng)、基本社會特征、人行征信等多個維度對客戶綜合評級，運用大量的指標(biāo)構(gòu)建多重模型，

8、以識別客戶的信用風(fēng)險。反欺詐：通過監(jiān)控客戶、賬戶和渠道等，提高銀行在交易、轉(zhuǎn)賬和在線付款等領(lǐng)域防御欺詐的能力。在監(jiān)控客戶行為時，可以識別出潛在的違規(guī)客戶，提示工作人員對其予以重點關(guān)注，從而節(jié)省反欺詐監(jiān)控資源。l 營運優(yōu)化改善用戶體驗：運用大數(shù)據(jù)能夠處理海量數(shù)據(jù)的能力，將傳統(tǒng)數(shù)據(jù)統(tǒng)計分析等業(yè)務(wù)切換到數(shù)據(jù)處理能力更強的平臺，來解決查詢歷史數(shù)據(jù)的困難，提升用戶體驗?？头行膬?yōu)化：通過對客服中心的數(shù)據(jù)分析，允許銀行提前預(yù)測用戶需求用以快速地解決問題，能夠快速滿足用戶的需求。降低運營成本：大數(shù)據(jù)平臺采用普通的PC服務(wù)器和廉價存儲，相對原有的小型機的硬件架構(gòu)，可以有效的降低IT運營成本。四、平臺建設(shè)原則平

9、臺是大數(shù)據(jù)的基礎(chǔ)實施，其建設(shè)、設(shè)計和系統(tǒng)實現(xiàn)過程中，應(yīng)遵循如下指導(dǎo)原則：l 經(jīng)濟性：基于現(xiàn)有場景分析，對三年內(nèi)的數(shù)據(jù)量進行合理評估，確定大數(shù)據(jù)平臺規(guī)模，后續(xù)根據(jù)實際情況再逐步優(yōu)化擴容。l 可擴展性：架構(gòu)設(shè)計與功能劃分模塊化，考慮各接口的開放性、可擴展性，便于系統(tǒng)的快速擴展與維護，便于第三方系統(tǒng)的快速接入。l 可靠性：系統(tǒng)采用的系統(tǒng)結(jié)構(gòu)、技術(shù)措施、開發(fā)手段都應(yīng)建立在已經(jīng)相當(dāng)成熟的應(yīng)用基礎(chǔ)上，在技術(shù)服務(wù)和維護響應(yīng)上同用戶積極配合，確保系統(tǒng)的可靠；對數(shù)據(jù)指標(biāo)要保證完整性，準(zhǔn)確性。l 安全性：針對系統(tǒng)級、應(yīng)用級、網(wǎng)絡(luò)級，均提供合理的安全手段和措施，為系統(tǒng)提供全方位的安全實施方案，確保企業(yè)內(nèi)部信息的安全

10、。大數(shù)據(jù)技術(shù)必須自主可控。l 先進性：涵蓋結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲和分析的特點。借鑒互聯(lián)網(wǎng)大數(shù)據(jù)存儲及分析的實踐，使平臺具有良好的先進性和彈性。支撐當(dāng)前及未來數(shù)據(jù)應(yīng)用需求，引入對應(yīng)大數(shù)據(jù)相關(guān)技術(shù)。l 平臺性：歸納整理大數(shù)據(jù)需求，形成統(tǒng)一的大數(shù)據(jù)存儲服務(wù)和大數(shù)據(jù)分析服務(wù)。利用多租戶, 實現(xiàn)計算負荷和數(shù)據(jù)訪問負荷隔離。多集群統(tǒng)一管理。l 分層解耦：大數(shù)據(jù)平臺提供開放的、標(biāo)準(zhǔn)的接口，實現(xiàn)與各應(yīng)用產(chǎn)品的無縫對接。五、分析應(yīng)用規(guī)劃大數(shù)據(jù)項目實施在保持核心賬務(wù)系統(tǒng)穩(wěn)定同時，實現(xiàn)外圍IT架構(gòu)逐步向開放架構(gòu)演進，同時逐步吸納互聯(lián)網(wǎng)技術(shù)創(chuàng)新，應(yīng)對大數(shù)據(jù)技術(shù)的快速發(fā)展和進化。以全行三年戰(zhàn)略發(fā)展規(guī)劃和十三

11、五規(guī)劃為導(dǎo)向，借鑒同業(yè)和互聯(lián)網(wǎng)企業(yè)的先進經(jīng)驗，分步實施分析應(yīng)用，基礎(chǔ)平臺、外圍系統(tǒng)改造以及業(yè)務(wù)流程優(yōu)化相應(yīng)地進行配套調(diào)整。規(guī)劃的大數(shù)據(jù)平臺及應(yīng)用的整體架構(gòu)如下：大數(shù)據(jù)平臺重點功能模塊定位如下：l 基礎(chǔ)數(shù)據(jù)集群使用分布式文件系統(tǒng)和數(shù)據(jù)庫等組件實現(xiàn)全量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲，并提供標(biāo)準(zhǔn)接口或Rest標(biāo)準(zhǔn)接口，上層業(yè)務(wù)以只讀方式訪問。數(shù)據(jù)使用平臺集成的工具批量導(dǎo)入導(dǎo)出。l 在線處理集群基礎(chǔ)數(shù)據(jù)集群中的存放的往往是低價值密度的數(shù)據(jù)，經(jīng)過加工處理后，提取出高價值密度的數(shù)據(jù)，放入在線查詢集群，支撐實時業(yè)務(wù)、自助查詢等高并發(fā)，低時延的數(shù)據(jù)查詢。l 離線處理集群離線數(shù)據(jù)處理集群主要用于海量數(shù)據(jù)的分析處理

12、，提供數(shù)據(jù)挖掘、數(shù)據(jù)探索功能框架，從海量數(shù)據(jù)中提取高密度價值的數(shù)據(jù)。適用于對海量用戶行為數(shù)據(jù)挖掘、建模，以支撐以客戶為中心的精準(zhǔn)營銷、決策分析等應(yīng)用場景。l 流式處理集群使用流式處理組件，將實時數(shù)據(jù)接入。通過注入實時業(yè)務(wù)處理規(guī)則，對事件做分析處理，實時決策。流事件處理過程中，需要訪問基礎(chǔ)集群或在線處理集群，獲取必要的支撐信息，如風(fēng)險信息表、黑白名單、歷史交易信息等，要求支持每秒萬級別并發(fā)數(shù)據(jù)訪問。適用于信用卡授權(quán)風(fēng)險控制、移動在線支付、在線統(tǒng)計分析等對實時性要求較高的場景。大數(shù)據(jù)平臺的數(shù)據(jù)來源及應(yīng)用場景規(guī)劃如下：計劃分三步進行實施，如下：（一）2015年完成大數(shù)據(jù)基礎(chǔ)平臺的搭建，構(gòu)建簡單的查詢

13、分析應(yīng)用，科技人員熟悉平臺關(guān)鍵技術(shù)和開發(fā)技能。l 基礎(chǔ)平臺完成大數(shù)據(jù)平臺的搭建，實現(xiàn)平臺的基礎(chǔ)功能和基礎(chǔ)數(shù)據(jù)集群。完成HDS歷史數(shù)據(jù)、科技運維日志、網(wǎng)銀日志、智能營銷網(wǎng)頁信息數(shù)據(jù)的存儲。構(gòu)建多種數(shù)據(jù)挖掘算法庫。完成基礎(chǔ)數(shù)據(jù)平臺對外數(shù)據(jù)服務(wù)的標(biāo)準(zhǔn)化接口。l 分析應(yīng)用完成資金流向分析主題和歷史數(shù)據(jù)內(nèi)部查詢交易。提出直銷銀行、手機銀行、微信銀行的數(shù)據(jù)采集點數(shù)據(jù)要求。提出用于支撐營銷的個人信息的數(shù)據(jù)采集要求。l 外圍系統(tǒng)改造完成直銷銀行、手機銀行、微信銀行的數(shù)據(jù)采集點改造，將行為日志數(shù)據(jù)記錄下來。（二）2016-2017年完善大數(shù)據(jù)基礎(chǔ)平臺，增加離線數(shù)據(jù)處理集群，采集行內(nèi)各系統(tǒng)產(chǎn)生的客戶行為數(shù)據(jù)，第三

14、方合作機構(gòu)（含同業(yè)）的外部數(shù)據(jù)，豐富客戶營銷、風(fēng)險管理方面的數(shù)據(jù)信息，探索大數(shù)據(jù)同云計算平臺的結(jié)合，構(gòu)建相應(yīng)的分析應(yīng)用系統(tǒng)，將數(shù)據(jù)決策融入營銷和風(fēng)控過程。科技人員掌握平臺關(guān)鍵技術(shù)，能夠自主營運開發(fā)。l 基礎(chǔ)平臺增加離線數(shù)據(jù)處理集群，完善多種數(shù)據(jù)挖掘算法庫，用于對海量數(shù)據(jù)進行加工處理，分析應(yīng)用。采集客戶行為數(shù)據(jù)，包括直銷銀行、手機銀行、微信銀行等。遷移影像平臺的歷史數(shù)據(jù)。采集同業(yè)產(chǎn)品信息，我行網(wǎng)上輿論信息，特定客戶和行內(nèi)的互聯(lián)網(wǎng)輿情信息，第三方合作機構(gòu)、銀銀合作平臺的外部數(shù)據(jù)。l 分析應(yīng)用構(gòu)建數(shù)據(jù)分析應(yīng)用云計算平臺，實現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的解析功能，完善支撐數(shù)據(jù)分析應(yīng)用集市，提供更多的數(shù)據(jù)服

15、務(wù)，實現(xiàn)靈活深入的客戶細分、專業(yè)化的營銷與銷售、優(yōu)化管理流程，提升運作效率、降低管理成本。主要應(yīng)用方向包括：客戶畫像分析（個性化理財、交叉銷售、客戶挽留）。輿情分析（對產(chǎn)品的比較、評價等反饋，進行營運優(yōu)化）。網(wǎng)站分析（手機終端、微信、直銷銀行等），分析客戶行為。科技運維優(yōu)化（結(jié)合ITSM、系統(tǒng)運維日志分析事件、問題的關(guān)聯(lián)性、各類統(tǒng)計等）。信用風(fēng)險（在現(xiàn)有的信用評級體系中，增加外部數(shù)據(jù)來源，優(yōu)化評級結(jié)果），完善自動化授信審批，尤其是針對小微企業(yè)或特定產(chǎn)品，推出信貸差異化定價體系，做到對不同產(chǎn)品、不同行業(yè)、不同區(qū)域?qū)嵤┎顒e化定價。分析個人的活躍地址、商戶的地址，結(jié)合個人移動終端地理位置信息推送商戶營銷信息；針對交易流水，結(jié)合MCC類別碼，識別出客戶愛好。l 業(yè)務(wù)流程將客戶畫像、行為分析結(jié)果反饋到CRM系統(tǒng)用于營銷支持。將網(wǎng)站分析結(jié)果反饋到網(wǎng)站營運中，優(yōu)化布局。將信用評級結(jié)果反饋到現(xiàn)有的信貸授信過程。（三）2018年以后完善大數(shù)據(jù)基礎(chǔ)平臺，增加在線和流式數(shù)據(jù)處理集群，通過構(gòu)建計量模型和機器學(xué)習(xí)算法，針對數(shù)據(jù)分析的結(jié)果，對實時業(yè)務(wù)進行自動、快速的數(shù)據(jù)化決策支持?？萍既藛T熟練掌握平臺關(guān)鍵技術(shù)。l 基礎(chǔ)平臺增加在線和流式數(shù)據(jù)處理集群，用于對海量數(shù)據(jù)進行