商業(yè)銀行大數(shù)據(jù)建設規(guī)劃

XX銀行大數(shù)據(jù)建設規(guī)劃一、項目背景隨著信息化程度的加深，以及移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的崛起，人們產(chǎn)生的數(shù)據(jù)急劇膨脹，傳統(tǒng)的數(shù)據(jù)解決技術難以支撐數(shù)據(jù)大量的增加和解決能力。通過近幾年的發(fā)展，大數(shù)據(jù)技術逐步成熟，能夠協(xié)助公司整合更多的數(shù)據(jù)，從海量數(shù)據(jù)中挖掘出隱藏價值。大數(shù)據(jù)已經(jīng)從“概念”走向“價值”，逐步進入實施驗證階段。人們越來越盼望能實現(xiàn)海量數(shù)據(jù)的解決，從數(shù)據(jù)中發(fā)現(xiàn)價值。數(shù)據(jù)越來越成為一種重要的資產(chǎn)。在Gartner技術炒作曲線的報告中也體現(xiàn)了大數(shù)據(jù)技術將走向?qū)嶋H應用。我行已深刻認識到數(shù)據(jù)戰(zhàn)略對公司運行以及公司將來發(fā)展方向的重要性?；ヂ?lián)網(wǎng)金融的本質(zhì)是金融，核心是數(shù)據(jù)，載體是平臺，核心是客戶體驗，發(fā)展趨勢是互聯(lián)網(wǎng)與金融的深度融合，要提高大數(shù)據(jù)奉獻度。因此，要深化互聯(lián)網(wǎng)思維理念，穩(wěn)步推動互聯(lián)網(wǎng)金融產(chǎn)品和服務模式創(chuàng)新，主動運用移動互聯(lián)網(wǎng)、大數(shù)據(jù)等新技術新手段，從容應對沖擊和挑戰(zhàn)，實現(xiàn)傳統(tǒng)金融與互聯(lián)網(wǎng)金融的融合發(fā)展。做好海量異構(gòu)數(shù)據(jù)的專業(yè)化整合集成、關聯(lián)共享、安全防護和維護管理，深度挖掘數(shù)據(jù)內(nèi)含的巨大價值，探索銀行業(yè)務創(chuàng)新，實現(xiàn)數(shù)據(jù)資源的綜合應用、深度應用，已成為提高公司核心競爭力，實現(xiàn)公司信息化可持續(xù)發(fā)展的核心途徑。按照行領導布署，信息科技部組織力量對大數(shù)據(jù)技術進行研究，完畢對市場上主流的大數(shù)據(jù)平臺及應用技術預研，征求業(yè)務部門建議，提出項目建設規(guī)定。二、建設目的以大數(shù)據(jù)項目建設作為契機，凝聚我行優(yōu)勢力量，全方面梳理數(shù)據(jù)資源，完善數(shù)據(jù)體系架構(gòu)，自主掌握大數(shù)據(jù)核心技術，加速大數(shù)據(jù)資源的開發(fā)運用,將數(shù)據(jù)決策化貫穿到經(jīng)營管理全流程，建設智慧銀行，提高核心競爭力。（一）建設大數(shù)據(jù)基礎設施，完善全行數(shù)據(jù)體系架構(gòu)構(gòu)建大數(shù)據(jù)平臺，實現(xiàn)更廣泛的半構(gòu)造化、非構(gòu)造化數(shù)據(jù)集中采集、存儲、加工、分析和應用，極大地豐富我行的信息資源，同現(xiàn)有的公司級數(shù)據(jù)倉庫和歷史數(shù)據(jù)存儲系統(tǒng)一起，形成基礎數(shù)據(jù)體系，提供支撐經(jīng)營管理的各類數(shù)據(jù)應用。（二）開發(fā)大數(shù)據(jù)資源，支撐全行經(jīng)營管理創(chuàng)新建設離線數(shù)據(jù)分析、實時數(shù)據(jù)/流數(shù)據(jù)分析集群和各類數(shù)據(jù)分析集市，提供高性能可擴展的分布式計算引擎，通過數(shù)據(jù)挖掘、計量分析和機器學習等手段，對豐富的大數(shù)據(jù)資源進行開發(fā)使用，并將數(shù)據(jù)決策化過程結(jié)合到風控、營銷、營運等經(jīng)營管理活動。（三）培養(yǎng)大數(shù)據(jù)人才隊伍，建立大數(shù)據(jù)分析能力結(jié)合大數(shù)據(jù)項目的落地實施，建立起一支大數(shù)據(jù)技術和分析人員隊伍，含有自主運行和開發(fā)大數(shù)據(jù)的能力，以更加好推動業(yè)務創(chuàng)新，提高我行核心競爭力。三、發(fā)展趨勢近年來，銀行業(yè)大力發(fā)展面對客戶的新一代核心業(yè)務系統(tǒng)，信息系統(tǒng)建設日趨完備，電子銀行等在線金融服務大幅增加，在提高客戶體驗和風險管控能力、滿足監(jiān)管各項規(guī)定的同時，形成并儲存了龐大的可用數(shù)據(jù)資源。銀行業(yè)的數(shù)據(jù)資源不僅涉及存貸匯等構(gòu)造化數(shù)據(jù)，也涉及客戶瀏覽痕跡、在線交易統(tǒng)計等非構(gòu)造化數(shù)據(jù)，還包含客戶電話語音、網(wǎng)點視頻等非構(gòu)造化數(shù)據(jù)。，銀行業(yè)的電話統(tǒng)計數(shù)據(jù)、業(yè)務數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)、構(gòu)造化數(shù)據(jù)和非構(gòu)造化數(shù)據(jù)的數(shù)據(jù)規(guī)模分別達成938T、1688T、3125T、5313T和3938T。Celent公司預計將來5年將增加7倍。除數(shù)據(jù)本身的快速增加外，銀行業(yè)面臨的更大的挑戰(zhàn)是大數(shù)據(jù)帶來的業(yè)務挑戰(zhàn)，這涉及：小微貸市場上，銀行與互聯(lián)網(wǎng)小額貸款公司難以競爭；支付市場中，網(wǎng)銀支付所占比重越來越低，這使得銀行越來越難以懂得客戶的消費行為；多個互聯(lián)網(wǎng)融資模式的出現(xiàn)，在將來可能會超出以銀行為中心的間接融資。全部這些挑戰(zhàn)，本質(zhì)上是銀行對于客戶的理解程度相對越來越弱。麥肯錫指出，在大數(shù)據(jù)時代，不能充足形成大數(shù)據(jù)使用能力的競爭者將被裁減。（一）同業(yè)案例狀況國內(nèi)領先的商業(yè)銀行已經(jīng)啟動大數(shù)據(jù)平臺的建設，并應用于精確營銷、風險管理和業(yè)務創(chuàng)新等領域，以獲得競爭優(yōu)勢。工商銀行通過構(gòu)建大數(shù)據(jù)平臺，收集網(wǎng)銀顧客的行為軌跡并進行分析，精確營銷，擴大銷售，優(yōu)化網(wǎng)銀服務模塊的質(zhì)量，提高客戶體驗。招商銀行通過大數(shù)據(jù)平臺構(gòu)建全量數(shù)據(jù)分析和挖掘平臺，推出在線明細，實時征信，精確營銷等創(chuàng)新業(yè)務，提高小微貸獲客率。上海銀行構(gòu)建大數(shù)據(jù)平臺，用于對客戶的資金的流入流出分析。中信銀行、光大銀行、平安銀行、民生銀行都在建設本身的大數(shù)據(jù)平臺。（二）業(yè)務應用場景大數(shù)據(jù)技術在銀行業(yè)的應用范疇涉及：客戶洞察、營銷支撐、風險管控和營運優(yōu)化等領域?？蛻舳床旆治鲱櫩偷亩鄠€數(shù)據(jù)，涉及電話語音、網(wǎng)絡的監(jiān)控錄像、商城交易信息、金融業(yè)務信息以及外部的社交信息、第三方履約行為等多方面信息，從而實現(xiàn)對客戶進行分類和服務。對現(xiàn)有CRM系統(tǒng)中的客戶分層的數(shù)據(jù)要素進行延伸。營銷支撐實時營銷：是根據(jù)客戶的實時狀態(tài)來進行營銷，如客戶當時的所在地、客戶近來一次消費等信息來有針對地進行營銷。社交網(wǎng)絡營銷：重要是微博營銷，這重要是捕獲顧客的言論和行為，并有針對地開展有關營銷活動。事件式營銷：將變化生活的事件視為營銷機會，如換工作、變化婚姻狀況、置業(yè)等。風險管控信用評級：運用社交網(wǎng)絡、行為特性、交易網(wǎng)、基本社會特性、人行征信等多個維度對客戶綜合評級，運用大量的指標構(gòu)建多重模型，以識別客戶的信用風險。反欺詐：通過監(jiān)控客戶、賬戶和渠道等，提高銀行在交易、轉(zhuǎn)賬和在線付款等領域防御欺詐的能力。在監(jiān)控客戶行為時，能夠識別出潛在的違規(guī)客戶，提示工作人員對其予以重點關注，從而節(jié)省反欺詐監(jiān)控資源。營運優(yōu)化改善顧客體驗：運用大數(shù)據(jù)能夠解決海量數(shù)據(jù)的能力，將傳統(tǒng)數(shù)據(jù)統(tǒng)計分析等業(yè)務切換到數(shù)據(jù)解決能力更強的平臺，來解決查詢歷史數(shù)據(jù)的困難，提高顧客體驗?？头行膬?yōu)化：通過對客服中心的數(shù)據(jù)分析，允許銀行提前預測顧客需求用以快速地解決問題，能夠快速滿足顧客的需求。減少運行成本：大數(shù)據(jù)平臺采用普通的PC服務器和便宜存儲，相對原有的小型機的硬件架構(gòu)，能夠有效的減少IT運行成本。四、平臺建設原則平臺是大數(shù)據(jù)的基礎實施，其建設、設計和系統(tǒng)實現(xiàn)過程中，應遵照以下指導原則：經(jīng)濟性：基于現(xiàn)有場景分析，對三年內(nèi)的數(shù)據(jù)量進行合理評定，擬定大數(shù)據(jù)平臺規(guī)模，后續(xù)根據(jù)實際狀況再逐步優(yōu)化擴容?？蓴U展性：架構(gòu)設計與功效劃分模塊化，考慮各接口的開放性、可擴展性，便于系統(tǒng)的快速擴展與維護，便于第三方系統(tǒng)的快速接入?？煽啃裕合到y(tǒng)采用的系統(tǒng)構(gòu)造、技術方法、開發(fā)手段都應建立在已經(jīng)相稱成熟的應用基礎上，在技術服務和維護響應上同顧客主動配合，確保系統(tǒng)的可靠；對數(shù)據(jù)指標要確保完整性，精確性。安全性：針對系統(tǒng)級、應用級、網(wǎng)絡級，均提供合理的安全手段和方法，為系統(tǒng)提供全方位的安全實施方案，確保公司內(nèi)部信息的安全。大數(shù)據(jù)技術必須自主可控。先進性：涵蓋構(gòu)造化，半構(gòu)造化和非構(gòu)造化數(shù)據(jù)存儲和分析的特點。借鑒互聯(lián)網(wǎng)大數(shù)據(jù)存儲及分析的實踐，使平臺含有良好的先進性和彈性。支撐現(xiàn)在及將來數(shù)據(jù)應用需求，引入對應大數(shù)據(jù)有關技術。平臺性：歸納整頓大數(shù)據(jù)需求，形成統(tǒng)一的大數(shù)據(jù)存儲服務和大數(shù)據(jù)分析服務。運用多租戶,實現(xiàn)計算負荷和數(shù)據(jù)訪問負荷隔離。多集群統(tǒng)一管理。分層解耦：大數(shù)據(jù)平臺提供開放的、原則的接口，實現(xiàn)與各應用產(chǎn)品的無縫對接。五、分析應用規(guī)劃大數(shù)據(jù)項目實施在保持核心賬務系統(tǒng)穩(wěn)定同時，實現(xiàn)外圍IT架構(gòu)逐步向開放架構(gòu)演進，同時逐步吸納互聯(lián)網(wǎng)技術創(chuàng)新，應對大數(shù)據(jù)技術的快速發(fā)展和進化。以全行三年戰(zhàn)略發(fā)展規(guī)劃和十三五規(guī)劃為導向，借鑒同業(yè)和互聯(lián)網(wǎng)公司的先進經(jīng)驗，分步實施分析應用，基礎平臺、外圍系統(tǒng)改造以及業(yè)務流程優(yōu)化對應地進行配套調(diào)節(jié)。規(guī)劃的大數(shù)據(jù)平臺及應用的整體架構(gòu)以下：大數(shù)據(jù)平臺重點功效模塊定位以下：基礎數(shù)據(jù)集群使用分布式文獻系統(tǒng)和數(shù)據(jù)庫等組件實現(xiàn)全量構(gòu)造化數(shù)據(jù)和非構(gòu)造化數(shù)據(jù)存儲，并提供原則接口或Rest原則接口，上層業(yè)務以只讀方式訪問。數(shù)據(jù)使用平臺集成的工具批量導入導出。在線解決集群基礎數(shù)據(jù)集群中的寄存的往往是低價值密度的數(shù)據(jù)，通過加工解決后，提取出高價值密度的數(shù)據(jù)，放入在線查詢集群，支撐實時業(yè)務、自助查詢等高并發(fā)，低時延的數(shù)據(jù)查詢。離線解決集群離線數(shù)據(jù)解決集群重要用于海量數(shù)據(jù)的分析解決，提供數(shù)據(jù)挖掘、數(shù)據(jù)探索功效框架，從海量數(shù)據(jù)中提取高密度價值的數(shù)據(jù)。合用于對海量顧客行為數(shù)據(jù)挖掘、建模，以支撐以客戶為中心的精確營銷、決策分析等應用場景。流式解決集群使用流式解決組件，將實時數(shù)據(jù)接入。通過注入實時業(yè)務解決規(guī)則，對事件做分析解決，實時決策。流事件解決過程中，需要訪問基礎集群或在線解決集群，獲取必要的支撐信息，如風險信息表、黑白名單、歷史交易信息等，規(guī)定支持每秒萬級別并發(fā)數(shù)據(jù)訪問。合用于信用卡授權風險控制、移動在線支付、在線統(tǒng)計分析等對實時性規(guī)定較高的場景。大數(shù)據(jù)平臺的數(shù)據(jù)來源及應用場景規(guī)劃以下：計劃分三步進行實施，以下：（一）完畢大數(shù)據(jù)基礎平臺的搭建，構(gòu)建簡樸的查詢分析應用，科技人員熟悉平臺核心技術和開發(fā)技能?；A平臺完畢大數(shù)據(jù)平臺的搭建，實現(xiàn)平臺的基礎功效和基礎數(shù)據(jù)集群。完畢HDS歷史數(shù)據(jù)、科技運維日志、網(wǎng)銀日志、智能營銷網(wǎng)頁信息數(shù)據(jù)的存儲。構(gòu)建多個數(shù)據(jù)挖掘算法庫。完畢基礎數(shù)據(jù)平臺對外數(shù)據(jù)服務的原則化接口。分析應用完畢資金流向分析主題和歷史數(shù)據(jù)內(nèi)部查詢交易。提出直銷銀行、手機銀行、微信銀行的數(shù)據(jù)采集點數(shù)據(jù)規(guī)定。提出用于支撐營銷的個人信息的數(shù)據(jù)采集規(guī)定。外圍系統(tǒng)改造完畢直銷銀行、手機銀行、微信銀行的數(shù)據(jù)采集點改造，將行為日志數(shù)據(jù)統(tǒng)計下來。（二）-完善大數(shù)據(jù)基礎平臺，增加離線數(shù)據(jù)解決集群，采集行內(nèi)各系統(tǒng)產(chǎn)生的客戶行為數(shù)據(jù)，第三方合作機構(gòu)（含同業(yè)）的外部數(shù)據(jù)，豐富客戶營銷、風險管理方面的數(shù)據(jù)信息，探索大數(shù)據(jù)同云計算平臺的結(jié)合，構(gòu)建對應的分析應用系統(tǒng)，將數(shù)據(jù)決策融入營銷和風控過程?？萍既藛T掌握平臺核心技術，能夠自主營運開發(fā)。基礎平臺增加離線數(shù)據(jù)解決集群，完善多個數(shù)據(jù)挖掘算法庫，用于對海量數(shù)據(jù)進行加工解決，分析應用。采集客戶行為數(shù)據(jù)，涉及直銷銀行、手機銀行、微信銀行等。遷移影像平臺的歷史數(shù)據(jù)。采集同業(yè)產(chǎn)品信息，我行網(wǎng)上輿論信息，特定客戶和行內(nèi)的互聯(lián)網(wǎng)輿情信息，第三方合作機構(gòu)、銀銀合作平臺的外部數(shù)據(jù)。分析應用構(gòu)建數(shù)據(jù)分析應用云計算平臺，實現(xiàn)半構(gòu)造化、非構(gòu)造化數(shù)據(jù)的解析功效，完善支撐數(shù)據(jù)分析應用集市，提供更多的數(shù)據(jù)服務，實現(xiàn)靈活進一步的客戶細分、專業(yè)化的營銷與銷售、優(yōu)化管理流程，提高運作效率、減少管理成本。重要應用方向涉及：客戶畫像分析（個性化理財、交叉銷售、客戶挽留）。輿情分析（對產(chǎn)品的比較、評價等反饋，進行營運優(yōu)化）。網(wǎng)站分析（手機終端、微信、直銷銀行等），分析客戶行為?？萍歼\維優(yōu)化（結(jié)合ITSM、系統(tǒng)運維日志分析事件、問題的關聯(lián)性、各類統(tǒng)計等）。信用風險（在現(xiàn)有的信用評級體系中，增加外部數(shù)據(jù)來源，優(yōu)化評級成果），完善自動化授信審批，特別是針對小微公司或特定產(chǎn)品，推出信貸差別化定價體系，做到對不同產(chǎn)品、不同行業(yè)、不同區(qū)域?qū)嵤┎顒e化定價。分析個人的活躍地址、商戶的地址，結(jié)合個人移動終端地理位置信息推送商戶營銷信息；針對交易流水，結(jié)合MCC類別碼，識別出客戶愛好。業(yè)務流程將客戶畫像、行為分析成果反饋到CRM系統(tǒng)用于營銷支持。將網(wǎng)站分析成果反饋到網(wǎng)站營運中，優(yōu)化布局。將信用評級成果反饋到現(xiàn)有的信貸授信過程。（三）后來完善大數(shù)據(jù)基礎平臺，增加在線和流式數(shù)據(jù)解決集群，通過構(gòu)建計量模型和機器學習算法，針對數(shù)據(jù)分析的成果，對實時業(yè)務進行自動、快速的數(shù)據(jù)化決策支持?？萍既藛T純熟掌握平臺核心技術?；A平臺增加在線和流式數(shù)據(jù)解決集群，用于對海量數(shù)據(jù)進