金融行業(yè)大數(shù)據(jù)解決方案與案例

1、金融行業(yè)大數(shù)據(jù)解決方案與案例銀行大數(shù)據(jù)平臺(tái)整體架構(gòu)圖數(shù)據(jù)源層數(shù)據(jù)交換層總行數(shù)據(jù)交換平臺(tái)數(shù)據(jù)處理層數(shù)據(jù)應(yīng)用層結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)Hadoopcore統(tǒng)一訪問(wèn)、統(tǒng)一監(jiān)控、統(tǒng)一調(diào)度統(tǒng)一展示、統(tǒng)一報(bào)送、統(tǒng)一元數(shù)據(jù)管理分布式文件系統(tǒng)HDFS并行處理MapReduce并行調(diào)度YARN數(shù)據(jù)倉(cāng)庫(kù)BATCHNoSQLIndexStreamGraphIn-memoryAd-Hoc QuerySecurityGovernance蜂窩圖柱狀圖儀表盤(pán)餅圖漏斗、錐形圖外部數(shù)據(jù)源人行工商公積金公安九項(xiàng)資產(chǎn)黑名單流程自生產(chǎn)數(shù)據(jù)催收系統(tǒng)，全量C卡并行化，審批系統(tǒng)審批流程記錄等行內(nèi)共享數(shù)據(jù)行內(nèi)數(shù)據(jù)集市，傳統(tǒng)數(shù)倉(cāng)共享數(shù)據(jù)。數(shù)據(jù)裝

2、載數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換資金集市風(fēng)控集市信貸集市內(nèi)存計(jì)算Spark光大銀行案例集光大銀行總行大數(shù)據(jù)項(xiàng)目中國(guó)光大銀行歷史數(shù)據(jù)在線查詢系統(tǒng)建設(shè)項(xiàng)目（1期、2期、3期）中國(guó)光大銀行現(xiàn)鈔冠字號(hào)碼查詢信息系統(tǒng)項(xiàng)目（1期、2期）國(guó)內(nèi)第一個(gè)Hadoop技術(shù)在銀行業(yè)務(wù)系統(tǒng)的落地實(shí)現(xiàn)，國(guó)內(nèi)落地了唯一滿足銀監(jiān)會(huì)要求雙活Hadoop集群容災(zāi)系統(tǒng)。系統(tǒng)上線后于2014年獲得IDC金融最佳創(chuàng)新獎(jiǎng)。全行3個(gè)月45億現(xiàn)鈔清分?jǐn)?shù)據(jù)的采集、存儲(chǔ)、處理和查詢，滿足全行1000多網(wǎng)點(diǎn)的毫秒級(jí)查詢響應(yīng)級(jí)別。中國(guó)光大銀行工單文本數(shù)據(jù)挖掘項(xiàng)目基于大數(shù)據(jù)平臺(tái)，利用Hive、Hbase、Spark等組件，集合自然語(yǔ)言處理引擎，實(shí)現(xiàn)對(duì)光大信用卡中心

3、工單文本數(shù)據(jù)的挖掘。中國(guó)光大銀行大數(shù)據(jù)挖掘平臺(tái)項(xiàng)目基于大數(shù)據(jù)平臺(tái)和模型算法訓(xùn)練平臺(tái)MaximAI，聯(lián)合建設(shè)了適用于光大銀行數(shù)據(jù)分析挖掘的綜合算法研究開(kāi)發(fā)平臺(tái)。光大銀行總行規(guī)劃推進(jìn)的項(xiàng)目中國(guó)光大銀行數(shù)據(jù)產(chǎn)品應(yīng)用系統(tǒng)項(xiàng)目中國(guó)光大銀行大屏實(shí)時(shí)展示系統(tǒng)項(xiàng)目基于大數(shù)據(jù)平臺(tái)，開(kāi)發(fā)實(shí)現(xiàn)機(jī)器學(xué)習(xí)、復(fù)雜網(wǎng)絡(luò)等模型算法產(chǎn)品在生產(chǎn)環(huán)境上落地使用的服務(wù)系統(tǒng)，為全行各個(gè)業(yè)務(wù)部門(mén)營(yíng)銷(xiāo)和風(fēng)控等業(yè)務(wù)活動(dòng)提供有力的數(shù)據(jù)支撐?；诖髷?shù)據(jù)平臺(tái)，利用Hadoop流式處理技術(shù)，建設(shè)全行業(yè)務(wù)數(shù)據(jù)動(dòng)態(tài)實(shí)時(shí)播報(bào)系統(tǒng)，并通過(guò)數(shù)據(jù)可視化的服務(wù)表達(dá)方式在行內(nèi)大屏實(shí)時(shí)展示。中國(guó)光大銀行風(fēng)險(xiǎn)一體化大數(shù)據(jù)平臺(tái)基于大數(shù)據(jù)平臺(tái)，融合信用卡全流程數(shù)據(jù)，做到貸

4、前，貸中，貸后的客戶全流程化管理，同時(shí)構(gòu)建客戶統(tǒng)一的風(fēng)險(xiǎn)視圖興業(yè)銀行客戶標(biāo)簽化背景在大數(shù)據(jù)時(shí)代，以互聯(lián)網(wǎng)為代表的現(xiàn)代信息科技將從根本上改變金融運(yùn)營(yíng)模式。數(shù)據(jù)在呈現(xiàn)出海量化、多樣化、傳輸快速化和價(jià)值化的變化趨勢(shì)的同時(shí)，也改變了傳統(tǒng)金融行業(yè)的市場(chǎng)競(jìng)爭(zhēng)環(huán)境、營(yíng)銷(xiāo)策略和服務(wù)模式對(duì)商業(yè)銀行而言，基于客戶特征集合形成的客戶標(biāo)簽有成百上千、甚至成千上萬(wàn)個(gè)，這些標(biāo)簽在構(gòu)建時(shí)的業(yè)務(wù)目的和適用場(chǎng)景各有不同。隨著應(yīng)用標(biāo)簽的場(chǎng)景越來(lái)越豐富，商業(yè)銀行也會(huì)逐漸形成一套完整的客戶標(biāo)簽體系。備注標(biāo)簽邏輯架構(gòu)用戶畫(huà)像生產(chǎn)和應(yīng)用：邏輯架構(gòu)處理流程備注業(yè)務(wù)系統(tǒng)數(shù)據(jù)探查標(biāo)簽寬表標(biāo)簽?zāi)Ｐ陀?jì)算標(biāo)簽?zāi)Ｐ徒灰资纠龜?shù)據(jù)交易日期客戶卡號(hào)交易金額

5、商戶類(lèi)型交易描述：愛(ài)車(chē)一族交易描述：家有熊孩交易描述：精致奢華交易描述：紙醉金迷交易描述：小資派示例手機(jī)銀行日志業(yè)務(wù)類(lèi)型用戶標(biāo)識(shí)手機(jī)品牌二期實(shí)時(shí)營(yíng)銷(xiāo)架構(gòu)圖備注系統(tǒng)截圖人民銀行征信中心企業(yè)關(guān)聯(lián)關(guān)系，擔(dān)保閉環(huán)大數(shù)據(jù)技術(shù)如何應(yīng)用到關(guān)聯(lián)關(guān)系查詢中（最佳方案）企業(yè)主體標(biāo)識(shí)數(shù)據(jù)投資關(guān)系數(shù)據(jù)擔(dān)保關(guān)系數(shù)據(jù)信貸信息數(shù)據(jù)原始信息Hadoop的分布式存儲(chǔ)技術(shù)有效支撐大數(shù)據(jù)量存儲(chǔ)數(shù)據(jù)處理主體信息數(shù)據(jù)關(guān)系信息數(shù)據(jù)原始信息信貸信息數(shù)據(jù)轉(zhuǎn)換、歸整Hadoop的并行計(jì)算技術(shù)有效支撐大規(guī)模的數(shù)據(jù)處理任務(wù)數(shù)據(jù)建模數(shù)據(jù)模型Hadoop的并行計(jì)算技術(shù)有效實(shí)現(xiàn)數(shù)據(jù)模型創(chuàng)建并存于圖數(shù)據(jù)庫(kù)中圖數(shù)據(jù)庫(kù)圖形數(shù)據(jù)庫(kù)數(shù)據(jù)計(jì)算數(shù)據(jù)模型迭代計(jì)算圖形數(shù)

6、據(jù)庫(kù)圖計(jì)算引擎通過(guò)圖計(jì)算引擎對(duì)圖數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行關(guān)系計(jì)算結(jié)果查詢結(jié)果數(shù)據(jù)通過(guò)大數(shù)據(jù)的數(shù)據(jù)庫(kù)技術(shù)提供計(jì)算結(jié)果的快速查詢場(chǎng)景分析數(shù)據(jù)特點(diǎn)企業(yè)企業(yè)擔(dān)保關(guān)系企業(yè)企業(yè)投資關(guān)系企業(yè)企業(yè)實(shí)際控制企業(yè)個(gè)人高管關(guān)系個(gè)人個(gè)人家族關(guān)系邏輯視圖關(guān)系對(duì)兒復(fù)雜網(wǎng)絡(luò)某金融機(jī)構(gòu)企業(yè)關(guān)聯(lián)關(guān)系查詢文本數(shù)據(jù)擔(dān)保關(guān)系對(duì)家族關(guān)系對(duì)投資關(guān)系對(duì)集團(tuán)關(guān)系對(duì)0 1 0 1 0 1 01 1 0 1 0 1 10 1 0 1 1 1 01 1 0 1 0 1 11 1 0 1 1 1 11 1 0 1 1 1 11 1 0 1 1 1 1鄰接矩陣復(fù)雜網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)匯總構(gòu)建模型企業(yè)關(guān)系網(wǎng)絡(luò)某金融機(jī)構(gòu)企業(yè)關(guān)聯(lián)關(guān)系查詢BDCN計(jì)算引擎BDCN復(fù)雜網(wǎng)絡(luò)W

7、arshall算法Breath-First Search，BFS算法Deep-First Search，DFS算法擔(dān)保圈發(fā)現(xiàn)企業(yè)關(guān)聯(lián)關(guān)系查找技術(shù)與算法支撐擔(dān)保圈應(yīng)用-場(chǎng)景商業(yè)銀行A企業(yè)1放貸擔(dān)保企業(yè)1企業(yè)2擔(dān)保商業(yè)銀行B放貸企業(yè)1擔(dān)保擔(dān)保商業(yè)銀行C放貸商業(yè)銀行D放貸擔(dān)保圈形成商業(yè)銀行不能看到擔(dān)保鏈條全部。未知的信息帶來(lái)巨大的金融風(fēng)險(xiǎn)。泰康人壽精準(zhǔn)營(yíng)銷(xiāo)基于無(wú)監(jiān)督機(jī)器學(xué)習(xí)技術(shù)的客戶流失分析年收入2.9萬(wàn)，總標(biāo)保1.5萬(wàn)以上，高達(dá)9萬(wàn)的兩全產(chǎn)品，產(chǎn)品覆蓋面齊全年收入高達(dá)18萬(wàn)，總標(biāo)保只有1萬(wàn)，壽險(xiǎn)和年金金額較高，無(wú)投連產(chǎn)品年收入2.9萬(wàn)，高達(dá)6.3萬(wàn)的萬(wàn)能產(chǎn)品，產(chǎn)品覆蓋面齊全年收入只有0.3萬(wàn)，高達(dá)

8、7.7萬(wàn)的投連產(chǎn)品年收入9.7萬(wàn)，標(biāo)保只有0.5萬(wàn)年收入只有0.8萬(wàn)，高達(dá)2.9萬(wàn)的年金產(chǎn)品年收入4.8萬(wàn)，總標(biāo)保2.6萬(wàn)以上，高達(dá)7.6萬(wàn)的年金產(chǎn)品，產(chǎn)品覆蓋面齊全客戶分群按照不同視角選擇變量，進(jìn)行客戶分群將客戶分群結(jié)果與業(yè)務(wù)解讀進(jìn)行校對(duì)調(diào)整分群大小的顆粒度，尋找最優(yōu)值產(chǎn)品推薦根據(jù)客戶產(chǎn)品購(gòu)買(mǎi)行為，運(yùn)用關(guān)聯(lián)規(guī)則分析模型，生成二次購(gòu)買(mǎi)產(chǎn)品推薦列表流失預(yù)警圈定已流失客戶群體，尋找群體特征根據(jù)此特征形成客戶流失預(yù)測(cè)模型計(jì)算每個(gè)客戶的流失概率個(gè)性臉譜為每位客戶生成特征描述、二開(kāi)產(chǎn)品推薦、客戶流失概率泰康人壽精準(zhǔn)推薦產(chǎn)品和服務(wù)對(duì)公司全部投保人客戶進(jìn)行全量數(shù)據(jù)分析基于有監(jiān)督機(jī)器學(xué)習(xí)技術(shù)的客戶流失分析客戶

9、1客戶2客戶3客戶4基本信息購(gòu)買(mǎi)數(shù)據(jù)理賠數(shù)據(jù)健康數(shù)據(jù)繳費(fèi)數(shù)據(jù)呼叫數(shù)據(jù)HDFS已流失客戶清洗、轉(zhuǎn)換規(guī)整、建模有監(jiān)督學(xué)習(xí)算法模型訓(xùn)練成熟的算法模型基于有監(jiān)督機(jī)器學(xué)習(xí)技術(shù)的客戶流失分析成熟的算法模型客戶1客戶2客戶3客戶4基本信息購(gòu)買(mǎi)數(shù)據(jù)理賠數(shù)據(jù)健康數(shù)據(jù)繳費(fèi)數(shù)據(jù)呼叫數(shù)據(jù)現(xiàn)有客戶客戶1客戶2客戶3客戶4流失預(yù)警穩(wěn)定客戶客戶經(jīng)理用戶界面借貸寶熟人借貸借貸寶復(fù)雜網(wǎng)絡(luò)應(yīng)用借貸寶首創(chuàng)熟人間單向匿名借貸模式（即借款人實(shí)名、出借人匿名），通過(guò)互聯(lián)網(wǎng)人與人之間的連接機(jī)制，實(shí)現(xiàn)直接金融交易；利用熟人之間的天然關(guān)系，極大程度的減少甚至消除信息不對(duì)稱(chēng)；還利用熟人圈的聲譽(yù)機(jī)制和信息收集便利，實(shí)現(xiàn)對(duì)惡意欠債者的天然約束與高效催收。已完成二輪25億融資，總估值超500億。國(guó)內(nèi)頂級(jí)私募機(jī)構(gòu)九鼎控股傾力打造的熟人間借貸平臺(tái)。熟人借貸風(fēng)險(xiǎn)定價(jià)分析利用復(fù)雜網(wǎng)絡(luò)技術(shù)的社交關(guān)系網(wǎng)進(jìn)行分析，評(píng)估個(gè)人信用風(fēng)險(xiǎn)，量化借貸利率?；趶?fù)雜網(wǎng)絡(luò)技術(shù)的風(fēng)險(xiǎn)識(shí)別掮客長(zhǎng)鏈條從復(fù)雜的借貸關(guān)系網(wǎng)絡(luò)中發(fā)現(xiàn)掮客長(zhǎng)鏈條，預(yù)測(cè)風(fēng)險(xiǎn)深度。出借人掮客掮客掮客掮客掮客掮客基于復(fù)雜網(wǎng)絡(luò)技術(shù)的風(fēng)險(xiǎn)識(shí)別風(fēng)險(xiǎn)群體識(shí)別物以類(lèi)聚，人以群分，眾多節(jié)點(diǎn)關(guān)系稠密，編織在一起，會(huì)形成一社群，社群中的節(jié)點(diǎn)的相似性極高，當(dāng)社群中的一些節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)，與其相似的節(jié)點(diǎn)的潛在風(fēng)險(xiǎn)性也會(huì)越高。欺詐群體基于復(fù)雜網(wǎng)絡(luò)技術(shù)的風(fēng)險(xiǎn)識(shí)別旁氏騙局識(shí)別有大量的資金從多個(gè)借