消費金融大數(shù)據(jù)風(fēng)控架構(gòu)設(shè)計

1、 消費金融大數(shù)據(jù)風(fēng)控架構(gòu)設(shè)計目 錄 TOC o 1-3 h z u HYPERLINK l _Toc517183352 1.風(fēng)險在哪里 PAGEREF _Toc517183352 h 3 HYPERLINK l _Toc517183353 1.1.信用風(fēng)險 PAGEREF _Toc517183353 h 3 HYPERLINK l _Toc517183354 1.2.欺詐風(fēng)險 PAGEREF _Toc517183354 h 3 HYPERLINK l _Toc517183355 2.主要挑戰(zhàn) PAGEREF _Toc517183355 h 4 HYPERLINK l _Toc517183356

2、 3.全生命周期管理 PAGEREF _Toc517183356 h 5 HYPERLINK l _Toc517183357 4.架構(gòu)實踐 PAGEREF _Toc517183357 h 5 HYPERLINK l _Toc517183358 4.1.業(yè)務(wù)架構(gòu) PAGEREF _Toc517183358 h 5 HYPERLINK l _Toc517183359 4.2.技術(shù)架構(gòu) PAGEREF _Toc517183359 h 7 HYPERLINK l _Toc517183360 4.3.反欺詐平臺 PAGEREF _Toc517183360 h 9 HYPERLINK l _Toc5171

3、83361 4.4.變量平臺 PAGEREF _Toc517183361 h 17 HYPERLINK l _Toc517183362 5.總結(jié) PAGEREF _Toc517183362 h 19風(fēng)險在哪里信用風(fēng)險根據(jù)銀行業(yè)的風(fēng)險理論，信用風(fēng)險是指借款人因各種原因未能及時、足額償還債權(quán)人或銀行貸款而違約的可能性。信用風(fēng)險的風(fēng)控重點在于，甄別客戶違約的原因究竟是還款能力，還是還款意愿問題。如果客戶真的由于各方面的原因，暫時不具備還款能力，這是概率問題。即使發(fā)生了，處置起來也不會有什么損失。而如果是還款意愿問題，存在較大的資金損失概率。欺詐風(fēng)險在風(fēng)控中，欺詐風(fēng)險比信用風(fēng)險要大得多，所以反欺詐是重

4、中之重。一般來說正常的客戶，如果不是刻意騙貸的，只是因為家里出現(xiàn)突發(fā)事故、生意出現(xiàn)問題、暫時失業(yè)等等原因而導(dǎo)致資金周轉(zhuǎn)不過來而逾期的，這畢竟是少數(shù)，而且借款只是逾期，能夠還款的概率還是比較高。消費金融行業(yè)絕大多數(shù)不良是因為欺詐引起的，如果反欺詐能夠比較有效的情況下，信用風(fēng)險控制在5%以內(nèi)沒有太大問題。主要挑戰(zhàn)消費金融發(fā)放的借款都就小額分散的，沒有任何抵押和擔(dān)保的情況。隨著消費金融行業(yè)的崛起和規(guī)模擴(kuò)大，整個行業(yè)面臨的欺詐問題越來越嚴(yán)重，一批批的羊毛黨和欺詐等黑產(chǎn)團(tuán)體接踵而來。黑產(chǎn)團(tuán)隊的規(guī)模越大，意味著消費金融機(jī)構(gòu)的損失越大。欺詐風(fēng)險目前是整體消費金融風(fēng)控的重點，目前整個行業(yè)75%甚至以上的風(fēng)險都

5、是來自欺詐風(fēng)險。形式有很多種，如常見的身份偽冒、中介黑產(chǎn)、偽造材料、惡意套現(xiàn)等。欺詐主體一是申請本人或親戚朋友，二是借用或盜用別人的身份信息進(jìn)行欺詐。欺詐主體的不同，防范風(fēng)險的手段和形式也不同。全生命周期管理一個完整的風(fēng)控平臺需要包括對借款申請全生命周期進(jìn)行管理 ，是一個極為復(fù)雜的過程，每一個流程都會影響整體的風(fēng)控質(zhì)量。架構(gòu)實踐業(yè)務(wù)架構(gòu)風(fēng)控平臺是相對獨立的系統(tǒng)，信審的案件可以從借款端平臺推過來，也可以從第三方平臺推過來。信審案件到達(dá)風(fēng)控平臺后，自動創(chuàng)建工作流，根據(jù)風(fēng)控流程處理各流程環(huán)節(jié)任務(wù)。自動決策風(fēng)控流程自動處理案件，訪問第三方合作伙伴的接口，獲取用戶黑名單、欺詐數(shù)據(jù)和多頭借貸等數(shù)據(jù)，查詢名

6、單數(shù)據(jù)，決策引擎輸出各環(huán)節(jié)處理結(jié)果。自動決策后出三個結(jié)果，自動通過、轉(zhuǎn)人工、拒絕。人工信審根據(jù)決策引擎輸出的結(jié)果進(jìn)行轉(zhuǎn)人工處理，人工通過初審和復(fù)核崗，給出具體信審結(jié)果，信審?fù)ㄟ^的案件給出風(fēng)險等級和具體額度。拒絕被自動或者人工拒絕的案件通知到用戶，建議補(bǔ)充資料、過段時間重新申請或者推薦到第三方機(jī)構(gòu)。技術(shù)架構(gòu)4.2.1 分布式、微服務(wù)架構(gòu)分布式架構(gòu)目前是互聯(lián)網(wǎng)行業(yè)成熟應(yīng)用的架構(gòu)，這里不詳細(xì)討論。微服務(wù)架構(gòu)下，比較成熟的使用Spring Framework，使用MyBatis、Hibernate等數(shù)據(jù)映射框架。4.2.2 RPC架構(gòu)RPC是分布式架構(gòu)的核心，解決服務(wù)分布和服務(wù)解耦問題，目前我們使用的

7、是Dubbo,RPC框架解決序列化、反序列化、網(wǎng)絡(luò)框架、連接池、收發(fā)線程、超時處理、狀態(tài)機(jī)等“業(yè)務(wù)之外”的重復(fù)技術(shù)勞動。4.2.3 分布式消息分布式系統(tǒng)中重要的組件，解決應(yīng)用耦合，異步消息，流量削鋒等問題，是分布式系統(tǒng)不可缺少的中間件。目前在生產(chǎn)環(huán)境，使用較多的消息隊列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。4.2.4 分布式緩存高并發(fā)環(huán)境下，大量的讀寫請求涌向數(shù)據(jù)庫，磁盤的處理速度與內(nèi)存顯然不在一個量級，從減輕數(shù)據(jù)庫的壓力和提高系統(tǒng)響應(yīng)速度兩個角度來考慮，一般都會在數(shù)據(jù)庫之前加一層緩存。由于單臺機(jī)器的內(nèi)存資源以及承載能力有限，并且，如

8、果大量使用本地緩存，也會使相同的數(shù)據(jù)被不同的節(jié)點存儲多份，對內(nèi)存資源造成較大的浪費，因此，才催生出了分布式緩存。常用的分布式緩存是Redis。4.2.5 分布式日志分布式情況下，每個日志分散到各自服務(wù)所在機(jī)器，日志的收集和分析需要統(tǒng)一處理。日志框架主要這幾塊內(nèi)容：業(yè)務(wù)日志埋點日志收集處理系統(tǒng)日志處理系統(tǒng)日志分析系統(tǒng)ELK（ElasticSearch, Logstash, Kibana）平臺可以實現(xiàn)日志收集、日志搜索和日志分析的功能。反欺詐平臺目前的欺詐團(tuán)伙已經(jīng)形成完整的地下產(chǎn)業(yè)鏈，反欺詐平臺需要根據(jù)平臺沉淀的用戶數(shù)據(jù)、環(huán)境數(shù)據(jù)、第三方數(shù)據(jù)結(jié)合生物探針技術(shù)采集的本次用戶行為數(shù)據(jù)，建立用戶、環(huán)境、

9、行為畫像以及基于用戶、環(huán)境、行為的關(guān)系網(wǎng)絡(luò)，通過對業(yè)務(wù)數(shù)據(jù)建立多重模型來甄別對異常用戶的識別能力和反欺詐能力。4.3.1 數(shù)據(jù)來源數(shù)據(jù)源主要是三個方向：1.用戶申請過程的填寫的數(shù)據(jù)和埋點時采集的行為數(shù)據(jù)和日志數(shù)據(jù)。2.第三方合作數(shù)據(jù)，如人行征信數(shù)據(jù)、學(xué)歷、多頭借貸等數(shù)據(jù)。3.互聯(lián)網(wǎng)上的數(shù)據(jù)，需要靠開發(fā)的爬蟲平臺去抓取。數(shù)據(jù)分類主要以下幾類：1.身份信息：姓名、身份證、手機(jī)號、卡號、居住地址、學(xué)歷等。2.信用信息：收入信息、借款信息、帳戶信息、還款和逾期信息。3.社交信息：通迅錄信息、通話記錄、QQ和其它平臺交互信息。4.消費信息：銀行卡詳單、電商網(wǎng)站購買信息等其它信息。5.行為信息：申請和填寫

10、信息、GPS、時間點、地點等信息。6.第三方：多頭信息、黑灰名單、授信信息。4.3.2 反欺詐模型以上的多方面數(shù)據(jù)，可以根據(jù)對用戶行為、語義、關(guān)聯(lián)網(wǎng)絡(luò)等組成一個巨大的數(shù)據(jù)關(guān)系圖譜。利用這些數(shù)據(jù)建立的模型風(fēng)控體系對用戶的欺詐概率、還款風(fēng)險等進(jìn)行強(qiáng)有力的預(yù)測和判斷。4.3.2.1 社交圖譜模型利用“手機(jī)-設(shè)備”及“手機(jī)-手機(jī)（通話）”關(guān)系，進(jìn)行圖建模，所有用戶及外部已知風(fēng)險手機(jī)號容納在一張圖中，通過圖中的風(fēng)險標(biāo)記以及圖中的異常關(guān)系結(jié)構(gòu)。用戶數(shù)據(jù)量上來的時候，社交關(guān)系很容易破億，這時候就要使用圖數(shù)據(jù)庫，相對成熟就是Neo4j，比易用性和穩(wěn)定性來講Neo4j比orientdb和arangodb要好很多

11、。NEO4J數(shù)據(jù)庫，其可提供35億節(jié)點，當(dāng)前2.5億多點，其中付費版支持無限節(jié)點，費用是6.8萬美元/年。4.3.2.2 黑產(chǎn)攻擊模型通過分析收集的高風(fēng)險人群及中介通話數(shù)據(jù)，挖掘出一張高風(fēng)險人群聯(lián)系密切的關(guān)系網(wǎng)，有效識別申請動機(jī)不良的客戶，發(fā)現(xiàn)黑產(chǎn)攻擊苗頭。4.3.2.3 多頭授信模型通過對客戶與各類機(jī)構(gòu)的通信關(guān)系，發(fā)現(xiàn)一些體現(xiàn)多頭風(fēng)險異常結(jié)構(gòu)，如客戶總被一些催收機(jī)構(gòu)聯(lián)系，同時又在主動撥打其他一些機(jī)構(gòu)的營銷電話。4.3.2.4 頻次異常分析欺詐團(tuán)伙在發(fā)現(xiàn)系統(tǒng)規(guī)則漏洞時，往往會在短時間內(nèi)發(fā)起大量欺詐交易，以便在受害者反應(yīng)過來前盡快變現(xiàn)，例如醫(yī)美欺詐案，短時間內(nèi)大量發(fā)起虛假的美容貸款請求。這種交易

12、的頻次常常會在時間分布上形成異常的波形，通過ARIMA模型可以很好的預(yù)測事件的時間分部特征，貝葉斯框架的生成式模型能夠解決不同空間分布維度下細(xì)顆粒都的時間分布問題。通過這兩種手段可以將時間和空間分布上存在異常的交易行為與正常的交易行為區(qū)分開來。4.3.2.5 欺詐團(tuán)伙發(fā)現(xiàn)在互聯(lián)網(wǎng)金融行業(yè)，欺詐團(tuán)伙日益嚴(yán)重并且難以防范。從特點上來看，團(tuán)伙欺詐有如下幾個特點：專業(yè)性。欺詐團(tuán)伙通常會根據(jù)各平臺的風(fēng)控規(guī)則，制定相應(yīng)的欺詐手段；多變性。欺詐團(tuán)伙的欺詐手法經(jīng)常變化，讓各平臺防不勝防；爆發(fā)性。欺詐團(tuán)伙一旦發(fā)現(xiàn)欺詐的可能性，會在短時間內(nèi)，利用地下渠道獲得的身份信息，大量反復(fù)地欺詐；團(tuán)伙欺詐的發(fā)現(xiàn)是業(yè)務(wù)反欺詐領(lǐng)

13、域面臨的一個重要挑戰(zhàn)。目前反團(tuán)伙欺詐技術(shù)思路如下：構(gòu)成網(wǎng)絡(luò)：將交易，交易信息項（地址，電話，設(shè)備id），用戶等定義為節(jié)點；同屬一個交易的節(jié)點間形成邊；對邊根據(jù)業(yè)務(wù)經(jīng)驗或其他規(guī)則賦予權(quán)重；特征提取和信息挖掘：提取網(wǎng)絡(luò)飽和度，網(wǎng)絡(luò)直徑，關(guān)聯(lián)度，中心度，群聚系數(shù)等特征；基于已有的黑名單，利用社區(qū)發(fā)現(xiàn)等算法得到節(jié)點的欺詐相關(guān)程度預(yù)測；加入模型：提取的特征可以作為模型或規(guī)則的輸入；欺詐預(yù)警：在無標(biāo)注數(shù)據(jù)的情況下，及時發(fā)現(xiàn)異常的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，作為欺詐的早期預(yù)警；4.3.2.6 評分模型在消費金融反欺詐領(lǐng)域，各種欺詐特征常以規(guī)則形式出現(xiàn)，通過一系列的規(guī)則的邏輯組合，排除有欺詐嫌疑的進(jìn)件:規(guī)則系統(tǒng)優(yōu)點：可解釋

14、性強(qiáng)，可以迅速調(diào)整，應(yīng)對欺詐手段變化；規(guī)則系統(tǒng)缺點：復(fù)雜的規(guī)則體系難于維護(hù)，難以利用弱特征，對強(qiáng)特征依賴，容易被攻破；評分模型：評分模型在金融領(lǐng)域應(yīng)用相當(dāng)成熟，信用評分模型是最常見的應(yīng)用。但公司將評分模型應(yīng)用到反欺詐場景時常常與信用評分混淆，但本質(zhì)上，二者的預(yù)測目標(biāo)是不同的，反欺詐模型預(yù)測的是欺詐的可能性，信用模型預(yù)測的是還款的可能性。因此建立獨立的反欺詐評分模型很有必要。反欺詐評分模型有如下優(yōu)點：可以充分利用弱特征；對抗性好，模型結(jié)構(gòu)由一系列弱特征決定，提高欺詐者偽裝成本；反欺詐評分模型和反欺詐規(guī)則系統(tǒng)有很好的互補(bǔ)性，在風(fēng)控平臺中，同時建立起反欺詐規(guī)則系統(tǒng)和評分模型很有必要。變量平臺反欺詐模

15、型和信用模型兩個模型體系里，最基礎(chǔ)的需要先加工出風(fēng)控變量，根據(jù)基礎(chǔ)信息、關(guān)聯(lián)關(guān)系、信用歷史、設(shè)備信息、社交數(shù)據(jù)以及消費和交易數(shù)據(jù)等六大緯度加工出數(shù)百、數(shù)千或者數(shù)萬個變量。輸出給模型進(jìn)行計算和決策?；趯崟r決策的風(fēng)控流程需要對數(shù)據(jù)和大部分變量加工有實時性要求。隨著數(shù)據(jù)量越來越大，傳統(tǒng)關(guān)系數(shù)據(jù)無法解決實時和效率的問題，基于Hadoop平臺的解決方案成為變量平臺的方案。4.4.1 數(shù)據(jù)來源實時日志采集：業(yè)務(wù)埋點在流程處理中把風(fēng)控需要的數(shù)據(jù)打印到日志中。Flume從日志采集的數(shù)據(jù)放入kafka消息隊列中。實時日志采集：通過Canal分析mysql的bilog日志，放到kafka中。4.4.2 數(shù)據(jù)加工Spark streaming處理時效只能達(dá)到準(zhǔn)實時，所以變量加工采用Storm方案。Storm可以達(dá)到低延遲的響應(yīng)，在秒級或者毫秒級完成分析、并得到響應(yīng)，而且體