第9章-大數(shù)據(jù)征信

金融科技概論第九章

大數(shù)據(jù)征信1教學目標了解國內(nèi)外征信行業(yè)概況；掌握大數(shù)據(jù)征信所需的技術支持；了解大數(shù)據(jù)征信的發(fā)展趨勢。2大數(shù)據(jù)征信概述國內(nèi)外征信業(yè)發(fā)展概況大數(shù)據(jù)征信面臨的機遇和挑戰(zhàn)延伸閱讀：ZestFinance案例本章小結目錄3大數(shù)據(jù)征信的發(fā)展趨勢

大數(shù)據(jù)征信的概念大數(shù)據(jù)征信是指通過對海量的、多樣化的、實時的、有價值的數(shù)據(jù)進行采集、整理、分析和挖掘，并運用大數(shù)據(jù)技術重新設計征信評價模型算法，多維度刻畫信用主體的“畫像”，向信息使用者呈現(xiàn)信用主體的違約率和信用狀況通過數(shù)據(jù)分析和模型進行風險評估，依據(jù)評估分數(shù)，預測還款人的還款能力、還款意愿、以及欺詐風險，更加科學的反映用戶的信用狀況大數(shù)據(jù)征信的概況4大數(shù)據(jù)征信的主要特征覆蓋人群廣泛信息維度多元應用場景豐富信用評估全面大數(shù)據(jù)征信的概況5大數(shù)據(jù)征信的程序制定數(shù)據(jù)采集計劃征信機構從客戶的實際需求出發(fā)，確定所需采集數(shù)據(jù)種類。例如一家銀行決定是否對某企業(yè)發(fā)放短期貸款時，重點關注該企業(yè)的歷史信貸記錄、資金周轉情況，按需采集企業(yè)基本概況、歷史信貸記錄、財務狀況等采集數(shù)據(jù)數(shù)據(jù)一般來源于已公開信息、征信機構內(nèi)部存檔資料、授信機構等專業(yè)機構提供的信息、被征信人主動提供的信息、征信機構正面或側面了解到的信息。出于采集數(shù)據(jù)真實性和全面性的考慮，征信機構可通過多種途徑采集信息，但要兼顧數(shù)據(jù)的可用性和規(guī)模，在適度的范圍內(nèi)采集合適的數(shù)據(jù)。大數(shù)據(jù)征信的程序與技術應用6大數(shù)據(jù)征信的程序數(shù)據(jù)分析數(shù)據(jù)查證保證征信產(chǎn)品的真實性。一是查數(shù)據(jù)的真實性，二是查數(shù)據(jù)來源的可信度，三是查缺失的數(shù)據(jù)；信用評分運用先進的數(shù)據(jù)挖掘技術和統(tǒng)計分析方法，通過對個人的基本概況、信用歷史記錄、行為記錄、交易記錄等大量數(shù)據(jù)進行系統(tǒng)的分析，挖掘數(shù)據(jù)中蘊含的行為模式和信用特征，以信用評分的形式對個人未來的某種信用表現(xiàn)做出綜合評估形成信用報告征信機構完成數(shù)據(jù)采集后，根據(jù)收集到的數(shù)據(jù)和分析結果加以綜合整理，最終形成信用報告，報告要保證客觀性、全面性、隱私和商業(yè)秘密保護等原則大數(shù)據(jù)征信的程序與技術應用7大數(shù)據(jù)征信的技術實現(xiàn)征信大數(shù)據(jù)鏈的相關方包括：上游的數(shù)據(jù)生產(chǎn)者、中游的征信機構及下游的征信信息使用者。大數(shù)據(jù)征信的程序與技術應用8征信大數(shù)據(jù)的上游生產(chǎn)者信用交易數(shù)據(jù)生產(chǎn)者我國金融服務機構大體可以分為三類：金融機構、類金融機構和互聯(lián)網(wǎng)金融機構，這三類機構構成了我國的金融服務體系。信用交易數(shù)據(jù)來源于征信對象通過金融服務機構從事金融活動時所產(chǎn)生的數(shù)據(jù)大數(shù)據(jù)征信的程序與技術應用9征信大數(shù)據(jù)的上游生產(chǎn)者商品和服務交易數(shù)據(jù)以及行為數(shù)據(jù)生產(chǎn)者一些電商、金融、娛樂、旅游等企業(yè)，以及水、電、氣、話、教育、醫(yī)療等公用服務機構，利用自有的工作機制和網(wǎng)絡平臺，收集客戶買賣商品和享受服務中的基本信息、交易信息和社交行為信息，并對這些數(shù)據(jù)進行有序加工整理，形成數(shù)據(jù)庫政府公開信息和公共服務信息的數(shù)據(jù)生產(chǎn)者政府公開信息主要是企業(yè)工商注冊的信息，主要是行政司法機關掌握的企業(yè)和個人在接受行政管理、履行法定義務過程中形成的信息。公共服務信息主要包含工會服務信息、社區(qū)服務信息，以及信用中國及地方的信用信息平臺的公開信息等大數(shù)據(jù)征信的程序與技術應用10征信大數(shù)據(jù)的上游生產(chǎn)者通過技術手段爬取或非常渠道獲得的其他各種領域的數(shù)據(jù)對于很多企業(yè)來說自身數(shù)據(jù)積累相對有限，因此通過技術手段，如python網(wǎng)絡爬蟲技術從互聯(lián)網(wǎng)渠道爬取。同時科技企業(yè)通過客戶活動積累了大量的數(shù)據(jù)，此類數(shù)據(jù)的種類多樣，包含各種行業(yè)的行業(yè)數(shù)據(jù)以及企業(yè)和個人的信息大數(shù)據(jù)征信的程序與技術應用11中游征信機構的數(shù)據(jù)加工針對不同的數(shù)據(jù)群體的不同特點，也要選取不同的處理和解決辦法。征信大數(shù)據(jù)分析技術包括離線數(shù)據(jù)處理、實時數(shù)據(jù)處理和數(shù)據(jù)分析技術等大數(shù)據(jù)征信的程序與技術應用12中游征信機構的數(shù)據(jù)加工離線數(shù)據(jù)處理引擎——HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。Hadoop的并行計算框架MapReduce，可以對離線數(shù)據(jù)提供簡單的并行計算處理。Hadoop適合處理幾百T這個級別的數(shù)據(jù)量，并且適用于一次寫入，多次讀取的場景目前Hadoop主要可以用于用戶行為分析、廣告效果分析、產(chǎn)品設計分析、商業(yè)智能分析、報表統(tǒng)計等大數(shù)據(jù)征信的程序與技術應用13中游征信機構的數(shù)據(jù)加工實時數(shù)據(jù)處理引擎——SparkSpark是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎，在某些工作負載方面表現(xiàn)得更加優(yōu)越，不僅優(yōu)化了迭代工作負載，而且內(nèi)存計算速度比Hadoop快100倍。構建在Spark上處理實時數(shù)據(jù)的Stream的框架，基本的原理是將實時數(shù)據(jù)分成小的時間片斷(幾秒)，以批量處理的方式來處理這小部分數(shù)據(jù)，從而實現(xiàn)了實時計算與處理數(shù)據(jù)流的功能大數(shù)據(jù)征信的程序與技術應用14中游征信機構的數(shù)據(jù)加工數(shù)據(jù)分析技術——Python征信大數(shù)據(jù)應用Python軟件強大的數(shù)據(jù)分析技術，通過多種機器學習和深度學習方法，除了可以運用預測信息主體的信用狀況外，還可以輸出模型重要性特征排序，為模型預測與優(yōu)化提供重要參考依據(jù)大數(shù)據(jù)征信的程序與技術應用15下游信息使用者對數(shù)據(jù)征信產(chǎn)品的使用金融領域：銀行評級及其他評級報告、專項評價報告、信用咨詢類服務、企業(yè)征信、金融機構服務等。該領域的產(chǎn)品主要為從事金融活動的相關方提供，例如擔保機構、小貸公司、保理公司、融資租賃公司等大數(shù)據(jù)征信的程序與技術應用16下游信息使用者對數(shù)據(jù)征信產(chǎn)品的使用政府領域：評級或評價報告、籌建咨詢報告、征信調查服務、信用體系建設咨詢等大數(shù)據(jù)征信的程序與技術應用17下游信息使用者對數(shù)據(jù)征信產(chǎn)品的使用商業(yè)或商務領域：評級或評價報告、投融資咨詢報告、征信評價報告、供應鏈管理服務、系統(tǒng)開發(fā)等大數(shù)據(jù)征信的程序與技術應用18下游信息使用者對數(shù)據(jù)征信產(chǎn)品的使用公共領域：PPP咨詢、社會信用產(chǎn)品應用咨詢、社會責任報告、大數(shù)據(jù)排名等大數(shù)據(jù)征信的程序與技術應用19大數(shù)據(jù)征信的主要模式及范例漢得信息的供應鏈金融業(yè)務京東的供應鏈金融服務大數(shù)據(jù)征信的程序與技術應用20我國征信體系發(fā)展歷程美國征信業(yè)概況歐洲征信業(yè)概況歐美征信業(yè)對我國征信業(yè)的啟示國內(nèi)外征信業(yè)發(fā)展概況21我國征信體系發(fā)展歷程1932年第一家征信機構“中華征信所”誕生20世紀80年代后期中國人民銀行批準成立了第一家信用評級公司——上海遠東資信評級有限公司2003年國務院批準設立征信管理局2014年6月27日《社會信用體系建設規(guī)劃綱要(2014—2020年)》公布2018年3月19日百行征信有限公司在深圳成立…………22美國征信業(yè)概況20世紀20年代：快速發(fā)展期信用卡的誕生以及居民消費支出不斷提高引發(fā)信貸需求日益膨脹，同時受到經(jīng)濟的大蕭條影響，個人違約率不斷上升，驅動征信市場快速發(fā)展20世紀60年代：法律完善期法律體系不斷完善，政府陸續(xù)出臺了《公平信用報告法》、《公平債務催收作業(yè)法》、《平等信用機會法》、《誠實租借法》等17部法律，為征信發(fā)展注入強大動力20世紀80年代：并購整合期銀行開始大規(guī)模整合和全國化進程，加上技術作用的推動，征信行業(yè)步入整合期，機構數(shù)量由2000家減至500家。2000年至今：成熟穩(wěn)定期這一階段的特點是專業(yè)化和全球化，各大征信機構開始積極進行海外布局，擴大市場，并致力于開發(fā)更多的征信應用。23美國征信業(yè)發(fā)展模式美國作為一個高度市場化的國家，征信模式主要是以市場為主導的征信模式。市場化征信模式是指由獨立于政府之外私營企業(yè)組成的征信機構，通過對個人、企業(yè)信用信息進行收集、加工然后提供給信息使用者，以獲得報酬的征信模式市場化征信模式，信息來源相對廣泛，并為法律允許范圍內(nèi)的所有市場主體提供信用調查服務。政府會通過設立信用管理局來管理信用行業(yè)實務，并且制定相關法律并監(jiān)督法律執(zhí)行，但市場化征信模式下政府不會直接參與征信活動在美國，征信機構均獨立于政府和聯(lián)儲之外，按照純市場化的方式運作，并以營利為目的向市場提供信用信息產(chǎn)品和服務，政府和聯(lián)儲僅扮演監(jiān)管者的角色。除美國外，英國、加拿大等也采用市場主導的征信模式24歐洲征信業(yè)概況區(qū)別于美國征信業(yè)的市場主導模式，歐洲大部分國家的征信業(yè)則采用政府主導型模式，這種模式一般是以中央銀行建立的銀行信貸登記系統(tǒng)為主體，征信機構多是由各國的中央銀行或銀行監(jiān)管機構開設，一般為政府出資來建立中央信貸登記系統(tǒng)和全國數(shù)據(jù)庫，并且非盈利。中央銀行征信系統(tǒng)主要收集企業(yè)信貸信息和個人信貸信息，用于央行進行金融監(jiān)管及執(zhí)行貨幣政策，也可用于商業(yè)銀行防范貸款風險25歐洲征信業(yè)概況法國、德國、比利時、意大利、奧地利、葡萄牙、西班牙等國都是典型的政府主導型模式，以德國為例，德國的征信體系以公共征信系統(tǒng)為主，行業(yè)協(xié)會內(nèi)部征信系統(tǒng)和私營征信系統(tǒng)兩部分為輔，三者構成德國強有力的社會信用體系。其中公共征信系統(tǒng)主要提供數(shù)據(jù)信息的基本收集、整理、保存、加工，是德國征信體系的的重要數(shù)據(jù)來源，包括德意志聯(lián)邦銀行信貸登記中心系統(tǒng)和行政司法系統(tǒng)，分別供銀行與金融機構內(nèi)部使用和對外提供工商登記信息、地方法院債務人名、法院破產(chǎn)記錄等信息查詢服務26歐洲征信業(yè)概況政府主導模式下的征信體系在信用信息獲取方面，信用數(shù)據(jù)由中央銀行及其下屬部門掌控，這有利于保護金融系統(tǒng)的信息安全，從而較大程度地保護個人隱私。在使用時，只有被授權的央行職員或金融機構職員才能通過公共征信系統(tǒng)查詢相關信息，其他任何人均不能在未得到授權的情況下通過該系統(tǒng)直接查詢企業(yè)和個人信用狀況不過，與市場化的征信機構相比，該系統(tǒng)的信息范圍要窄許多，政府主導模式下的歐洲各國公共征信系統(tǒng)的數(shù)據(jù)主要包括企業(yè)和個人的借貸信息，而對諸如企業(yè)地址、業(yè)務范圍、所有者名稱等信息基本不搜集27歐美征信業(yè)對我國征信業(yè)的啟示與歐美成熟市場相比，我國現(xiàn)有征信體系的問題：缺乏充分有效的數(shù)據(jù)基礎征信體系的覆蓋廣度和深度有限完善的信用管理與相關的法律體系缺失……28歐美征信業(yè)對我國征信業(yè)的啟示今后改進的方向：政府層面應當加強對信用行業(yè)的管理征信機構應當著力實現(xiàn)與主要客戶的信息共享在法律和程序方面加強對消費者的保護……29大數(shù)據(jù)時代我國個人征信發(fā)展的機遇征信數(shù)據(jù)的來源廣泛與傳統(tǒng)征信模式相比，大數(shù)據(jù)時代個人征信數(shù)據(jù)的來源廣泛而多樣。在大數(shù)據(jù)時代利用互聯(lián)網(wǎng)平臺能夠有效擴大征信對象的范圍，從橫向上增加征信數(shù)據(jù)的范圍，是對目前央行征信系統(tǒng)很好的補充。就征信數(shù)據(jù)的內(nèi)容而言，大數(shù)據(jù)征信收集的數(shù)據(jù)除傳統(tǒng)個人征信依靠的信貸信息和部分公共信息，還包括征信對象的消費、社交及網(wǎng)絡行為等信息，其獲取的數(shù)據(jù)具有海量性、實時性、結構復雜等特征，通過對數(shù)據(jù)進行深入挖掘，可以從多個維度對主體的信用狀況進行綜合評價，在縱向上增加了征信數(shù)據(jù)的廣泛性30大數(shù)據(jù)時代我國個人征信發(fā)展的機遇征信市場的發(fā)展多元化央行的個人征信系統(tǒng)基本覆蓋全國的傳統(tǒng)信貸市場，是我國個人征信體系的基礎。但隨著經(jīng)濟社會的發(fā)展，央行征信系統(tǒng)提供的產(chǎn)品與服務已不能滿足某些企業(yè)的定制性產(chǎn)品需求，大數(shù)據(jù)時代的個人征信市場處公共征信機構外，還要有民營的市場第三方機構作為有力補充，2015年八家開展個人征信業(yè)務準備工作機構名單的公布標志著我國個人征信市場打破了政府主導的局面，開始進入多元化的發(fā)展階段31大數(shù)據(jù)時代我國個人征信發(fā)展的機遇征信產(chǎn)品的應用場景多樣隨著信審效率的提高和用戶體驗的增加、征信業(yè)務執(zhí)行方及授信模式的變化，征信產(chǎn)品的應用場景將會不斷擴展。除金融領域外，個人征信產(chǎn)品可用于租房、快速安檢等多個生活場景，以及通過征信產(chǎn)品對客戶進行行為研究、精準營銷、畫像等拓展性應用32大數(shù)據(jù)時代我國個人征信發(fā)展的挑戰(zhàn)“信息孤島”難以消除據(jù)統(tǒng)計，我國的各級政府部門掌握著全社會80％的信息資源，政府掌握的政務信息在最大范圍內(nèi)的開放與共享是信用制度發(fā)展的關鍵所在。征信機構能夠快速、真實、完整、連續(xù)、合法、公開地獲得用于完成企業(yè)信用調查報告和個人信用調查報告的數(shù)據(jù)，是保障信用體系健康發(fā)展的基礎。33大數(shù)據(jù)時代我國個人征信發(fā)展的挑戰(zhàn)專業(yè)技術人才匱乏征信專業(yè)化人才嚴重不足，造成征信服務業(yè)發(fā)展的供血不足。大部分征信機構處于虧損狀態(tài)，經(jīng)營狀況十分艱難，難以吸引大量的優(yōu)秀人才34大數(shù)據(jù)時代我國個人征信發(fā)展的挑戰(zhàn)信息安全面臨考驗隨著數(shù)據(jù)量的劇增和數(shù)據(jù)的云端集中，數(shù)據(jù)的安全性面臨著巨大挑戰(zhàn)用戶在不同場合不同情形下發(fā)布或留下的部分個人信息，存在因黑客攻擊、網(wǎng)絡病毒而導致信息被非法訪問、盜取和篡改的風險數(shù)據(jù)庫防護網(wǎng)如果托付給技術不成熟的云計算服務商，數(shù)據(jù)丟失、病毒入侵等問題就更加嚴峻35大數(shù)據(jù)時代我國個人征信發(fā)展的挑戰(zhàn)法律保障力度不足與征信相關的保護企業(yè)商業(yè)秘密和公民個人隱私的法律法規(guī)體系尚不完善當企業(yè)的商業(yè)秘密或個人的隱私受到侵害時，缺乏與之相對應的司法救濟，企業(yè)和個人的合法權益得不到有力保障36大數(shù)據(jù)征信的發(fā)展趨勢多樣化的信息采集主體全局性的信息采集內(nèi)容深層次的信息加工程度廣泛化的信息應用范圍37延伸閱讀：Zes