基于大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)征信-課件

1、 基于大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)征信 葛偉平 2015年6月7日拉卡拉聯(lián)合四大上市公司共同組建 央行首批授權(quán)的個人征信機(jī)構(gòu)同時持有企業(yè)征信和個人征信牌照的征信機(jī)構(gòu) 拉卡拉跨行還款轉(zhuǎn)賬數(shù)據(jù)生活服務(wù)數(shù)據(jù)POS交易數(shù)據(jù)電商數(shù)據(jù)理財數(shù)據(jù)小貸數(shù)據(jù)拓爾思股票代碼：300229中國互聯(lián)網(wǎng)行為數(shù)據(jù)挖掘領(lǐng)先企業(yè)，擁有中國最強(qiáng)的大數(shù)據(jù)技術(shù)及輿情分析數(shù)據(jù)旋極信息股票代碼：300324中國兩家營改增服務(wù)商之一，擁有企業(yè)稅務(wù)類服務(wù)數(shù)據(jù)藍(lán)色光標(biāo)股票代碼：300068全球第六大傳播集團(tuán)，是大數(shù)據(jù)營銷的代表企業(yè)梅泰諾股票代碼：300038三大通訊運營商服務(wù)數(shù)據(jù)及全國企業(yè)工商服務(wù)數(shù)據(jù)考拉征信公司互聯(lián)網(wǎng)征信特點基于云大物移智技術(shù)，提供互

2、聯(lián)網(wǎng)征信需要的大數(shù)據(jù)存儲、計算能力、建模平臺和訪問便利性納入一切能夠反映能力或意愿的數(shù)據(jù)：信用類數(shù)據(jù)為主體購物、理財、繳費等數(shù)據(jù)社交關(guān)系位置數(shù)據(jù)用戶上傳/提供的有效數(shù)據(jù)互聯(lián)網(wǎng)信息以經(jīng)驗為主的專家評分卡轉(zhuǎn)換到以大數(shù)據(jù)為主的全量數(shù)據(jù)分析 高頻、 秒級的信 用評分評級響應(yīng)互聯(lián)網(wǎng)征信本質(zhì)仍然是征信，互聯(lián)網(wǎng)是渠道和工具！趣味大數(shù)據(jù)分析記性最差的星座（最容易忘記還錢，貢獻(xiàn)了不少額外利息）：射手最摳門的星座（最后一天的最后一刻還錢，不愿給利息）：雙子最土豪的星座（12星座中借錢最少）：天秤存在的挑戰(zhàn)：數(shù)據(jù)資源數(shù)據(jù)的碎片化數(shù)據(jù)的稀缺性數(shù)據(jù)的精細(xì)化數(shù)據(jù)的理解度數(shù)據(jù)的高成本存在的挑戰(zhàn)：大數(shù)據(jù)處理大數(shù)據(jù)采集大數(shù)據(jù)存

3、儲大數(shù)據(jù)計算考拉征信應(yīng)對：數(shù)據(jù)資源引入股東數(shù)據(jù)提供支撐借助外部合作數(shù)據(jù)積極牽頭或參與制定數(shù)據(jù)標(biāo)準(zhǔn)和互換數(shù)據(jù)與中科院合作成立實驗室制定模型知識圖譜考拉征信應(yīng)對：數(shù)據(jù)資源組建數(shù)據(jù)抓取團(tuán)隊考拉征信應(yīng)對：大數(shù)據(jù)處理傳統(tǒng)數(shù)據(jù)平臺、Hadoop平臺和NoSQL數(shù)據(jù)平臺的結(jié)合傳統(tǒng)平臺存儲評分結(jié)果離線式計算基于Hadoop分布式處理環(huán)境Hive平臺R結(jié)合Hadoop用于大數(shù)據(jù)統(tǒng)計分析快速的大量數(shù)據(jù)勘察基于Impala，從小時級縮減到秒級NoSQL處理社交關(guān)系考拉征信應(yīng)對：大數(shù)據(jù)處理圖數(shù)據(jù)庫在社交關(guān)系/朋友圈模式應(yīng)用可視化效果找到顯性特征、顯著變量通過“弱關(guān)系”找到與征信業(yè)務(wù)的“強(qiáng)關(guān)聯(lián)” 考拉征信模型技術(shù)框架考

4、拉個人信用分考拉商戶信用分互聯(lián)網(wǎng)金融行業(yè)征信產(chǎn)品信用評分引擎 數(shù)據(jù)理解模型組合和模型部署 變量選擇樣本準(zhǔn)備模型設(shè)計變量處理數(shù)據(jù)分析模型訓(xùn)練參數(shù)調(diào)整模型驗證模型跟蹤與反饋征信產(chǎn)品征信建模ETL數(shù)據(jù)接口平臺（清洗、轉(zhuǎn)換、脫敏）傳統(tǒng)數(shù)據(jù)平臺Hadoop數(shù)據(jù)平臺(Hive倉庫)數(shù)據(jù)采集拉卡拉業(yè)務(wù)數(shù)據(jù)其他股東數(shù)據(jù)互聯(lián)網(wǎng)抓取數(shù)據(jù)公開數(shù)據(jù)外部合作單位數(shù)據(jù)貧困人口征信數(shù)據(jù)（待接入）數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理NoSQL數(shù)據(jù)平臺考拉職業(yè)信用分考拉模型訓(xùn)練數(shù)據(jù)到最終模型的遞進(jìn)式過程：就業(yè)務(wù)細(xì)節(jié)業(yè)務(wù)特征理解聽取業(yè)務(wù)專家的定性敘述數(shù)據(jù)異常值處理、聚集處理、數(shù)據(jù)規(guī)范化進(jìn)行數(shù)據(jù)的違約關(guān)系分析對變量進(jìn)行變換分組分析

5、對最終選擇變量進(jìn)行建模運用多種模型技術(shù)和算法進(jìn)行訓(xùn)練測試結(jié)合可解釋性、預(yù)測精準(zhǔn)性及訓(xùn)練成本權(quán)衡后選擇適用算法或組合子模型和通用基礎(chǔ)子模型組合考拉征信模型的KS值處于合理穩(wěn)定范圍考拉信用分值分布考拉個人信用分特點：上億數(shù)量級客戶繳費、理財、購物類信息金融社交關(guān)系和位置信息互聯(lián)網(wǎng)信息考拉商戶信用分信用記錄商戶及法人的過往信用記錄及信用賬戶歷史記錄等履約能力綜合能力體現(xiàn)，尤其指經(jīng)營能力交易行為交易行為特征、互聯(lián)網(wǎng)輿情信息等成長能力發(fā)展規(guī)模和速度能力企業(yè)屬性基本信息，經(jīng)營范圍、注冊資金等經(jīng)營穩(wěn)定經(jīng)營波動狀況考拉商戶信用分特點：真實、整合、實時的商戶運營情況成長能力畫像，反映變化交易行為特征和互聯(lián)網(wǎng)信息現(xiàn)狀：中國有1千