《征信理論與技術(shù)》第八章征信信息采集

第八章征信信息采集第八章征信信息采集

第一節(jié)征信信息概況第二節(jié)征信信息采集標(biāo)準(zhǔn)第三節(jié)征信信息采集方法第四節(jié)數(shù)據(jù)采集器的運(yùn)用第八章征信信息采集

第一節(jié)征信信息概況一、征信信息來(lái)源

（一）個(gè)人征信信息源1．授信機(jī)構(gòu)主要是商業(yè)銀行、農(nóng)村信用社、小額貸款公司等專(zhuān)業(yè)化的提供貸款的機(jī)構(gòu)，以及支付寶、京東金融等互聯(lián)網(wǎng)金融機(jī)構(gòu)。授信機(jī)構(gòu)主要提供個(gè)人信用交易的記錄，包括交易類(lèi)型、賬戶(hù)的開(kāi)戶(hù)日期、最高信貸額度、賬戶(hù)類(lèi)型（開(kāi)放式信用、循環(huán)式信用、分期付款等）、擔(dān)保情況、還款情況等。一、征信信息來(lái)源

（一）個(gè)人征信信息源2．行政機(jī)構(gòu)主要包括稅務(wù)、海關(guān)、法院、社保、公積金中心等行政和司法部門(mén)。行政機(jī)構(gòu)提供了部分個(gè)人識(shí)別信息，包括身份證信息、住址、需要撫養(yǎng)的人數(shù)、住所是個(gè)人擁有還是租賃、婚姻狀況、就業(yè)信息、教育程度、個(gè)人職稱(chēng)、政治面貌等。一、征信信息來(lái)源

（一）個(gè)人征信信息源3.公用事業(yè)單位主要是電信企業(yè)，水、電、燃?xì)獾裙彩聵I(yè)單位，上述單位提供個(gè)人繳納電話費(fèi)、水費(fèi)、電費(fèi)、燃?xì)赓M(fèi)等信息。芝麻信用采集數(shù)據(jù)范圍主要包括用戶(hù)的：身份特征、行為偏好、信用歷史、履約能力和人脈關(guān)系五個(gè)維度芝麻信用分信用信息采集渠道主要源于：阿里巴巴系網(wǎng)商平臺(tái)的消費(fèi)記錄、第三方支付機(jī)構(gòu)支付寶的交易信息、移動(dòng)終端使用的基本行為數(shù)據(jù)。一、征信信息來(lái)源企業(yè)征信信息源1．直接來(lái)源直接來(lái)源是指企業(yè)征信機(jī)構(gòu)直接從目標(biāo)企業(yè)獲取的信息，常用于企業(yè)資信調(diào)查業(yè)務(wù)，包括直接面向被調(diào)查企業(yè)的面談訪問(wèn)、實(shí)地調(diào)查、電話調(diào)研等。一、征信信息來(lái)源企業(yè)征信信息源2．間接來(lái)源政府掌握的企業(yè)征信大數(shù)據(jù)。（征信機(jī)構(gòu)大約40%的企業(yè)征信信息來(lái)源于稅務(wù)、統(tǒng)計(jì)、海關(guān)、法院等行政和司法部門(mén)）

非官方的企業(yè)信用信息。（非官方的企業(yè)信用信息的主要來(lái)源是商業(yè)銀行、行會(huì)商會(huì)、公用事業(yè)單位、企業(yè)的供應(yīng)商、租賃公司和新聞媒體等）二、征信信息分類(lèi)

（一）結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)1．結(jié)構(gòu)化數(shù)據(jù)是指可以由二維表結(jié)構(gòu)來(lái)邏輯表達(dá)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，主要通過(guò)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理。id姓名性別電話地址1張一男3337899湖北省武漢市2田二男3337888廣東省深圳市二、征信信息分類(lèi)

（一）結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)2．非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)，是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒(méi)有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)。包括所有格式的Word、PDF、PPT、Excel、圖片、Html、各類(lèi)報(bào)表、圖像和音頻信息等。二、征信信息分類(lèi)

（一）結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)2．半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)，是結(jié)構(gòu)化數(shù)據(jù)的一種形式，雖不符合關(guān)系型數(shù)據(jù)庫(kù)或其他數(shù)據(jù)表關(guān)聯(lián)形式的數(shù)據(jù)結(jié)構(gòu)，但包含相關(guān)標(biāo)記，用來(lái)分隔語(yǔ)義元素以及對(duì)記錄和字段進(jìn)行分層。常見(jiàn)的半結(jié)構(gòu)數(shù)據(jù)有Xml、Email等。二、征信信息分類(lèi)

（二）硬信息與軟信息1.硬信息“硬信息”是指可量化的信息，比如企業(yè)征信中的財(cái)務(wù)報(bào)表信息和個(gè)人征信中的支付交易類(lèi)信息等。2.軟信息“軟信息”又稱(chēng)是指非量化的質(zhì)性信息，在企業(yè)征信中，包括企業(yè)經(jīng)營(yíng)情況及業(yè)主個(gè)人情況，比如企業(yè)的所屬行業(yè)、所有者組織結(jié)構(gòu)、業(yè)主的行業(yè)管理經(jīng)驗(yàn)等；在個(gè)人征信中，包括業(yè)主的文化技能、家庭背景、社會(huì)評(píng)價(jià)等。第八章征信信息采集

第二節(jié)征信信息采集標(biāo)準(zhǔn)第二節(jié)征信信息采集標(biāo)準(zhǔn)

一、國(guó)外征信數(shù)據(jù)采集的行業(yè)標(biāo)準(zhǔn)

美國(guó)消費(fèi)者數(shù)據(jù)行業(yè)協(xié)會(huì)制定的《數(shù)據(jù)報(bào)送資源指南》設(shè)計(jì)了數(shù)據(jù)采集與報(bào)送格式——Metro2統(tǒng)一了數(shù)據(jù)采集的格式要求數(shù)據(jù)提供機(jī)構(gòu)以消費(fèi)者賬戶(hù)為單位報(bào)送消費(fèi)者信用交易數(shù)據(jù)，包括基本數(shù)據(jù)和賬戶(hù)交易數(shù)據(jù)。賬戶(hù)分類(lèi)賬戶(hù)屬性典型業(yè)務(wù)分期貸款賬戶(hù)按相同的時(shí)間間隔分期支付、有固定的支付金額和還款日期汽車(chē)貸款、農(nóng)業(yè)貸款、商業(yè)分期貸款、汽車(chē)租賃貸款抵押貸款以房地產(chǎn)所有權(quán)為抵押的貸款房產(chǎn)抵押貸款循環(huán)貸款該賬戶(hù)有最大使用額度、最低還款金額且額度可循環(huán)商業(yè)銀行發(fā)送的信用卡和一些百貨公司發(fā)放的賒銷(xiāo)卡額度授信與循環(huán)貸款不同，消費(fèi)者對(duì)額度的使用比較靈活，不僅可以通過(guò)貸款形式使用，也可以開(kāi)支票、轉(zhuǎn)賬、取現(xiàn)等中小企業(yè)為解決流動(dòng)性申請(qǐng)的此類(lèi)賬戶(hù)開(kāi)放賬戶(hù)還款周期不固定，還款金額不固定，既可以一次性還款，也可以根據(jù)與信貸機(jī)構(gòu)的約定按需還款債務(wù)催收機(jī)構(gòu)報(bào)送的賬戶(hù)數(shù)據(jù)、學(xué)生貸款，公用事業(yè)機(jī)構(gòu)的還款賬戶(hù)第二節(jié)征信信息采集標(biāo)準(zhǔn)

二、國(guó)內(nèi)征信數(shù)據(jù)采集的行業(yè)標(biāo)準(zhǔn)央行征信系統(tǒng)的數(shù)據(jù)采集框架主要根據(jù)商業(yè)銀行開(kāi)展的信貸業(yè)務(wù)進(jìn)行設(shè)計(jì)個(gè)人信貸交易數(shù)據(jù)按貸款和信用卡采集企業(yè)信貸交易數(shù)據(jù)按照貸款、保理、票據(jù)貼現(xiàn)、信用證、保函等8種業(yè)務(wù)采集第八章征信信息采集

第三節(jié)征信信息采集方法一、征信信息采集概述

以國(guó)家信用體系建設(shè)中的區(qū)縣級(jí)信用信息平臺(tái)為例，征信信息采集分以下幾種情況：（一）無(wú)信息系統(tǒng)的接入單位

開(kāi)發(fā)相應(yīng)的信用信息直報(bào)系統(tǒng)、信用信息填報(bào)系統(tǒng)。（二）有信息系統(tǒng)的接入單位

部署部門(mén)前置機(jī)（三）有獨(dú)立網(wǎng)絡(luò)系統(tǒng)的接入單位

直接以文件導(dǎo)入的方式進(jìn)行采集。二、結(jié)構(gòu)化數(shù)據(jù)采集

（一）數(shù)據(jù)庫(kù)數(shù)據(jù)交換（數(shù)據(jù)交換軟件）針對(duì)已建業(yè)務(wù)數(shù)據(jù)庫(kù)、信息量較大、更新頻繁的業(yè)務(wù)部門(mén)，征信機(jī)構(gòu)為各信源單位配置了數(shù)據(jù)交換軟件。（二）數(shù)據(jù)文件上傳在前置服務(wù)器或中心交換服務(wù)器上為各信源單位提供專(zhuān)用的系統(tǒng)用戶(hù)和文件存放目錄。信源單位通過(guò)FTP（文件傳輸協(xié)議）等工具，定期或?qū)崟r(shí)地將既定格式的數(shù)據(jù)文件上傳到服務(wù)器。二、結(jié)構(gòu)化數(shù)據(jù)采集

（三）接口數(shù)據(jù)采集根據(jù)各信源單位業(yè)務(wù)部門(mén)的實(shí)際情況，定制數(shù)據(jù)接口，完成各部門(mén)信用信息的對(duì)接。建立接口管理系統(tǒng)，對(duì)WebService接口進(jìn)行規(guī)范，加強(qiáng)身份認(rèn)證和信息安全管理，接口配置、開(kāi)通、注銷(xiāo)以及監(jiān)控都通過(guò)這個(gè)系統(tǒng)完成。三、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)采集

采集工具：

半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)采集通過(guò)專(zhuān)用的數(shù)據(jù)采集器完成。采集器會(huì)將不同類(lèi)型的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)格式的結(jié)構(gòu)化數(shù)據(jù)，并傳送至數(shù)據(jù)處理層進(jìn)行進(jìn)一步加工。采集流程：

半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)格式復(fù)雜，往往在采集時(shí)就要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。第八章征信信息采集

第四節(jié)數(shù)據(jù)采集器的運(yùn)用一、數(shù)據(jù)采集器簡(jiǎn)介

網(wǎng)頁(yè)信息數(shù)據(jù)采集器：火車(chē)頭采集器、八爪魚(yú)采集器一、數(shù)據(jù)采集器簡(jiǎn)介

網(wǎng)頁(yè)信息數(shù)據(jù)采集器功能：

簡(jiǎn)單快速地將網(wǎng)頁(yè)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)于Excel、SQL、TXT、MySQL等多種格式，實(shí)現(xiàn)輸入網(wǎng)址全自動(dòng)化導(dǎo)出數(shù)據(jù)。

市面上98%的網(wǎng)頁(yè)，或者說(shuō)網(wǎng)頁(yè)源碼中有的文本信息幾乎都能采集。

滿足產(chǎn)品、運(yùn)營(yíng)、銷(xiāo)售、數(shù)據(jù)分析、政府機(jī)關(guān)、電商從業(yè)者、學(xué)術(shù)研究等多種職業(yè)的工作需求二、采集器采集方式

本地采集

即單機(jī)采集，采集程序負(fù)責(zé)對(duì)網(wǎng)頁(yè)進(jìn)行打開(kāi)、抓取和采集數(shù)據(jù)，通過(guò)程序語(yǔ)言（正則表達(dá)式等）進(jìn)行修正，除了可以實(shí)現(xiàn)絕大多數(shù)網(wǎng)頁(yè)數(shù)據(jù)的爬取，還可以在采集過(guò)程中實(shí)現(xiàn)對(duì)數(shù)據(jù)的初步清洗。二、采集器采集方式

云采集

除了具有本地采集的全部功能之外，還可以實(shí)現(xiàn)定時(shí)采集，實(shí)時(shí)監(jiān)控，數(shù)據(jù)自動(dòng)去重，增量采集，自動(dòng)識(shí)別驗(yàn)證碼，API接口多元化導(dǎo)出數(shù)據(jù)以及修改參數(shù)。

采集速度將遠(yuǎn)超于本地采集，實(shí)現(xiàn)采集數(shù)據(jù)的最大化。三、采集器采集原理

（一）模擬人的思維去瀏覽網(wǎng)頁(yè)

記錄人工操作流程

將人工的采集動(dòng)作轉(zhuǎn)化為程序語(yǔ)言

形成采集規(guī)則（二）通過(guò)設(shè)計(jì)工作流程完成自動(dòng)化數(shù)據(jù)采集

對(duì)網(wǎng)頁(yè)源碼中各個(gè)數(shù)據(jù)的源代碼與路徑進(jìn)行準(zhǔn)確定位四、采集流程步驟

基本步驟1．打開(kāi)網(wǎng)頁(yè)。2．循環(huán)。3．點(diǎn)擊元素。4．提