大數(shù)據(jù)在金融行業(yè)中的應(yīng)用復(fù)習(xí)課程

1、大數(shù)據(jù)在金融行業(yè)中的應(yīng)用精品文檔數(shù)據(jù)掘金-大數(shù)據(jù)在金融行業(yè)中的應(yīng)用在當(dāng)前大數(shù)據(jù)技術(shù)潮流中，各行各業(yè)都在不斷的探索如何應(yīng)用大數(shù)據(jù)技術(shù) 以解決企業(yè)面臨的問題。目前國內(nèi)已有不少金融機構(gòu)開始嘗試通過大數(shù)據(jù)來驅(qū) 動相關(guān)金融業(yè)務(wù)運營。如下是百分點就金融行業(yè)如何應(yīng)用大數(shù)據(jù)技術(shù)提出我們 的見解。按照我們的經(jīng)驗，企業(yè)面向消費者的應(yīng)用大致可以分為運營、服務(wù)和營銷 三大類，在金融行業(yè)中這三類應(yīng)用的典型例子有：? 運營類：歷史記錄管理、多渠道數(shù)據(jù)整合分析、產(chǎn)品定位分析、客戶洞察分析、客戶全生命周期分析等。? 服務(wù)類：個性化坐席分配、個性化產(chǎn)品推薦、個性化權(quán)益匹配、個性化產(chǎn)品定價、客戶體驗優(yōu)化、客戶挽留等。? 營銷類：

2、互聯(lián)網(wǎng)獲客、產(chǎn)品推廣、交叉銷售、社會化營銷、渠道效果分析等。大數(shù)據(jù)技術(shù)在這些應(yīng)用中都可以發(fā)揮價值，其核心是通過一系列的技術(shù)手 段，采集、整合和挖掘用戶全方位的數(shù)據(jù)，為每個用戶建立數(shù)據(jù)檔案，也就是 常說的“用戶畫像”。大數(shù)據(jù)可應(yīng)用于金融行業(yè)實時數(shù)據(jù)分析，場景包括：? 在風(fēng)險管理領(lǐng)域，可以應(yīng)用于實時反欺詐、反洗錢，實時風(fēng)險識別、在線授信等場景；? 在渠道方面，可以應(yīng)用于全渠道實時監(jiān)測、資源動態(tài)優(yōu)化配置等場景；? 在用戶管理和服務(wù)領(lǐng)域，可以應(yīng)用于在線和柜面服務(wù)優(yōu)化、客戶流失預(yù)警及挽留、個性化推薦、個性化定價等場景；? 在營銷領(lǐng)域，可以應(yīng)用于（基于互聯(lián)網(wǎng)用戶行為的）事件式營銷、差異化廣告投放與推廣等場

3、景。大數(shù)據(jù)在金融業(yè)統(tǒng)計分析類應(yīng)用中的優(yōu)勢大數(shù)據(jù)在數(shù)據(jù)量、多種數(shù)據(jù)源、多種數(shù)據(jù)結(jié)構(gòu)、復(fù)雜計算任務(wù)方面都優(yōu)于傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)，這里僅舉兩個例子：a）大量數(shù)據(jù)的運算，例如：兩張 Oracle里面表數(shù)據(jù)分別是1000多萬和800多萬做8層join,放在大數(shù)據(jù)平臺運算比在 Oracle里面運算至少快2倍多；b）對于跨數(shù)據(jù)庫類型的表之間的join,例如一張Oracle的表和一張 sqlserver的表，在傳統(tǒng)的數(shù)據(jù)倉庫中是沒有辦法 join的?？梢詫?shù) 據(jù)通過sqoop等工具放到HDFS上面。利用hive,pig, impala,spark等 進(jìn)行更快的處理。大數(shù)據(jù)協(xié)助銀行實現(xiàn)其對客戶的多維度分析有人指

4、出，目前銀行自身的數(shù)據(jù)難以完成客戶全維度分析，那么應(yīng)用 大數(shù)據(jù)又能如何？首先，有幾個問題我們需要仔細(xì)思考：什么叫客戶“全 維度”？有沒有可能做到“全維度”？按照百分點的理解，不存在對一個 人的“全維度”的刻畫，因為我們現(xiàn)實中都做不到。您可以想象，一個人 的DNA可以代表他的“全維度”嗎？或者他的所有言論可以代表他的“全 維度”嗎？都不可以。我們期望的“全維度”實際上是想說最大可能的利 用和挖掘手上的數(shù)據(jù)資源！基于上面的理解，我們認(rèn)為銀行在大數(shù)據(jù)平臺 建設(shè)過程中最需要考慮的是如何最大程度的整合所有數(shù)據(jù)源，特別是行內(nèi) 自有數(shù)據(jù)源，并且針對業(yè)務(wù)需求做出有價值的分析應(yīng)用。其次，假設(shè)銀行要引入第三方數(shù)據(jù)

5、，這些數(shù)據(jù)怎么利用？這些數(shù)據(jù)如 何和行內(nèi)數(shù)據(jù)整合發(fā)揮價值？這些數(shù)據(jù)又如何轉(zhuǎn)化為客戶“全維度”分 析？顯然的，第三方數(shù)據(jù)也不是直接就能“全維度”的，還是要經(jīng)過一系 列的數(shù)據(jù)分析和挖掘。對銀行客戶了解、并且契合銀行業(yè)務(wù)的數(shù)據(jù)一定來 自于銀行業(yè)內(nèi)！任何外部的數(shù)據(jù)都需要經(jīng)過大量的轉(zhuǎn)換和業(yè)務(wù)解讀才能直 接在銀行中使用。如果需要第三方數(shù)據(jù)支撐，銀行必須找到對金融業(yè)務(wù)有 相當(dāng)理解，并且已經(jīng)按照銀行業(yè)務(wù)訴求分析好的數(shù)據(jù)才是有價值的。最后，按照我們的理解和實踐經(jīng)驗，銀行只需要把第三方數(shù)據(jù)看做一 個數(shù)據(jù)源即可，“全維度”的關(guān)鍵還是如何整合所有數(shù)據(jù)源并進(jìn)行深度挖 掘。在百分點的實際案例中，我們有一套自己的方法論，包

6、括數(shù)據(jù)的集 成、清洗、脫敏、多渠道整合、用戶畫像標(biāo)簽建模、用戶畫像整合、用戶 畫像服務(wù)等幾個步驟。第三方數(shù)據(jù)是在集成階段就解決的問題，后面各階 段關(guān)注點都在如何整合、挖掘和應(yīng)用這些數(shù)據(jù)。相比傳統(tǒng)技術(shù)，大數(shù)據(jù)技術(shù)的優(yōu)勢如下：a）大數(shù)據(jù)技術(shù)更關(guān)注過程數(shù)據(jù)、行為數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，可以真正做到“全方位”；b）大數(shù)據(jù)技術(shù)在實時性、數(shù)據(jù)量和并發(fā)量上有明顯優(yōu)勢，因為這些技 術(shù)一開始就是為互聯(lián)網(wǎng)、海量數(shù)據(jù)和高并發(fā)設(shè)計的；c）大數(shù)據(jù)技術(shù)在組件化、水平擴展方面有明顯優(yōu)勢，對業(yè)務(wù)升級和擴 展支持更加平滑。如何選擇大數(shù)據(jù)技術(shù)產(chǎn)品選擇大數(shù)據(jù)技術(shù)產(chǎn)品最優(yōu)先考慮的原則是什么？大家選擇某一款大數(shù) 據(jù)技術(shù)產(chǎn)品時，不能只關(guān)注某

7、款產(chǎn)品有什么“高端”的功能，而應(yīng)該關(guān)心 是這款產(chǎn)品是否能給我們帶來價值，能解決我們的業(yè)務(wù)痛點。所以大數(shù)據(jù) 產(chǎn)品的關(guān)鍵不在于建一個大數(shù)據(jù)的平臺，然后把數(shù)據(jù)進(jìn)行采集和存儲，而 在于這些大數(shù)據(jù)產(chǎn)品能在哪些方面支撐我們的應(yīng)用場景、能從數(shù)據(jù)中分析 出哪些有價值的觀點、能基于數(shù)據(jù)產(chǎn)生哪些數(shù)據(jù)應(yīng)用、如何為企業(yè)提供增 值變現(xiàn)的能力。這一點，我們需要向互聯(lián)網(wǎng)公司學(xué)習(xí)。大數(shù)據(jù)能夠蓬勃發(fā) 展正是因為互聯(lián)網(wǎng)行業(yè)真正讓大數(shù)據(jù)產(chǎn)生豐富的價值，如Google的精準(zhǔn)廣告，亞馬遜的“千人千面”推薦等。金融是極度依賴信息化技術(shù)的行業(yè)，在這個行業(yè)中，業(yè)務(wù)場景可以分 為下面幾大類：1）支撐類。例如海量數(shù)據(jù)的存儲和查詢等。2）操作類。

8、例如受眾人群篩選、營銷活動策劃等。3）戰(zhàn)術(shù)類。人群分析洞察、產(chǎn)品輿情分析等。4）戰(zhàn)略類。運營分析報告、新業(yè)務(wù)拓展等。不存在一款產(chǎn)品可以支撐以上所有場景，我們在產(chǎn)品選型時應(yīng)該盡量 考慮那些可以支撐更多場景的產(chǎn)品，至少應(yīng)該了解：1）該產(chǎn)品適合的直接場景是什么？2）該產(chǎn)品上已經(jīng)提供的應(yīng)用有哪些，支撐了哪些場景？3）該產(chǎn)品上可以衍生出哪些應(yīng)用，能夠支撐哪些場景？正是基于上述考慮，百分點才推出了大數(shù)據(jù)技術(shù)、大數(shù)據(jù)管理和大數(shù)據(jù)應(yīng) 用三層產(chǎn)品，每一層解決特定的業(yè)務(wù)問題，但這些產(chǎn)品可以像搭積木那樣輕松 整合在一起。大數(shù)據(jù)平臺建設(shè)1.1 大數(shù)據(jù)平臺硬件選型大數(shù)據(jù)的特點是數(shù)據(jù)量大但往往價值稀疏，從大數(shù)據(jù)里提取價值

9、就像是從 大海里撈針，要想完成大海撈針的工作就必須提供性價比可接受的軟硬件解決 方案，開源Hadoop解決方案就是典型的代表，通過基于廉價 x86架構(gòu)服務(wù)器之 上提供海量數(shù)據(jù)存儲和分析解決方案贏得互聯(lián)網(wǎng)界的青睞，所以，這種通過軟 件層面來保證數(shù)據(jù)安全和穩(wěn)定，硬件基于標(biāo)準(zhǔn) x86標(biāo)準(zhǔn)服務(wù)器的解決方案是未 來的主要方式。另外對于x86服務(wù)器的硬件選型也是需要考慮的，從實踐經(jīng)驗來看，我們 往往會綜合數(shù)據(jù)量、數(shù)據(jù)應(yīng)用和成本提供一個平衡性的硬件配置，然后基于平 衡型的硬件配置依據(jù)任務(wù)作業(yè)情況，調(diào)整硬件配置，如IO密集型可能會使用SSD&內(nèi)存,CPU密集型任務(wù)則會選擇高端 CPU等。1.2 大數(shù)據(jù)平臺建設(shè)

10、最佳實踐大數(shù)據(jù)平臺建設(shè)中，Hadoop體系所包含的生態(tài)系統(tǒng)，如：Hbase,Hive,snoop,pig,spar底子系統(tǒng)，那么如何根據(jù)各自的特性，通過組合方式 來適應(yīng)實際需求并應(yīng)用到具體場景中呢？我們的最佳實踐是利用互聯(lián)網(wǎng)十大數(shù)據(jù)的技術(shù)架構(gòu)，構(gòu)建Lamda架構(gòu)，如圖所示：數(shù)據(jù)采集、離線數(shù)據(jù)存儲及處理V (Hfldoop)數(shù)據(jù)分發(fā)想曰始觸堂MFIP對外服務(wù)存儲口拈門療wsgr數(shù)據(jù)服務(wù)Rl ；s r API分實時數(shù)據(jù)姐I1）數(shù)據(jù)采集a）傳統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)集市、數(shù)據(jù)倉庫的數(shù)據(jù)，均可以通過 Sqoop等數(shù)據(jù)橋接的方式接入大數(shù)據(jù)平臺，同時可以將數(shù)據(jù)庫日 志、系統(tǒng)日志等非結(jié)構(gòu)化文本數(shù)據(jù)通過 Flu

11、me等組件接入大數(shù)據(jù)平 臺。b）銀行線上渠道（網(wǎng)站、APP應(yīng)用、微信公眾號等）中的用戶行為可以通過數(shù)據(jù)探頭技術(shù)， Web端及H5通過JS移動端通過SDK部 碼，采集用戶行為數(shù)據(jù)；銀行線下渠道（柜面、 ATM等）的用戶行 為數(shù)據(jù)，需從線下接入的系統(tǒng)數(shù)據(jù)中解構(gòu)分析。c）互聯(lián)網(wǎng)公開數(shù)據(jù)，如論壇、微博、媒體資訊等，通過數(shù)據(jù)爬取技術(shù) 進(jìn)行數(shù)據(jù)采集。d）也可以利用各種API接口接入其他合作方、第三方等的在線或離線 數(shù)據(jù)。2）數(shù)據(jù)分發(fā)通過FTP或Kafka消息隊列將數(shù)據(jù)實時分發(fā)，分發(fā)后分開實時數(shù)據(jù)處理和離線數(shù)據(jù)存儲和處理兩條線，形成“人”字型的Lamda架構(gòu)。3）離線數(shù)據(jù)存儲及處理基于Hadoop平臺和Mp

12、Reduce技術(shù)的離線數(shù)據(jù)處理，常用的是 HBase 列式數(shù)據(jù)庫。4）實時數(shù)據(jù)處理利用Storm或Spark技術(shù)的實時數(shù)據(jù)處理，例如 Storm是事實流式處理，Spark （Spark Streamin。是基于內(nèi)存的實時批處理。5）數(shù)據(jù)存儲不同的數(shù)據(jù)類型、不同的業(yè)務(wù)場景，需要的不同的數(shù)據(jù)存儲服務(wù)，在我們的產(chǎn)品中應(yīng)用了 Redis MongoDB、MySQL ElasticSearchl多種存 儲服務(wù)。百分點基于此架構(gòu)為銀行提供服務(wù)的典型應(yīng)用場景包括：1）用戶行為采集分析：利用數(shù)據(jù)探頭（JS SDK Nginx、ICE）、數(shù)據(jù)分發(fā) （Kafka、離線數(shù)據(jù)存儲及處理（HBase、運營分析結(jié)果展現(xiàn)

13、（MySQD 。2）跨部門數(shù)據(jù)整合：利用數(shù)據(jù)橋接（Sqoop）、日志接入（Flume）、數(shù)據(jù) 分發(fā)（FTB、離線數(shù)據(jù)存儲存儲及處理（HBasa ES。3）離線用戶畫像和用戶洞察（支持營銷）：利用離線數(shù)據(jù)存儲存儲及處理 （HBase ES 。4）實時用戶畫像及推薦：利用實時數(shù)據(jù)處理（Storm、Spark）、數(shù)據(jù)存儲（Redis MongoDB）。5）實時反欺詐：利用數(shù)據(jù)接口（ API）、數(shù)據(jù)分發(fā)（MQ）、實時數(shù)據(jù)處理 （Storm）。1.3 大數(shù)據(jù)平臺和現(xiàn)有數(shù)據(jù)倉庫的有效整合目前各行都有自己的數(shù)據(jù)倉庫或數(shù)據(jù)集市平臺，而大數(shù)據(jù)平臺的引入又往 往獨立于數(shù)據(jù)倉庫，對于某些場景，將結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化

14、數(shù)據(jù)進(jìn)行整體結(jié) 合往往能夠起到更好的效果，如何能夠?qū)⒋髷?shù)據(jù)平臺和現(xiàn)有數(shù)據(jù)倉庫進(jìn)行有效 整合？1）非結(jié)構(gòu)化數(shù)據(jù)處理與大數(shù)據(jù)應(yīng)用的關(guān)系首先分享一下我們對“結(jié)構(gòu)化”和“非結(jié)構(gòu)化”的理解：狹義的理解：結(jié)構(gòu)化就是指關(guān)系型數(shù)據(jù)，其余都是非結(jié)構(gòu)化數(shù)據(jù)。廣義的理解：結(jié)構(gòu)化是相對于某一個程序來講的，例如視頻對于播放器來 說顯然是結(jié)構(gòu)化的，但是對于文本編輯器來說就是非結(jié)構(gòu)化的。事實上，即使是人腦，處理的也都是“廣義的”結(jié)構(gòu)化數(shù)據(jù)。你可以想 象，自己在注視一張照片時，腦海中形成的一定不是一個一個像素點，而是抽 象過的一些屬性！按照我們上面的理解，無論是語音、影像還是其它“狹義”的非結(jié)構(gòu)化數(shù) 據(jù)，只要我們有工具可以將

15、這些數(shù)據(jù)轉(zhuǎn)化成我們關(guān)心數(shù)據(jù)結(jié)構(gòu)，那就可以作為 大數(shù)據(jù)應(yīng)用的一個數(shù)據(jù)源，后續(xù)由針對這類數(shù)據(jù)的的特定工具處理即可。這里 舉一個例子：通常我們認(rèn)為 HTML網(wǎng)頁，例如電商的單品頁面，是非結(jié)構(gòu)化 我，因為我很難從中提取出結(jié)構(gòu)化字段，例如商品名稱、價格等。但通過互聯(lián) 網(wǎng)抓取系統(tǒng)，我們可以將這些頁面轉(zhuǎn)化為結(jié)構(gòu)化字段，那么后續(xù)按照結(jié)構(gòu)化數(shù) 據(jù)處理即可。語音、影響也是一樣，關(guān)鍵是我們期望從中提取什么信息，用什 么工具提取，一旦提取成功，即可整合到大數(shù)據(jù)應(yīng)用中。在百分點的實踐中，我們已經(jīng)完全整合了網(wǎng)頁、文本、JSON、XML等非結(jié)構(gòu)化數(shù)據(jù)，部分整合了圖像和語音數(shù)據(jù)，這些內(nèi)容都已經(jīng)應(yīng)用到了業(yè)務(wù)中。2）大數(shù)據(jù)平臺和

16、現(xiàn)有數(shù)據(jù)倉庫的整合現(xiàn)有的數(shù)據(jù)倉庫完全可以和大數(shù)據(jù)平臺進(jìn)行整合，現(xiàn)有數(shù)據(jù)倉庫可以作為 大數(shù)據(jù)平臺的一個數(shù)據(jù)源和數(shù)據(jù)應(yīng)用。對于金融銀行業(yè)，往往已經(jīng)實施有數(shù)據(jù)倉庫，這個時候如果盲目上大數(shù)據(jù) 平臺進(jìn)行平臺替換往往容易造成數(shù)據(jù)混亂，所以我們提供的建議是混搭先行， 逐步替換，先替換那些傳統(tǒng)手段不能解決的問題，再替換那些數(shù)據(jù)倉庫已經(jīng)存在的應(yīng)用。現(xiàn)階段數(shù)據(jù)倉庫上下游生態(tài)圈豐富程度遠(yuǎn)遠(yuǎn)大于大數(shù)據(jù)生態(tài)圈，我 們應(yīng)該充分利用現(xiàn)有數(shù)據(jù)倉庫上下游豐富的解決方案充分發(fā)揮傳統(tǒng)數(shù)倉的價 值，然后通過Hadoop等大數(shù)據(jù)產(chǎn)品來補充傳統(tǒng)數(shù)倉對于非結(jié)構(gòu)化數(shù)據(jù)處理不 足的缺陷。隨著大數(shù)據(jù)技術(shù)的發(fā)展，大數(shù)據(jù)產(chǎn)品（Hadoop等）各項功

17、能和性能 不斷完善，再逐步把數(shù)倉之上已有業(yè)務(wù)應(yīng)用遷移到大數(shù)據(jù)平臺。常見技術(shù)問題解答1）在Hadoop中導(dǎo)入Oracle的數(shù)據(jù)后，數(shù)據(jù)怎么備份？在數(shù)據(jù)導(dǎo)入到Hadoop中之后，數(shù)據(jù)的備份數(shù)就已經(jīng)根據(jù) Hadoop的HDFSE置做了多備份（默認(rèn)是3備份）。2） Oracle關(guān)系數(shù)據(jù)庫的數(shù)據(jù)怎么部署 Hadoop環(huán)境中使用？Oracle數(shù)據(jù)庫中的數(shù)據(jù)可以直接導(dǎo)入到 Hadoop中，而后利用一些工具進(jìn)行處理：a） Hadoop生態(tài)中有一系列的工具和組件可以在 RDBMS?口 Hadoop問導(dǎo)入導(dǎo)出數(shù)據(jù)，例如Sqoop,這些工具或多或少會有一些坑，需要使用者注意或者找有經(jīng)驗的專家指導(dǎo)。b）數(shù)據(jù)處理方面，

18、Hive、SparkSQLF口 Impala都是很好的SQL onHadoop工具，它們可以滿足大部分的數(shù)據(jù)處理需求，但它們對SQL的支持不盡相同，目前也沒有任何組件能完美支持Oracle的PL/SQL這些SQL組件無法滿足數(shù)據(jù)處理需求，一般的做法是利用其它工具，例如 Pigj原生MapReduce等。3）HDF或據(jù)怎么入 HbaseHDF漱據(jù)導(dǎo)入到HBase有三種方式：a）可以通過普通的MR程序，在Map或者Reduce里面通過HTable的對象來寫入到HBaseb） 直接通過 MR 程序，用 HBase的 TableMapper 和 TableReduceg法，然后用TableMapReduceUtil類來執(zhí)行MR,和1類似。如果數(shù)據(jù)量大，建議使用bulkload的方式，通過HfileOutputFormat 方法生成 HFile 格式的數(shù)據(jù),再通過 LoadIncrementalHfile 的方法把結(jié)果加載到Hbase出師表兩漢：諸葛亮先帝創(chuàng)業(yè)未平而中道崩殂，今天下三分，益州疲弊，此誠危急存亡之 秋也。然侍衛(wèi)之臣不懈于內(nèi)，忠志之士忘身于外者，蓋追先帝之殊遇，欲報之 于陛下也。誠宜開張圣聽，以光先帝遺德，恢弘志士之氣，不宜妄自菲薄，引 喻失義，以塞忠諫之路也。宮中府中，俱為一體；陟罰臧否，不宜異同。若有作奸犯科及為忠善 者，宜付有