RichData金融行業(yè)大數(shù)據(jù)智能分析解決方案

1、RichData金融行業(yè)大數(shù)據(jù)智能分析解決方案方案概述進入21世紀，中國金融業(yè)對信息化工作前所未有的重視，眾多金融機構都建立起了自己的數(shù)據(jù)平臺，形成了金融機構網(wǎng)絡和垂直業(yè)務體系，實現(xiàn)了金融數(shù)據(jù)大集中。這些數(shù)據(jù)有四個特點。第一個特點是數(shù)據(jù)量大，一般達到PB級。第二個特點是類型多，如非結構化數(shù)據(jù)、半結構化數(shù)據(jù)、流數(shù)據(jù)等。第三個特點是價值密度低，有用的數(shù)據(jù)含量少。第四個特點是處理速度快，要求系統(tǒng)在短時間內(nèi)做出響應。這都是大數(shù)據(jù)的典型特點，而在金融行業(yè)，對數(shù)據(jù)存儲要求非常高，特別是在像中國人口很多的國家來說，每天都會產(chǎn)生大量的交易數(shù)據(jù)，包括銀行、證券、保險等各個金融領域都會產(chǎn)生大量的數(shù)據(jù)。這些數(shù)據(jù)都會

2、存放在交易系統(tǒng)當中，如何處理每天產(chǎn)生的大數(shù)據(jù)，進行科學的分析處理，挖掘隱藏在數(shù)據(jù)內(nèi)部各種有價值的關聯(lián)，并及時提供決策支持，成為擺在金融業(yè)面前的新課題。傳統(tǒng)的BI處理手段，深度上有限制。例如數(shù)據(jù)分析，希望細化到每筆交易的查詢、分析，對于數(shù)據(jù)的處理計算能力和計算的深度、廣度要求都非常高，原有數(shù)據(jù)分析速度限制等原因做不到。而大數(shù)據(jù)的優(yōu)勢是能夠針對最底層的交易數(shù)據(jù)進行全面的模式識別、分析，使得整個風險分析能力和效率大大提升。在盈利方面，通過對用戶的分類和信用能力分析，可以改善用戶服務，也能大大提升金融機構的盈利水平。在運營效率方面，對金融公司來說，很多都是跨全國的大型公司，它的分支機構，整個公司運營效

3、率也是具有大量價值，可以降低成本，可以使整個金融機構在后臺上及時得到穩(wěn)定、平穩(wěn)的支持。我們可以用大數(shù)據(jù)手段，把金融機構在分于各個系統(tǒng)當中的運營數(shù)據(jù)進行匯總、交叉分析使得整個運營效益進行大大的提升。基于金融很多業(yè)務系統(tǒng)都已經(jīng)構建，包括BI、信息分析，這些仍然可以在大數(shù)據(jù)平臺上繼續(xù)實施，而且比傳統(tǒng)方法更有效率。不僅可以降低數(shù)據(jù)整合工作量，把這些相對昂貴的工作放到更有效、更高效、性價比更高的大數(shù)據(jù)Hadoop上來進行，可以更大程度上降低原來對于基于主機昂貴的獨立系統(tǒng)要求，同樣使數(shù)據(jù)可以運行在基于英特爾X86平臺上，提高效率降低成本。方案架構金融行業(yè)大數(shù)據(jù)總體系統(tǒng)架構分為五層, 分別是數(shù)據(jù)層，存儲層，

4、計算層，模型層, 應用層。模型層是整個大數(shù)據(jù)的核心部分，為上層應用提供數(shù)據(jù)支撐。針對金融行業(yè)大數(shù)據(jù)分析的特點, 引入大數(shù)據(jù)平臺架構，實現(xiàn)對海量的銀行數(shù)據(jù)、證券數(shù)據(jù)、保險數(shù)據(jù)的自動化、高能效、虛擬化和標準化的存儲和管理，保證金融行業(yè)海量交易數(shù)據(jù)的安全性、可靠性和高效的運營。方案優(yōu)勢彩訊金融大數(shù)據(jù)解決方案在數(shù)據(jù)分析、數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)可視化等重要技術上具有優(yōu)勢：數(shù)據(jù)分析技術：包括數(shù)據(jù)挖掘、機器學習等人工智能技術，主要應用在用戶信用分析，用戶聚類分析，用戶特征分析，產(chǎn)品關聯(lián)分析，營銷分析等方面。由于金融系統(tǒng)安全性、穩(wěn)定性和實時性要求比較高，也大數(shù)據(jù)計算處理能力也要求非常高。彩訊金融大數(shù)據(jù)解決方

5、案內(nèi)置自主開發(fā)的函數(shù)模型庫，除包含常用的統(tǒng)計分析算法外，還內(nèi)置了多種常用數(shù)據(jù)挖掘算法及分析模型。插件式的函數(shù)模型庫，可動態(tài)增加新算法模型。同時，還提供行業(yè)分析模型及類似BI的分析和展示工具。數(shù)據(jù)管理技術：包括關系型和非關系型數(shù)據(jù)管理技術、數(shù)據(jù)融合和集成技術、數(shù)據(jù)抽取技術、數(shù)據(jù)清洗和轉(zhuǎn)換等技術。金融行業(yè)對數(shù)據(jù)的實時處理能力要求非常高，彩訊金融大數(shù)據(jù)解決方案內(nèi)置ETL服務子系統(tǒng)與ETL配置工具，支持從文件，DB、數(shù)據(jù)流中導入數(shù)據(jù)。 靈活的進行數(shù)據(jù)轉(zhuǎn)換配置和任務配置。數(shù)據(jù)處理技術：包括分布式計算技術、內(nèi)存計算技術、流處理技術。金融數(shù)據(jù)的海量增長使得企業(yè)需要通過新型數(shù)據(jù)處理技術來更有效的利用軟硬件資源

6、，在降低 IT 投入、維護成本和物理能耗的同時，為金融大數(shù)據(jù)的發(fā)展提供更為穩(wěn)定、強大的數(shù)據(jù)處理能力。 彩訊金融大數(shù)據(jù)解決方案包含Rich Hadoop分布式計算框架和Rich Streaming流計算框架，同時集成了hive、hbase等成熟的開源組件。數(shù)據(jù)展現(xiàn)技術：包括可視化技術、歷史流展示技術、空間信息流展示技術等。主要用于金融產(chǎn)品健康度監(jiān)視，產(chǎn)品發(fā)展趨勢監(jiān)視，客戶價值監(jiān)視，反洗錢反欺詐預警等方面。金融數(shù)據(jù)種類多樣，相關統(tǒng)計指標復雜，需要大力發(fā)展數(shù)據(jù)展現(xiàn)技術，提高金融數(shù)據(jù)的直觀性和可視性，從而提升金融數(shù)據(jù)的可利用價值。彩訊金融大數(shù)據(jù)解決方案自助分析工具包含報表工具和分析工具。自定義報表工具，實現(xiàn)了基于 XML 的定義文件來可編程性地生成報表的能力。 圍繞著報表引擎，開發(fā)用戶圖形界面，用戶可以使用向?qū)?，無需編程，通過工具配置一步接一步完成創(chuàng)建一個報表。數(shù)據(jù)展示格式靈活，能更大程度上滿足用戶的數(shù)據(jù)需求。多維分析工具，提供豐富的圖形化展現(xiàn)界面和接口。 用java語言開發(fā)支持 MDX（多維表達式）的查詢語言 、分析型XML 和 olap4j 的接口技術規(guī)范。實現(xiàn)了從 SQL 和其它數(shù)據(jù)源讀取數(shù)據(jù)，在內(nèi)存緩沖區(qū)中生成集合數(shù)據(jù)。方案價值金額行業(yè)當前面臨的跨行業(yè)數(shù)據(jù)共享的問題與挑戰(zhàn)。彩訊金融行業(yè)大數(shù)據(jù)解決方案能全