大數據處理綜合處理服務平臺的設計方案與實現

1、大數據處理綜合處理服務平臺的設計與實現（廣州城市職業(yè)學院廣東 廣州 510405）摘要：在信息技術高速發(fā)展的今天，金融業(yè)面臨的競爭日趨激烈，信息的高度共享和數據的安全可靠是系統(tǒng)建設中優(yōu)先考慮的問題。大數據綜合處理服務平臺支持靈活構建面向數據倉庫、實現批量作業(yè)的原子化、參數化、操作簡單化、流程可控化，并提供靈活、可自定義的程序接口，具有良好的可擴展性。該服務平臺以SOA 為基礎，采用云計算的體系架構，整合多種ETL 技術和不同的ETL 工具，具有統(tǒng)一、高效、可拓展性。該系統(tǒng)整合金融機構的客戶、合約、交易、財務、產品等主要業(yè)務數據，提供客戶視圖、客戶關系管理、營銷管理、財務分析、質量監(jiān)控、風險預警

2、、業(yè)務流程等功能模塊。該研究與設計打破跨國廠商在金融軟件方面的壟斷地位，促進傳統(tǒng)優(yōu)勢企業(yè)走新型信息化道路，充分實現了“資源共享、低投入、低消耗、低排放和高效率”，值得大力發(fā)展和推廣。關鍵詞：面向金融，大數據，綜合處理服務平臺。一、研究的意義目前，全球 IT 行業(yè)討論最多的兩個議題，一個是大數據分析“ Big Data ”， 一個是云計算 “CloudComputing ”。中國五大國有商業(yè)銀行發(fā)展至今，積累了海量的業(yè)務數據，同時還不斷的從外界收集數據。據IDC（國際數據公司）預測，用于云計算服務上的支出在接下來的 5 年間可能會出現3 倍的增長，占據IT 支出增長總量中 25% 的份額。目前企

3、業(yè)的各種業(yè)務系統(tǒng)中數據從GB 、TB 到 PB 量級呈海量急速增長，相應的存儲方式也從單機存儲轉變?yōu)榫W絡存儲。傳統(tǒng)的信息處理技術和手段，如數據庫技術往往只能單純實現數據的錄入、查詢、統(tǒng)計等較低層次的功能，無法充分利用和及時更新海量數據，更難以進行綜合研究，中國的金融行業(yè)也不例外。中國五大國有商業(yè)銀行發(fā)展至今，積累了海量的業(yè)務數據，同時還不斷的從外界收集數據。通過對不同來源，不同歷史階段的數據進行分析，銀行可以甄別有價值潛力的客戶群和發(fā)現未來金融市場的發(fā)展趨勢，針對目標客戶群的特點和金融市場的需求來研發(fā)有競爭力的理財產品。所以，銀行對海量數據分析的需求是尤為迫切的。再有，在信息技術高速發(fā)展的今天

4、，金融業(yè)面臨的競爭日趨激烈，信息的高度共享和數據的安全可靠是系統(tǒng)建設中優(yōu)先考慮的問題。隨著國內銀行業(yè)競爭的加劇，五大國有商業(yè)銀行不斷深化以客戶為中心，以優(yōu)質業(yè)務為核心的經營理念，這對銀行自身系統(tǒng)的不斷完善提出了更高的要求。而“云計算”技術的推出，將成為銀行增強數據的安全性和加快信息共享的速度，提高服務質量、降低成本和贏得競爭優(yōu)勢的一大選擇。面向金融領域的海量數據綜合處理服務平臺融合了分布式云計算技術、SOA 技術、 ETL 技術、作業(yè)調度技術，以 SOA 為基礎，采用云計算的體系架構，整合多種ETL 技術和不同的 ETL 工具，為金融行業(yè)建立統(tǒng)一、高效、可拓展的面向金融領域的海量數據綜合處理服

5、務平臺。該平臺支持靈活構建面向數據倉庫、數據集市、數據集文件進行海量數據的處理、加工和交換，實現批量作業(yè)的原子化、參數化、操作簡單化、流程可控化，并提供靈活、可自定義的程序接口，具有良好的可擴展性，是一個基礎服務框架的產品平臺。該系統(tǒng)整合金融機構的客戶、合約、交易、財務、產品等主要業(yè)務數據，提供客戶視圖、客戶關系管理、營銷管理、財務分析、質量監(jiān)控、風險預警、業(yè)務流程等功能模塊。系統(tǒng)支持構筑面向運營的服務平臺，可以按功能點或數據量來向使用方收費，使用方按格式要求提供數據，然后點擊相關功能模塊得到目標結果。隨著全球各行業(yè)對數據整合應用需求的擴大，“面向金融領域的海量數據綜合處理服務平臺”的需求將會

6、越來越大。該平臺為銀行、證券、保險行業(yè)等金融領域服務業(yè)創(chuàng)新和轉型升級提供決策支持，能有效推進信息化技術在傳統(tǒng)金融優(yōu)勢產業(yè)的融合滲透，屬于國家優(yōu)先發(fā)展和重點支持技術領域。從宏觀的角度來看，通過本服務平臺的實施，能促進我國金融信息化的發(fā)展，調整產業(yè)結構，同時增強企業(yè)品牌競爭力，提高企業(yè)在國內外信息科技領域的知名度，打破跨國廠商在金融軟件方面的壟斷地位，促進傳統(tǒng)優(yōu)勢企業(yè)走新型信息化道路，完善社會主義市場經濟體制，符合我國“十二五”規(guī)劃剛要發(fā)展的特點，對全面建設小康社會新勝利、推進中國特色社會主義偉大事業(yè)，具有十分重要的意義。二、 平臺設計的技術線路1、 基礎技術架構采用了當前先進的云計算技術，系統(tǒng)采

7、用基于 Hadoop 架構計算模式，突破傳統(tǒng)數據庫系統(tǒng)對海量數據處理的速度限制，通過對大量數據的并發(fā)訪問和處理，極大地提高了數據處理效率。2、 基于 SOA 方式的批量處理作業(yè)調度邏輯設計，采用集中式管理、分布式、多節(jié)點并行運算的設計概念，實現跨平臺、面向數據、高效并發(fā)調度多個海量批處理作業(yè)。3、 采用 ETL 技術，完成海量數據從源系統(tǒng)到數據倉庫再到數據集市加工、處理、集成的過程。同時，平臺支持整合主流的ETL 工具（ DataStage、 Informatica 、Sagent等）和對可執(zhí)行程序和存儲過程的調用。4、 采用作業(yè)調度技術，通過統(tǒng)一的操作平臺和圖形化界面，定義批量作業(yè)的調度策略

8、和調度規(guī)則，實現跨平臺、跨系統(tǒng)的批量作業(yè)的調度、執(zhí)行和監(jiān)控；同時，平臺通過并發(fā)控制和動態(tài)負載均衡實現性能的最大優(yōu)化。5、 采用影像處理技術實現影像的掃描、處理、分類、上傳。影像掃描通用平臺集成了一系列對文件處理、文件掃描、影像處理、文件上傳的邏輯，通過一系列的抽象和轉化，使開發(fā)人員可以忽略內部細節(jié)而直接針對業(yè)務邏輯進行設計。6、 通過工作流技術實現業(yè)務線上的流轉和審批，并結合電子化影像，極大地提高了工作效率。三、平臺的功能與架構1、數據整合層通過 SOA 技術、 ETL 技術、 hadoop 的 HDFS 技術、影像處理技術，高效整合來自各個業(yè)務系統(tǒng)的數據，保證系統(tǒng)數據的一致性、準確性和完整性

9、。數據經過加工處理，根據數據格式和數據量，分別存儲在關系型數據庫、hadoopHBASE 、影像存 ? 教校 ?再根據主題應用，將數據整合加工存儲在“應用數據存儲”，為用戶提供一個統(tǒng)一的干凈的數據視圖。2、基礎架構層采用 hadoop 來構建分布式并行計算平臺，主要由MapReduce 的算法執(zhí)行和一個分布式的文件系統(tǒng)（HDFS ）兩部分組成， hadoop 在可伸縮性、健壯性、計算性能和成本上具有無可替代的優(yōu)勢。采用公司有自主知識產權的ETL 軟件包或整合主流的ETL 工具（ DataStage、 Informatica 、 Sagent等）來構建數據ETL 平臺。采用 Brio 構建數據查

10、詢、分析、統(tǒng)計報表平臺。采用 Oracle 和 hadoop HBASE 搭建數據存儲平臺。Oracle 采用傳統(tǒng)的方式存儲數據。HBase 是 Hadoop 的一個子工程， HBase 采用了 Google BigTable 的稀疏的、面向列的數據庫實現方式，建立在hadoop 的 hdfs 上，一方面用了hdfs 的高可靠性和可伸縮行，另外一方面用了BigTable 的高效數據組織形式，為海量數據加工處理存儲提供了很好的解決方案。采用 JBPM 管理并配置流程，實現對流程的讀取和保存操作，并推動流程的流轉。采用 Websphere支持 WEB 應用，用戶只需通過瀏覽器即可登錄系統(tǒng)進行相關操

11、作，提高了易用性和可維護性。3、集成與服務層集成與服務層整合了ETL 引擎、作業(yè)調度引擎、規(guī)則引擎、影像處理引擎、工作流引擎來實現關鍵技術路徑，并通過組件化設計，保證了系統(tǒng)的靈活性和可擴展性。系統(tǒng)還提供了管理監(jiān)控服務、云計算服務、數據平臺服務等。4、應用層在數據整合層、基礎架構層、集成與服務層的基礎上實現針對業(yè)務數據加工、客戶視圖、客戶關系管理、營銷管理、財務分析、資產質量監(jiān)控、風險預警、業(yè)務分析、統(tǒng)計報表等應用。系統(tǒng)物理架構如下：> 數據源：數據來源于多個業(yè)務系統(tǒng)；> ETL 服務器：多臺服務器組成集群，部署hadoopHDFS 、 datastage工具、 etl 軟件包，實現

12、海量數據的綜合處理；> 存儲服務器：多臺服務器組成集群，部署oracle 數據庫、 hadoop HBASE 來存儲數據，部署影像存儲平臺來存儲影像文件；> WEB應用服務器：部署IBM Webspshere applicationServer，支持WEB應用，部署JBPM支持工作流應用；> 分析應用服務器：部署 Brio 服務器，支持分析、統(tǒng)計、報表應用；> 客戶端：客戶端采用普通 PC，客戶端瀏覽器要求IE5.5 以上；> 網絡：服務器、客戶端通過TCP/IP 網絡進行連接。四、關鍵技術與創(chuàng)新性云計算技術：本服務平臺采用高性能的分布式云計算技術，實現海量文件存

13、儲、海量數據存儲和統(tǒng)一的海量數據處理編程方法和運行環(huán)境。云計算主要基于虛擬化和分布式并行架構兩大核心技術，虛擬化平臺將服務器虛擬為多個性能可配的虛擬機，對整個集群系統(tǒng)中所有虛擬機進行監(jiān)控和管理，并根據實際資源使用情況對資源池靈活分配和調度。虛擬化技術不僅消除大規(guī)模異構服務器的差異化，其形成的計算池可以具有超級的計算能力。分布式并行架構是云計算的另一個核心技術，用于將大量的低配置機器整合為一臺高性能計算機，提供海量的數據存儲和處理服務。SOA 技術： 面向服務的體系結構（service-orientedarchitecture，SOA ）是一個組件模型，它將應用程序的不同功能單元（稱之為服務）通

14、過這些服務之間定義良好的接口聯(lián)系起來。接口是獨立于實現服務的硬件平臺、操作系統(tǒng)和編程語言的。采用SOA 技術實現處理、運行、監(jiān)控服務之間的松耦合，使系統(tǒng)變得更加靈活，以適應不斷變化的業(yè)務需求和環(huán)境。ETL 技術： ETL 中三個字母分別代表的是Extract 、Transform 、Load，即抽取、轉換、加載。ETL 作為構建數據倉庫的一個重要環(huán)節(jié)，負責將分布的、異構數據源中的數據如關系數據、平面數據文件等加工到臨時中間層，然后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市，作為聯(lián)機分析處理、數據挖掘的數據基礎。采用自主開發(fā)的 ETL 工具或整合主流ETL 工具，通過周期性的刷新，為用戶

15、提供一個統(tǒng)一的干凈的數據視圖，為數據分析提供一個高質量的數據源。作業(yè)調度技術：數據倉庫、數據集市的批量作業(yè)數量很多、處理流程和作業(yè)依賴關系復雜多樣、性能低下，是ETL 處理加工遇到的常見問題，系統(tǒng)采用作業(yè)調度技術，通過統(tǒng)一的操作平臺和圖形化界面，定義批量作業(yè)的調度策略和調度規(guī)則，實現跨平臺、跨系統(tǒng)的批量作業(yè)的調度、執(zhí)行和監(jiān)控。針對數據量巨大、源數據文件多、加工邏輯復雜的系統(tǒng)，使用作業(yè)調度技術達到簡化管理復雜度，提高系統(tǒng)總體性能的目的。影像處理技術：采用我公司自有知識產權的影像掃描通過平臺來實現影像的處理及上傳。掃描影像：作為一個插件，該軟件可以在 IE 瀏覽器平臺上調用各種掃描設備掃描圖像，并

16、按照預先設定的摸板，對影像自動存盤，并對掃描的影像進行數據格式壓縮，確保傳輸文件的大小。影像處理：對掃描出來的影像提供了預覽的功能，支持放大、縮小查看。對影像還具有自動去黑點、去黑框、自動糾偏，以及旋轉角度等功能。影像分類：對掃描的影像文件提供分類文件夾，便于用戶按照實際的業(yè)務需求來進行分類。文件操作：支持影像文件的一般操作，如復制、粘貼、刪除、建立文件夾等功能，并支持縮略圖的拖拉操作。影像上傳：對于指定的影像資料，在特定的目錄下，支持影像的上傳功能，由服務器進行影像的存放及 ?稻菘飧 ? 新。在傳輸過程中嚴格保證文件傳輸的準確性。工作流技術：采用基于Java 的 jBPM 作為工作流引擎，來設計、優(yōu)化、運行并控制業(yè)務流程。 jBPM 作為工作流引擎，支持可視化流程定義、版本化部署以及日志跟蹤。系統(tǒng)充分利用 jBPM 原有特性的基礎上做了優(yōu)化和封裝，尤其是優(yōu)化了流程的執(zhí)行、改善流程執(zhí)行的效率、提高系統(tǒng)的并發(fā)性能。六、技術推廣與社會效益在未來的五年內，國際金融市場對數據倉庫和數據分析的市場需求將會持續(xù)增長，本服務平臺開發(fā)的數據倉庫支撐技術將得到進一步的升級改造。同時，進一步推進國內金融信息化同行對數據倉庫相關的支撐技