銀行的業(yè)金融大數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目的規(guī)劃書

1、銀行業(yè)金融大數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目規(guī)劃書項(xiàng)目介紹1.1項(xiàng)目背景銀行業(yè)一直是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的行業(yè)，數(shù)據(jù)也一直是銀行信息化的主題詞。銀行的信息化進(jìn)程先后經(jīng)歷過業(yè)務(wù)電子化、數(shù)據(jù)集中化、管理模型化等階段，如今隨著大數(shù)據(jù)技術(shù)的飛速 發(fā)展，銀行信息化也進(jìn)入了新的階段：大數(shù)據(jù)時(shí)代。目前，國(guó)內(nèi)銀行都積累了海量的金融數(shù)據(jù)，包括各類結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量巨大，存儲(chǔ)方式多樣。但是這些海量數(shù)據(jù)還沒得到充分利用，顯得價(jià)值含量較低。只 有經(jīng)過合適的預(yù)處理、模型設(shè)計(jì)、分析挖掘后，才能發(fā)現(xiàn)隱藏在其中的潛在規(guī)律。而應(yīng)用大數(shù)據(jù)分析技術(shù)，可以從海量的、不完全一致的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含 在其中的、人們事先

2、不知道的、但又是潛在有用的信息和知識(shí)。銀行可以利用這些信息和知識(shí)來(lái)提升金融業(yè)務(wù)的服務(wù)效率和管理水平，銀行的關(guān)鍵業(yè)務(wù)也能從中獲得巨大收益。銀行在大數(shù)據(jù)技術(shù)應(yīng)用方面具有天然優(yōu)勢(shì)：一方面，銀行在業(yè)務(wù)開展過程中積累了大量有價(jià)值數(shù)據(jù)，這些數(shù)據(jù)在運(yùn)用大數(shù)據(jù)技術(shù)挖掘和分析之后，將產(chǎn)生巨大的商業(yè)價(jià)值；另一方面，銀行在資金、設(shè)備、人才、技術(shù)上都具有極大的便利條件，有能力采用大數(shù)據(jù)的最新技 術(shù)。建立“金融大數(shù)據(jù)服務(wù)平臺(tái)”，可以通過對(duì)金融數(shù)據(jù)的挖掘、分析，創(chuàng)造數(shù)據(jù)增值價(jià)值，提供針對(duì)銀行的精準(zhǔn)營(yíng)銷、統(tǒng)一廣告發(fā)布、業(yè)務(wù)體驗(yàn)優(yōu)化、客戶綜合管理、風(fēng)險(xiǎn)控制等多種金融服務(wù)。1.2業(yè)務(wù)需求目前，銀行客戶對(duì)數(shù)據(jù)的利用仍是以各類統(tǒng)計(jì)

3、報(bào)表為主，存在以下重大弊端：1. 對(duì)數(shù)據(jù)的分析僅按照固定項(xiàng)目，對(duì)業(yè)務(wù)情況進(jìn)行事后統(tǒng)計(jì)分析和監(jiān)控。實(shí)際上沒有找到隱藏在數(shù)據(jù)背后的原因，數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力不足。2. 對(duì)數(shù)據(jù)的分析僅作為專項(xiàng)的統(tǒng)計(jì)分析結(jié)果輸出，對(duì)于數(shù)據(jù)間的因果影響、相關(guān)性分組或關(guān)聯(lián)規(guī)則、聚類、描述和可視化等工作尚未開展，數(shù)據(jù)關(guān)聯(lián)分析能力不足。3. 統(tǒng)計(jì)分析側(cè)重在事后的數(shù)據(jù)匯總，難以從數(shù)據(jù)匯總中得到客戶服務(wù)事件發(fā)生的規(guī)律，以及前瞻性判斷，數(shù)據(jù)的預(yù)測(cè)性分析能力不足。針對(duì)具體的金融業(yè)務(wù)，大數(shù)據(jù)分析在以下方面有著迫切的需求：統(tǒng)一廣告發(fā)布：目前金融行業(yè)客戶在廣告方面投入大、渠道多，但在確認(rèn)真實(shí)效果、提 供優(yōu)化廣告策略時(shí)卻不能提供確切的

4、數(shù)據(jù)證據(jù)。亟需利用大數(shù)據(jù)技術(shù)在收集各類型、各渠道廣告發(fā)布數(shù)據(jù)的基礎(chǔ)上，提供可靠的效果數(shù)據(jù)和優(yōu)化策略建議。精準(zhǔn)營(yíng)銷：目前金融行業(yè)的營(yíng)銷方式基本上還是粗放式的，調(diào)查方式粗糙，分析原因簡(jiǎn)單，對(duì)過程的控制力差， 對(duì)客戶和產(chǎn)品的推廣都缺少針對(duì)性。亟需利用大數(shù)據(jù)技術(shù)來(lái)收集詳盡數(shù)據(jù)、科學(xué)分析原因、嚴(yán)格控制過程、并有針對(duì)性地面向客戶和產(chǎn)品進(jìn)行營(yíng)銷推廣。業(yè)務(wù)系統(tǒng)優(yōu)化:目前金融行業(yè)對(duì)其業(yè)務(wù)系統(tǒng)的客戶體驗(yàn)效果、客戶轉(zhuǎn)化率缺乏準(zhǔn)確數(shù)據(jù)支持，也無(wú)法分析具體原因。亟需利用大數(shù)據(jù)技術(shù)獲得各業(yè)務(wù)、各環(huán)節(jié)的客戶轉(zhuǎn)化率，從而有針對(duì)性地改進(jìn)業(yè)務(wù)流程，提升服務(wù)質(zhì)量?？蛻袅魇Х治觯簩?duì)于如何穩(wěn)定留存客戶、 降低客戶流失率，目前金融客戶還

5、無(wú)法準(zhǔn)確分 析客戶流失的原因，也就無(wú)從提出有效的改進(jìn)措施。亟需利用大數(shù)據(jù)技術(shù)在分析流失客戶數(shù)據(jù)的基礎(chǔ)上，提出改進(jìn)客戶關(guān)系管理效率和水平的有效建議。風(fēng)險(xiǎn)分析：金融行業(yè)對(duì)自己客戶和業(yè)務(wù)的風(fēng)險(xiǎn)分析停留在初級(jí)階段，缺乏全面掌握和提前預(yù)防的技術(shù)手段。亟需利用大數(shù)據(jù)技術(shù)獲得存在較高風(fēng)險(xiǎn)的客戶群體及業(yè)務(wù)，作為對(duì)其進(jìn)行重點(diǎn)監(jiān)控和提前做好預(yù)防措施的基礎(chǔ)。通過建設(shè)金融大數(shù)據(jù)服務(wù)平臺(tái)，研發(fā)基于大數(shù)據(jù)分析的統(tǒng)一廣告發(fā)布系統(tǒng)、精準(zhǔn)營(yíng)銷系統(tǒng)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶流失分析系統(tǒng)和風(fēng)險(xiǎn)分析系統(tǒng)，金融客戶可以提升廣告發(fā)布效果，提高營(yíng)銷針對(duì)性，優(yōu)化服務(wù)質(zhì)量，改善客戶管理水平，預(yù)防風(fēng)險(xiǎn)沖擊，進(jìn)而為業(yè)務(wù)發(fā)展 提供決策支撐，并促進(jìn)相關(guān)

6、領(lǐng)域構(gòu)建新的業(yè)務(wù)模式、服務(wù)模式。二. 項(xiàng)目范圍北京XXXX技術(shù)有限公司自主研發(fā)的“金融大數(shù)據(jù)服務(wù)平臺(tái)”，旨在為金融行業(yè)客戶提供包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘、可視化展現(xiàn)、業(yè)務(wù)實(shí)現(xiàn)等全流程服務(wù)， 以幫助客戶實(shí)現(xiàn)各種金融業(yè)務(wù)。數(shù)據(jù)采集“金融大數(shù)據(jù)服務(wù)平臺(tái)” 首先需要收集各種金融數(shù)據(jù)，它們可能是結(jié)構(gòu)化的， 也可能是半結(jié)構(gòu)化或非結(jié)構(gòu)化的；既可能來(lái)自銀行內(nèi)部的各業(yè)務(wù)系統(tǒng)，也可能由外部提供；既可以是靜態(tài)的（如屬性數(shù)據(jù)），也可以是動(dòng)態(tài)的（如行為數(shù)據(jù)）。而金融數(shù)據(jù)采集產(chǎn)品就是根據(jù)業(yè)務(wù) 需要，將這些數(shù)據(jù)采集到“金融大數(shù)據(jù)服務(wù)平臺(tái)”中。數(shù)據(jù)存儲(chǔ)Hadoop 集群通過將數(shù)據(jù)分配到多個(gè)集群節(jié)點(diǎn)上并進(jìn)行并

7、行處理，因此尤為適合對(duì)大 數(shù)據(jù)的存儲(chǔ)和分析。Hadoop 集群通過添加節(jié)點(diǎn)數(shù)量來(lái)有效的擴(kuò)展集群，因此具有極好的 可擴(kuò)展性；Hadoop 軟件都是開源的，也不必購(gòu)買昂貴的高檔服務(wù)器，因此具有很好的性 價(jià)比。Hadoop集群將數(shù)據(jù)分片發(fā)送至多個(gè)節(jié)點(diǎn)保存，因此具有極高的容錯(cuò)性。數(shù)據(jù)預(yù)處理采集到金融數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，大多存在著不完整性和不一致性，無(wú)法直接用于數(shù)據(jù)挖掘或嚴(yán)重影響數(shù)據(jù)挖掘的效率。因此在進(jìn)行數(shù)據(jù)挖掘之前，通過使用數(shù)據(jù)預(yù)處理工具，靈活對(duì)原始數(shù)據(jù)的清理、變換、集成等處理，可以減少挖掘所需數(shù)據(jù)量，縮短所需時(shí)間，并極 大提高數(shù)據(jù)挖掘的質(zhì)量。數(shù)據(jù)挖掘數(shù)據(jù)挖掘是通過分析數(shù)據(jù)、從大量數(shù)據(jù)中尋找其潛在規(guī)律

8、的技術(shù)。利用預(yù)測(cè)、關(guān)聯(lián)、分類、聚類、時(shí)序分析等技術(shù)，數(shù)據(jù)挖掘可以從海量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)。 目前，傳統(tǒng)的數(shù)據(jù)挖掘產(chǎn)品在大數(shù)據(jù)平臺(tái)上還存在一些局限性，研發(fā)一套Hadoop 平臺(tái)下的數(shù)據(jù)挖掘工具是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。可視化展現(xiàn)數(shù)據(jù)挖掘得到的結(jié)果，往往數(shù)據(jù)量巨大、關(guān)聯(lián)關(guān)系復(fù)雜、維度多以及雙向互動(dòng)需求等。可視化展現(xiàn)工具以適合人類思維的圖形化的方式對(duì)結(jié)果進(jìn)行展示，提高了數(shù)據(jù)的直觀性和可視性?？梢暬宫F(xiàn)面向各類客戶，通過選擇合適的可視化模型，將枯燥的數(shù)據(jù)轉(zhuǎn)換為令人印 象深刻的美麗圖形，極大提升了數(shù)據(jù)的利用價(jià)值。業(yè)務(wù)實(shí)

9、現(xiàn)“金融大數(shù)據(jù)服務(wù)平臺(tái)”的效果，最終需要集成在各類金融業(yè)務(wù)系統(tǒng)中才能得以體現(xiàn)。 目前擬建設(shè)的金融業(yè)務(wù)系統(tǒng)有：精準(zhǔn)營(yíng)銷系統(tǒng)、統(tǒng)一廣告發(fā)布系統(tǒng)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶流失分析系統(tǒng)、風(fēng)險(xiǎn)分析系統(tǒng)等。三. 項(xiàng)目目標(biāo)實(shí)施針對(duì)銀行的“金融大數(shù)據(jù)服務(wù)平臺(tái)”項(xiàng)目，通過采集銀行內(nèi)部與外部、靜態(tài)與動(dòng)態(tài)的各類金融數(shù)據(jù)，搭建適于大數(shù)據(jù)存儲(chǔ)與分析的Hadoop集群，對(duì)金融數(shù)據(jù)采取合適的預(yù)處理方式，利用數(shù)據(jù)挖掘技術(shù)得出隱藏在海量數(shù)據(jù)后的、有價(jià)值的潛在規(guī)律，以豐富的可視化模型向客戶進(jìn)行展現(xiàn)，在此基礎(chǔ)上實(shí)現(xiàn)精準(zhǔn)營(yíng)銷、統(tǒng)一廣告發(fā)布、業(yè)務(wù)體驗(yàn)優(yōu)化、客戶綜合管理、風(fēng)險(xiǎn)控制等金融業(yè)務(wù)應(yīng)用。 由此，提升金融業(yè)務(wù)的水平和效率，推進(jìn)銀行業(yè)

10、務(wù)創(chuàng)新，降低銀行管理和運(yùn)行成本。本項(xiàng)目的具體技術(shù)目標(biāo)包括：開發(fā)金融數(shù)據(jù)采集工具：大數(shù)據(jù)分析需要收集來(lái)自銀行內(nèi)部的和外部的、靜態(tài)的和動(dòng)態(tài)的各種金融數(shù)據(jù)，為此開發(fā)各類金融數(shù)據(jù)采集工具，如動(dòng)態(tài)采集SDK、日志提取分析工具、外部數(shù)據(jù)導(dǎo)入工具等。搭建Hadoop 大數(shù)據(jù)集群：搭建Hadoop大數(shù)據(jù)集群，是建設(shè)“金融大數(shù)據(jù)服務(wù)平臺(tái)” 的基礎(chǔ)。利用多臺(tái)性能較為一般的服務(wù)器，組成一套基于HDFS和Map-Reduce 機(jī)制的集群，并根據(jù)需要在其上安裝Hive、HBase、Sqoop、ZooKeeper 等軟件。實(shí)現(xiàn)分析挖掘算法：支持Hadoop的分析挖掘算法，是“金融大數(shù)據(jù)服務(wù)平臺(tái)”的一個(gè)關(guān)鍵組成部分。在利用

11、傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)上， 實(shí)現(xiàn)包括抽象的數(shù)學(xué)算法 （如關(guān)聯(lián)算 法、分類算法、聚類算法、時(shí)序分析算法等），以及在此基礎(chǔ)上針對(duì)金融業(yè)務(wù)的專業(yè)算法 （如 客戶行為特征模型、效果分析模型等） ，作為進(jìn)一步構(gòu)建抽象模型和金融專業(yè)模型的基礎(chǔ)。構(gòu)建分析挖掘模型：支持Hadoop的分析挖掘模型，是“金融大數(shù)據(jù)服務(wù)平臺(tái)”的另一關(guān)鍵組成部分。在上一步基礎(chǔ)上，快速構(gòu)建抽象的數(shù)學(xué)模型（如神經(jīng)網(wǎng)絡(luò)模型、事物關(guān)聯(lián)模型等），以及針對(duì)金融業(yè)務(wù)的專業(yè)模型（如精準(zhǔn)營(yíng)銷模型、廣告效果評(píng)估模型等）。實(shí)現(xiàn)ETL工具：數(shù)據(jù)預(yù)處理也是“金融大數(shù)據(jù)服務(wù)平臺(tái)”需要解決的問題之一。利用市場(chǎng)上已有的數(shù)據(jù)預(yù)處理成果，研發(fā)一個(gè)支持Hadoop的ET

12、L工具，實(shí)現(xiàn)包括規(guī)范化、數(shù)據(jù)抽樣、數(shù)據(jù)排序、匯總、指定因變量、屬性變換、數(shù)據(jù)替換、數(shù)據(jù)降維、數(shù)據(jù)集拆分、離 散化等功能。實(shí)現(xiàn)可視化展現(xiàn)工具：“金融大數(shù)據(jù)服務(wù)平臺(tái)”上的分析結(jié)果將主要采用豐富多彩的可視化形式向用戶進(jìn)行可視化展現(xiàn)。利用市場(chǎng)上已有的相關(guān)技術(shù)和產(chǎn)品，研發(fā)一個(gè)可視化展現(xiàn)工具，可以支持：分類樹圖、視覺聚類圖、關(guān)聯(lián)圖、序列圖、回歸圖等多種可視化形式。實(shí)現(xiàn)金融業(yè)務(wù)應(yīng)用：將分析挖掘的結(jié)果集成到具體的銀行業(yè)務(wù)系統(tǒng)中，如精準(zhǔn)營(yíng)銷系統(tǒng)、統(tǒng)一廣告發(fā)布平臺(tái)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶綜合管理系統(tǒng)、風(fēng)險(xiǎn)控制系統(tǒng)等。具體方式既 可以是實(shí)現(xiàn)某個(gè)獨(dú)立的新業(yè)務(wù)系統(tǒng)，也可以是在現(xiàn)有系統(tǒng)中實(shí)現(xiàn)一個(gè)或多個(gè)新模塊，從而擴(kuò)充或提

13、升原有的功能。本項(xiàng)目的具體業(yè)務(wù)目標(biāo)包括：精準(zhǔn)營(yíng)銷：綜合分析客戶行為特征信息和金融業(yè)務(wù)分類信息，可以得到客戶最有可能感興趣的業(yè)務(wù)以及業(yè)務(wù)最有可能的潛在客戶群，以此為基礎(chǔ)有針對(duì)性地開展?fàn)I銷；統(tǒng)一廣告發(fā)布：分析廣告效果分析信息，可以得到各類型、各渠道的最佳配置或薄弱環(huán) 節(jié)，以此為基礎(chǔ)改變廣告策略、提升廣告效果；業(yè)務(wù)體驗(yàn)優(yōu)化:分析客戶業(yè)務(wù)體驗(yàn)信息、客戶流失信息，可以得到客戶在各業(yè)務(wù)、各環(huán) 節(jié)的轉(zhuǎn)化率，分析流失原因，在此基礎(chǔ)上改進(jìn)業(yè)務(wù)流程、 提高服務(wù)質(zhì)量，以提升客戶滿意度；客戶流失分析：綜合分析客戶行為特征信息、客戶流失信息及其它信息，得到客戶的全方面分析結(jié)果，在此基礎(chǔ)上改進(jìn)客戶關(guān)系管理的效率和水平；風(fēng)

14、險(xiǎn)分析：分析客戶屬性數(shù)據(jù)、 風(fēng)險(xiǎn)分析數(shù)據(jù)，可以得到存在較高風(fēng)險(xiǎn)可能的客戶群體 和業(yè)務(wù)信息，在此基礎(chǔ)上區(qū)分特別關(guān)注目標(biāo)、 制定預(yù)防措施，降低這些客戶和業(yè)務(wù)可能帶來(lái) 的沖擊。四. 技術(shù)方案4.1總體架構(gòu)“金融大數(shù)據(jù)服務(wù)平臺(tái)”由數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、分析挖掘?qū)雍蜆I(yè)務(wù)應(yīng)用層組成,總體框架如下圖所示：數(shù)據(jù)采集層：負(fù)責(zé)從各類數(shù)據(jù)源中提取、導(dǎo)入數(shù)據(jù)，主要產(chǎn)品包括：動(dòng)態(tài)采集SDK、日志提取分析工具、外部數(shù)據(jù)導(dǎo)入工具、其它數(shù)據(jù)提取工具等。數(shù)據(jù)存儲(chǔ)層：負(fù)責(zé)將預(yù)處理后的數(shù)據(jù)進(jìn)行存儲(chǔ)，主要由可進(jìn)行橫向擴(kuò)展的Hadoop 集 群構(gòu)成，另外輔之以關(guān)系數(shù)據(jù)庫(kù)作數(shù)據(jù)中轉(zhuǎn)、元數(shù)據(jù)存儲(chǔ)、供某些軟件使用等用途。分析挖掘?qū)樱贺?fù)責(zé)金

15、融數(shù)據(jù)經(jīng)建模、 挖掘、評(píng)估和發(fā)布，核心是實(shí)現(xiàn)兩類數(shù)據(jù)挖掘的算法和模型：一類是抽象的數(shù)學(xué)算法及模型，另一類是在此基礎(chǔ)上針對(duì)金融業(yè)務(wù)的專業(yè)算法和模型。業(yè)務(wù)應(yīng)用層：負(fù)責(zé)將分析挖掘結(jié)果的可視化展現(xiàn)形式，集成到相應(yīng)的金融業(yè)務(wù)系統(tǒng)中。另外，在數(shù)據(jù)采集層和數(shù)據(jù)存儲(chǔ)層之間，由ETL工具負(fù)責(zé)數(shù)據(jù)預(yù)處理任務(wù)；在分析挖掘?qū)雍蜆I(yè)務(wù)應(yīng)用層之間，由可視化展現(xiàn)工具負(fù)責(zé)分析挖掘結(jié)果的可視化展現(xiàn)任務(wù)。4.2技術(shù)架構(gòu)“金融大數(shù)據(jù)服務(wù)平臺(tái)”的技術(shù)架構(gòu)采用多層次形式，如下圖所示:HiveHBaseHDFS + Map-ReduceR分析包，SAS, 分析挖掘算法關(guān)系數(shù)據(jù)庫(kù)業(yè)務(wù) 實(shí)現(xiàn)層分析 挖掘?qū)覴圖形包， 可視化展現(xiàn)R分析包，SAS

16、, 分析挖掘模型數(shù)據(jù)存儲(chǔ)層Kettle,數(shù)據(jù)抽取、轉(zhuǎn)換、加載C/S應(yīng)用客戶端數(shù)據(jù)采集Sqoop 關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入Map-Reduce日志分析、提取定制化程序其他數(shù)據(jù)采集數(shù)據(jù)采集層日志文件數(shù)據(jù)源數(shù)據(jù)源包括各類動(dòng)態(tài)數(shù)據(jù) （如行為數(shù)據(jù)）、靜態(tài)數(shù)據(jù)（如屬性數(shù)據(jù)）、日志文件以及其它數(shù)據(jù)等，可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。在數(shù)據(jù)采集層，各采集工具根據(jù)具體情況采用不同的技術(shù)實(shí)現(xiàn)方式，如對(duì)動(dòng)態(tài)數(shù)據(jù)的采集，使用C/S架構(gòu)的客戶端采集 SDK，對(duì)日志文件使用 Map-Reduce 方式的分析提取工具， 對(duì)靜態(tài)數(shù)據(jù)按Sqoop方式從關(guān)系數(shù)據(jù)導(dǎo)入，對(duì)其它數(shù)據(jù)則使用定制化程序，等等。ETL （數(shù)據(jù)抽取、轉(zhuǎn)換、

17、加載）將采集到的各種數(shù)據(jù)整合成統(tǒng)一的數(shù)據(jù)模型，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)規(guī)約、數(shù)據(jù)集成等。為加快項(xiàng)目進(jìn)度和保證項(xiàng)目質(zhì)量，初步?jīng)Q定在某 個(gè)支持Hadoop的開源ETL產(chǎn)品（如Kettle ）的基礎(chǔ)上進(jìn)行二次開發(fā)。在數(shù)據(jù)存儲(chǔ)層，Hadoop集群使用Hadoop技術(shù)生態(tài)圈的諸多關(guān)鍵技術(shù)，包括：分布式存儲(chǔ)HDFS系統(tǒng)、并行處理 Map-Reduce 機(jī)制、No-SQL數(shù)據(jù)庫(kù)Hbase、數(shù)據(jù)倉(cāng)庫(kù)Hive、協(xié)調(diào)系統(tǒng)ZooKeeper等。此外，還需用到關(guān)系數(shù)據(jù)庫(kù)擔(dān)任數(shù)據(jù)中轉(zhuǎn)、元數(shù)據(jù)存儲(chǔ)、供某些 軟件使用等用途。分析挖掘?qū)拥娜蝿?wù)是在 Hadoop集群實(shí)現(xiàn)各種分析挖掘算法和分析挖掘模型。算法和模型有兩類，一類

18、是抽象的數(shù)學(xué)算法（如聚類算法、關(guān)聯(lián)分析算法）和數(shù)學(xué)模型（如神經(jīng)網(wǎng)絡(luò)模型、事物關(guān)聯(lián)模型等），另一類是此基礎(chǔ)上構(gòu)建的專業(yè)算法（如金融客戶分類算法、效 果評(píng)估算法）和專業(yè)模型（如客戶行為特征模型、效果評(píng)估模型）。為加快項(xiàng)目進(jìn)度、保證項(xiàng)目質(zhì)量和擴(kuò)大適應(yīng)范圍，初步?jīng)Q定在SAS和R的分析挖掘包的基礎(chǔ)上實(shí)現(xiàn)算法接口，并利用算法接口構(gòu)建大部分模型，其余部分視實(shí)際情況而以自主研發(fā)方式構(gòu)建?？梢暬宫F(xiàn)將分析挖掘結(jié)果面向用戶進(jìn)行各種可視化展現(xiàn)（如散點(diǎn)圖、直方圖、分布圖、餅圖等），分析挖掘的質(zhì)量也決定著展現(xiàn)的質(zhì)量。為加快項(xiàng)目進(jìn)度，初步?jīng)Q定在某個(gè)可視化 展現(xiàn)開源產(chǎn)品（如 R的圖形包）的基礎(chǔ)上進(jìn)行二次開發(fā)。在業(yè)務(wù)實(shí)現(xiàn)層，

19、分析挖掘結(jié)果集成到相應(yīng)的金融業(yè)務(wù)系統(tǒng)中。具體方式既可以是實(shí)現(xiàn)某個(gè)獨(dú)立的新業(yè)務(wù)系統(tǒng)，也可以是在現(xiàn)有系統(tǒng)中實(shí)現(xiàn)一個(gè)或多個(gè)新模塊，從而擴(kuò)充或提升原有的功能。4.3物理架構(gòu)“金融大數(shù)據(jù)服務(wù)平臺(tái)”采用集中部署方式，硬件環(huán)境由Hadoop集群服務(wù)器和數(shù)據(jù)個(gè)，以后根據(jù)需要增加）；NameNode 用于管理數(shù)據(jù)在 DataNode 上的分配，而DataNode 用于數(shù)據(jù)的存儲(chǔ)。 NameNode 和DataNode 采用相同的配置，運(yùn)營(yíng)環(huán)境中建議為：CPUCPU為2塊為2塊*16核，主頻22.5GHz，內(nèi)存128G，硬盤12塊*2T。數(shù)據(jù)庫(kù)集群包括兩臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，采用雙機(jī)熱備方式。其配置建議為:*16核，主

20、頻22.5GHz，內(nèi)存64G，硬盤12塊*2T。五. 項(xiàng)目人員組織5.1項(xiàng)目組織結(jié)構(gòu)各組組成及職責(zé)為：項(xiàng)目領(lǐng)導(dǎo)組：由公司高管、部門經(jīng)理?yè)?dān)任，負(fù)責(zé)組織、監(jiān)督、協(xié)調(diào)項(xiàng)目的進(jìn)行；項(xiàng)目經(jīng)理：由項(xiàng)目領(lǐng)導(dǎo)組任命，基本職責(zé)是確保項(xiàng)目目標(biāo)準(zhǔn)時(shí)、優(yōu)質(zhì)地完成；大平臺(tái)組：負(fù)責(zé)金融大數(shù)據(jù)服務(wù)平臺(tái)的相關(guān)事務(wù)，包括搭建Hadoop 大數(shù)據(jù)集群、實(shí)現(xiàn)數(shù)據(jù)挖掘算法、構(gòu)建業(yè)務(wù)模型等；業(yè)務(wù)組：承擔(dān)與金融業(yè)務(wù)相關(guān)的事務(wù)，包括市場(chǎng)調(diào)研、對(duì)金融業(yè)務(wù)系統(tǒng)、功能性產(chǎn)品的 需求分析等；系統(tǒng)開發(fā)組：承擔(dān)對(duì)各產(chǎn)品及業(yè)務(wù)系統(tǒng)的開發(fā)任務(wù)，包括SDK產(chǎn)品、ETL工具、可視化展現(xiàn)工具、各個(gè)金融業(yè)務(wù)系統(tǒng)的開發(fā)等。5.2項(xiàng)目人員配置組別級(jí)別人數(shù)備注項(xiàng)目領(lǐng)導(dǎo)

21、組高級(jí)管理人員1或多人由公司高管、部門經(jīng)理兼任項(xiàng)目經(jīng)理中級(jí)管理人員1大平臺(tái)組系統(tǒng)設(shè)計(jì)員多人技術(shù)專豕實(shí)施人員多人業(yè)務(wù)組需求分析員每產(chǎn)品或系統(tǒng)1人一般由組長(zhǎng)兼任系統(tǒng)設(shè)計(jì)員每產(chǎn)品或系統(tǒng)1人業(yè)務(wù)實(shí)現(xiàn)組系統(tǒng)設(shè)計(jì)員每產(chǎn)品或系統(tǒng)1人一般由組長(zhǎng)兼任編碼人員多人測(cè)試人員多人實(shí)施人員多人六. 項(xiàng)目進(jìn)度計(jì)劃“金融大數(shù)據(jù)服務(wù)平臺(tái)”的整體進(jìn)度分項(xiàng)目規(guī)劃、需求調(diào)研、項(xiàng)目實(shí)施、推廣及服務(wù)共四個(gè)階段。項(xiàng)目規(guī)劃階段自2014年11月3日至2014年11月28日，共20個(gè)工作日。需求調(diào)研階段自2014年11月24日至2015年3月20日，共85個(gè)工作日項(xiàng)目實(shí)施階段自2014年11月10日至2015年5月29日，共145個(gè)工作日（

22、含元 旦、春節(jié)、勞動(dòng)節(jié)等法定節(jié)假日），按SDK產(chǎn)品、數(shù)據(jù)采集、集群搭建、算法層研發(fā)、構(gòu)建 模型、ETL工具、可視化展現(xiàn)工具、統(tǒng)一廣告發(fā)布系統(tǒng)、精準(zhǔn)營(yíng)銷系統(tǒng)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、 客戶流失分析系統(tǒng)和風(fēng)險(xiǎn)分析系統(tǒng)共十二個(gè)小項(xiàng)分別進(jìn)行。推廣及服務(wù)階段，每一項(xiàng)功能性產(chǎn)品或金融業(yè)務(wù)系統(tǒng)完成后，即可開始進(jìn)行推廣，并-直持續(xù)進(jìn)行。xls ”和“金融大數(shù)據(jù)服務(wù)平時(shí)間進(jìn)度如下圖，詳細(xì)請(qǐng)參見“金融大數(shù)據(jù)服務(wù)平臺(tái)進(jìn)度臺(tái).mpp ”。UiK?O 帝耳jwy3 -J一5* '可甲舒iWMls A里誅妍內(nèi)b時(shí)如i i容白申1工期產(chǎn)血討間之苗冃亓丟懺撫Sn 工*日 zninflaHzai4*ii月四曰弓工伯=1：Dl

23、uX|IHJ&閔1*甲】月也'-)nnn月3日' ait*iuiNBID工卉日BiqfCLlLDHEH血厲21日* 工咋日 srnsii.RnF-2r“mi月海1R1 L-ftt IZU1*培 11 冃24£j2U1± 牟AH2ULIL TA-H ULHii llKlA43PI3TJ瑪一廣舌由布強(qiáng)53"LC.工平日Ifi 5上#|岸謚 11 勢(shì)!M、LU TH，.電址弓比扯ILL屯血止護(hù)L0工q 口也鬼百一“丸亡折b盹L(fēng)腎応工q冃中.亍F席十折弗說”英辛可LU J1YH瑣冃寶itiw h作日了礎(chǔ)g丘険K妙I(lǐng)0T麵華胡Tt他宦|»&

24、#39;丄作屮鞏油盤HI用出咱詢琳嘩1;口4富汕年12月15曰"1*年佇月沖r20151,5620351 月 16B53l7'1.-1020忑評(píng)；巧=1£0ljiFi7l?Jri102D141冃 ID日 ZnimE冃 EV0 ml4f j 1 冃山日 zuialtiv lu口91 働11JILDB'月 10QuniFjifiiT20k 年】2門11 13別尹呂疤吳方秦亂走芻工作曰El癬12月B曰mim：唧汨2DUD丄作tlSD誨 iZflBBI勒i侔】旳dbII«f in 口才fULI R冃|l,fHiiiUJdRoQsz口冊(cè)矯臺(tái)曽井押h” rfr

25、aevimMiebeB詐心】明心口Z3L1工咋日29HM年12月啰曰沖舉:月常224宮匚¥冬扶抵i=；Jl-工加tr201=1 冃 g曰2815 年:月=fld23毋0常三占孰也號(hào)1)l II n-泗電牡i引口EEK呂隼【月上口£321» tftiisrjs丄咋冃即|弭|月涓nitsineSS2TDfjtA 林 ittrns Tffni(n-i<i jinun池巧r“】四冃EBI13»豐薛甘療碎=親“ r4a211411 月曰2TI停明：日霑L工非Hsrnaii加曰胡1山總月電曰30Ll工卉日SOi輯L2月舊zoi停i羽j陽(yáng)31宦*早 tr” lU

26、-'iX -t XlVBanftk flBin3Z3i3iPFr-=rfim T仆日翱|!5申同?曰刃IE年M月2日3313St?j£fj-軒酬工作曰20153 月充一2山拜*月洪日昶冊(cè)瑣律松、甘析的總弟Elit L ft LlUP14HJ44LI2U帕年4口世41日31ZJ仍弐u丄強(qiáng)柏二li TU就弭?。?1.岀目前1毎】燒83»點(diǎn)葉蕭我工嚇RSH4勿？月“鬥嶺37豐訊甘擊序揑一ff-工年曰£0151.120363B1« rfrB如廿肆3目2曰如亍年 月迪3?3»軻 Tita踏恬聲|耳誼10sruuk*衛(wèi)日忌口啊3JL町悄出涇州總訃i

27、r 3日aWimsFW月:n日:L-I世業(yè);：軒=也耒2工拒日8015年1月偲曰201$年1月匸用43拾卸蓉口訐為TTiFIff甲w r:4a：ll EEE3zniiiaaigS -4£ 4LqjLO丄作日血輯2月2 m也1字-引牟|<244輸ttr書建!1書斬帕,：L IftU從卻上屮日m】jLi程昨LtxivaiDJSiman2(fcj)fin羽4E幅窯戶皤廿胖輕“ T仆日:DIS5ER1E3血虧知月弓日44L5_作日£0152刖曰WriTM他工n 口Mi 隼也 B»E3劃1站您電月口n1廠工11圣峯if-工佃SL和曰zoi審i四羽取5QTfTflSH作

28、冃aikEZH胡月苗釈51山t4日2CqfelEFE9=|曲:弓年：月/日F："遼且實(shí)應(yīng)S工作H2C1541 月 12 自也|彈月:thSL53nGi'U武亠鼻曰IM輯諭曰:ois<kura農(nóng)5樂C、憂it、B工作El£M5 苗3冃301細(xì)丘年tflstn常罵研右可構(gòu)比阪丁 H話"口ZQL蠅1耳吟日卻”年*冃m日5E13可散化平卻罡:，執(zhí)乜方5工作日201洱1 月 17-M：# 月 j5g51*.iS.rr：(j、rfrtiM15洋1月注曰上山:pSMhrjtJSBFISKIR#工讓:DI5L|EIEsDisaflirn5T陰H寸底用跖工咋RMl輯嵋

29、舊:ni君謂汗80M工乍Fl2flM5年3月30曰2EM淬電冃烈曰LL彼一廣営瓷曲融出丄*U忑IM電年鮭耳紗曰20站牟3月肝已Ef譏俎掘i+lu TftS聶油£1壯.西曰卽=罩上眄r工侑日sibiAuS:my月1幣肢3為tHF汗=£i工作冃緘巧祥匸耳ET曰0E5fif.U粉薪松m TftBMR呂年1月IT曰ei弓性a冃in曰eaLOZH1531.190Ml埠月坤10J&5JF 夏遼工wu1心!J£IK山 Jfl-iC輕関需工作冃C?E3« Tft口MH*砂日卻嚇甲5冃廬日T9m工非日卻i.剛月in曰四i拜珥rgLLTiL5工作H153J3DB2山

30、3年心】-恤nTI“工沖日2054.620 Q的二共和30TLT3sn工莽H柯戀;t用皆曰刑出年5月?HFIiSSifIQ T.祜曰LJ1ESSE£3卻:弓年：月JFIU75Lt IAQIDlSil.E US： 0 T4. EE：冥呈滬訐雄述工低白EDk&硒目歸30171)，月ZJ口7STTw> TffA脯誦軍瓦0丹冃T-T詳S1洛卄0 1作日切巧年耳IJ曰ElfcflJFIIPTS豈"代£ 一霏日二工1弓至4巨歸曰EtKm牟s月：日TE_.EE：ZJ吳里It *抵30丄作曰拝"由曰"1拜5耳沖科01Iflf MKno iftu?

31、lacJhzlJ刑1濟(jì)4R1QB3snrj R4tfrf-94EtsrEi|qtTl?BP?aIV】禽】弐冃鄧EDr”珥i月1舊edisi月i陽(yáng) se即IF年2月2曰姒淬3月：日5?cdi'llj ：I .L2J1-.U jJJjLI LUSLa-t?±|)i；亍低LfTffQ:ClfltEJlEl 二：141 : .*口IBtl 才屮LI-T'TTfrn8Bl工征口-H1IW3R10EBT在老網(wǎng)J6廣l工誦FT：011月門目as業(yè)L工作于fD155 月:LEI 曰B9欝吸”驅(qū)rL工乍中ZDiSE|LS甘豹1廠L匸乍屮5I 呻 in.nr.q i月 fl ：m訐謁譏H

32、 Pf： 筑】眸問陽(yáng)TE 年*月；m f Et：W.4：H «注：市場(chǎng)推廣和服務(wù)的結(jié)束時(shí)間實(shí)為“持續(xù)”。七. 財(cái)務(wù)及設(shè)備計(jì)劃八. 風(fēng)險(xiǎn)管理軟件項(xiàng)目開發(fā)具有連續(xù)性、復(fù)雜性、少參照性、無(wú)規(guī)范標(biāo)準(zhǔn)等特點(diǎn)，風(fēng)險(xiǎn)程度較高。對(duì) 于“金融大數(shù)據(jù)服務(wù)平臺(tái)”，不但涵蓋范圍廣，包含產(chǎn)品多，而且技術(shù)要求高，業(yè)務(wù)需求復(fù) 雜，因此尤其需要重視各種風(fēng)險(xiǎn)。以下是“金融大數(shù)據(jù)服務(wù)平臺(tái)”可能遇到的風(fēng)險(xiǎn)及其防預(yù)措施：合同風(fēng)險(xiǎn)：與客戶簽訂的合同不科學(xué)、不嚴(yán)謹(jǐn)，與客戶在項(xiàng)目邊界和各方面責(zé)任界定 不清等是影響項(xiàng)目成敗的重大因素之一。預(yù)防措施是項(xiàng)目建設(shè)之初， 要全面準(zhǔn)確地了解合同各條款的內(nèi)容、盡早就模糊或不明確的條款簽訂補(bǔ)充協(xié)

33、議。需求變更風(fēng)險(xiǎn)：這是軟件項(xiàng)目經(jīng)常發(fā)生的事情。 一個(gè)看來(lái)很有利可圖的項(xiàng)目， 往往由 于無(wú)限度的需求變更而讓開發(fā)方苦不堪言， 甚至最終虧損。預(yù)防措施是項(xiàng)目建設(shè)之初， 就和 客戶書面約定好需求變更控制流程、記錄并歸檔客戶的需求變更申請(qǐng)。溝通不良風(fēng)險(xiǎn)：項(xiàng)目組與項(xiàng)目各干系方溝通不良，是影響項(xiàng)目順利進(jìn)展的一個(gè)非常重要的因素。預(yù)防措施是項(xiàng)目建設(shè)之初就和項(xiàng)目各干系方約定好溝通的渠道和方式、項(xiàng)目建設(shè)過程中多和項(xiàng)目各干系方交流和溝通、注意培養(yǎng)和鍛煉自身的溝通技巧。缺乏支持風(fēng)險(xiǎn)：上級(jí)領(lǐng)導(dǎo)的支持是項(xiàng)目獲得資源（包括人力資源、財(cái)力資源和物料資 源等）的有效保障，也是項(xiàng)目遇到困難時(shí)項(xiàng)目組最強(qiáng)有力的“后臺(tái)支撐”。預(yù)防措施是主動(dòng)爭(zhēng)取上級(jí)對(duì)項(xiàng)目的重視、確保和上級(jí)領(lǐng)導(dǎo)的溝通渠道暢通、經(jīng)常向上級(jí)領(lǐng)導(dǎo)匯報(bào)工作進(jìn)展。進(jìn)度風(fēng)險(xiǎn)：