中國(guó)民族證券數(shù)據(jù)中心自主建設(shè)項(xiàng)目介紹剖析

1、精選優(yōu)質(zhì)文檔-傾情為你奉上中國(guó)民族證券數(shù)據(jù)中心自主建設(shè)項(xiàng)目介紹近年來(lái)，各家券商都認(rèn)識(shí)到建設(shè)企業(yè)級(jí)數(shù)據(jù)中心的重要性，但是由于各家的技術(shù)力量、業(yè)務(wù)水平和目標(biāo)定位差異很大，所以都普遍面臨著“為何建設(shè)數(shù)據(jù)中心” 、“如何定位數(shù)據(jù)中心”、“如何建設(shè)數(shù)據(jù)中心”等諸如此類(lèi)的問(wèn)題。在此，我們將把我們的經(jīng)驗(yàn)和想法與大家分享。(1) 為何建設(shè)數(shù)據(jù)中心a.簡(jiǎn)化信息系統(tǒng)架構(gòu)。數(shù)據(jù)中心建設(shè)后可以大大簡(jiǎn)化各系統(tǒng)之間的關(guān)系，生產(chǎn)系統(tǒng)是數(shù)據(jù)的生產(chǎn)者，業(yè)務(wù)系統(tǒng)既是數(shù)據(jù)的生產(chǎn)者又是數(shù)據(jù)的消費(fèi)者，而數(shù)據(jù)中心是物流中心和配送中心。b.減輕生產(chǎn)系統(tǒng)壓力。通過(guò)建設(shè)數(shù)據(jù)中心，可以將數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等功能與生產(chǎn)系統(tǒng)進(jìn)行

2、剝離，讓生產(chǎn)系統(tǒng)瘦身，從而大大減輕生產(chǎn)系統(tǒng)的壓力。c.統(tǒng)一業(yè)務(wù)統(tǒng)計(jì)口徑。數(shù)據(jù)中心中存放的數(shù)據(jù)并不是簡(jiǎn)單地把各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行集中存放，而是通過(guò)一套標(biāo)準(zhǔn)的業(yè)務(wù)定義規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則和數(shù)據(jù)組織方式進(jìn)行存儲(chǔ)。其目的就是在保證數(shù)據(jù)的原始性、完整性、連續(xù)性的同時(shí)達(dá)到數(shù)據(jù)處理過(guò)程中的業(yè)務(wù)統(tǒng)一性。d.提高業(yè)務(wù)創(chuàng)新能力。數(shù)據(jù)中心是數(shù)據(jù)加工廠，同時(shí)也是價(jià)值發(fā)現(xiàn)者，為業(yè)務(wù)分析和知識(shí)發(fā)現(xiàn)提供了一個(gè)平臺(tái)，從而能夠大大提高業(yè)務(wù)的創(chuàng)新能力。e.提升決策分析水平。數(shù)據(jù)中心的數(shù)據(jù)具有全面性、包容性和權(quán)威性，為數(shù)據(jù)深度挖掘提供了先決條件，也為決策分析提供了強(qiáng)有力的支持。(2) 如何定位數(shù)據(jù)中心a.數(shù)據(jù)加工廠。在保持業(yè)務(wù)數(shù)據(jù)原始

3、性和完整性的基礎(chǔ)上，按一定的業(yè)務(wù)規(guī)則、指標(biāo)、粒度對(duì)數(shù)據(jù)進(jìn)行加工處理。b.數(shù)據(jù)服務(wù)者。建設(shè)統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)，為各個(gè)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)消費(fèi)者以一定服務(wù)形式提供所需數(shù)據(jù)。c.數(shù)據(jù)發(fā)布者。數(shù)據(jù)中心體現(xiàn)了數(shù)據(jù)的權(quán)威性，向外報(bào)送的數(shù)據(jù)可以以統(tǒng)一的口徑對(duì)外發(fā)布。d.業(yè)務(wù)發(fā)動(dòng)機(jī)。數(shù)據(jù)中心的建設(shè)為創(chuàng)新業(yè)務(wù)的開(kāi)拓奠定了堅(jiān)實(shí)的基礎(chǔ)，有了數(shù)據(jù)中心的基礎(chǔ)，可以很方便很快速開(kāi)發(fā)和實(shí)施一些增值服務(wù)系統(tǒng)。e.價(jià)值發(fā)現(xiàn)者。通過(guò)數(shù)據(jù)中心數(shù)據(jù)長(zhǎng)期的積累，我們可以從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、事先不知道的但又是潛在有用的信息和知識(shí)。(3) 如何建設(shè)數(shù)據(jù)中心a.走自主開(kāi)發(fā)建設(shè)道路。能夠貫徹落實(shí)屬于我

4、們的業(yè)務(wù)，量身定做,快速響應(yīng)業(yè)務(wù)部門(mén)的需求，節(jié)約運(yùn)行維護(hù)成本，推動(dòng)業(yè)務(wù)創(chuàng)新。b.分步驟建設(shè)數(shù)據(jù)中心。數(shù)據(jù)中心是一個(gè)持續(xù)建設(shè)的項(xiàng)目，應(yīng)根據(jù)現(xiàn)實(shí)和未來(lái)的需求分步驟來(lái)建設(shè)數(shù)據(jù)中心。c.構(gòu)建穩(wěn)定高效的平臺(tái)。面向海量數(shù)據(jù)，構(gòu)建一個(gè)穩(wěn)定高效的數(shù)據(jù)處理平臺(tái)和服務(wù)平臺(tái)是數(shù)據(jù)中心建設(shè)的核心。d. 建立科學(xué)的數(shù)據(jù)模型。根據(jù)證券行業(yè)業(yè)務(wù)的特點(diǎn)，結(jié)合科學(xué)的數(shù)據(jù)組織方式搭建企業(yè)數(shù)據(jù)倉(cāng)庫(kù)，為今后數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析和數(shù)據(jù)挖掘打好基礎(chǔ)。e. 建立智能的信息平臺(tái)。針對(duì)數(shù)據(jù)中心存放的不同數(shù)據(jù)類(lèi)型采用成熟的智能分析、統(tǒng)計(jì)、挖掘、推理等工具對(duì)數(shù)據(jù)（信息）進(jìn)行深加工和處理，獲取有價(jià)值的信息。以上是我們對(duì)建設(shè)企業(yè)級(jí)數(shù)據(jù)中心的理解。在實(shí)施

5、這個(gè)項(xiàng)目過(guò)程中，我們遵循自我為主的原則，把技術(shù)和業(yè)務(wù)進(jìn)行有效的融合，真正把數(shù)據(jù)中心建設(shè)成既高度自主可控又充分發(fā)揮效能的平臺(tái)。一、項(xiàng)目特點(diǎn)介紹1.項(xiàng)目核心價(jià)值(1) 自主開(kāi)發(fā)，量身定制隨著行業(yè)新業(yè)務(wù)不斷推出和競(jìng)爭(zhēng)越來(lái)越激烈，券商越來(lái)越迫切需要通過(guò)技術(shù)創(chuàng)新來(lái)提供差異化產(chǎn)品和差異化服務(wù)。由于證券交易類(lèi)產(chǎn)品行業(yè)同質(zhì)化比較大，這類(lèi)應(yīng)用系統(tǒng)可以由專業(yè)開(kāi)發(fā)商提供并實(shí)施。而諸如數(shù)據(jù)中心、CRM等業(yè)務(wù)管理系統(tǒng)個(gè)性化強(qiáng)，只有通過(guò)自主開(kāi)發(fā)來(lái)真正實(shí)現(xiàn)量身定制。所以我公司從項(xiàng)目立項(xiàng)開(kāi)始就提出要走自主建設(shè)的道路，這種模式的特點(diǎn)是隨著項(xiàng)目建設(shè)的不斷深入，量身定制的優(yōu)勢(shì)將越來(lái)越突現(xiàn)。(2) 貼近業(yè)務(wù)，快速響應(yīng)項(xiàng)目之初，業(yè)務(wù)人

6、員對(duì)數(shù)據(jù)中心到底能做什么還是不太清楚，但隨著項(xiàng)目建設(shè)的深入以及業(yè)務(wù)人員參與度的提高，他們已經(jīng)越來(lái)越感受到數(shù)據(jù)中心建設(shè)的價(jià)值和其發(fā)揮的功效。在后續(xù)的建設(shè)過(guò)程中，由于“需求提出軟件開(kāi)發(fā)數(shù)據(jù)服務(wù)運(yùn)行保障”整個(gè)鏈條都是自己掌控，數(shù)據(jù)中心越來(lái)越能貼近業(yè)務(wù)，真正實(shí)現(xiàn)了速響應(yīng)業(yè)務(wù)的需要。例如，CRM中只要提出一些新的數(shù)據(jù)需求，數(shù)據(jù)中心就能夠很快很方便地提供這樣的服務(wù)。(3) 持續(xù)改進(jìn)，助力創(chuàng)新由于始終堅(jiān)持自主開(kāi)發(fā)的基本原則，一方面，我們不但能夠?qū)?shù)據(jù)中心技術(shù)平臺(tái)進(jìn)行持續(xù)的改進(jìn)，同時(shí)也能夠根據(jù)業(yè)務(wù)的發(fā)展和需求的變化不斷完善業(yè)務(wù)模型和業(yè)務(wù)規(guī)則；另一方面，隨著研發(fā)的逐步深入，依靠自身的力量和先進(jìn)的手段完全能夠從豐

7、富的數(shù)據(jù)中不斷發(fā)現(xiàn)新的價(jià)值，為業(yè)務(wù)創(chuàng)新提供強(qiáng)有力的支持。上面所述的持續(xù)改進(jìn)和助力創(chuàng)新的參與者主要是公司內(nèi)部的技術(shù)人員和業(yè)務(wù)人員，通過(guò)數(shù)據(jù)中心產(chǎn)生的研發(fā)成果和業(yè)務(wù)創(chuàng)新不容易被復(fù)制，能夠成為一個(gè)企業(yè)核心競(jìng)爭(zhēng)力的產(chǎn)品。(4) 拓展應(yīng)用，制造產(chǎn)品自從有了數(shù)據(jù)中心，依托于數(shù)據(jù)中心拓展了多個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)，而且這種拓展速度較以前快得多。如公司的反洗錢(qián)系統(tǒng)和CRM系統(tǒng)，這兩個(gè)系統(tǒng)依托了數(shù)據(jù)中心強(qiáng)大的數(shù)據(jù)處理功能和數(shù)據(jù)服務(wù)功能在短期內(nèi)就達(dá)到了建設(shè)的目標(biāo)。數(shù)據(jù)中心不僅是一種資源，同時(shí)還是數(shù)據(jù)加工廠、數(shù)據(jù)服務(wù)者、數(shù)據(jù)發(fā)布者、業(yè)務(wù)發(fā)動(dòng)機(jī)和價(jià)值發(fā)現(xiàn)者。在這基礎(chǔ)上，能夠迅速把應(yīng)用延伸到CRM、風(fēng)控、經(jīng)紀(jì)業(yè)務(wù)管理、呼叫中心

8、、合規(guī)管理、門(mén)戶網(wǎng)站等應(yīng)用系統(tǒng)中。證券行業(yè)正處于一個(gè)產(chǎn)業(yè)升級(jí)時(shí)期，金融工業(yè)化要求券商需要打造產(chǎn)品生產(chǎn)流水線的平臺(tái)。例如，隨著投顧業(yè)務(wù)的發(fā)展，可以利用數(shù)據(jù)中心平臺(tái)高速的計(jì)算能力和處理能力，通過(guò)建立業(yè)務(wù)模型，設(shè)計(jì)并生產(chǎn)出我們需要的投顧產(chǎn)品。這項(xiàng)工作正在進(jìn)行中，預(yù)計(jì)年內(nèi)會(huì)通過(guò)平臺(tái)推出第一批數(shù)據(jù)產(chǎn)品。(5) 培養(yǎng)隊(duì)伍，持續(xù)建設(shè)通過(guò)自主開(kāi)發(fā)的模式，我們就能夠建立自己的人員梯隊(duì)，并持續(xù)培養(yǎng)自己的業(yè)務(wù)專家和技術(shù)專家，為數(shù)據(jù)中心的持續(xù)化建設(shè)做好人力資源的保障。2.項(xiàng)目技術(shù)特點(diǎn)(1) 采用自主化建設(shè)模式自主化建設(shè)模式是項(xiàng)目開(kāi)始就定下的原則，基于這個(gè)原則，從項(xiàng)目規(guī)劃、系統(tǒng)選型、項(xiàng)目實(shí)施到后續(xù)的系統(tǒng)運(yùn)行依靠自己的力

9、量來(lái)完成，包括工具的選型、系統(tǒng)搭建、數(shù)據(jù)處理過(guò)程、數(shù)據(jù)服務(wù)過(guò)程、數(shù)據(jù)模型設(shè)計(jì)、商業(yè)智能應(yīng)用、系統(tǒng)運(yùn)維。數(shù)據(jù)中心幾乎涵蓋了公司所有應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，也只有我們自己才能夠正確把握使用部門(mén)提出的需求和實(shí)現(xiàn)方法，在某種意義上，我們使用數(shù)據(jù)中心基礎(chǔ)平臺(tái)工具實(shí)現(xiàn)需求目標(biāo)的能力要超出那些專業(yè)廠商。不僅如此，由于數(shù)據(jù)中心存儲(chǔ)著公司大量的重要數(shù)據(jù)資產(chǎn)和個(gè)性化、專業(yè)化計(jì)算模型，只有自主開(kāi)發(fā)才能真正實(shí)現(xiàn)自主可控。雖然數(shù)據(jù)倉(cāng)庫(kù)、ETL、BI等工具提供商專業(yè)性要?jiǎng)儆谖覀?，但是我們的?yōu)勢(shì)是了解熟悉信息系統(tǒng)架構(gòu)和安全架構(gòu)，整合和合理利用資源的能力強(qiáng)，能夠避免信息化建設(shè)過(guò)程中產(chǎn)生不必要的資源浪費(fèi)和冗余。(2) 采用開(kāi)放式主

10、流技術(shù)采用開(kāi)放式主流技術(shù)其優(yōu)勢(shì)和好處是不言而喻的，也只有采用開(kāi)放式主流技術(shù)才能發(fā)揮自主開(kāi)發(fā)的作用，進(jìn)而保障所建數(shù)據(jù)中心的延續(xù)性和生命力。從上圖可以看出，我們選用的平臺(tái)（硬件、操作系統(tǒng)、數(shù)據(jù)庫(kù)、工具）都是些開(kāi)放式的主流技術(shù)平臺(tái)，完全可以自己掌握、自己運(yùn)維。特別是選型過(guò)程中，我們?cè)陂_(kāi)放性、兼容性、可用性方面做了大量的測(cè)試，確保系統(tǒng)之間能夠無(wú)縫對(duì)接。(3) 采用高性能處理平臺(tái)我們選擇的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)（EDW）、數(shù)據(jù)整合平臺(tái)（ETL）和商業(yè)智能工具（BI）都能支持高性能處理的要求。數(shù)據(jù)倉(cāng)庫(kù)選用的是GreenPlum產(chǎn)品，它采用的是一種“海量數(shù)據(jù)并行處理（MPP）”技術(shù)，通過(guò)多節(jié)點(diǎn)并行處理機(jī)制完成對(duì)海量數(shù)

11、據(jù)的高速運(yùn)算和處理，這在后續(xù)的系統(tǒng)運(yùn)行過(guò)程中得以證明。數(shù)據(jù)整合工具采用的是IBM DataStage產(chǎn)品，它也是采用了并行擴(kuò)展和并行處理的技術(shù)，可以根據(jù)處理數(shù)據(jù)量的大小方便地進(jìn)行平行擴(kuò)展，任務(wù)調(diào)度統(tǒng)一管理。商業(yè)智能工具采用的是IBM Cognos產(chǎn)品，它在商業(yè)智能應(yīng)用方面一種很優(yōu)秀的工具，不僅處理效率高，而且自帶多維處理和多維分析功能。(4) 采用合適的數(shù)據(jù)模型在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程中，以往大家都為怎樣組織數(shù)據(jù)發(fā)愁，數(shù)據(jù)組織得好壞將直接影響后續(xù)平臺(tái)的運(yùn)算效率、數(shù)據(jù)一致性、統(tǒng)計(jì)正確性、業(yè)務(wù)擴(kuò)展能力等。在項(xiàng)目實(shí)施過(guò)程中，我們首先借鑒金融行業(yè)普適用的金融數(shù)據(jù)模型，在這基礎(chǔ)上結(jié)合證券業(yè)務(wù)的特點(diǎn)重新梳理這個(gè)

12、模型，并進(jìn)行了改進(jìn)。當(dāng)然，隨著業(yè)務(wù)的不斷發(fā)展和變化，這個(gè)模型需要不斷豐富和優(yōu)化。(5) 注重?cái)?shù)據(jù)質(zhì)量的管控?cái)?shù)據(jù)中心是數(shù)據(jù)加工廠、數(shù)據(jù)服務(wù)者、數(shù)據(jù)發(fā)布者、業(yè)務(wù)發(fā)動(dòng)機(jī)和價(jià)值發(fā)現(xiàn)者，如果數(shù)據(jù)質(zhì)量出現(xiàn)問(wèn)題，一切皆無(wú)從談起。所以，加強(qiáng)數(shù)據(jù)質(zhì)量的管理和保障數(shù)據(jù)處理的每個(gè)環(huán)節(jié)無(wú)誤才能真正樹(shù)立數(shù)據(jù)中心數(shù)據(jù)的權(quán)威性。在這方面，我們主要采用了技術(shù)元數(shù)據(jù)的管理、業(yè)務(wù)源數(shù)據(jù)業(yè)務(wù)規(guī)則監(jiān)控、數(shù)據(jù)處理監(jiān)控和核對(duì)等技術(shù)手段。(6) 充分發(fā)揮平臺(tái)服務(wù)效能數(shù)據(jù)中心最終是要把數(shù)據(jù)處理的結(jié)果服務(wù)給其他系統(tǒng)或數(shù)據(jù)消費(fèi)者，所以提高數(shù)據(jù)中心的數(shù)據(jù)服務(wù)能力也是本項(xiàng)目的一大技術(shù)特點(diǎn)。數(shù)據(jù)中心的數(shù)據(jù)除了有大量的結(jié)構(gòu)化的數(shù)據(jù)外，還有大量的如網(wǎng)頁(yè)、

13、圖片、視頻等非結(jié)構(gòu)化的數(shù)據(jù)，所以提供的數(shù)據(jù)服務(wù)的技術(shù)手段和方式也是多樣的。數(shù)據(jù)服務(wù)方式，從調(diào)用方式可以是主動(dòng)推送，也可以被動(dòng)調(diào)用；從接口方式可以是接口表、協(xié)議接口和消息機(jī)制等。我們的思路是要建立統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)，并以SOA的形式為數(shù)據(jù)消費(fèi)者服務(wù)。目前數(shù)據(jù)服務(wù)平臺(tái)的功能還在不斷擴(kuò)展和完善中。下圖是數(shù)據(jù)服務(wù)示意圖：業(yè)務(wù)及其他數(shù)據(jù)源實(shí)時(shí)數(shù)據(jù) (Oracle)數(shù)據(jù)倉(cāng)庫(kù) (EDW)數(shù)據(jù)集市 (EDM )操作數(shù)據(jù) (ODS)同步抽取抽取裝載轉(zhuǎn)換裝載轉(zhuǎn)換轉(zhuǎn)換抽取轉(zhuǎn)換分析、服務(wù)平臺(tái)調(diào)用調(diào)用推送調(diào)用業(yè)務(wù)系統(tǒng)調(diào)用二、項(xiàng)目創(chuàng)新點(diǎn)介紹我公司建設(shè)數(shù)據(jù)中心不同于以往的做法。早期，數(shù)據(jù)中心基本上是以風(fēng)險(xiǎn)控制系統(tǒng)或其他業(yè)務(wù)

14、系統(tǒng)為基礎(chǔ)慢慢發(fā)展演變成一個(gè)數(shù)據(jù)中心，而且大部分是由開(kāi)發(fā)商開(kāi)發(fā)和實(shí)施。從技術(shù)層面看，大部分使用傳統(tǒng)的事務(wù)型數(shù)據(jù)庫(kù)技術(shù)和數(shù)據(jù)處理、展示手段，很難滿足高效、靈活以及可擴(kuò)展性的要求。我公司在建設(shè)數(shù)據(jù)中心的過(guò)程中，不僅實(shí)現(xiàn)了模式創(chuàng)新，同時(shí)在金融行業(yè)首次采用開(kāi)放式海量數(shù)據(jù)平行處理（MPP）數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)管理、快速開(kāi)發(fā)平臺(tái)、數(shù)據(jù)處理流程化和智能化等先進(jìn)技術(shù)和理念。1.行業(yè)內(nèi)首用開(kāi)放式MPP技術(shù)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)中心的核心平臺(tái)，數(shù)據(jù)倉(cāng)庫(kù)的效率直接影響數(shù)據(jù)中心的可用性，為此我們選用了GreenPlum產(chǎn)品。它采用了一種“海量數(shù)據(jù)并行處理（MPP）”技術(shù)，通過(guò)多節(jié)點(diǎn)并行處理機(jī)制完成對(duì)海量數(shù)據(jù)的高速運(yùn)算和處理。

15、從系統(tǒng)架構(gòu)來(lái)看，目前的商用服務(wù)器大體可以分為三類(lèi)，即對(duì)稱多處理器結(jié)構(gòu)(SMP：Symmetric Multi-Processor)、非一致存儲(chǔ)訪問(wèn)結(jié)構(gòu)(NUMA：Non-Uniform Memory Access)、以及海量并行處理結(jié)構(gòu)(MPP：Massive Parallel Processing)。它們的特征分別描述如下：SMP服務(wù)器的主要特征是共享，系統(tǒng)中所有資源(CPU、內(nèi)存、I/O等)都是共享的。也正是由于這種特征，導(dǎo)致了SMP服務(wù)器的主要問(wèn)題，那就是它的擴(kuò)展能力非常有限。對(duì)于SMP服務(wù)器而言，每一個(gè)共享的環(huán)節(jié)都可能造成SMP服務(wù)器擴(kuò)展時(shí)的瓶頸，而最受限制的則是內(nèi)存。NUMA服務(wù)器的

16、基本特征是具有多個(gè)CPU模塊，每個(gè)CPU模塊由多個(gè)CPU(如4個(gè))組成，并且具有獨(dú)立的本地內(nèi)存、I/O槽口等。由于其節(jié)點(diǎn)之間可以通過(guò)互聯(lián)模塊(如稱為Crossbar Switch)進(jìn)行連接和信息交互，因此每個(gè)CPU可以訪問(wèn)整個(gè)系統(tǒng)的內(nèi)存(這是NUMA系統(tǒng)與MPP系統(tǒng)的重要差別)。但NUMA技術(shù)同樣有一定缺陷，由于訪問(wèn)遠(yuǎn)地內(nèi)存的延時(shí)遠(yuǎn)遠(yuǎn)超過(guò)本地內(nèi)存，因此當(dāng)CPU數(shù)量增加時(shí)，系統(tǒng)性能無(wú)法線性增加。MPP提供了另外一種進(jìn)行系統(tǒng)擴(kuò)展的方式，它由多個(gè)SMP服務(wù)器通過(guò)一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶的角度來(lái)看是一個(gè)服務(wù)器系統(tǒng)。其基本特征是由多個(gè)SMP服務(wù)器(每個(gè)SMP服務(wù)器稱節(jié)

17、點(diǎn))，通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接而成，每個(gè)節(jié)點(diǎn)只訪問(wèn)自己的本地資源(內(nèi)存、存儲(chǔ)等)，它是一種完全無(wú)共享(Share Nothing)結(jié)構(gòu)，因而擴(kuò)展能力最好。市場(chǎng)上，基于MPP架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)并不多見(jiàn)，NCR TeraData是一個(gè)使用較為廣泛而時(shí)間較長(zhǎng)的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品。但是，其不但造價(jià)高，而且維護(hù)成本高，是一款較為封閉的系統(tǒng)，在電信、規(guī)模較大的商業(yè)銀行等大型企業(yè)使用較多，中小型企業(yè)很少使用。GreenPlum是一款基于開(kāi)放技術(shù)的MPP架構(gòu)，經(jīng)過(guò)測(cè)試，其性能不亞于NCR TeraData產(chǎn)品。選型時(shí)，GreenPlum剛剛進(jìn)入中國(guó)，國(guó)內(nèi)用戶寥寥無(wú)幾，在金融行業(yè)無(wú)案例。經(jīng)過(guò)近三個(gè)月的測(cè)試，我們認(rèn)為其性能、可

18、用性、穩(wěn)定性、開(kāi)放性和兼容性都達(dá)到了我們預(yù)期的目標(biāo)，所以最終選擇了此產(chǎn)品。從還來(lái)的結(jié)果表明，我們的選擇是正確的，也為行業(yè)選擇合適的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品作出了一定的貢獻(xiàn)。我們是國(guó)內(nèi)第三家、金融行業(yè)首先使用該產(chǎn)品的企業(yè)，也為選擇一個(gè)低成本、高可用的MPP架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品起到了示范作用。2.行業(yè)內(nèi)較早使用金融業(yè)邏輯數(shù)據(jù)模型金融業(yè)邏輯數(shù)據(jù)模型（FS-LDM）是NCR多年來(lái)在全球?qū)嵤┙?30家金融業(yè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的經(jīng)驗(yàn)結(jié)晶 。整個(gè)邏輯數(shù)據(jù)模型把復(fù)雜的金融業(yè)務(wù)歸納成團(tuán)體、產(chǎn)品、賬戶、事件、渠道、組織、地理區(qū)域和行銷(xiāo)活動(dòng)等八大主題。它蘊(yùn)含了現(xiàn)代金融業(yè)的分析決策和客戶關(guān)系管理的各個(gè)方面?；贔S-LDM，我破門(mén)根據(jù)所設(shè)

19、定的目標(biāo)和數(shù)據(jù)范圍，確定了需要建設(shè)的主題范圍，構(gòu)建LDM的原型框架。LDM原型框架決定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織原則和基本形式，也決定了數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用范圍和應(yīng)用模式。在建設(shè)過(guò)程中，我們還根據(jù)證券業(yè)務(wù)的特點(diǎn)對(duì)FS-LDM進(jìn)行了改進(jìn)和補(bǔ)充，使之適合證券業(yè)務(wù)的發(fā)展。三、行業(yè)推廣價(jià)值數(shù)據(jù)中心在行業(yè)內(nèi)雖不是一個(gè)新的概念，但許多行業(yè)機(jī)構(gòu)已經(jīng)、正在或即將建設(shè)屬于本企業(yè)的數(shù)據(jù)中心，如何建設(shè)一個(gè)靈活、高效、強(qiáng)壯、權(quán)威、安全、低成本易維護(hù)的數(shù)據(jù)中心一直困擾著大家。通過(guò)近兩年的探索和實(shí)踐，我公司在證券期貨行業(yè)乃至金融行業(yè)摸索出了一條可借鑒的建設(shè)道路，在行業(yè)具有一定的借鑒作用，主要表現(xiàn)在以下方面：(1) 建設(shè)成本低。由于采用

20、了開(kāi)放式、低成本的MPP架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)（在金融行業(yè)第一個(gè)使用，在中國(guó)大陸第三個(gè)使用），光此項(xiàng)投資就為公司節(jié)省至少500萬(wàn)元。與采用傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品比較不僅投資少，而且性能卓越，擴(kuò)展成本低，可維護(hù)性強(qiáng)。(2) 維護(hù)成本低。由于此項(xiàng)目完全是自主組織開(kāi)發(fā)和實(shí)施，今后不需要第三方進(jìn)行維護(hù)。按建設(shè)成本的百分之十計(jì)算，每年為公司節(jié)省至少幾十萬(wàn)乃至上百萬(wàn)的營(yíng)運(yùn)費(fèi)用。(3) 擴(kuò)展成本低。由于數(shù)據(jù)倉(cāng)庫(kù)采用低端服務(wù)器和存儲(chǔ)設(shè)備搭建的平臺(tái)，今后需要提升性能時(shí)，只需要購(gòu)置低廉的硬件和支付少量的許可證費(fèi)用即可。(4) 性能優(yōu)勢(shì)大。由于采用了MPP處理機(jī)制，目前兩個(gè)節(jié)點(diǎn)的數(shù)據(jù)倉(cāng)庫(kù)運(yùn)算速度在同等記錄數(shù)（億級(jí)）和計(jì)算條件下要超過(guò)高性能小型機(jī)上Oracle 10g的運(yùn)算速度。(5) 業(yè)務(wù)支持好。由于有了較好的數(shù)據(jù)組織規(guī)范、可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)模型以及靈活的數(shù)據(jù)集市，很容易實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)、業(yè)務(wù)分析和深度的數(shù)據(jù)挖掘。(6) 應(yīng)用開(kāi)發(fā)快。通過(guò)Cognos工具和快速開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)人員不需要編碼就能快速開(kāi)發(fā)業(yè)務(wù)需要的功能。(7) 自主可控性。