企業(yè)數(shù)據(jù)集市建設(shè)要點分析報告

1、 .企業(yè)數(shù)據(jù)集市建設(shè)要點分析高并發(fā)、低延遲場景下，企業(yè)如何建設(shè)敏捷高效的數(shù)據(jù)集市目 錄一、數(shù)據(jù)集市的發(fā)展態(tài)勢3二、數(shù)據(jù)集市與數(shù)據(jù)倉庫的對比5三、數(shù)據(jù)集市的項目建設(shè)方案及技術(shù)點6四、數(shù)據(jù)集市建設(shè)所需支持及面臨的風(fēng)險9五、數(shù)據(jù)集市項目驗收11隨著大數(shù)據(jù)技術(shù)的發(fā)展，數(shù)據(jù)量急劇增長，數(shù)據(jù)的分析挖掘工作也變得越來越重要。在這背后，數(shù)據(jù)倉庫的建設(shè)尤為重要，通過數(shù)倉，可以為數(shù)據(jù)分析人員提供全面的數(shù)據(jù)和計算能力。數(shù)據(jù)倉庫包括原子級別的數(shù)據(jù)和輕度匯總的數(shù)據(jù)，是面向主題的、集成的、不可更新的(穩(wěn)定性)、隨時間不斷變化（不同時間）的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定過程。但是數(shù)據(jù)倉庫在高并發(fā)、快速響應(yīng)的場景下具

2、有很大的局限性，無法滿足海量投資者數(shù)據(jù)查詢服務(wù)需求。數(shù)據(jù)集市，也叫數(shù)據(jù)市場，是企業(yè)級數(shù)據(jù)倉庫的一個子集，是為滿足特定的部門或者用戶的需求，只面向某個特定的主題，按照多維的方式進(jìn)行存儲，包括定義維度、需要計算的指標(biāo)、維度的層次等，生成面向決策分析需求的數(shù)據(jù)立方體，提升數(shù)據(jù)查詢的效率。本文圍繞著數(shù)據(jù)集市的需求、架構(gòu)、方案等方面進(jìn)行了問題的討論，對于大家了解和應(yīng)用數(shù)據(jù)集市非常具有參考價值。一、數(shù)據(jù)集市的發(fā)展態(tài)勢Q1：當(dāng)前，金融行業(yè)中在什么場景下需要建設(shè)數(shù)據(jù)集市？是否該啟動數(shù)據(jù)集市建設(shè)？數(shù)據(jù)集市的建設(shè)是由哪些因素觸發(fā)的？A1-1：數(shù)據(jù)集市(Data Mart) ，也叫數(shù)據(jù)市場，是企業(yè)級數(shù)據(jù)倉庫的一個子

3、集，是為滿足特定的部門或者用戶的需求，只面向某個特定的主題，數(shù)據(jù)集市存儲為特定用戶預(yù)先計算好的數(shù)據(jù)，從而滿足用戶對性能的需求。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。數(shù)倉解決海量數(shù)據(jù)統(tǒng)計分析，低用戶并發(fā)，大量計算。數(shù)據(jù)集市低延時和高并發(fā)查詢的情況下具備足夠的支撐能力，可以7×24對外提供數(shù)據(jù)服務(wù)，且不影響原有數(shù)據(jù)倉庫統(tǒng)計分析應(yīng)用的正常運(yùn)行。大量生產(chǎn)數(shù)據(jù)的預(yù)處理在數(shù)倉進(jìn)行，數(shù)據(jù)集市接收數(shù)倉預(yù)處理后的數(shù)據(jù)。數(shù)據(jù)集市是對數(shù)倉的補(bǔ)充，靈活、快速響應(yīng)業(yè)務(wù)，支持用戶部門自行定制數(shù)據(jù)進(jìn)行統(tǒng)計分析，支持高并發(fā)、性價比較高。A1-2：當(dāng)用戶對大量數(shù)據(jù)的實時性要求非常迫切，而數(shù)據(jù)倉庫無法滿足時，

4、就需要有針對性的對這些數(shù)據(jù)進(jìn)行處理，提升存儲和計算的效率，這就需要建立數(shù)據(jù)集市，通過對數(shù)據(jù)的預(yù)處理，提升數(shù)據(jù)查詢處理效率。Q2：企業(yè)建設(shè)數(shù)據(jù)集市的動力來自哪里？ 建設(shè)數(shù)據(jù)集市對金融行業(yè)客戶有何現(xiàn)實意義？A2：數(shù)據(jù)集市是數(shù)據(jù)倉庫的一個重要補(bǔ)充，滿足客戶對數(shù)據(jù)的即時性要求；傳統(tǒng)數(shù)倉往往比較重存儲，且為了保持?jǐn)?shù)據(jù)完整性，而嚴(yán)格按照范式要求保存數(shù)據(jù)，從而導(dǎo)致計算量很大，時效性較低。建立數(shù)據(jù)集市，有助于進(jìn)一步發(fā)揮數(shù)據(jù)價值，因其面向主題，可以對數(shù)據(jù)做各種處理，從而在設(shè)計上提升數(shù)據(jù)存儲和查詢的效率。Q3：目前金融行業(yè)中，規(guī)劃或者已經(jīng)建設(shè)了數(shù)據(jù)集市項目的企業(yè)多嗎？數(shù)據(jù)集市在金融行業(yè)中發(fā)展的態(tài)勢如何？A3-1：

5、數(shù)據(jù)集市適合行業(yè)內(nèi)擁有海量數(shù)據(jù)的公司，需對特定領(lǐng)域服務(wù)，通過互聯(lián)網(wǎng)，對公眾、監(jiān)管機(jī)構(gòu)提供數(shù)據(jù)服務(wù)，好處是快速靈活、降低原有數(shù)據(jù)倉庫成本。A3-2：金融行業(yè)積累了非常多的數(shù)據(jù)，數(shù)據(jù)質(zhì)量也很高，隨著金融業(yè)與技術(shù)的緊密結(jié)合，面向某一領(lǐng)域的數(shù)據(jù)需求變得越來越強(qiáng)烈，比如行情數(shù)據(jù)，很多應(yīng)用都需要，這時如果形成行情的數(shù)據(jù)集市，提供數(shù)據(jù)服務(wù)，不僅避免重復(fù)建設(shè)，而且有利于數(shù)據(jù)的統(tǒng)一管理。Q4：數(shù)據(jù)集市項目的直接用戶和間接用戶是哪些方面？數(shù)據(jù)集市會為用戶帶來哪些好處？A4-1：直接用戶是各業(yè)務(wù)部門、各業(yè)務(wù)系統(tǒng)，數(shù)倉不直接為各業(yè)務(wù)系統(tǒng)直接提供數(shù)據(jù)服務(wù)，通過數(shù)據(jù)集市提供；間接用戶是各業(yè)務(wù)系統(tǒng)的用戶，如通過互聯(lián)網(wǎng)辦理業(yè)

6、務(wù)的投資者用戶。直接用戶是可以定制化數(shù)據(jù)服務(wù)，方便、快捷，間接用戶是快速響應(yīng)、更好用戶體驗、高性能和可用性。A4-2：直接用戶是業(yè)務(wù)數(shù)據(jù)分析人員、業(yè)務(wù)系統(tǒng)負(fù)責(zé)人員，對數(shù)據(jù)有強(qiáng)烈的需求和敏銳的嗅覺，能夠?qū)?shù)據(jù)價值抽象出來；間接用戶就是一線業(yè)務(wù)人員，可以直接獲取該數(shù)據(jù)價值，對用戶及時反饋。數(shù)據(jù)集市提升了數(shù)據(jù)交互的時間，使數(shù)據(jù)的使用變得流暢。二、數(shù)據(jù)集市與數(shù)據(jù)倉庫的對比Q1：數(shù)據(jù)集市的出現(xiàn)，會使數(shù)據(jù)倉庫消亡嗎？A1-1：不會的，兩者在概念上并不完全平級，就像工廠和門店的關(guān)系一樣，兩者應(yīng)該是相輔相成，充分發(fā)揮數(shù)據(jù)的價值的。Q2：數(shù)據(jù)集市、數(shù)據(jù)倉庫在方法論上有什么差異，為什么選擇不同的技術(shù)和平臺？相比而

7、言，數(shù)據(jù)集市和數(shù)據(jù)倉庫各有什么優(yōu)點和缺點？A2-1：本質(zhì)上沒有區(qū)別，如豪華汽車和中端汽車，目的是解決不同場景的問題。數(shù)據(jù)集市(Data Mart) ，也叫數(shù)據(jù)市場，是企業(yè)級數(shù)據(jù)倉庫的一個子集，是為滿足特定的部門或者用戶的需求，只面向某個特定的主題，數(shù)據(jù)集市存儲為特定用戶預(yù)先計算好的數(shù)據(jù)，從而滿足用戶對性能的需求。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。數(shù)倉解決海量數(shù)據(jù)統(tǒng)計分析，低用戶并發(fā)，大量計算。數(shù)據(jù)集市低延時和高并發(fā)查詢的情況下具備足夠的支撐能力，可以7×24對外提供數(shù)據(jù)服務(wù)，且不影響原有數(shù)據(jù)倉庫統(tǒng)計分析應(yīng)用的正常運(yùn)行。A2-2：數(shù)據(jù)倉庫用于存放著非常多的各類數(shù)據(jù)，而數(shù)據(jù)

8、集市是把某些方面的數(shù)據(jù)包裝對外服務(wù)的。所以數(shù)倉的數(shù)據(jù)全，粒度細(xì)，沒有很好的加工，而數(shù)據(jù)集市可能會改變原有數(shù)據(jù)，所以粒度是較粗的。數(shù)據(jù)倉庫的優(yōu)點是數(shù)據(jù)全面，但是分析時效性慢，而數(shù)據(jù)集市更關(guān)注于時效性和應(yīng)用場景，不關(guān)心數(shù)據(jù)本身結(jié)構(gòu)。三、數(shù)據(jù)集市的項目建設(shè)方案及技術(shù)點Q1：在軟/硬件、開發(fā)、運(yùn)行、維護(hù)和管理等各個方面面臨哪些困難？如何克服？A1-1：可能主要在三方面：1、技術(shù)管理：專門的開發(fā)運(yùn)維團(tuán)隊，和數(shù)倉（大倉）間的職責(zé)分工，集市技術(shù)人員與業(yè)務(wù)人員間的職責(zé)分工明確2、技術(shù)架構(gòu)：集市數(shù)據(jù)架構(gòu)設(shè)計，從數(shù)倉（大倉）數(shù)據(jù)加載，數(shù)據(jù)集市運(yùn)維監(jiān)控，集市高性能、高可用機(jī)制，業(yè)務(wù)人員靈活定制數(shù)據(jù)服務(wù)與集市日常數(shù)據(jù)

9、服務(wù)、集市數(shù)據(jù)加載間的資源分配，新技術(shù)掌控力度等3、信息安全：開發(fā)、運(yùn)維分離，生產(chǎn)操作各項安全審計，數(shù)據(jù)庫本身權(quán)限最小、數(shù)據(jù)隔離機(jī)制等A1-2：類比大數(shù)據(jù)平臺，數(shù)據(jù)ETL是個非常重要且比較有難度的技術(shù)點，往往會有人提出數(shù)據(jù)導(dǎo)的不正常或丟失、數(shù)據(jù)未正常到達(dá)等情況，這個沒有較好的解決方法，只能做好監(jiān)控，盡量保證各個環(huán)節(jié)正常流轉(zhuǎn)。在運(yùn)維方面，集群往往面臨著查詢和存儲壓力，如何在遇到問題時有效解決或者預(yù)警，這也是非常有挑戰(zhàn)的，可以通過對平臺底層的了解，不斷對集群進(jìn)行優(yōu)化和監(jiān)控。在開發(fā)方面，需要分析人員對業(yè)務(wù)需求非常了解，才能設(shè)計出合理的數(shù)據(jù)模型，提升數(shù)據(jù)服務(wù)的效率。Q2：從數(shù)據(jù)的采集、數(shù)據(jù)的存儲、數(shù)據(jù)

10、的處理、數(shù)據(jù)的訪問/供應(yīng)等幾個方面，那種方案合適，以及如何進(jìn)行設(shè)計？A2-1：一般分為數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)處理、數(shù)據(jù)存儲、平臺服務(wù)等方面，具體每個部分技術(shù)方案需要看企業(yè)的需求，關(guān)鍵點包括：數(shù)據(jù)治理、數(shù)據(jù)加載、數(shù)據(jù)存儲等方面。A2-2：整體架構(gòu)包括采集、存儲、處理和訪問等層次，就像建立大數(shù)據(jù)平臺一樣，這都是需要重點考慮的技術(shù)點，至于哪種方案合適，首先還是要了解各個層次對應(yīng)的技術(shù)組件和成熟的解決方案，對各個技術(shù)點重點測試，掌握優(yōu)缺點后才能合理組合各個組件。每個公司都會找到適合自己的整體方案，畢竟，并沒有一種方案能完全適應(yīng)各個公司的數(shù)據(jù)情況。Q3：數(shù)據(jù)集市完成的目標(biāo)和使命是什么？從這個意義上講，

11、應(yīng)該為數(shù)據(jù)集市的成功標(biāo)準(zhǔn)設(shè)計什么樣的KPI？A3-1：主要分為業(yè)務(wù)需求和技術(shù)需求兩部分。業(yè)務(wù)需求主要是技術(shù)服務(wù)部門或系統(tǒng)的業(yè)務(wù)場景，建模即業(yè)務(wù)建模，需要對業(yè)務(wù)關(guān)系、實體充分了解，目前各廠商針對各個行業(yè)，如證券都有成熟業(yè)務(wù)模型。技術(shù)需求主要包括可維護(hù)性、性能、安全、監(jiān)控運(yùn)維等。A3-2：需求模型的確定需要詳細(xì)了解業(yè)務(wù)需求，同時具備數(shù)據(jù)建模思維，將需求轉(zhuǎn)化為數(shù)學(xué)模型，從而通過數(shù)據(jù)集市計算引擎實現(xiàn)。數(shù)據(jù)集市是否有效的衡量標(biāo)準(zhǔn)有擴(kuò)展性、性能、穩(wěn)定性、安全、易用性等方面。Q4：金融行業(yè)在數(shù)據(jù)集市項目中，是否涉及到主機(jī)、存儲、數(shù)據(jù)庫、系統(tǒng)管理等的選型？如何選型？A4-1：在數(shù)據(jù)集市項目中，重點關(guān)注數(shù)據(jù)集市

12、的系統(tǒng)技術(shù)方案，好的數(shù)據(jù)存儲和計算引擎是數(shù)據(jù)集市項目成功與否的關(guān)鍵，存儲格式、計算性能、擴(kuò)展性、穩(wěn)定性、安全性、數(shù)據(jù)ETL等方面都是要考察的技術(shù)點，就像大家選擇oracle做OLTP系統(tǒng)一樣，選擇一個好的底層引擎，才有可能將數(shù)據(jù)集市做大做強(qiáng)。A4-2：一般數(shù)據(jù)集市和企業(yè)數(shù)據(jù)倉庫或大數(shù)據(jù)平臺一起進(jìn)行選型，主要考慮點包括分布式系統(tǒng)，性價比低，國產(chǎn)廠商，金融行業(yè)成功案例，滿足各項需求指標(biāo)等。Q5：金融行業(yè)在規(guī)劃數(shù)據(jù)集市項目時，有哪些技術(shù)路線可選？如何選？還有，有哪些數(shù)據(jù)集市的供應(yīng)商可選？如何考察？A5：最主要在于分布式數(shù)據(jù)庫選型，如傳統(tǒng)關(guān)系型如oracle、db2，mpp架構(gòu)GP、TD、Gbase，

13、新興分布式架構(gòu)，如阿里云、華為、星環(huán)大數(shù)據(jù)平臺等。Q6：金融行業(yè)在實施數(shù)據(jù)集市項目時，成本組成有哪些？A6-1：主要四方面，軟件平臺廠商支持、團(tuán)隊建設(shè)、應(yīng)用系統(tǒng)開發(fā)、硬件維護(hù)。A6-2：主要包括硬件服務(wù)器、軟件平臺、平臺管理人員、數(shù)據(jù)分析團(tuán)隊（建模、數(shù)據(jù)服務(wù)化、系統(tǒng)開發(fā)）。Q7：數(shù)據(jù)集市中有大量數(shù)據(jù)時，數(shù)據(jù)之間的關(guān)系應(yīng)該怎么管理呢？場景問題：面對大量的數(shù)據(jù)集市中的數(shù)據(jù)，有可能針對同一個屬性從不同的表里得到是存在不一致的情況的。這種情況怎么處理？A7-1:這需要兩方面：1、充分理解業(yè)務(wù)場景，進(jìn)行元數(shù)據(jù)管理，定義各表中各字段的業(yè)務(wù)含義2、加強(qiáng)數(shù)據(jù)治理，在數(shù)據(jù)ETL時對業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行按照元數(shù)據(jù)規(guī)則

14、進(jìn)行預(yù)處理。A7-2:這個也是數(shù)據(jù)分析時遇到的共性問題，數(shù)據(jù)倉庫同樣由此問題，通常的做法就是建立元數(shù)據(jù)標(biāo)準(zhǔn)，在數(shù)據(jù)ETL的時候進(jìn)行標(biāo)準(zhǔn)化處理，避免數(shù)據(jù)不一致的情況。Q8：實施數(shù)據(jù)集市的項目時，對于項目參與人員，應(yīng)該如何規(guī)劃培訓(xùn)學(xué)習(xí)進(jìn)行技能儲備？A8-1：數(shù)據(jù)集市的項目跟建立大數(shù)據(jù)平臺一樣，是個大工程，都面臨著數(shù)據(jù)ETL、存儲、計算、數(shù)據(jù)管理等技術(shù)方面的挑戰(zhàn)，而比大數(shù)據(jù)平臺更復(fù)雜的是數(shù)據(jù)集市是個面向業(yè)務(wù)人員的OLAP型系統(tǒng)，如何滿足業(yè)務(wù)各種各樣的建模需求也是建立數(shù)據(jù)集市面臨的一個大問題。所以，項目人員既要懂底層技術(shù)，又要懂上層業(yè)務(wù)，只有這樣才能發(fā)揮數(shù)據(jù)集市的優(yōu)勢。在技術(shù)方面，可以類比大數(shù)據(jù)平臺，

15、可以儲備數(shù)據(jù)ETL、分布式存儲、分布式計算、管理和運(yùn)維的經(jīng)驗；業(yè)務(wù)上就要深入了解業(yè)務(wù)需求，轉(zhuǎn)化為數(shù)據(jù)模型。四、數(shù)據(jù)集市建設(shè)所需支持及面臨的風(fēng)險Q1：數(shù)據(jù)集市的建設(shè)方應(yīng)該是那個部門？哪些部門需要提供支持？以及什么樣的支持？A1-1：建設(shè)方為技術(shù)部門的數(shù)據(jù)倉庫組或技術(shù)平臺組，所服務(wù)業(yè)務(wù)部門，技術(shù)部門各業(yè)務(wù)系統(tǒng)組，采購、財務(wù)部門，按照各部門分工支持配合。A1-2：業(yè)務(wù)部門、技術(shù)部門（主要為數(shù)據(jù)分析團(tuán)隊、數(shù)據(jù)倉庫團(tuán)隊）應(yīng)當(dāng)作為核心部門對此支持，主要為實施、分析和使用；其余部門應(yīng)當(dāng)作為輔助。Q2：比如在技術(shù)上、組織授權(quán)上、人員力量上、流程上、管理上、資金投入上等各個方面，會有哪些風(fēng)險，如何規(guī)避？A2-1

16、：1、面臨著管理需求同實際情況不能嚴(yán)格匹配。2、項目推動過程需要各業(yè)務(wù)部門有效的統(tǒng)一組織和規(guī)劃安排。3、IT人員對技術(shù)的掌握和對項目控制很關(guān)鍵。A2-2：風(fēng)險無處不在，應(yīng)注意識別并預(yù)防，主要以下三方面（1）管理制度、組織架構(gòu)專門的開發(fā)運(yùn)維團(tuán)隊，和數(shù)倉（大倉）間的職責(zé)分工，集市技術(shù)人員與業(yè)務(wù)人員間的職責(zé)分工（2）技術(shù)集市數(shù)據(jù)架構(gòu)設(shè)計，從數(shù)倉（大倉）數(shù)據(jù)加載，數(shù)據(jù)集市運(yùn)維監(jiān)控，集市高性能、高可用機(jī)制，業(yè)務(wù)人員靈活定制數(shù)據(jù)服務(wù)與集市日常數(shù)據(jù)服務(wù)、集市數(shù)據(jù)加載間的資源分配，新技術(shù)掌控力度（3）信息安全開發(fā)、運(yùn)維分離，生產(chǎn)操作各項安全審計，數(shù)據(jù)庫本身權(quán)限最小、數(shù)據(jù)隔離機(jī)制A2-3：不光是在數(shù)據(jù)集市項目上

17、，幾乎所有大型項目上，都存在技術(shù)、管理、組織、資金等方面的風(fēng)險，如何規(guī)避這些風(fēng)險，主要還是要從政策上支持、技術(shù)上把關(guān)、實施上嚴(yán)謹(jǐn)、分析人員業(yè)務(wù)精通、與業(yè)務(wù)人員時刻溝通避免方向錯誤等方面入手，嚴(yán)防風(fēng)險的發(fā)生。Q3：數(shù)據(jù)集市項目的直接用戶和間接用戶是哪些方面？數(shù)據(jù)集市會為用戶帶來哪些好處？A3-1：直接用戶是各業(yè)務(wù)部門、各業(yè)務(wù)系統(tǒng)，數(shù)倉不直接為各業(yè)務(wù)系統(tǒng)直接提供數(shù)據(jù)服務(wù)，通過數(shù)據(jù)集市提供；間接用戶是各業(yè)務(wù)系統(tǒng)的用戶，如通過互聯(lián)網(wǎng)辦理業(yè)務(wù)的投資者用戶。直接用戶是可以定制化數(shù)據(jù)服務(wù)，方便、快捷，間接用戶是快速響應(yīng)、更好用戶體驗、高性能和可用性。A3-2：直接用戶是業(yè)務(wù)數(shù)據(jù)分析人員、業(yè)務(wù)系統(tǒng)負(fù)責(zé)人員，對數(shù)據(jù)有強(qiáng)烈的需求和敏銳的嗅覺，能夠?qū)?shù)據(jù)價值抽象出來；間接用戶就是一線業(yè)務(wù)人員，可以直接獲取該數(shù)據(jù)價值，對用戶及時反饋。數(shù)據(jù)集市提升了數(shù)據(jù)交互的時間，使數(shù)據(jù)的使用變得流暢。五、數(shù)據(jù)集市項目驗收Q1：如何根據(jù)數(shù)據(jù)集市項目設(shè)定的建設(shè)目標(biāo)和標(biāo)準(zhǔn)，進(jìn)行數(shù)據(jù)集市功能的測試和驗收？A1：數(shù)據(jù)集市的建模是終端用戶