數(shù)據(jù)倉(cāng)庫(kù)中的證券行業(yè)論文

1、數(shù)據(jù)倉(cāng)庫(kù)中的證券行業(yè)論文 1建設(shè)目標(biāo) 1.1建設(shè)公司級(jí)數(shù)據(jù)倉(cāng)庫(kù) 將數(shù)據(jù)邏輯模型固化，形成存儲(chǔ)結(jié)構(gòu)合理、層次明確的數(shù)據(jù)倉(cāng)庫(kù)層級(jí)。對(duì)各類數(shù)據(jù)進(jìn)行統(tǒng)一采集、存儲(chǔ)、清理、轉(zhuǎn)換、匯總，形成公司統(tǒng)一數(shù)據(jù)字典以及統(tǒng)一數(shù)據(jù)口徑。涵蓋結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的整合。 1.2構(gòu)建公司級(jí)數(shù)據(jù)倉(cāng)庫(kù)模型 以金融行業(yè)為藍(lán)本，兼顧證券行業(yè)特點(diǎn)，具有穩(wěn)定性、可擴(kuò)展性、靈活性以及前瞻性。數(shù)據(jù)倉(cāng)庫(kù)模型具有清晰的主題結(jié)構(gòu)，主題域涵蓋證券公司各項(xiàng)業(yè)務(wù)，能夠支撐運(yùn)營(yíng)管理、風(fēng)險(xiǎn)管理、財(cái)務(wù)管理、客戶管理、咨詢服務(wù)等，囊括證券公司現(xiàn)有以及目前可預(yù)見的全部業(yè)務(wù)。 1.3形成統(tǒng)一的數(shù)據(jù)調(diào)度、監(jiān)控平臺(tái) 主要實(shí)現(xiàn)EE作業(yè)、SE作業(yè)、命令行程序、P

2、L/SQL程序等作業(yè)的定義、調(diào)度管理和運(yùn)維監(jiān)控。利用可視化的作業(yè)流程集成管理，實(shí)例化各種作業(yè)組件并通過(guò)拖拽方式設(shè)計(jì)業(yè)務(wù)處理的各個(gè)環(huán)節(jié)和觸發(fā)機(jī)制。通過(guò)統(tǒng)一的監(jiān)控平臺(tái)，可以監(jiān)測(cè)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的各程序運(yùn)行情況、系統(tǒng)CUP和磁盤等資源占用情況以及數(shù)據(jù)庫(kù)表使用情況等。 1.4建立統(tǒng)一的數(shù)據(jù)管控平臺(tái) 實(shí)現(xiàn)在數(shù)據(jù)ETL過(guò)程中的元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)質(zhì)量管理。元數(shù)據(jù)管理通過(guò)對(duì)相關(guān)的技術(shù)、業(yè)務(wù)元數(shù)據(jù)進(jìn)行統(tǒng)一的歸集，實(shí)現(xiàn)數(shù)據(jù)間的血緣分析和影響分析；數(shù)據(jù)標(biāo)準(zhǔn)管理主要實(shí)現(xiàn)數(shù)據(jù)層面的代碼數(shù)據(jù)標(biāo)準(zhǔn)化和業(yè)務(wù)層面的作業(yè)標(biāo)準(zhǔn)化；數(shù)據(jù)質(zhì)量管理主要涵蓋數(shù)據(jù)質(zhì)量檢查定義、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量檢查分析、數(shù)據(jù)治理問(wèn)題管理和數(shù)據(jù)質(zhì)

3、量知識(shí)管理。 1.5打造規(guī)范的數(shù)據(jù)服務(wù)平臺(tái) 在數(shù)據(jù)倉(cāng)庫(kù)模型層統(tǒng)一、規(guī)范的數(shù)據(jù)基礎(chǔ)上，按照業(yè)務(wù)的特性整理出通用的指標(biāo)數(shù)據(jù)，為業(yè)務(wù)管理系統(tǒng)提供數(shù)據(jù)服務(wù)。 2建設(shè)規(guī)劃 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)處理的流程主要包括：通過(guò)數(shù)據(jù)采集，將各基礎(chǔ)業(yè)務(wù)系統(tǒng)數(shù)據(jù)集中、非結(jié)構(gòu)化數(shù)據(jù)，同步到貼源數(shù)據(jù)層；再經(jīng)過(guò)清洗、變換、轉(zhuǎn)換、標(biāo)準(zhǔn)化，依據(jù)企業(yè)的統(tǒng)一標(biāo)準(zhǔn)和規(guī)則對(duì)來(lái)自企業(yè)內(nèi)外分散在不同系統(tǒng)的數(shù)據(jù)進(jìn)行消除非一致性的集成和標(biāo)準(zhǔn)化的處理，數(shù)據(jù)按照一定的主題域進(jìn)行組織存儲(chǔ)在核心層；通用指標(biāo)匯總層按照業(yè)務(wù)數(shù)據(jù)的通用性匯總形成各種通用數(shù)據(jù)指標(biāo)；業(yè)務(wù)指標(biāo)層則根據(jù)各業(yè)務(wù)部門的不同需求對(duì)通用指標(biāo)再加工，形成業(yè)務(wù)指標(biāo)層；第三方應(yīng)用集市根據(jù)應(yīng)用要求，對(duì)數(shù)據(jù)

4、進(jìn)行預(yù)處理，并最終為應(yīng)用層提供數(shù)據(jù)服務(wù)。源數(shù)據(jù)層：源數(shù)據(jù)層是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源，包含各種交易類和管理類的業(yè)務(wù)數(shù)據(jù)以及大量的非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)層：包括緩沖層、貼源數(shù)據(jù)層、規(guī)范存儲(chǔ)層、匯總層和第三方應(yīng)用集市層。緩沖層：即源數(shù)據(jù)中間層，用于存放部分基礎(chǔ)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)文件并可作為基礎(chǔ)數(shù)據(jù)源對(duì)外提供數(shù)據(jù)直傳服務(wù)；貼源數(shù)據(jù)層：用于存放從源數(shù)據(jù)中間層經(jīng)過(guò)基本清洗轉(zhuǎn)換后的數(shù)據(jù)，貼源數(shù)據(jù)層的數(shù)據(jù)模型與業(yè)務(wù)系統(tǒng)基本保持一致；核心層：從貼源數(shù)據(jù)層經(jīng)過(guò)清洗、轉(zhuǎn)換和整合后可靠的、一致的、規(guī)范的數(shù)據(jù)，按金融數(shù)據(jù)模型對(duì)貼源數(shù)據(jù)層的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的統(tǒng)一，解決信息孤島通用指標(biāo)層：按照業(yè)務(wù)的特性整理出通用的指標(biāo)數(shù)據(jù)；業(yè)務(wù)指標(biāo)

5、層：按照各業(yè)務(wù)條線對(duì)指標(biāo)的特殊要求，形成業(yè)務(wù)指標(biāo)層直接供業(yè)務(wù)部門使用；第三方應(yīng)用集市層：數(shù)據(jù)集市層是以具體應(yīng)用為主題，所存儲(chǔ)的數(shù)據(jù)都是根據(jù)具體應(yīng)用進(jìn)行運(yùn)行和匯總的各類指標(biāo)數(shù)據(jù)。數(shù)據(jù)調(diào)度平臺(tái)：包括數(shù)據(jù)采集、清洗、轉(zhuǎn)換以及數(shù)據(jù)轉(zhuǎn)換的調(diào)度管理。數(shù)據(jù)服務(wù)平臺(tái)：為業(yè)務(wù)管理系統(tǒng)提供數(shù)據(jù)服務(wù)，包括數(shù)據(jù)直傳、數(shù)據(jù)推送、API接口、WebService接口等。數(shù)據(jù)管控平臺(tái)：包括數(shù)據(jù)質(zhì)量與標(biāo)準(zhǔn)、元數(shù)據(jù)管理、數(shù)據(jù)脫敏管理。通過(guò)統(tǒng)一的管控平臺(tái)，可以監(jiān)測(cè)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的各程序運(yùn)行情況、系統(tǒng)cpu和磁盤等資源占用情況、數(shù)據(jù)庫(kù)表使用情況等；可以了解數(shù)據(jù)源采集、數(shù)據(jù)入庫(kù)、數(shù)據(jù)轉(zhuǎn)換、關(guān)鍵后續(xù)任務(wù)運(yùn)行等數(shù)據(jù)處理狀態(tài)；并可以通過(guò)信號(hào)

6、燈、聲音、郵件或短信等形式報(bào)告系統(tǒng)的運(yùn)行情況和數(shù)據(jù)的處理狀態(tài)；為數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行維護(hù)保駕護(hù)航。應(yīng)用層：包括中間服務(wù)層和訪問(wèn)控制層。中間服務(wù)層主要是生成數(shù)據(jù)集、各種報(bào)表和數(shù)據(jù)分析，并提供各種查詢和分析功能；門戶作為訪問(wèn)控制層實(shí)現(xiàn)統(tǒng)一的用戶管理、權(quán)限管理和安全認(rèn)證訪問(wèn)體系。展現(xiàn)層：根據(jù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的需求，來(lái)進(jìn)行報(bào)表界面的開發(fā)。一般可分為普通用戶、技術(shù)用戶和高級(jí)用戶三類，普通用戶主要訪問(wèn)一些靜態(tài)的報(bào)表，技術(shù)用戶主要是通過(guò)展現(xiàn)工具生成一些動(dòng)態(tài)報(bào)表，滿足業(yè)務(wù)的急迫需要。高級(jí)用戶是關(guān)注決策有關(guān)的一些關(guān)鍵指標(biāo)和報(bào)表。 3結(jié)論 本文針對(duì)目前數(shù)據(jù)在證券公司的業(yè)務(wù)可持續(xù)發(fā)展中起到越來(lái)越重要的地位的戰(zhàn)略思想，通過(guò)分析數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)規(guī)劃來(lái)闡述如何更好的幫助證券公司建設(shè)統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)。為未來(lái)各種新興業(yè)務(wù)的開展、客戶的挖掘、企業(yè)決策等提供了