活動(dòng)方案之?dāng)?shù)據(jù)庫存儲(chǔ)系統(tǒng)的相關(guān)設(shè)計(jì)及解決方案

1、數(shù)據(jù)庫存儲(chǔ)系統(tǒng)的相關(guān)設(shè)計(jì)及解決方案【摘要】設(shè)計(jì)數(shù)據(jù)庫的目的是為了管理大量的數(shù)據(jù)，對數(shù)據(jù)的 管理既涉及到數(shù)據(jù)操作機(jī)制的提供，又涉及到數(shù)據(jù)存儲(chǔ)。如果把數(shù) 據(jù)庫管理系統(tǒng)看成是一個(gè)倉庫，在倉庫里存放著各種各樣的的物品， 另外還有一個(gè)倉庫保管員，這個(gè)保管員負(fù)責(zé)不同物品的搬進(jìn)、存儲(chǔ)、 搬出，這里的倉庫就類似于存儲(chǔ)數(shù)據(jù)的“文件”?！娟P(guān)鍵詞】數(shù)據(jù)庫系統(tǒng)；存儲(chǔ)系統(tǒng)設(shè)計(jì)；數(shù)據(jù)庫倉庫一、系統(tǒng)設(shè)計(jì)及解決方案實(shí)現(xiàn)的背景縱觀券商it發(fā)展現(xiàn)狀，首先企業(yè)級業(yè)務(wù)應(yīng)用越來越多，分工也 越來越細(xì)，而企業(yè)級的業(yè)務(wù)應(yīng)用需求和要求都越來越高，單個(gè)業(yè)務(wù) 產(chǎn)品滿足不了企業(yè)級應(yīng)用需求，以下是目前券商主要面臨的企業(yè)級 應(yīng)用需求：1.面向上級監(jiān)管

2、部門的數(shù)據(jù)報(bào)送2企業(yè)級合規(guī)管理和風(fēng)險(xiǎn)控制要求越來越高實(shí)時(shí)動(dòng)態(tài)業(yè)務(wù)風(fēng)險(xiǎn)監(jiān)控企業(yè)決策支持平臺客戶營銷管理二、數(shù)據(jù)中心目標(biāo)定位概括而言，數(shù)據(jù)中心一方面是現(xiàn)有營業(yè)部柜臺交易系統(tǒng)、總部 清算系統(tǒng)、稽核系統(tǒng)等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采集者和管理者，同時(shí)也是 營銷管理、稽核監(jiān)控、風(fēng)險(xiǎn)管理、數(shù)據(jù)挖掘和多維分析系統(tǒng)的數(shù)據(jù) 提供者。（一）產(chǎn)品定位。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)中心，據(jù)交換中心，據(jù)服務(wù)中 心。（二）功能定位。致力于企業(yè)業(yè)務(wù)數(shù)據(jù)的管理方法和管理工具 研發(fā)，包括業(yè)務(wù)數(shù)據(jù)組織架構(gòu)規(guī)劃、數(shù)據(jù)規(guī)范管理、數(shù)據(jù)質(zhì)量管理、 數(shù)據(jù)發(fā)布管理以及數(shù)據(jù)的復(fù)用性管理等方面的系統(tǒng)性工程。（三）存貯設(shè)計(jì)定位既要考慮高并發(fā)高效率的oltp服務(wù)處理，也要考慮

3、大數(shù)據(jù)量訪 問的olap統(tǒng)計(jì)分析要求，基于未來5年到10年的數(shù)據(jù)存貯容量測 算，以此來考慮系統(tǒng)的主機(jī)、存儲(chǔ)架構(gòu)設(shè)計(jì)以及數(shù)據(jù)處理技術(shù)應(yīng)用 等技術(shù)研究工作的方向。三、系統(tǒng)設(shè)計(jì)原則數(shù)據(jù)中心項(xiàng)目技術(shù)解決方案的設(shè)計(jì)原則體現(xiàn)在以下六個(gè)方面， 使得有限的資源以較有效的協(xié)作方式共同發(fā)揮效用：（一）可擴(kuò)展性數(shù)據(jù)模型：設(shè)計(jì)模型時(shí)，盡可能滿足未來可能要上線的業(yè)務(wù)系 統(tǒng)數(shù)據(jù)模型，同時(shí)還需制定一套合理的模型設(shè)計(jì)規(guī)范。數(shù)據(jù)分發(fā)平臺：在設(shè)計(jì)時(shí)應(yīng)考慮，隨著分發(fā)數(shù)據(jù)規(guī)模的擴(kuò)大和 分發(fā)節(jié)點(diǎn)的增多，對分發(fā)處理和傳輸處理的性能要求會(huì)越來越高。（二）高性能分發(fā)平臺：需考慮大數(shù)據(jù)量條件下的文件傳輸效率，主要體現(xiàn) 在特殊日期及特殊情況下的

4、全量文件傳輸。數(shù)據(jù)庫設(shè)計(jì)：同時(shí)要考 慮分析類型的大批量數(shù)據(jù)或頻繁訪問需求，還要滿足實(shí)時(shí)監(jiān)控類的 高并發(fā)訪問要求。（三）可管理性數(shù)據(jù)質(zhì)量管理：報(bào)告的可讀性，標(biāo)準(zhǔn)的可維護(hù)性，問題處理流 程的可操作性。數(shù)據(jù)分發(fā)平臺：需要充分考慮數(shù)據(jù)分發(fā)任務(wù)易于配 置，傳輸結(jié)果易于監(jiān)控。（四）高可用性數(shù)據(jù)模型的可用性：能屏蔽源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)中心系統(tǒng) 帶來影響。局部數(shù)據(jù)模型的擴(kuò)展不會(huì)對其它數(shù)據(jù)模型產(chǎn)生大的影響。 系統(tǒng)備份：生產(chǎn)系統(tǒng)出現(xiàn)異常時(shí)，備份恢復(fù)機(jī)制及時(shí)恢復(fù)處理。（五）安全性。一是防止數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)資源被惡意修改 和盜??；二是防止數(shù)據(jù)在傳輸過程中被截留和篡改。（六）可重用性?？芍赜眯允侵副M可能避免數(shù)據(jù)中心

5、項(xiàng)目的重 復(fù)投入，應(yīng)盡可能考慮包括物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范 方法以及業(yè)務(wù)應(yīng)用等多個(gè)層面上的復(fù)用。四、數(shù)據(jù)庫存貯方案設(shè)計(jì)1.1數(shù)據(jù)各邏輯層級劃分。為保證數(shù)據(jù)中心能提供多層次、多粒 度、多特征的數(shù)據(jù)服務(wù)，并保證etl過程的清晰、可控、完整、準(zhǔn)確， 數(shù)據(jù)中心根據(jù)數(shù)據(jù)性質(zhì)、處理階段以及數(shù)據(jù)質(zhì)量的不同分為原始層、 標(biāo)準(zhǔn)層、模型層、數(shù)據(jù)集市層4個(gè)數(shù)據(jù)層，具體如下：1.2數(shù)據(jù)庫系統(tǒng)的硬件架構(gòu)設(shè)計(jì)。根據(jù)系統(tǒng)分析得出的各項(xiàng)數(shù)據(jù)， 即可得到相應(yīng)的硬件配置要求。1.2.1存儲(chǔ)設(shè)備容量評估。本節(jié)提出的“存儲(chǔ)容量規(guī)劃”將支持過 去5年以上的歷史數(shù)據(jù)和未來10年的新增業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)空間要求。1.2.1.1基礎(chǔ)數(shù)

6、據(jù)規(guī)模評估。根據(jù)調(diào)查，某券商2002年以來 （至2012年）的歷史數(shù)據(jù)規(guī)模可按1.5t計(jì)算。我們以此次配置的存儲(chǔ)“滿足未來3-4年（從2012年算起）的 業(yè)務(wù)正常運(yùn)行”、“將考慮未來10年的業(yè)務(wù)運(yùn)行的擴(kuò)展能力”這兩個(gè) 條件來評估，得出的基礎(chǔ)數(shù)據(jù)規(guī)模為：約=29t約=68t注：公式中的25%是增量數(shù)據(jù)因子。每次進(jìn)行清洗時(shí)，通過一 定的方法，將部分非增量數(shù)據(jù)丟棄（這75%的數(shù)據(jù)，我們通過比對 法發(fā)現(xiàn)其與歷史數(shù)據(jù)或存量數(shù)據(jù)有重復(fù)取值，將其載入后暫存待查 或去除）的結(jié)果。1.2.1.2邏輯數(shù)據(jù)存儲(chǔ)規(guī)模評估。上節(jié)評估出的“基礎(chǔ)數(shù)據(jù)規(guī)模 （后稱a）”，將是本系統(tǒng)進(jìn)行邏輯數(shù)據(jù)存儲(chǔ)規(guī)模（后稱b）的依據(jù)。=J最

7、原始層數(shù)據(jù)的規(guī)模b1：按最后年度的1倍采集數(shù)據(jù)量計(jì)算。ods層 數(shù)據(jù)的規(guī)模b2：考慮到原始數(shù)據(jù)被處理后的部分業(yè)務(wù)數(shù)據(jù)的重新組 織和重定義，且會(huì)生成一定的聚集數(shù)據(jù)，應(yīng)給予適當(dāng)?shù)娜哂?，此?的冗余因子設(shè)定為12。1.3備份環(huán)境設(shè)計(jì)。根據(jù)證監(jiān)會(huì)的相關(guān)要求，系統(tǒng)需要建設(shè)本地 “備份和應(yīng)用測試機(jī)”環(huán)境。但如果我們只是刻板的將“生產(chǎn)環(huán)境”克 隆一下，將極不經(jīng)濟(jì)。我們需要按照應(yīng)用特點(diǎn)、數(shù)據(jù)處理要求，來 定制備機(jī)架構(gòu)。本地“備份和應(yīng)用測試機(jī)”需兼顧“數(shù)據(jù)備份和本地容 災(zāi)”雙重職能。=J最1.4數(shù)據(jù)備份需求評估。數(shù)據(jù)中心的數(shù)據(jù)必須建立可靠有效的備 份機(jī)制，避免由于數(shù)據(jù)丟失。初步規(guī)劃：將數(shù)據(jù)中心管理的數(shù)據(jù)分 成3類并分別制定備份策略。這3類數(shù)據(jù)可以使用用戶隔離、表空 間隔