數(shù)據(jù)架構設計指導書

1、數(shù)據(jù)架構設計指導書Prepared on 22 November 2020數(shù)據(jù)架構設計指導書（版本號）朗新科技（中國）有限公司2013年06月更改履歷版本號修改編號更改時間更改的圖表和章節(jié)號更改簡要描述更改人批準人2013-6-15王全義鄭德炳注：更改人除形成初稿，以后每次修改在未批準確認前均需采用修訂的方式進行修改。目錄編寫目的為了提高數(shù)據(jù)架構設計能力、規(guī)范軟件設計流程、加強架構管控力度，提 高軟件安全特制定本規(guī)范。此文檔描述了數(shù)據(jù)架構設計等。2 適用范圍適用于數(shù)據(jù)架構設計人員。3 數(shù)據(jù)架構設計原則數(shù)據(jù)資產(chǎn)化原則：將數(shù)據(jù)作為公司具有價值的無形資產(chǎn)來管理，統(tǒng)一認 識，加強數(shù)據(jù)資產(chǎn)認責管理，保障

2、數(shù)據(jù)資產(chǎn)的價值發(fā)揮。數(shù)據(jù)共享性原則：避免數(shù)據(jù)孤島的建設和數(shù)據(jù)私有化，加強數(shù)據(jù)在公司各 級單位、各個業(yè)務領域間的共享。營造及時、準確的共享數(shù)據(jù)環(huán)境，完善數(shù)據(jù) 管控機制，確保數(shù)據(jù)共享符合信息安全要求。數(shù)據(jù)可用性原則：建立標準化、多樣化的數(shù)據(jù)資產(chǎn)獲取渠道和訪問方式。 加強數(shù)據(jù)質(zhì)量管理，增強用戶使用數(shù)據(jù)的信心，有效支撐各類分析應用建設。數(shù)據(jù)認責原則：針對不同的數(shù)據(jù)資產(chǎn)指定權威的數(shù)據(jù)擁有者、質(zhì)量責任 者、日常管理維護者等角色，建立配套的數(shù)據(jù)管控機制和評價考核體系，確保 數(shù)據(jù)認責工作的有效開展。數(shù)據(jù)標準化原則：在公司全局范圍內(nèi)建立通用的數(shù)據(jù)標準，包括業(yè)務數(shù)據(jù) 標準，主數(shù)據(jù)標準，元數(shù)據(jù)標準等，避免數(shù)據(jù)的二義

3、性，促進數(shù)據(jù)共享和利 用。數(shù)據(jù)安全性原則：定義數(shù)據(jù)安全級別，建立數(shù)據(jù)安全控制過程，保證數(shù)據(jù) 被合理的訪問、共享和發(fā)布，避免未經(jīng)授權的數(shù)據(jù)操作，滿足監(jiān)管單位和公司 業(yè)務經(jīng)營對數(shù)據(jù)安全的要求。4 數(shù)據(jù)架構設計數(shù)據(jù)架構設計主要解決：存在哪些數(shù)據(jù)資源、如何管理數(shù)據(jù)資源、解析業(yè) 務信息的數(shù)據(jù)模型是什么、面向交易、交換和分析的數(shù)據(jù)模型是什么、信息在 流程間、數(shù)據(jù)在功能間如何流轉(zhuǎn)等問題。數(shù)據(jù)架構設計主要內(nèi)容：數(shù)據(jù)主題域設計、概念數(shù)據(jù)模型設計、邏輯數(shù)據(jù) 模型設計、物理數(shù)據(jù)模型設計等。4.1 企業(yè)業(yè)務數(shù)據(jù)分類4.1.1 按數(shù)據(jù)格式劃分結構化數(shù)據(jù)：方便用數(shù)據(jù)庫的二維表結構來邏輯表達實現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結 構字段含義確

4、定，清晰。例如：客戶信息、用電記錄等。是挖掘數(shù)據(jù)價值的主 要對象。非結構化數(shù)據(jù)：很難按照一個概念去處理的無結構性的數(shù)據(jù)。例如文本、 多媒體數(shù)據(jù)等。其數(shù)據(jù)利用技術相對于結構化數(shù)據(jù)起步晚，是未來數(shù)據(jù)應用的 一個發(fā)展方向。4.1.2 按數(shù)據(jù)參照程度劃分主數(shù)據(jù)：用于描述企業(yè)核心業(yè)務實體/對象的基本業(yè)務數(shù)據(jù)，它在企業(yè)內(nèi)長 期存在并且被重復應用于多個業(yè)務部門和信息系統(tǒng)，是最容易產(chǎn)生數(shù)據(jù)一致性 問題的一類數(shù)據(jù)，需要單獨的管控機制對其進行管理。非主數(shù)據(jù)：相對于主數(shù)據(jù)，其它的參照度低的、存在周期短的非核心實體/ 對象數(shù)據(jù)可認為是非主數(shù)據(jù)。4.1.3 按數(shù)據(jù)采集頻道劃分非實時數(shù)據(jù)：相對于實時數(shù)據(jù)，其它的企業(yè)經(jīng)營過

5、程中產(chǎn)生的，由業(yè)務人 員通過應用系統(tǒng)輸入的數(shù)據(jù)都可認為是非實時數(shù)據(jù)實時數(shù)據(jù)：主要是由一些傳感器設備以自動化的方式采集的秒級、毫秒級 的數(shù)據(jù)，例如電網(wǎng)運行數(shù)據(jù)、設備狀態(tài)數(shù)據(jù)等。這些數(shù)據(jù)的特點是數(shù)據(jù)內(nèi)容簡 單，但數(shù)據(jù)量很大。4.1.4 按使用性質(zhì)劃分分析性數(shù)據(jù)：用于支持日常報表、查詢、分析等決策需求的數(shù)據(jù)。共享數(shù)據(jù)：來自某個業(yè)務系統(tǒng)，在業(yè)務部門之間、業(yè)務系統(tǒng)之間重復使用 的數(shù)據(jù)4.2 數(shù)據(jù)主題域數(shù)據(jù)主題域由業(yè)務信息按照其業(yè)務耦合程度聚合而成的高階數(shù)據(jù)主題群， 一般與業(yè)務域有著緊密的對應關系。例如：財務、物資、生產(chǎn)等。數(shù)據(jù)主題域通過數(shù)據(jù)主題域視圖和數(shù)據(jù)主題域關系視圖來體現(xiàn)。4. 2.1數(shù)據(jù)主題域視圖

6、展現(xiàn)數(shù)據(jù)域和數(shù)據(jù)主題，并定義數(shù)據(jù)主題對業(yè)務域的支撐關系。例圖如 下：4. 2. 2數(shù)據(jù)主題域關系視圖展現(xiàn)數(shù)據(jù)主題域之間的邏輯關系。一般分為一級數(shù)據(jù)主題域關系視圖和二 級數(shù)據(jù)主題域關系視圖，二級是一級的細化。一級數(shù)據(jù)主題域關系視圖如下：二級數(shù)據(jù)主題域關系視圖如下：4.3 概念數(shù)據(jù)模型4.4 概念數(shù)據(jù)模型主要由最佳實踐和業(yè)務需求作為驅(qū)動因素高階的數(shù)據(jù)模型，定義了重要的業(yè)務領域概念（即數(shù)據(jù)主題域）和彼此的關系，由核心的 數(shù)據(jù)實體或其集合，以及實體間的關聯(lián)關系組成。概念數(shù)據(jù)模型獨立于信息系 統(tǒng)存在，不涉及信息在系統(tǒng)中的表示。概念模型應該抓住一個重點，即表達重要業(yè)務概念及業(yè)務概念之間的關 系：解決并只解

7、決需要在全國范圍內(nèi)統(tǒng)一規(guī)范的核心的業(yè)務問題；只是反映了 業(yè)務對數(shù)據(jù)的需求，包容多種物理實現(xiàn)方式，除非該種物理實現(xiàn)方式不滿足業(yè) 務的需求。概念數(shù)據(jù)模型一般小概念數(shù)據(jù)模型視圖和數(shù)據(jù)流轉(zhuǎn)視圖組成。4.4.1 概念模型視圖展現(xiàn)數(shù)據(jù)主題域之下的數(shù)據(jù)實體，并展現(xiàn)數(shù)據(jù)實體之間的關聯(lián)關系。4.4. 2數(shù)據(jù)流轉(zhuǎn)視圖展現(xiàn)數(shù)據(jù)實體所分布到的應用，并展示數(shù)據(jù)在應用間的流轉(zhuǎn)。例圖如下：4.5. 輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型對概念數(shù)據(jù)模型的進一步分解和細化，描述實體、屬性以及 實體關系，通用的字段類型、長度和主外鍵關系等做了定義，設計時一般遵從 “第三范式”以達到最小的數(shù)據(jù)冗余。邏輯模型的設計由最佳實踐和業(yè)務需 求、數(shù)據(jù)資源規(guī)

8、劃、現(xiàn)有業(yè)務應用數(shù)據(jù)模型等作為驅(qū)動因素邏輯數(shù)據(jù)模型由邏輯數(shù)據(jù)模型視圖和數(shù)據(jù)分布視圖組成4.6. 5.1邏輯數(shù)據(jù)模型視圖對數(shù)據(jù)實體的分解細化，對數(shù)據(jù)實體的屬性、屬性類型、長度和主外鍵關 系等做了定義，遵從“第三范式”以達到最小的數(shù)據(jù)冗余。4. 5. 2數(shù)據(jù)分布視圖展現(xiàn)數(shù)據(jù)實體所分布到的功能，并定義在功能中的操作（CRUD）數(shù)據(jù)分布視圖如下：CRUD如下：4.6物理數(shù)據(jù)模型物理數(shù)據(jù)模型描述數(shù)據(jù)模型的細節(jié)，需要考慮所使用的數(shù)據(jù)庫產(chǎn)品、對應 的字段類型、長度、索引等因素，并對數(shù)據(jù)冗余與性能進行平衡，必須確定數(shù) 據(jù)庫平臺和應用程序的架構。物理數(shù)據(jù)模型的設計由數(shù)據(jù)庫/數(shù)據(jù)倉庫系統(tǒng)平臺 和性能調(diào)整優(yōu)化要求作

9、為驅(qū)動因素。4. 6.1物理模型視圖描述數(shù)據(jù)模型的細節(jié)，需要考慮所使用的數(shù)據(jù)庫產(chǎn)品、對應的字段類型、 長度、索引等因素，并對數(shù)據(jù)冗余與性能進行平衡。物理模型視圖例圖如下:4.7數(shù)據(jù)庫詳細設計4. 7.1數(shù)據(jù)基礎設計數(shù)據(jù)庫類型：Oracle數(shù)據(jù)庫 SID： sqadbK sqadb2數(shù)據(jù)庫名：sqldb語言：AMERICAN_AMERICA數(shù)據(jù)庫字符集(NLS_CHARACTERSET)： UTF8國家區(qū)域字符集(NLS_NCHAR_CHARACTERSET) ： UTF84. 7.2常用參數(shù)NLS_LENGTH_SEMANTICS = CHAR說明：此參數(shù)需要設置后重啟方可生效。4. 7. 3

10、主要模式設計規(guī)劃數(shù)據(jù)庫schemas,主要用于客戶端或外部系統(tǒng)訪問數(shù)據(jù)庫。具體 設計例子如下：模式名英文內(nèi)容描述權限需求對象類型默認空間默認索引表 空間工作流 用戶sotower用于保存工 作流數(shù)據(jù)由普華提供由普華提供DATA.SOTOWERIDX.SOTOWER需bpm用于保存權 限組織由普華提供由普華提供DATA_BMPIDX.BPM4. 7. 4表空間規(guī)劃及存儲容量估算根據(jù)業(yè)務情況與各物理表設計字段長度，評估運行周期1年內(nèi)產(chǎn)生的數(shù)據(jù) 量。數(shù)據(jù)域數(shù)據(jù)表空間容量估算(GB)索引表空間容量估算(GB)客戶檔案DATA.CUS70280IDX.CUS105-420服務體系/用能分 析/營銷市場/

11、系統(tǒng)支持DATA_EESMP40IDX_ EESMP60用能采集DATA.EIC7300IDX.EIC116001：作流DATA.SOTOWERIDX.SOTOWER組織、權限D(zhuǎn)ATA.BPMIDX.BPM接口用戶DATA.APIIDX.API4. 7.5歷史表所有非檔案數(shù)據(jù)表在系統(tǒng)設計之初就需要考濾歷史數(shù)據(jù)的使用。歷史表設 計必須在需求分析階段確定下來，并在數(shù)據(jù)模型設計得以體現(xiàn)。在線數(shù)據(jù)保留在在線系統(tǒng)中的當前表中，保留業(yè)務經(jīng)常使用的數(shù)據(jù)。歷史 數(shù)據(jù)保留在歷史系統(tǒng)中的歷史表中，保留當前業(yè)務不被使用的數(shù)據(jù)，將這部數(shù) 據(jù)從在線系統(tǒng)中遷出可以在線系統(tǒng)庫維持在穩(wěn)定的大小，提高在線庫的性能和 可靠性，提

12、高當前表中的查詢速度。對于有時間特征的流水業(yè)務數(shù)據(jù)必須進行歸檔，歸檔周期由具體業(yè)務需求 決定。如果數(shù)據(jù)量巨大，可根據(jù)業(yè)務需求縮短歸檔時間周期。對于沒有明顯時 間特征的舊數(shù)據(jù)，可按業(yè)務需要標準進行判斷之后加以歸檔，如果數(shù)據(jù)狀態(tài)、 標識等，歸檔實體表中盡可能增加時間屬性。本系統(tǒng)中對于流程已走完的工單數(shù)據(jù)，在呼叫接入平臺、呼叫服務業(yè)務支 持系統(tǒng)數(shù)據(jù)庫中，咨詢、報修類數(shù)據(jù)保留3個月，其它數(shù)據(jù)保留6個月，咨 詢、報修類數(shù)據(jù)保留3個月以前的數(shù)據(jù)和其它6個月以前的數(shù)據(jù)將遷移歷史庫 中。呼叫接入平臺與呼叫服務業(yè)務支持系統(tǒng)共用同一個歷史庫。歷史表結構必須為時間分區(qū)結構（特殊情況除外），字段結構與在線表相同，歷史

13、表名與在線表名保持一致。序號主題域歷史表實 體名稱歷史表表名（與 基表表名相同）歷史表分區(qū)方案歷史表數(shù)模變更需求4. 7. 6表分區(qū)盡可能不采用二級分區(qū)；每個分區(qū)的記錄數(shù)應對于數(shù)據(jù)量較大的表，為提高系統(tǒng)性能，方便業(yè)務數(shù) 據(jù)管理必須進行相應的分區(qū)處理，分區(qū)策略可選擇一級、二級分區(qū)，分區(qū)字段 由相應的數(shù)據(jù)分布特征或業(yè)務需求來定。1分區(qū)的依據(jù)記錄數(shù)超過2000萬的表需要考濾為該表做分區(qū)；2 .分區(qū)字段的選擇分區(qū)字段優(yōu)先考濾最有可能作為查詢條件的字段；盡可能不要使用TIMESTAMP類型的字段，這在我們當前的營銷業(yè)務的其它系 統(tǒng)中最常出現(xiàn)，并且已經(jīng)被證明，非常影響性能，如果需要這類字段作為分區(qū) 條件，

14、那么需要在表中添加一個新的字段，作為前面的TIMESTAMP類型的字段 的冗余，字段類型為varchar2型，并以這個新的字段作為分區(qū)字段；3 .分區(qū)數(shù)量的考濾表的分區(qū)數(shù)據(jù)不宜太多，以住在營銷系統(tǒng)中我們常采用二級分區(qū)的方法， 導致表的分區(qū)數(shù)據(jù)太多，一保持在100-500萬之間；4 .禁止使用pmax分區(qū)在創(chuàng)建分區(qū)表時不可以創(chuàng)建pmax分區(qū)，創(chuàng)建pmax分區(qū)將導致后續(xù)分區(qū)擴 展變得非常困難，在營銷系統(tǒng)中我們吃盡了這方面的苦頭，不能再犯這類的 錯；5 .數(shù)據(jù)歸檔或遷移的考濾表分區(qū)的創(chuàng)建還要充份考濾便于后續(xù)數(shù)據(jù)的歸檔和遷移，如某張表在線數(shù)據(jù)只保留6個月，歸檔表只保留6個月前至1年前之間的數(shù)據(jù)，歷史表

15、保留1 年以前的數(shù)據(jù)。那么在表分區(qū)規(guī)劃時就要考濾這張表的數(shù)據(jù)歸檔遷移方式，要 能以最快速度，最小代價，最低影響在線系統(tǒng)的方式將數(shù)據(jù)歸當、遷移出去。6 .對于數(shù)據(jù)量巨大且無明顯數(shù)據(jù)分布特征可采用HASH分區(qū)。7 .制定分區(qū)表需要開發(fā)設計與開發(fā)DBA共同討論，分區(qū)命名遵循P十分區(qū) 值的原則。子分區(qū)遵循P+主分區(qū)值+'_'+P+子分區(qū)值的原則。如：單位分區(qū)P3340101、年月分區(qū)P201001、單位年月組合分區(qū)P3340101_P201001注意：范圍分區(qū)時分區(qū)名應大于分區(qū)值上界。在總部系統(tǒng)中由于數(shù)據(jù)較小暫不考慮分區(qū)。4. 7. 7 DBLINK由于目標客戶使用的硬件資源各不相同，

16、要求我們在設計之時，不得不考 慮未來多種部署模式，多種部署模式中，有存在跨數(shù)據(jù)庫訪問的情況，因此規(guī) 劃數(shù)據(jù)鏈。注意：盡量不要使用DBLINK來訪問外部數(shù)據(jù)庫。主庫目標庫數(shù)據(jù)庫鏈名用途屬主連接帳 號權限說明95598服務業(yè)務 系統(tǒng)庫95598服務業(yè)務 系統(tǒng)歷史摩DL_TO_EESMPH_API歷史數(shù)據(jù)遷移EESM?API待定4. 7.8同義詞引入同義詞是為了解決程序部署靈活性的要求。將開發(fā)人員程序調(diào)整工作量降到最低的情況下，來滿足程序的靈活部署。同意義與表同名同義詞類型同義詞命名規(guī)則源端(for)目標端展現(xiàn)類同義詞SY_ED_XXXXERMDERMA 、 SGPM 、SGPM_OUT、 KMAC

17、營銷管理類同義詞SY_AD_XXXXSGPMSGPM_OUT amberwf_ambe RERMA、 ERMD風險流程類同義詞SY_WF_XXXX最小化平臺、稽查流ERMD4. 7. 9主鍵1 .盡可能采用具有實際意義的列去創(chuàng)建主鍵；2 .如果需要采用多列來創(chuàng)建主鍵，那么列應控制在2個以內(nèi)；3 .盡可能不采用序列去生成主鍵列值的方法，通過序列生成的列值，在我 們應用中很少有實際用途，而且實踐證明這種方法在極端情況下很容易引發(fā)性 能問題；4. 7. 10 索引對于表中常用于作為查詢關鍵字、關聯(lián)條件，且數(shù)據(jù)離散度較高的字段， 必須創(chuàng)建索引。原則上一張表的索引：1、選擇性較高的字段2、作為數(shù)據(jù)訪問條件與關聯(lián)條件4. 7. 11 約束本文所提及的約束通常只主鍵約束，系統(tǒng)中禁止利用數(shù)據(jù)庫底層約束機制 來處理或代替業(yè)務層面的業(yè)務數(shù)據(jù)一致性、完整性、規(guī)范性約束，包括使用觸 發(fā)器進行處理。禁止ID字段及作為主鍵約束。4. 7.12修改標志時間戳除業(yè)務中間表和過程表之外，每個表都須設計數(shù)據(jù)更新記錄字段(DML_STAT),比如“120918U”表示本條記錄做過UPDATE操作。4. 7. 13 LOB 字段盡量棄用LOB字段定義，LOB字段在后續(xù)使用中非常不便，并且性能不