新一代架構(gòu)數(shù)據(jù)分布策略

2013年12月新一代信息系統(tǒng)建設(shè)CCB新一代架構(gòu)數(shù)據(jù)架構(gòu)數(shù)據(jù)分布目錄數(shù)據(jù)分布概述1、數(shù)據(jù)分布的目標(biāo)及意義2、數(shù)據(jù)分布的定義數(shù)據(jù)分布的內(nèi)容1、數(shù)據(jù)庫表的創(chuàng)建(從創(chuàng)建來源分類：技術(shù)類、業(yè)務(wù)（模型X）類；數(shù)據(jù)分類區(qū)分創(chuàng)建來源；數(shù)據(jù)的組織形式上分結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)；)

2、數(shù)據(jù)庫表副本；3、數(shù)據(jù)項(xiàng)的來源：CLT4、數(shù)據(jù)流向：（數(shù)據(jù)在OLTP內(nèi)各平臺間的流轉(zhuǎn)，數(shù)據(jù)在OLAP內(nèi)各平臺間的流轉(zhuǎn)，數(shù)據(jù)在OLTP與OLAP間的流轉(zhuǎn)；）數(shù)據(jù)分布的目標(biāo)及意義目標(biāo)1、明確數(shù)據(jù)分布標(biāo)準(zhǔn)、原則落實(shí)數(shù)據(jù)創(chuàng)建需求；確保數(shù)據(jù)庫表在各平臺創(chuàng)建的合規(guī)；確定數(shù)據(jù)分布原則，規(guī)范項(xiàng)目組對數(shù)據(jù)庫表的唯一創(chuàng)建；2、解決數(shù)據(jù)的易用性，保證數(shù)據(jù)使用效率；3、為數(shù)據(jù)的分級存儲提供輸入；數(shù)據(jù)分布在數(shù)據(jù)架構(gòu)工作中的位置1、從業(yè)務(wù)的視角看，數(shù)據(jù)分布承接了數(shù)據(jù)建模的成果，確保數(shù)據(jù)模型從C->C’->D模型的準(zhǔn)確、完整落地；2、從實(shí)現(xiàn)的視角出發(fā)，數(shù)據(jù)分布不僅落實(shí)了數(shù)據(jù)模型的需求，同時還落實(shí)了數(shù)據(jù)創(chuàng)建的技術(shù)類需求，擴(kuò)大了數(shù)據(jù)的范圍，增加了數(shù)據(jù)的流向；落實(shí)數(shù)據(jù)的主副本的分布問題；數(shù)據(jù)分布的意義：1、解決易用性，解決數(shù)據(jù)使用效率的問題；2、為數(shù)據(jù)的分級存儲提供輸入；數(shù)據(jù)分布的定義數(shù)據(jù)分布的定義我們所說的數(shù)據(jù)分布，是以建行新一代系統(tǒng)的數(shù)據(jù)庫表為管控目標(biāo)載體，確保數(shù)據(jù)在12P目標(biāo)框架上的合理分布；保證數(shù)據(jù)的唯一創(chuàng)建，解決數(shù)據(jù)的易用性問題，保證數(shù)據(jù)使用效率，同時為數(shù)據(jù)的分級存儲提供輸入。數(shù)據(jù)分布的目標(biāo)是明確數(shù)據(jù)分布標(biāo)準(zhǔn)、原則，落實(shí)數(shù)據(jù)創(chuàng)建需求，確保數(shù)據(jù)庫表在各平臺創(chuàng)建的合規(guī)；確定數(shù)據(jù)分布原則，規(guī)范項(xiàng)目組對數(shù)據(jù)庫表的唯一創(chuàng)建；解決數(shù)據(jù)的易用性，保證數(shù)據(jù)使用效率。數(shù)據(jù)分布包括數(shù)據(jù)庫表的創(chuàng)建、數(shù)據(jù)庫表副本、數(shù)據(jù)項(xiàng)的來源及數(shù)據(jù)流向四方面內(nèi)容。數(shù)據(jù)分布設(shè)計內(nèi)容通過合理的數(shù)據(jù)分布，保證數(shù)據(jù)的訪問性能以及流程和數(shù)據(jù)模型對接成果的落地。數(shù)據(jù)流動：數(shù)據(jù)在OLTP平臺間的流動，數(shù)據(jù)在OLAP平臺間的流動，數(shù)據(jù)在OLTP與OLAP間的流動。目的保證數(shù)據(jù)庫表的唯一創(chuàng)建；確定數(shù)據(jù)庫表創(chuàng)建的來源，并對數(shù)庫表進(jìn)行歸類；明確數(shù)據(jù)庫表在各平臺的主副本分布；明確數(shù)據(jù)流向，確保數(shù)據(jù)在各平臺間的有效交互，保證數(shù)據(jù)的時效性；第二階段：以數(shù)據(jù)庫表為載體保證數(shù)據(jù)效率…數(shù)據(jù)庫表（P1-P8）OLTP數(shù)據(jù)庫表（P9-P12）OLAP數(shù)據(jù)交互D模型D模型D模型D模型…第二階段關(guān)注的重點(diǎn)是數(shù)據(jù)庫表，主要關(guān)注如下幾個方面內(nèi)容：1、數(shù)據(jù)庫表來源及其唯一創(chuàng)建

1）數(shù)據(jù)庫表來自D模型的設(shè)計2）數(shù)據(jù)庫表來自界面需求和集成需求3）數(shù)據(jù)庫表來自平臺需求2、數(shù)據(jù)庫表在各平臺間的主副本分布；3、數(shù)據(jù)流向

1）數(shù)據(jù)在OLTP和OLAP間的流動2）數(shù)據(jù)在OLTP平臺間的流動3）數(shù)據(jù)在OLAP平臺間的流動；設(shè)計階段平臺數(shù)據(jù)庫設(shè)計工作流程2-2平臺數(shù)據(jù)庫設(shè)計工作流程（數(shù)據(jù)分布工作流程）定義數(shù)據(jù)分類和各類數(shù)據(jù)在12個P上的分布設(shè)計數(shù)據(jù)分布（以平臺為單位）1.日志流水及審計監(jiān)控要求2.數(shù)據(jù)訪問性能考慮數(shù)據(jù)實(shí)施設(shè)計崗派駐項(xiàng)目架構(gòu)團(tuán)隊項(xiàng)目組數(shù)據(jù)管控崗P1、P23.界面輸入、輸出P33.流程串接P4、P53.服務(wù)管控P10、P123.數(shù)據(jù)應(yīng)用需求是否申請副本數(shù)據(jù)提出副本數(shù)據(jù)的使用申請設(shè)計數(shù)據(jù)庫、表NY數(shù)據(jù)庫設(shè)計說明書->庫結(jié)構(gòu)->表結(jié)構(gòu)提交架構(gòu)決策審核架構(gòu)決策是否通過Y發(fā)布《數(shù)據(jù)庫設(shè)計說明書》基線設(shè)計物理表（以平臺為單位）檢查物理表與邏輯視圖的一致性收集數(shù)據(jù)表的物理部署情況，形成數(shù)據(jù)架構(gòu)制品P6、P7、P83.數(shù)據(jù)實(shí)體引用關(guān)系N①1.數(shù)據(jù)庫表2.子系統(tǒng)數(shù)據(jù)位置圖（全平臺)Page72-2提交件①數(shù)據(jù)庫設(shè)計說明書sheet1庫結(jié)構(gòu)sheet2表結(jié)構(gòu)Page8示例示例一、數(shù)據(jù)庫表的創(chuàng)建二、數(shù)據(jù)庫表副本三、數(shù)據(jù)庫表中數(shù)據(jù)項(xiàng)來源提綱四、數(shù)據(jù)的流轉(zhuǎn)數(shù)據(jù)庫表的創(chuàng)建-各平臺數(shù)據(jù)庫表分布Page101、根據(jù)企業(yè)架構(gòu)邏輯分層、平臺功能定位、數(shù)據(jù)訪問性能等因素分析，確定數(shù)據(jù)分布。2、數(shù)據(jù)存在主副本的情況下，需要提供相應(yīng)手段來保證數(shù)據(jù)的一致性。平臺定義(PlatformDefinition)：P1：外部客戶渠道整合服務(wù)平臺P2：內(nèi)部員工渠道整合平臺P3：客戶服務(wù)整合平臺P4：應(yīng)用集成平臺P5：外聯(lián)集成服務(wù)平臺P6：產(chǎn)品服務(wù)主機(jī)平臺P7：產(chǎn)品服務(wù)開放C平臺P8：產(chǎn)品服務(wù)J2EE平臺P9：數(shù)據(jù)集成平臺

P10：管理分析服務(wù)平臺P12：在線交易處理數(shù)據(jù)服務(wù)平臺

數(shù)據(jù)庫表的創(chuàng)建及在各平臺的分布Page11業(yè)務(wù)過程數(shù)據(jù)操作痕跡數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)系統(tǒng)參數(shù)數(shù)據(jù)業(yè)務(wù)結(jié)果數(shù)據(jù)副本數(shù)據(jù)(非C)監(jiān)控需求審計需求日志需求界面需求流程編排需求內(nèi)部集成需求外部集成需求模型需求數(shù)據(jù)表間關(guān)系圖例數(shù)據(jù)架構(gòu)管控目標(biāo)載體—目標(biāo)架構(gòu)部署的數(shù)據(jù)庫表非C非C非CPage12數(shù)據(jù)庫表的創(chuàng)建及在各平臺的分布數(shù)據(jù)架構(gòu)根據(jù)數(shù)據(jù)的用途對數(shù)據(jù)分為五類：系統(tǒng)參數(shù)數(shù)據(jù)：保證系統(tǒng)運(yùn)行的控制信息。包括技術(shù)類控制信息和業(yè)務(wù)類控制信息。操作痕跡數(shù)據(jù)：用以記錄操作人員對系統(tǒng)進(jìn)行操作過程的信息。包括業(yè)務(wù)操作痕跡數(shù)據(jù)和技術(shù)痕跡數(shù)據(jù)。該類數(shù)據(jù)在操作人員實(shí)際操作過程中產(chǎn)生，用于風(fēng)險控制、內(nèi)部審計和行為分析等。業(yè)務(wù)過程數(shù)據(jù)：一個四級任務(wù)為完成其功能所需要的中間過程信息，且該信息不需要傳遞到另外一個任務(wù)進(jìn)行處理，即不需要跨任務(wù)處理的信息即為業(yè)務(wù)過程數(shù)據(jù)。業(yè)務(wù)結(jié)果數(shù)據(jù)：記錄業(yè)務(wù)活動最終結(jié)果的信息，是企業(yè)關(guān)注的核心數(shù)據(jù).統(tǒng)計分析數(shù)據(jù)：將業(yè)務(wù)過程數(shù)據(jù)、業(yè)務(wù)結(jié)果數(shù)據(jù)按不同維度加工、計算形成的數(shù)據(jù)。P1-P3：只存儲系統(tǒng)參數(shù)數(shù)據(jù)、操作痕跡數(shù)據(jù)以及用于流程處理的業(yè)務(wù)過程數(shù)據(jù)

。P4-P5：只存儲系統(tǒng)參數(shù)數(shù)據(jù)、操作痕跡數(shù)據(jù)。P6-P8:基于架構(gòu)規(guī)劃中對于產(chǎn)品服務(wù)層的目標(biāo)定位：產(chǎn)品服務(wù)創(chuàng)建并存儲建行產(chǎn)品服務(wù)領(lǐng)域相關(guān)數(shù)據(jù)，支持銀行核心業(yè)務(wù)服務(wù)，涉及產(chǎn)品、客戶、合約、核算等，提供全行的支付及服務(wù)處理需要的信息；同時，產(chǎn)品服務(wù)層在業(yè)務(wù)運(yùn)營中也會使用到業(yè)務(wù)處理所需的參數(shù)數(shù)據(jù)以及會在業(yè)務(wù)處理過程中產(chǎn)生操作痕跡數(shù)據(jù)；而產(chǎn)品服務(wù)層落實(shí)到具體的平臺為P6-8，因此P6-8存儲的數(shù)據(jù)類型涵蓋了5類數(shù)據(jù)。P9：基于數(shù)據(jù)集成平臺的功能定位，整合企業(yè)范圍內(nèi)的各類數(shù)據(jù)、通過加工處理，為產(chǎn)品服務(wù)層和管理分析層提供一致的數(shù)據(jù)服務(wù)；因此P9存儲的數(shù)據(jù)類型涵蓋了上述5類數(shù)據(jù)。P10-P12：基于P10-P12的功能定位，直接訪問數(shù)據(jù)集成層的數(shù)據(jù)，不將數(shù)據(jù)集成層的數(shù)據(jù)進(jìn)行搬遷，因此P10-P12不存儲業(yè)務(wù)過程數(shù)據(jù)、業(yè)務(wù)結(jié)果數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)，只存儲平臺運(yùn)行所需的系統(tǒng)參數(shù)數(shù)據(jù)和平臺運(yùn)行產(chǎn)生的操作痕跡數(shù)據(jù)。數(shù)據(jù)庫表的創(chuàng)建-五類數(shù)據(jù)在各平臺的分布數(shù)據(jù)采集來源：1、聯(lián)機(jī)服務(wù)①屏幕輸入聯(lián)機(jī)服務(wù)直接獲取數(shù)據(jù)②非屏幕輸入聯(lián)機(jī)服務(wù)直接獲取數(shù)據(jù)2、批處理③通過聯(lián)機(jī)批處理產(chǎn)生數(shù)據(jù)P1P2P3P4P5P6P7P8C模型模型需求技術(shù)類需求C’0模型C’模型D模型監(jiān)控需求、審計需求、日志需求界面需求流程編排需求內(nèi)部集成需求外部集成需求業(yè)務(wù)過程數(shù)據(jù)操作痕跡數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)系統(tǒng)參數(shù)數(shù)據(jù)業(yè)務(wù)結(jié)果數(shù)據(jù)業(yè)務(wù)結(jié)果數(shù)據(jù)業(yè)務(wù)過程數(shù)據(jù)業(yè)務(wù)過程數(shù)據(jù)操作痕跡數(shù)據(jù)系統(tǒng)參數(shù)數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)五類數(shù)據(jù)分布P1P2P3P4P5P6P7P8①②②③②③①②③Page13一、數(shù)據(jù)庫表的創(chuàng)建二、數(shù)據(jù)庫表的副本三、數(shù)據(jù)庫表中數(shù)據(jù)項(xiàng)來源提綱四、基于數(shù)據(jù)庫表的來源、管控依據(jù)設(shè)計流程數(shù)據(jù)庫表副本-數(shù)據(jù)庫表副本創(chuàng)建場景Page15關(guān)于主副本機(jī)制的相關(guān)架構(gòu)決策：DA.2012.0004：P1不存放客戶信息副本，通過服務(wù)調(diào)用獲取所需數(shù)據(jù)。DA.2012.0007：P2通過服務(wù)調(diào)用獲取機(jī)構(gòu)、用戶、權(quán)限數(shù)據(jù)，該服務(wù)由機(jī)構(gòu)員工信息應(yīng)用組件提供，數(shù)據(jù)的存儲位置對于P2是透明的。DA.2012.0009：P3通過服務(wù)調(diào)用的方式來獲取機(jī)構(gòu)、柜員、客戶信息、利率等信息，數(shù)據(jù)的存儲位置對于P3是透明的。DA.2012.0010：用戶操作權(quán)限數(shù)據(jù)存儲在機(jī)構(gòu)員工基礎(chǔ)組件，由該組件進(jìn)行統(tǒng)一維護(hù)和管理，各平臺通過該組件提供的“數(shù)據(jù)構(gòu)件服務(wù)”方式獲取所需信息，數(shù)據(jù)的分布對于使用者是透明的。DA.2012.0020：操作痕跡數(shù)據(jù)（如日志）通過接口統(tǒng)一傳送到基礎(chǔ)數(shù)據(jù)存儲組件（NOSQL）進(jìn)行存儲，其中基礎(chǔ)數(shù)據(jù)存儲組件由技術(shù)架構(gòu)提供，數(shù)據(jù)傳送接口由基礎(chǔ)框架提供。數(shù)據(jù)庫表的副本-數(shù)據(jù)庫表副本創(chuàng)建理由Page16原則名稱數(shù)據(jù)共享原則正文描述數(shù)據(jù)必須在企業(yè)范圍內(nèi)得到共享，用戶擁有訪問其職責(zé)范圍內(nèi)所需數(shù)據(jù)的權(quán)利。詳細(xì)說明動因：1、發(fā)揮數(shù)據(jù)作為企業(yè)關(guān)鍵資產(chǎn)的價值，為企業(yè)經(jīng)營活動服務(wù)，促進(jìn)精細(xì)化管理決策。2、提高數(shù)據(jù)的完整性、一致性和及時性，避免不必要的數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制，避免數(shù)據(jù)重復(fù)采集。3、提高系統(tǒng)穩(wěn)定性，降低系統(tǒng)擁有成本。

影響：1、在企業(yè)范圍內(nèi)建立數(shù)據(jù)共享的文化。2、制定合理的數(shù)據(jù)分布策略，減少數(shù)據(jù)源和數(shù)據(jù)副本，降低數(shù)據(jù)整合難度，以實(shí)現(xiàn)數(shù)據(jù)在應(yīng)用系統(tǒng)間的共享。3、建立一系列公共的數(shù)據(jù)管理政策和流程，保證數(shù)據(jù)共享。4、開發(fā)和建立企業(yè)級數(shù)據(jù)模型，形成企業(yè)級的統(tǒng)一數(shù)據(jù)視圖。5、建立企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)，統(tǒng)一數(shù)據(jù)定義。6、建立企業(yè)范圍內(nèi)的元數(shù)據(jù)資料庫，幫助用戶認(rèn)識數(shù)據(jù)、理解數(shù)據(jù)、應(yīng)用數(shù)據(jù)。7、在數(shù)據(jù)安全和數(shù)據(jù)共享之間尋求平衡，在保證數(shù)據(jù)安全的前提下，盡可能促進(jìn)數(shù)據(jù)共享。8、需要提供多種技術(shù)工具或手段來支持?jǐn)?shù)據(jù)的最大化重用。9、提出新的數(shù)據(jù)需求時，應(yīng)該盡可能發(fā)現(xiàn)和重用已有的數(shù)據(jù)。數(shù)據(jù)位置視圖-平臺位置（1）：P9平臺【定義】根據(jù)管理分析對數(shù)據(jù)要求的不同，及數(shù)據(jù)特性的差異，參照業(yè)界數(shù)據(jù)管理應(yīng)用實(shí)踐經(jīng)驗(yàn)及當(dāng)前信息技術(shù)的發(fā)展對數(shù)據(jù)管理應(yīng)用的支持能力，將數(shù)據(jù)集成層細(xì)分為八個區(qū)域。【目的】數(shù)據(jù)集成層八個分區(qū)：STAGING(數(shù)據(jù)緩存區(qū))：數(shù)據(jù)由數(shù)據(jù)源加載到數(shù)據(jù)集成層時的緩存區(qū)域。SOR（記錄系統(tǒng)）：包括準(zhǔn)實(shí)時數(shù)據(jù)、前日快照、主題數(shù)據(jù)和計算接口數(shù)據(jù)。HDS（歷史數(shù)據(jù)區(qū)）：包括歸檔數(shù)據(jù)和原始數(shù)據(jù)訪問區(qū)；原始數(shù)據(jù)文件的歸檔和訪問區(qū)域。LDS（實(shí)驗(yàn)數(shù)據(jù)區(qū)）：為模型訓(xùn)練、壓力測試等提供所需的各類數(shù)據(jù)。RDW（實(shí)時數(shù)據(jù)倉庫）：準(zhǔn)實(shí)時/實(shí)時的操作型、快照數(shù)據(jù)、匯總數(shù)據(jù)的存儲區(qū)域。ADW（分析數(shù)據(jù)倉庫）：包括明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)。為滿足管理分析應(yīng)用，進(jìn)行統(tǒng)一的數(shù)據(jù)重新組織、加工計算后結(jié)果的存儲區(qū)域。CM（交叉維度數(shù)據(jù)區(qū)）：按照業(yè)務(wù)主題如風(fēng)險、客戶管理、財富管理、贏利性等進(jìn)行組織數(shù)據(jù)；每個子主題有維度和度量構(gòu)成，形成面向業(yè)務(wù)的多維數(shù)據(jù)。USD（非結(jié)構(gòu)化數(shù)據(jù)區(qū)）：存儲和管理全行各類非結(jié)構(gòu)化數(shù)據(jù)及索引。數(shù)據(jù)集成SA技術(shù)性數(shù)據(jù)檢核SORRDWADW數(shù)據(jù)復(fù)制HDS數(shù)據(jù)歸檔訪問數(shù)據(jù)封裝數(shù)據(jù)加載貼源數(shù)據(jù)集成數(shù)據(jù)封裝數(shù)據(jù)模型加載數(shù)據(jù)標(biāo)準(zhǔn)化貼源數(shù)據(jù)集成數(shù)據(jù)壓縮數(shù)據(jù)一致性維護(hù)公共維度構(gòu)建事實(shí)表構(gòu)建數(shù)據(jù)封裝CM聚集表構(gòu)建合并表構(gòu)建數(shù)據(jù)封裝數(shù)據(jù)加載數(shù)據(jù)遷移數(shù)據(jù)歸檔數(shù)據(jù)訂單事件管理調(diào)度資源管理作業(yè)配置作業(yè)運(yùn)行作業(yè)運(yùn)行監(jiān)控訪問監(jiān)控數(shù)據(jù)質(zhì)量配置與監(jiān)控LDS數(shù)據(jù)復(fù)制數(shù)據(jù)加載USD在數(shù)據(jù)集成層P9的五類數(shù)據(jù)分布：基于數(shù)據(jù)集成平臺的功能定位：整合企業(yè)范圍內(nèi)的各類數(shù)據(jù)、通過加工處理，為產(chǎn)品服務(wù)層和管理分析層提供一致的數(shù)據(jù)服務(wù)；因此P9存儲的數(shù)據(jù)類型涵蓋了上述5類數(shù)據(jù)。數(shù)據(jù)庫表的副本-各平臺數(shù)據(jù)庫表副本分布Page18產(chǎn)品服務(wù)層:1、各應(yīng)用組件負(fù)責(zé)操作其自身創(chuàng)建的數(shù)據(jù)，應(yīng)通過其他應(yīng)用組件提供的服務(wù)來訪問非本應(yīng)用組件創(chuàng)建的數(shù)據(jù)。2、統(tǒng)計分析數(shù)據(jù)（屬于日間交易營運(yùn)類報表部分）提供渠道整合層使用。數(shù)據(jù)集成層:1、盡量保證數(shù)據(jù)共享，實(shí)現(xiàn)數(shù)據(jù)共享可按照建立索引、建立視圖、物化視圖、復(fù)制的步驟實(shí)現(xiàn)。2、管理分析層對數(shù)據(jù)集成層的數(shù)據(jù)訪問主要通過視圖完成。STAGING(數(shù)據(jù)緩存區(qū))：本層不提供對外的數(shù)據(jù)引用。SOR（記錄系統(tǒng)）：本層僅提供讀取的數(shù)據(jù)引用。RDW（實(shí)時數(shù)據(jù)倉庫）：本層僅提供創(chuàng)建、讀取的數(shù)據(jù)引用。ADW（分析數(shù)據(jù)倉庫）：本層僅提供創(chuàng)建、讀取的數(shù)據(jù)引用。CM（交叉維度數(shù)據(jù)區(qū)）：本層僅提供創(chuàng)建、讀取的數(shù)據(jù)引用。LDS（實(shí)驗(yàn)數(shù)據(jù)區(qū)）：本層僅提供創(chuàng)建、讀取的數(shù)據(jù)引用。HDS（歷史數(shù)據(jù)區(qū)）：本層僅提供讀取的數(shù)據(jù)引用。USD（非結(jié)構(gòu)化數(shù)據(jù)區(qū)）：本層僅提供創(chuàng)建、讀取的數(shù)據(jù)引用。數(shù)據(jù)庫表的副本-各平臺數(shù)據(jù)庫表主副本同步方式Page19T創(chuàng)建數(shù)據(jù)表T數(shù)據(jù)表副本xBBDOSDOS數(shù)據(jù)構(gòu)件服務(wù)cxBB應(yīng)用組件數(shù)據(jù)組件數(shù)據(jù)庫表T1aT2aT1T2Tna服務(wù)xBBDOSDOS應(yīng)用組件數(shù)據(jù)組件數(shù)據(jù)庫表T1bT2bT1T2Tnb服務(wù)xBBxBBxBBxBBxBBDOSDOSDOSxBB應(yīng)用組件數(shù)據(jù)組件數(shù)據(jù)庫表T1xT2xT3xT4xTnx服務(wù)xBBxBB平臺BP6…P8平臺AP1/P2數(shù)據(jù)同步服務(wù)組件1組件a組件b組件2數(shù)據(jù)同步組件x數(shù)據(jù)庫表非C,數(shù)據(jù)副本使用RRCC①②③④⑤數(shù)據(jù)同步數(shù)據(jù)同步xBBDBBR操作數(shù)據(jù)構(gòu)件服務(wù)s數(shù)據(jù)庫表的副本-數(shù)據(jù)流向Page20通用原則：1、根據(jù)企業(yè)架構(gòu)各邏輯分層的功能定位確定數(shù)據(jù)流向。2、數(shù)據(jù)供應(yīng)的基本原則：提供自己的數(shù)據(jù)，而不是其他系統(tǒng)的數(shù)據(jù)。

分層原則：渠道整合層：

數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：代收代扣文件）流向產(chǎn)品服務(wù)層?？蛻舴?wù)整合層：數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：支票憑證等非結(jié)構(gòu)化數(shù)據(jù)）流向外聯(lián)集成層。應(yīng)用集成層：數(shù)據(jù)流向數(shù)據(jù)集成層。外聯(lián)集成層：數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：支票憑證等非結(jié)構(gòu)化數(shù)據(jù)）流向客戶服務(wù)整合層。數(shù)據(jù)（如：人行等外部機(jī)構(gòu)數(shù)據(jù)）流向產(chǎn)品服務(wù)層。產(chǎn)品服務(wù)層：數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：機(jī)構(gòu)員工等數(shù)據(jù)）流向渠道整合層、客戶服務(wù)整合層、應(yīng)用集成層、外聯(lián)集成層、管理分析層。數(shù)據(jù)（如：人行等外部機(jī)構(gòu)數(shù)據(jù)）流向外聯(lián)集成層。數(shù)據(jù)集成層：經(jīng)過審批后，統(tǒng)計分析結(jié)果可以從數(shù)據(jù)集成層流向產(chǎn)品服務(wù)層。數(shù)據(jù)（如：人行等外部機(jī)構(gòu)數(shù)據(jù)）流向外聯(lián)集成層。STAGING(數(shù)據(jù)緩存區(qū))：1、數(shù)據(jù)源的數(shù)據(jù)被采集后，統(tǒng)一送到STAGING區(qū)存放。2、數(shù)據(jù)緩存區(qū)中的數(shù)據(jù)可以流向數(shù)據(jù)服務(wù)層中的SOR區(qū)。3、數(shù)據(jù)緩存區(qū)的數(shù)據(jù)可以流向數(shù)據(jù)服務(wù)層中的HDS區(qū)。SOR（記錄系統(tǒng)）：數(shù)據(jù)來自數(shù)據(jù)緩存區(qū)，流向ADW區(qū)、RDW區(qū)、CM區(qū)、LDS區(qū)、管理分析層、產(chǎn)品服務(wù)層。RDW（實(shí)時數(shù)據(jù)倉庫）：數(shù)據(jù)來自SOR區(qū)，加工結(jié)果提供給管理分析層和產(chǎn)品服務(wù)層使用。ADW（分析數(shù)據(jù)倉庫）：數(shù)據(jù)來自SOR區(qū)，流向CM區(qū)、管理分析層。CM（交叉維度數(shù)據(jù)區(qū)）：數(shù)據(jù)來自SOR區(qū)、ADW區(qū)，流向管理分析層。LDS（實(shí)驗(yàn)數(shù)據(jù)區(qū)）：數(shù)據(jù)可以來自SOR區(qū)、ADW區(qū)、CM區(qū)、HDS區(qū)。HDS（歷史數(shù)據(jù)區(qū)）：數(shù)據(jù)來自除HDS區(qū)外數(shù)據(jù)集成層的其它各數(shù)據(jù)分區(qū)。USD（非結(jié)構(gòu)化數(shù)據(jù)區(qū)）：數(shù)據(jù)來自SOR區(qū)、渠道整合層、客戶服務(wù)整合層。數(shù)據(jù)庫表的副本-副本數(shù)據(jù)的數(shù)據(jù)安全Page21副本數(shù)據(jù)的數(shù)據(jù)安全由安全架構(gòu)重點(diǎn)關(guān)注一、數(shù)據(jù)庫表的創(chuàng)建二、數(shù)據(jù)庫表的副本三、數(shù)據(jù)庫表中數(shù)據(jù)項(xiàng)來源提綱四、基于數(shù)據(jù)庫表的來源、管控依據(jù)設(shè)計流程4.1數(shù)據(jù)項(xiàng)的創(chuàng)建Page23數(shù)據(jù)項(xiàng)(字段)的來源定義C,L,T創(chuàng)建（Create）由組件首次生成或者聯(lián)機(jī)服務(wù)首次生成的數(shù)據(jù)項(xiàng),生成前不存在于其他平臺的其他表中；可以通過裝載和交易被其它數(shù)據(jù)表使用；裝載（Load）非初始創(chuàng)建且通過文件傳輸使用的數(shù)據(jù)項(xiàng)，該數(shù)據(jù)項(xiàng)已經(jīng)在組件創(chuàng)建表中存在；以文件傳輸為載體的信息交換過程交易（Trade）非組件初始創(chuàng)建數(shù)據(jù)項(xiàng)，數(shù)據(jù)項(xiàng)從聯(lián)機(jī)服務(wù)中引用；以交易報文為載體的信息交換過程Data（C)TData（L）Data（T）4.2數(shù)據(jù)項(xiàng)的創(chuàng)建Page24目的：明確每個數(shù)據(jù)庫表里的數(shù)據(jù)項(xiàng)的來源C、L、T數(shù)據(jù)來源分類：界面，聯(lián)機(jī)，批處理創(chuàng)建（Create）分類：包括基礎(chǔ)數(shù)據(jù)，派生數(shù)據(jù)，衍生數(shù)據(jù)和技術(shù)數(shù)據(jù)數(shù)據(jù)來源：（1）界面創(chuàng)建（2）聯(lián)機(jī)服務(wù)生成裝載（Load）分類：包括基礎(chǔ)數(shù)據(jù)，派生數(shù)據(jù)，衍生數(shù)據(jù)，技術(shù)數(shù)據(jù)和外部數(shù)據(jù)數(shù)據(jù)來源：批處理傳輸交易（Trade）分類：包括基礎(chǔ)數(shù)據(jù)，派生數(shù)據(jù)，衍生數(shù)據(jù)，技術(shù)數(shù)據(jù)和外部數(shù)據(jù)數(shù)據(jù)來源：聯(lián)機(jī)服務(wù)傳輸Data（C)TData（L）Data（T）5.1數(shù)據(jù)項(xiàng)取值的來源Page25P1-2Table1Data（C)Data（L）Data（T）P6-8Table2Data(C)Data（L）Data（T）P9Table12Data(C)Data（L）Data（T）…P3-P5數(shù)據(jù)項(xiàng)（字段）的來源C的數(shù)據(jù)由組件唯一創(chuàng)建；L/T的數(shù)據(jù)，必須來源于C的數(shù)據(jù)，確保從可信數(shù)據(jù)源采集數(shù)據(jù)；

組件A圖例Data（C)創(chuàng)建數(shù)據(jù)項(xiàng)Data（L）裝載數(shù)據(jù)項(xiàng)Data（T）交易數(shù)據(jù)項(xiàng)創(chuàng)建關(guān)系裝載關(guān)系交易關(guān)系

組件B

組件CData(C)Data(C)Data(C)5.2數(shù)據(jù)項(xiàng)的創(chuàng)建-來源分類Page26xBB3a應(yīng)用組件數(shù)據(jù)庫表T1aT2axBB4b應(yīng)用組件xBB1axBB2axBB1bxBB2bxBB2nxBB4n應(yīng)用組件T3xT4xT2xT1xxBB1nxBB3n平臺BP4平臺AP1/P2xBB3b平臺CP6…P8數(shù)據(jù)庫表應(yīng)用界面3界面輸入應(yīng)用界面2應(yīng)用界面1圖例T創(chuàng)建數(shù)據(jù)項(xiàng)T裝載數(shù)據(jù)項(xiàng)T交易數(shù)據(jù)項(xiàng)創(chuàng)建關(guān)系裝載關(guān)系交易關(guān)系T4aT3axBB3b業(yè)務(wù)過程數(shù)據(jù)業(yè)務(wù)結(jié)果數(shù)據(jù)服務(wù)異步數(shù)據(jù)同步（批處理）數(shù)據(jù)間服務(wù)服務(wù)數(shù)據(jù)庫表的副本-數(shù)據(jù)流向Page27通用原則：1、根據(jù)企業(yè)架構(gòu)各邏輯分層的功能定位確定數(shù)據(jù)流向。2、數(shù)據(jù)供應(yīng)的基本原則：提供自己的數(shù)據(jù)，而不是其他系統(tǒng)的數(shù)據(jù)。

分層原則：渠道整合層：

數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：代收代扣文件）流向產(chǎn)品服務(wù)層。客戶服務(wù)整合層：數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：支票憑證等非結(jié)構(gòu)化數(shù)據(jù)）流向外聯(lián)集成層。應(yīng)用集成層：數(shù)據(jù)流向數(shù)據(jù)集成層。外聯(lián)集成層：數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：支票憑證等非結(jié)構(gòu)化數(shù)據(jù)）流向客戶服務(wù)整合層。數(shù)據(jù)（如：人行等外部機(jī)構(gòu)數(shù)據(jù)）流向產(chǎn)品服務(wù)層。產(chǎn)品服務(wù)層：數(shù)據(jù)流向數(shù)據(jù)集成層。數(shù)據(jù)（如：機(jī)構(gòu)員工等數(shù)據(jù)）流向渠道整