ODS數(shù)據(jù)服務(wù)平臺(tái)介紹課件

1、ODS數(shù)據(jù)平臺(tái)介紹中國人壽股份有限公司信息技術(shù)部統(tǒng)計(jì)信息項(xiàng)目組8/4/20221第1頁，共18頁。主要內(nèi)容1、數(shù)據(jù)平臺(tái)的功能2、數(shù)據(jù)平臺(tái)的建設(shè)原則3、數(shù)據(jù)平臺(tái)數(shù)據(jù)平臺(tái)建設(shè)使用技術(shù)4、ODS表命名規(guī)則5、Basedb數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)要點(diǎn)8/4/20222第2頁，共18頁。數(shù)據(jù)平臺(tái)兩大功能1、提供數(shù)據(jù)服務(wù)增量層（INCR層），存放生產(chǎn)庫的存量數(shù)據(jù)，以此作為所有外圍系統(tǒng)的數(shù)據(jù)接口，提供數(shù)據(jù)級(jí)服務(wù)。2、提供信息服務(wù)ODS層（BaseDB與CubeDB）BaseDB存放融合的基于操作級(jí)的數(shù)據(jù)，而CubeDB是基于BaseDB的匯總數(shù)據(jù)，以此提供數(shù)據(jù)查詢與數(shù)據(jù)的統(tǒng)計(jì)。ODS層只存放與統(tǒng)計(jì)相關(guān)的數(shù)據(jù)。增量層的數(shù)

2、據(jù)范圍ODS層的數(shù)據(jù)范圍 8/4/20223第3頁，共18頁。保監(jiān)會(huì)報(bào)表、總部快報(bào)等Call Center、省級(jí)數(shù)據(jù)接口DTS調(diào)度抽取DTS調(diào)度抽取Trigger抽取增量及全表抽取CBPS 8版年金系統(tǒng)AMIS財(cái)務(wù)系統(tǒng)鏡像庫鏡像庫增量數(shù)據(jù)庫增量數(shù)據(jù)庫SQL Server數(shù)據(jù)庫INFORMIX數(shù)據(jù)庫省級(jí)ODS數(shù)據(jù)庫SQL Server數(shù)據(jù)庫CBPS 7版總部匯總層總部ODS數(shù)據(jù)庫未確定數(shù)據(jù)庫總分傳輸省級(jí)匯總層DTS調(diào)度抽取SQL Server數(shù)據(jù)庫8/4/20224第4頁，共18頁。層次間的數(shù)據(jù)導(dǎo)向1、增量層（INCR）是生產(chǎn)系統(tǒng)的同構(gòu)層，并且是邏輯集中的。有幾類業(yè)務(wù)系統(tǒng)就有幾個(gè)增量數(shù)據(jù)庫。 2

3、、BaseDB對(duì)同構(gòu)層數(shù)據(jù)進(jìn)行了集成和融合，但它還是基于操作型數(shù)據(jù)的3、CubeDB對(duì)數(shù)據(jù)進(jìn)行了抽象和加工，它并不是基于操作型數(shù)據(jù)的。主要是針對(duì)前臺(tái)的報(bào)表應(yīng)用建立統(tǒng)計(jì)模型。不同層之間的數(shù)據(jù)特點(diǎn)決定了它們的應(yīng)用方向。如：1、增量層適合于作為數(shù)據(jù)供應(yīng)池2、BaseDB除了作為CubeDB的數(shù)據(jù)匯總來源外，還可提供數(shù)據(jù)查詢使用3、而CubeDB適合于報(bào)表生成和數(shù)據(jù)分析8/4/20225第5頁，共18頁。目前應(yīng)用基于數(shù)據(jù)服務(wù)的應(yīng)用有：Call Center、電子商務(wù)，以及后期的再保數(shù)據(jù)接口，他們將從增量層獲取數(shù)據(jù)基于信息服務(wù)的應(yīng)用有：中介統(tǒng)計(jì)平臺(tái)、保監(jiān)會(huì)報(bào)表系統(tǒng)以及每日業(yè)務(wù)快報(bào)、廣東省報(bào)表中心等，他們

4、均從ODS層獲取數(shù)據(jù)（即基礎(chǔ)數(shù)據(jù)來源于BaseDB，經(jīng)過匯總，產(chǎn)生CubeDB中的事實(shí)表數(shù)據(jù)）.8/4/20226第6頁，共18頁。數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則1、整個(gè)架構(gòu)基于PC服務(wù)器當(dāng)前多層次的架構(gòu)適合于多個(gè)PC服務(wù)器的聯(lián)合工作。如果采用小型機(jī)架構(gòu)，存在下列問題：1）數(shù)據(jù)平臺(tái)龐大的數(shù)據(jù)以及復(fù)雜的層次結(jié)構(gòu)，將要求獨(dú)占小型機(jī)資源，這對(duì)于各省的硬件設(shè)備，難以支撐。2）如果把數(shù)據(jù)平臺(tái)的各層都架構(gòu)在小型機(jī)上，那么應(yīng)用上難以達(dá)到平衡，應(yīng)用間效率的互相影響和牽制會(huì)相對(duì)突出。而采用PC服務(wù)器方式，由于PC服務(wù)器成本低，我們可以通過多臺(tái)PC服務(wù)器的聯(lián)合工作，獲得有效的性能。未來設(shè)備采用：使用64位的PC服務(wù)器高速

5、磁盤存儲(chǔ)設(shè)備，將會(huì)給數(shù)據(jù)平臺(tái)提供堅(jiān)實(shí)的基礎(chǔ)。8/4/20227第7頁，共18頁。數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則2、基于微軟平臺(tái)與微軟技術(shù)微軟平臺(tái)的集成性和方便快捷是顯而易見的。數(shù)據(jù)庫采用SQLSERVER，在SQLSERVER中，集成了如下服務(wù)：數(shù)據(jù)庫平臺(tái)、報(bào)表工具（Reporting Services）、ETL工具（DTS）、分析平臺(tái)（Analysis Services）以及復(fù)制工具（Replicaiotn Services），而且許多BI工具都是很有名的。應(yīng)用前端基于.NET平臺(tái)，在微軟平臺(tái)上，采用.NET技術(shù)一定優(yōu)越于JAVA。除非我們要在UNIX平臺(tái)上建立應(yīng)用，否則，采用JAVA是舍簡取繁。

6、8/4/20228第8頁，共18頁。數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則3、采用Trigger方式提供軌跡數(shù)據(jù)由于各個(gè)生產(chǎn)庫在設(shè)計(jì)階段，都未充分考慮到軌跡數(shù)據(jù)的記錄，所以采用Trigger方式，是目前唯一可行的方案。這樣，才能保證數(shù)據(jù)平臺(tái)的數(shù)據(jù)與生產(chǎn)庫之間的一一對(duì)應(yīng)。否則，你費(fèi)盡心力，也難以作到雙方的數(shù)據(jù)一致性。 8/4/20229第9頁，共18頁。數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則4、增量層作為生產(chǎn)庫的同構(gòu)層，并作為數(shù)據(jù)供應(yīng)池增量層與生產(chǎn)庫是完全的同構(gòu)關(guān)系，有多少種生產(chǎn)庫，就有多少個(gè)增量庫，目前數(shù)據(jù)平臺(tái)中設(shè)計(jì)好的增量庫有：CBPS7版增量庫（INCRDB）、CBPS8版增量庫（INCRV8）、AMIS增量庫（INCR

7、AM）、年金增量庫（INCRNJ）以及投連萬能增量庫（INCRUL）。目前增量層中的數(shù)據(jù)已擴(kuò)充成全量數(shù)據(jù)。這一層是為外圍系統(tǒng)而生的。主要是考慮到對(duì)CALLCENTER與再保系統(tǒng)的深度支持。8/4/202210第10頁，共18頁。數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則5、BaseDB保存集成的、經(jīng)過融合的、基于操作型的數(shù)據(jù)如果直接在增量層上架構(gòu)統(tǒng)計(jì)應(yīng)用，會(huì)存在許多的不便，因?yàn)樵隽繉又械臄?shù)據(jù)是非集成的，一項(xiàng)統(tǒng)計(jì)可能要跨越多個(gè)數(shù)據(jù)庫，同時(shí)，數(shù)據(jù)是非融合的，一項(xiàng)統(tǒng)計(jì)可能要基于不同的數(shù)據(jù)庫進(jìn)行復(fù)雜的定制。而基于BaseDB，可以在很大程度上避免這些復(fù)雜性。但同時(shí)，BaseDB中的數(shù)據(jù)還是基于操作型的數(shù)據(jù)，并未進(jìn)行太多的

8、抽象，這樣帶來的優(yōu)點(diǎn)是：1）我們可以有效減少ETL的復(fù)雜性2）提高了ETL的效率。也正因?yàn)锽aseDB是操作型數(shù)據(jù)，所以我們需要CubeDB層對(duì)基于統(tǒng)計(jì)的數(shù)據(jù)進(jìn)行抽象加工。8/4/202211第11頁，共18頁。數(shù)據(jù)平臺(tái)建設(shè)使用技術(shù)操作系統(tǒng) 數(shù)據(jù)庫ETL工具前端應(yīng)用調(diào)度方案 數(shù)據(jù)庫引擎Windows Server 2000，未來希望采用Windows Server 2003 SQL Server 2000，未來希望采用SQL Server 2005 DTS，屬于SQL Server 2000自帶。 JAVA和ASP、ASP.NET 由VB程序開發(fā)的管理維護(hù)平臺(tái)實(shí)現(xiàn) 對(duì)生產(chǎn)庫（INFORMIX）

9、的訪問使用ODBC引擎，應(yīng)用上采用JDBC或ADO引擎 8/4/202212第12頁，共18頁。ODS表命名規(guī)則A類表保單類表B類表收付費(fèi)類表 C類表客戶類表包括A01長險(xiǎn)保單表，A04基金險(xiǎn)保單表，A05短險(xiǎn)保單表，A02基本要約表、A03子要約表、A11長險(xiǎn)被保人表、A12基金險(xiǎn)被保人表、A13短險(xiǎn)被保人等表。主鍵合并包括B01實(shí)收表，B02實(shí)付表，B03應(yīng)收表，B04應(yīng)付表、B05帳戶表、B06財(cái)務(wù)應(yīng)收備份表、B07財(cái)務(wù)應(yīng)付備份表。主鍵合并包括C01客戶主表，C02個(gè)人客戶信息表、C03團(tuán)體客戶信息表、C04聯(lián)系方式關(guān)聯(lián)表、C05聯(lián)系方式列表。主鍵合并D類表保全類表目前暫不抽取E類表理賠

10、類表包括：E01理賠申請(qǐng)表、E02賠付理算表、E03索賠被保人表。主鍵合并T類表AMIS類表包括T01營銷員基本信息表，T02營銷員自然狀況表，T03傭金明細(xì)信息表，T11營銷員流動(dòng)情況，T29代理人資格證，T50機(jī)構(gòu)定義表等H類表匯總層的表命名L類表、M類表、N類表留給省一級(jí)使用8/4/202213第13頁，共18頁。BaseDB中的冗余字段BaseDB中許多表都設(shè)計(jì)了冗余字段，它主要作用是：1、減少表間關(guān)聯(lián)，提高匯總速度。2、降低不同業(yè)務(wù)系統(tǒng)之間的差異性。大部分冗余字段都采用雙向更新方式，以保證冗余字段的值不會(huì)被遺漏。8/4/202214第14頁，共18頁。A類表的冗余字段許多信息在7版中存在，但8版中把保單信息分布在幾張表中，所以我們?cè)诔槿?版數(shù)據(jù)時(shí)，生成了相關(guān)字段的信息。原則如下：1、一對(duì)一的表，直接更新2、一對(duì)多的表，SUM更新或首條記錄更新8/4/202215第15頁，共18頁。B類表的冗余字段B類表的冗余字段，大部分是從保單表更新得到。但在8版中，由于生成保單的置后現(xiàn)象（即回執(zhí)問題）。所以在未找到保單記錄的情況下，我們通過投保單信息（A31）與投保要約信息表（A32）來更新B類表的相關(guān)字段。8/4/202216第16頁，共18頁。C類表的處理當(dāng)生