ODS數(shù)據(jù)服務平臺介紹

ODS數(shù)據(jù)服務平臺介紹主要內容1、數(shù)據(jù)平臺的功能2、數(shù)據(jù)平臺的建設原則3、數(shù)據(jù)平臺數(shù)據(jù)平臺建設使用技術4、ODS表命名規(guī)則5、Basedb數(shù)據(jù)結構設計要點1/2/20252數(shù)據(jù)平臺兩大功能1、提供數(shù)據(jù)服務 增量層（INCR層），存放生產(chǎn)庫的存量數(shù)據(jù)，以此作為所有外圍系統(tǒng)的數(shù)據(jù)接口，提供數(shù)據(jù)級服務。2、提供信息服務 ODS層（BaseDB與CubeDB） BaseDB存放融合的基于操作級的數(shù)據(jù)，而CubeDB是基于BaseDB的匯總數(shù)據(jù)，以此提供數(shù)據(jù)查詢與數(shù)據(jù)的統(tǒng)計。 ODS層只存放與統(tǒng)計相關的數(shù)據(jù)。增量層的數(shù)據(jù)范圍＞ODS層的數(shù)據(jù)范圍

1/2/20253保監(jiān)會報表、總部快報等CallCenter、省級數(shù)據(jù)接口DTS調度抽取DTS調度抽取Trigger抽取增量及全表抽取CBPS8版年金系統(tǒng)AMIS財務系統(tǒng)……鏡像庫鏡像庫增量數(shù)據(jù)庫增量數(shù)據(jù)庫SQLServer數(shù)據(jù)庫INFORMIX數(shù)據(jù)庫省級ODS數(shù)據(jù)庫SQLServer數(shù)據(jù)庫CBPS7版總部匯總層總部ODS數(shù)據(jù)庫未確定數(shù)據(jù)庫總分傳輸省級匯總層DTS調度抽取SQLServer數(shù)據(jù)庫1/2/20254層次間的數(shù)據(jù)導向1、增量層（INCR）是生產(chǎn)系統(tǒng)的同構層，并且是邏輯集中的。有幾類業(yè)務系統(tǒng)就有幾個增量數(shù)據(jù)庫。

2、BaseDB對同構層數(shù)據(jù)進行了集成和融合，但它還是基于操作型數(shù)據(jù)的3、CubeDB對數(shù)據(jù)進行了抽象和加工，它并不是基于操作型數(shù)據(jù)的。主要是針對前臺的報表應用建立統(tǒng)計模型。不同層之間的數(shù)據(jù)特點決定了它們的應用方向。如：1、增量層適合于作為數(shù)據(jù)供應池2、BaseDB除了作為CubeDB的數(shù)據(jù)匯總來源外，還可提供數(shù)據(jù)查詢使用3、而CubeDB適合于報表生成和數(shù)據(jù)分析1/2/20255目前應用基于數(shù)據(jù)服務的應用有：CallCenter、電子商務，以及后期的再保數(shù)據(jù)接口，他們將從增量層獲取數(shù)據(jù)基于信息服務的應用有：中介統(tǒng)計平臺、保監(jiān)會報表系統(tǒng)以及每日業(yè)務快報、廣東省報表中心等，他們均從ODS層獲取數(shù)據(jù)（即基礎數(shù)據(jù)來源于BaseDB，經(jīng)過匯總，產(chǎn)生CubeDB中的事實表數(shù)據(jù)）.1/2/20256數(shù)據(jù)平臺建設的幾點原則1、整個架構基于PC服務器 當前多層次的架構適合于多個PC服務器的聯(lián)合工作。 如果采用小型機架構，存在下列問題：1）數(shù)據(jù)平臺龐大的數(shù)據(jù)以及復雜的層次結構，將要求獨占小型機資源，這對于各省的硬件設備，難以支撐。2）如果把數(shù)據(jù)平臺的各層都架構在小型機上，那么應用上難以達到平衡，應用間效率的互相影響和牽制會相對突出。 而采用PC服務器方式，由于PC服務器成本低，我們可以通過多臺PC服務器的聯(lián)合工作，獲得有效的性能。 未來設備采用：使用64位的PC服務器＋高速磁盤存儲設備，將會給數(shù)據(jù)平臺提供堅實的基礎。1/2/20257數(shù)據(jù)平臺建設的幾點原則2、基于微軟平臺與微軟技術 微軟平臺的集成性和方便快捷是顯而易見的。 數(shù)據(jù)庫采用SQLSERVER，在SQLSERVER中，集成了如下服務：數(shù)據(jù)庫平臺、報表工具（ReportingServices）、ETL工具（DTS）、分析平臺（AnalysisServices）以及復制工具（ReplicaiotnServices），而且許多BI工具都是很有名的。 應用前端基于.NET平臺，在微軟平臺上，采用.NET技術一定優(yōu)越于JAVA。除非我們要在UNIX平臺上建立應用，否則，采用JAVA是舍簡取繁。

1/2/20258數(shù)據(jù)平臺建設的幾點原則3、采用Trigger方式提供軌跡數(shù)據(jù) 由于各個生產(chǎn)庫在設計階段，都未充分考慮到軌跡數(shù)據(jù)的記錄，所以采用Trigger方式，是目前唯一可行的方案。這樣，才能保證數(shù)據(jù)平臺的數(shù)據(jù)與生產(chǎn)庫之間的一一對應。否則，你費盡心力，也難以作到雙方的數(shù)據(jù)一致性。

1/2/20259數(shù)據(jù)平臺建設的幾點原則4、增量層作為生產(chǎn)庫的同構層，并作為數(shù)據(jù)供應池 增量層與生產(chǎn)庫是完全的同構關系，有多少種生產(chǎn)庫，就有多少個增量庫，目前數(shù)據(jù)平臺中設計好的增量庫有：CBPS7版增量庫（INCRDB）、CBPS8版增量庫（INCRV8）、AMIS增量庫（INCRAM）、年金增量庫（INCRNJ）以及投連萬能增量庫（INCRUL）。 目前增量層中的數(shù)據(jù)已擴充成全量數(shù)據(jù)。 這一層是為外圍系統(tǒng)而生的。主要是考慮到對CALLCENTER與再保系統(tǒng)的深度支持。1/2/202510數(shù)據(jù)平臺建設的幾點原則5、BaseDB保存集成的、經(jīng)過融合的、基于操作型的數(shù)據(jù) 如果直接在增量層上架構統(tǒng)計應用，會存在許多的不便，因為增量層中的數(shù)據(jù)是非集成的，一項統(tǒng)計可能要跨越多個數(shù)據(jù)庫，同時，數(shù)據(jù)是非融合的，一項統(tǒng)計可能要基于不同的數(shù)據(jù)庫進行復雜的定制。而基于BaseDB，可以在很大程度上避免這些復雜性。但同時，BaseDB中的數(shù)據(jù)還是基于操作型的數(shù)據(jù)，并未進行太多的抽象，這樣帶來的優(yōu)點是：1）我們可以有效減少ETL的復雜性2）提高了ETL的效率。也正因為BaseDB是操作型數(shù)據(jù)，所以我們需要CubeDB層對基于統(tǒng)計的數(shù)據(jù)進行抽象加工。1/2/202511數(shù)據(jù)平臺建設使用技術操作系統(tǒng)

數(shù)據(jù)庫ETL工具前端應用調度方案

數(shù)據(jù)庫引擎WindowsServer2000，未來希望采用WindowsServer2003SQLServer2000，未來希望采用SQLServer2005DTS，屬于SQLServer2000自帶。JAVA和ASP、ASP.NET

由VB程序開發(fā)的管理維護平臺實現(xiàn)對生產(chǎn)庫（INFORMIX）的訪問使用ODBC引擎，應用上采用JDBC或ADO引擎1/2/202512ODS表命名規(guī)則A類表－保單類表B類表－收付費類表

C類表－客戶類表包括A01長險保單表，A04基金險保單表，A05短險保單表，A02基本要約表、A03子要約表、A11長險被保人表、A12基金險被保人表、A13短險被保人等表。主鍵合并包括B01實收表，B02實付表，B03應收表，B04應付表、B05帳戶表、B06財務應收備份表、B07財務應付備份表。主鍵合并包括C01客戶主表，C02個人客戶信息表、C03團體客戶信息表、C04聯(lián)系方式關聯(lián)表、C05聯(lián)系方式列表。主鍵合并D類表－保全類表目前暫不抽取E類表－理賠類表包括：E01理賠申請表、E02賠付理算表、E03索賠被保人表。主鍵合并T類表－AMIS類表包括T01營銷員基本信息表，T02營銷員自然狀況表，T03傭金明細信息表，T11營銷員流動情況，T29代理人資格證，T50機構定義表等H類表匯總層的表命名L類表、M類表、N類表留給省一級使用1/2/202513BaseDB中的冗余字段BaseDB中許多表都設計了冗余字段，它主要作用是：1、減少表間關聯(lián)，提高匯總速度。2、降低不同業(yè)務系統(tǒng)之間的差異性。大部分冗余字段都采用雙向更新方式，以保證冗余字段的值不會被遺漏。1/2/202514A類表的冗余字段許多信息在7版中存在，但8版中把保單信息分布在幾張表中，所以我們在抽取8版數(shù)據(jù)時，生成了相關字段的信息。原則如下：1、一對一的表，直接更新2、一對多的表，SUM更新或首條記錄更新1/2/202515B類表的冗余字段B類表的冗余字段，大部分是從保單表更新得到。但在8版中，由于生成保單的置后現(xiàn)象（即回執(zhí)問題）。所以在未找到保單記錄的情況下，我們通過投保單信息（A31）與投保要約信息表（A32）來更新B類表的相關字段。1/2/202516C類表的處理