數(shù)據(jù)倉庫實踐-第二課 衣帶漸寬終不悔,為伊消得人憔悴

數(shù)據(jù)倉庫實踐系列課程第二課

衣帶漸寬終不悔，為伊消得人憔悴王國維在《人間詞話》說：“古今之成大事業(yè)、大學(xué)問者，必經(jīng)過三種之境界：‘昨夜西風(fēng)凋碧樹。獨上高樓，望盡天涯路’。此第一境也。‘衣帶漸寬終不悔，為伊消得人憔悴?！说诙骋病！娎飳にО俣?，驀然回首，那人卻在，燈火闌珊處’。此第三境也?！?/p>

王國維認(rèn)為治學(xué)第一境界：“昨夜西風(fēng)凋碧樹。獨上高樓，望盡天涯路”，這詞句出晏殊的《蝶戀花》，原意是說，“我”上高樓眺望所見的更為蕭颯的秋景，西風(fēng)黃葉，山闊水長，案書何達？在王國維此句中解成，做學(xué)問成大事業(yè)者，首先要有執(zhí)著的追求，登高望遠，瞰察路徑，明確目標(biāo)與方向，了解事物的概貌。

王的治學(xué)第二境界是說：“衣帶漸寬終不悔，為伊消得人憔悴?！边@引用的是北宋柳永《蝶戀花》最后兩句詞，原詞是表現(xiàn)作者對愛的艱辛和愛的無悔。若把“伊”字理解為詞人所追求的理想和畢生從事的事業(yè)，亦無不可。王國維以此兩句來比喻成大事業(yè)、大學(xué)問者，不是輕而易舉，隨便可得的，必須堅定不移，經(jīng)過一番辛勤勞動，廢寢忘食，孜孜以求，直至人瘦帶寬也不后悔。

王的治學(xué)第三境界是說：“眾里尋他千百度，驀然回首，那人卻在，燈火闌珊處?！笔且媚纤涡翖壖病肚嘤癜浮吩~中的最后四句。王國維以此詞最后的四句為“境界”之第三，即最終最高境界。要達到第三境界，必須有專注的精神，反復(fù)追尋、研究，下足功夫，自然會豁然貫通。課程安排（一）總學(xué)時：15學(xué)時，其中12學(xué)時理論，3學(xué)時聯(lián)系，課后作業(yè)估計有5學(xué)時（二）考核方法：平時考勤：30分理論答題：30分隨堂練習(xí)：20分課后作業(yè)：20分（三）教材《數(shù)據(jù)倉庫生命周期工具箱》kimball等著，清華大學(xué)出版社《數(shù)據(jù)倉庫工具箱》-維度建模權(quán)威指南，kimball等著，清華大學(xué)出版社（四）教學(xué)方法講師講解課程，布置家庭作業(yè)（利用網(wǎng)絡(luò)資源完成講師制定任務(wù)）；隨堂作業(yè)，現(xiàn)場完成作業(yè)結(jié)業(yè)考試，檢查教學(xué)成果綜合練習(xí)，提升學(xué)習(xí)成果目23456TeradataFS_LDM模型介紹IBMIIW模型介紹維度模型設(shè)計第三范式模型設(shè)計匯聚數(shù)據(jù)財富

挖掘潛力無限錄數(shù)據(jù)建模導(dǎo)論1SysbaseIWS模型介紹7案例-模型案例說明第5頁目錄IBM與聯(lián)動優(yōu)勢公司項目機密II數(shù)據(jù)模型方法論I客戶洞察III數(shù)據(jù)模型建設(shè)路徑IV數(shù)據(jù)模型關(guān)鍵成果V項目交付件I數(shù)據(jù)模型概述數(shù)據(jù)建模導(dǎo)論-主要內(nèi)容數(shù)據(jù)模型是對現(xiàn)實世界數(shù)據(jù)特征的抽象，搭建了從業(yè)務(wù)到應(yīng)用的橋梁

業(yè)務(wù)數(shù)據(jù)根據(jù)信息需求抽象出邏輯數(shù)據(jù)，定義其描述、分類與關(guān)系業(yè)務(wù)人員提出業(yè)務(wù)需求，并描述業(yè)務(wù)需求所需的信息內(nèi)容應(yīng)用針對業(yè)務(wù)和數(shù)據(jù)特性組合應(yīng)用架構(gòu)，支撐實際業(yè)務(wù)應(yīng)用CustomerDataProductDataAccountDataTransactionData業(yè)務(wù)人員技術(shù)人員數(shù)據(jù)建?；靖拍疃x重要的業(yè)務(wù)概念和彼此的關(guān)系，如客戶、供應(yīng)商、合作伙伴、產(chǎn)品、合同、渠道、財務(wù)等。企業(yè)級概念數(shù)據(jù)模型關(guān)于整個企業(yè)需要信息的完整模型，包含了數(shù)據(jù)實體和實體間的關(guān)系、屬性、定義、描述和范例。企業(yè)級邏輯數(shù)據(jù)模型定義某系統(tǒng)重要的業(yè)務(wù)對象之間的本質(zhì)聯(lián)系，包含了數(shù)據(jù)實體和實體間的關(guān)系、屬性、定義、描述和范例?？蓴U展為企業(yè)級數(shù)據(jù)模型。系統(tǒng)邏輯數(shù)據(jù)模型企業(yè)級邏輯數(shù)據(jù)模型（LDM）戰(zhàn)略規(guī)劃運營管理發(fā)展方向業(yè)務(wù)開拓企業(yè)級概念數(shù)據(jù)模型（CDM）業(yè)務(wù)需求系統(tǒng)邏輯數(shù)據(jù)模型（LDM）技術(shù)應(yīng)用物理數(shù)據(jù)模型（PDM）數(shù)據(jù)模型在企業(yè)中的位置數(shù)據(jù)模型是從應(yīng)用需求，數(shù)據(jù)定義到數(shù)據(jù)倉庫設(shè)計和建設(shè)的藍圖。通過數(shù)據(jù)關(guān)系展現(xiàn)業(yè)務(wù)過程，是將現(xiàn)實世界的業(yè)務(wù)概念與信息世界的數(shù)據(jù)應(yīng)用相關(guān)聯(lián)的工具。是數(shù)據(jù)管理、數(shù)據(jù)分析和交流的重要手段。市場為導(dǎo)向客戶為中心效益為目標(biāo)建立數(shù)據(jù)模型的重要意義9企業(yè)數(shù)據(jù)模型優(yōu)化數(shù)據(jù)架構(gòu)完善數(shù)據(jù)標(biāo)準(zhǔn)提升數(shù)據(jù)質(zhì)量指導(dǎo)數(shù)據(jù)標(biāo)準(zhǔn)框架建設(shè)指導(dǎo)數(shù)據(jù)標(biāo)準(zhǔn)中信息屬性制定形成企業(yè)主題域數(shù)據(jù)模型根據(jù)數(shù)據(jù)主題調(diào)研數(shù)據(jù)分布，規(guī)劃可信數(shù)據(jù)源統(tǒng)一指導(dǎo)應(yīng)用建設(shè)，增強數(shù)據(jù)一致性協(xié)助進行數(shù)據(jù)質(zhì)量問題分析，發(fā)現(xiàn)問題原因建立數(shù)據(jù)模型的重要意義第10頁目錄IBM與聯(lián)動優(yōu)勢公司項目機密II數(shù)據(jù)模型方法論I客戶洞察III數(shù)據(jù)模型建設(shè)路徑IV數(shù)據(jù)模型關(guān)鍵成果V項目交付件I數(shù)據(jù)模型概述數(shù)據(jù)建模導(dǎo)論-主要內(nèi)容IBM數(shù)據(jù)模型方法論-五大層級、九大主題A：可以用九大數(shù)據(jù)概念來描述B：用層次化的概念術(shù)語來組織業(yè)務(wù)信息，采用業(yè)務(wù)人員熟悉的語言C：用ER圖描述業(yè)務(wù)信息，不考慮實施層面的約束，只維護邏輯視圖C‘用ER圖描述應(yīng)用數(shù)據(jù)，考慮具體實施層面的約束，引入派生數(shù)據(jù)或去范式化的數(shù)據(jù)D：描述物理數(shù)據(jù)結(jié)構(gòu)，考慮系統(tǒng)部署層面的約束ALevelBLevelCPrimeLevelDLevelCLevel參與人合約條件產(chǎn)品位置分類業(yè)務(wù)方向m事件資源項針對數(shù)據(jù)庫特性將數(shù)據(jù)邏輯物化為數(shù)據(jù)庫表，支撐實際應(yīng)用根據(jù)數(shù)據(jù)實體描述、分類，抽取出數(shù)據(jù)邏輯，并利用ER圖描述其關(guān)系根據(jù)業(yè)務(wù)對象抽象出數(shù)據(jù)概念和數(shù)據(jù)實體，定義其描述、分類與關(guān)系數(shù)據(jù)模型建設(shè)思路數(shù)據(jù)需求概念數(shù)據(jù)模型（CDM）邏輯數(shù)據(jù)模型（LDM）根據(jù)業(yè)務(wù)對象抽象出數(shù)據(jù)概念和數(shù)據(jù)實體，定義其描述、分類與關(guān)系業(yè)務(wù)人員提出業(yè)務(wù)需求，并描述業(yè)務(wù)需求所需的數(shù)據(jù)內(nèi)容根據(jù)數(shù)據(jù)實體描述、分類，抽取出數(shù)據(jù)邏輯，并利用ER圖描述其關(guān)系物理數(shù)據(jù)模型（PDM）針對數(shù)據(jù)庫特性將數(shù)據(jù)邏輯物化為數(shù)據(jù)庫表，支撐實際應(yīng)用CustomerDataProductDataAccountDataTransactionData業(yè)務(wù)人員技術(shù)人員業(yè)務(wù)使用數(shù)據(jù)模型客戶信息數(shù)據(jù)模型財務(wù)管理數(shù)據(jù)模型……1、EDM實體模型4、PDM物理模型3、LDM邏輯模型2、CDM概念模型數(shù)據(jù)模型設(shè)計流程數(shù)據(jù)模型1,EDM層面的實體模型代表了對業(yè)務(wù)最重要的信息屬性，是建立基礎(chǔ)數(shù)據(jù)模型的基本流程。描述了最重要的業(yè)務(wù)概念和應(yīng)用實體。2,CDM層面的數(shù)據(jù)模型其實是EDM的業(yè)務(wù)屬性描述，細(xì)化分解了EDM的具體定義和概念組合。3,LDM則是CDM的進一步解釋說明，描述了詳細(xì)的邏輯關(guān)系和相關(guān)屬性字段。4,PDM是在數(shù)據(jù)庫中的實體物理模型，包含了具體的表定義，模式定義等。數(shù)據(jù)模型建設(shè)原則以及相應(yīng)決策點14正確性和完整性通用性可操作性數(shù)據(jù)模型應(yīng)包含正確并且全面的業(yè)務(wù)概念，支持相關(guān)的業(yè)務(wù)活動。企業(yè)數(shù)據(jù)模型應(yīng)支持業(yè)務(wù)規(guī)則的多變性，以最少的改動支持業(yè)務(wù)規(guī)則的變動。相應(yīng)決策點企業(yè)數(shù)據(jù)模型應(yīng)便于應(yīng)用，可與日常操作和實例容易結(jié)合。決策點一：業(yè)務(wù)人員幫助提供和完善業(yè)務(wù)概念定義。決策點二：數(shù)據(jù)模型的詳細(xì)程度滿足數(shù)據(jù)分析要求相應(yīng)決策點決策點三：關(guān)注數(shù)據(jù)的當(dāng)前狀態(tài)。決策點四：各主題數(shù)據(jù)與數(shù)據(jù)間的關(guān)系盡量在父類建立，并通過關(guān)系類型的定義說明各類關(guān)系。相應(yīng)決策點決策點五：從對象封裝角度看到的有共性的數(shù)據(jù)概念，可封裝成同一父類數(shù)據(jù)實體。前瞻性企業(yè)數(shù)據(jù)模型除了支持現(xiàn)有的業(yè)務(wù)與數(shù)據(jù)需求外，還應(yīng)在一定程度上支持行業(yè)先進概念與企業(yè)未來的需求。相應(yīng)決策點決策點六：借鑒參考模型決策點七：以融合前瞻性的業(yè)務(wù)需求作為數(shù)據(jù)模型的輸入關(guān)聯(lián)性模型中的數(shù)據(jù)與數(shù)據(jù)間應(yīng)有關(guān)聯(lián)性。孤立的數(shù)據(jù)所體現(xiàn)的價值往往少于相關(guān)聯(lián)的數(shù)據(jù)，數(shù)據(jù)間的關(guān)聯(lián)性可加強數(shù)據(jù)用于未來分析的價值。相應(yīng)決策點決策點八：數(shù)據(jù)實體的主鍵為無業(yè)務(wù)含義的代理標(biāo)識，方便體現(xiàn)數(shù)據(jù)與數(shù)據(jù)間應(yīng)有的關(guān)聯(lián)性。第15頁目錄IBM與聯(lián)動優(yōu)勢公司項目機密II數(shù)據(jù)模型方法論I客戶洞察III數(shù)據(jù)模型建設(shè)路徑IV數(shù)據(jù)模型關(guān)鍵成果V項目交付件I數(shù)據(jù)模型概述數(shù)據(jù)建模導(dǎo)論-主要內(nèi)容源系統(tǒng)入倉梳理數(shù)據(jù)中心應(yīng)用需求業(yè)務(wù)應(yīng)用需求源系統(tǒng)表級、字段級分析重要參考九大數(shù)據(jù)概念的分類、描述和關(guān)系映射篩選分析數(shù)據(jù)中心邏輯數(shù)據(jù)模型固定報表、管理駕駛艙、KPI需求源系統(tǒng)調(diào)研IBM參考模型七大主題：當(dāng)事人產(chǎn)品渠道協(xié)議事件營銷財務(wù)數(shù)據(jù)中心LDM數(shù)據(jù)中心邏輯模型建設(shè)路徑數(shù)據(jù)模型主題視圖設(shè)計

隨著模型設(shè)計工作的進行，模型中的實體會越來越多，因此需要根據(jù)不同的分類創(chuàng)建主題視圖，將實體進行歸納。通常每個主題主要包括如下主題視圖：存放該主題的關(guān)系實體，特別是和其他主題的關(guān)聯(lián)關(guān)系存放該主題中的重要歷史實體存放主題中核心實體的分類樹存放該主題的重要實體，能反應(yīng)主題的大致內(nèi)容概述分類關(guān)系重要歷史數(shù)據(jù)模型信息加工規(guī)則在邏輯模型設(shè)計時，我們需要將信息加工成子實體集、屬性、歷史表或關(guān)系表，加工規(guī)則如下：個人規(guī)則1：

加工成屬性學(xué)歷（大專，本科，研究生）個人規(guī)則2：

加工成子實體集研究生本科生大專生規(guī)則3：

加工成歷史表個人當(dāng)事人學(xué)歷信息歷史學(xué)歷代碼表規(guī)則4：

加工成關(guān)系表個人當(dāng)事人協(xié)議關(guān)系歷史協(xié)議數(shù)據(jù)模型信息加工原則加工成屬性規(guī)則1僅表達某一實體實例的組成要素信息，沒有更多的信息要表達，如商戶的商戶類型代碼處理成商戶實體的屬性，性別處理成人個人實體的屬性。加工成子實體集規(guī)則2每個分類項都有足夠的個性信息需要承載，而且分類項之間的特色和差異比較明顯，用子實體來描述各分類項。例如通過自然屬性的分類，建立個人子實體和機構(gòu)子實體。加工成歷史表規(guī)則3某一實體關(guān)鍵屬性會發(fā)生變化，并需要追溯其歷史。則建立帶有拉鏈的歷史表承載變化的描述信息，如：“當(dāng)事人狀態(tài)歷史”和“當(dāng)事人狀態(tài)代碼表”，“當(dāng)事人重要日期歷史”和“日期類型代碼表”。加工成關(guān)系表規(guī)則4關(guān)系表主要體現(xiàn)這7大主題之間的以及主題內(nèi)部的關(guān)系，由業(yè)務(wù)規(guī)則和源系統(tǒng)兩方面的信息決定。如果主題之間或主題內(nèi)部在業(yè)務(wù)規(guī)則上有約束或聯(lián)系存在，則需建立關(guān)系實體。例如：協(xié)議的開通與當(dāng)事人和產(chǎn)品有關(guān)，則建立當(dāng)事人協(xié)議關(guān)系，協(xié)議產(chǎn)品關(guān)系。而當(dāng)事人與產(chǎn)品之間并強關(guān)聯(lián)性，則無需建立當(dāng)事人產(chǎn)品關(guān)系。如果有分析需求，則通過當(dāng)事人協(xié)議關(guān)系，協(xié)議產(chǎn)品關(guān)系，找到當(dāng)事人產(chǎn)品關(guān)系。第20頁目錄IBM與聯(lián)動優(yōu)勢公司項目機密II數(shù)據(jù)模型方法論I客戶洞察III數(shù)據(jù)模型建設(shè)路徑IV數(shù)據(jù)模型關(guān)鍵成果V項目交付件I數(shù)據(jù)模型概述數(shù)據(jù)建模導(dǎo)論-主要內(nèi)容數(shù)據(jù)模型總體架構(gòu)數(shù)據(jù)模型設(shè)計充分參考了源系統(tǒng)信息調(diào)研的結(jié)果和應(yīng)用需求的反饋，在此基礎(chǔ)之上形成了LDM的5五大主題，包括：當(dāng)事人、產(chǎn)品、協(xié)議、事件、渠道。新系統(tǒng)數(shù)據(jù)入倉后，再實現(xiàn)營銷和財務(wù)主題：數(shù)據(jù)模型主題描述-當(dāng)事人當(dāng)事人當(dāng)事人是指UMPAY關(guān)注，并且需要記錄其信息的任何一個人或一組人。當(dāng)事人主題可包含通過各種途徑和方式購買UMPAY產(chǎn)品、接受UMPAY服務(wù)來滿足其需求的個人或組織；和UMPAY有其他業(yè)務(wù)往來的對象；UMPAY出于營銷、管理等目的而需要分析的對象；也包含UMPAY內(nèi)部的組織機構(gòu)和員工。目前數(shù)據(jù)模型中，當(dāng)事人主題包括UMPAY的用戶，商戶，合作伙伴，員工，內(nèi)部機構(gòu)等。當(dāng)事人主題將針對這些對象存放其基本的屬性信息、聯(lián)系信息、鑒別信息、狀態(tài)信息等。分類視圖第一層：個人和機構(gòu)。第二層：外部機構(gòu)和內(nèi)部機構(gòu)，員工、用戶和合作方。第三層：通道用戶和自有用戶歷史視圖當(dāng)事人名稱歷史當(dāng)事人狀態(tài)歷史當(dāng)事人重要日期歷史當(dāng)事人等級歷史當(dāng)事人鑒別信息歷史當(dāng)事人限額歷史當(dāng)事人地址歷史當(dāng)事人余額歷史關(guān)系視圖當(dāng)事人協(xié)議關(guān)系歷史當(dāng)事人關(guān)系歷史渠道當(dāng)事人關(guān)系歷史當(dāng)事人業(yè)務(wù)線產(chǎn)品組關(guān)系歷史當(dāng)事人主題視圖說明：灰色表示僅邏輯化處理的實體數(shù)據(jù)模型主題描述-產(chǎn)品產(chǎn)品主題

產(chǎn)品是指提供給市場，能滿足客戶的某種需求，可從中賺取實際或潛在收益的各種貨物（有形）與服務(wù)（無形）。UMAPY的產(chǎn)品是指UMAPY獨立開發(fā)的或基于商戶的商品而衍生出來，用于向客戶（用戶）提供，滿足用戶需求的，并為UMAPY帶來收益的產(chǎn)品。該主題記錄了產(chǎn)品的名稱，價格，付費方式以及產(chǎn)品源于商戶的信息。商戶的商品是UMPAY產(chǎn)品的衍生基礎(chǔ)，因此也屬產(chǎn)品主題范疇，但僅作為商品存放，而不作為產(chǎn)品。即商品不是UMPAY的產(chǎn)品，而是產(chǎn)品的重要組成部分。例如金山殺毒軟件是金山公司這一商戶的商品，而“通過北京移動話費購買金山公司的金山殺毒軟件”則是UMPAY的產(chǎn)品。分類視圖第一層：支付產(chǎn)品和業(yè)務(wù)產(chǎn)品。第二層：業(yè)務(wù)產(chǎn)品分科技產(chǎn)品和電商產(chǎn)品第三層：按業(yè)務(wù)線分為通信賬戶產(chǎn)品、EPS產(chǎn)品等歷史視圖產(chǎn)品狀態(tài)歷史產(chǎn)品名稱歷史產(chǎn)品價格歷史關(guān)系視圖協(xié)議產(chǎn)品關(guān)系歷史產(chǎn)品渠道關(guān)系歷史產(chǎn)品產(chǎn)品組關(guān)系歷史產(chǎn)品主題視圖數(shù)據(jù)模型主題描述-協(xié)議協(xié)議主題協(xié)議是兩個或兩個以上當(dāng)事人之間潛在或?qū)嶋H的約定，協(xié)議正式提供并確認(rèn)與協(xié)議目的相關(guān)的規(guī)則和義務(wù)。協(xié)議主題包含了當(dāng)事人之間達成的合約，這些合約可以是文本的也可以是電子的。通常情況下協(xié)議的子類是按照協(xié)議性質(zhì)用途劃分，主要包括：（1）產(chǎn)品協(xié)議，即：識別兩個當(dāng)事人之間關(guān)于產(chǎn)品購買的協(xié)議。該協(xié)議明確其中一方自另一方取得產(chǎn)品使用權(quán)，一個產(chǎn)品可對應(yīng)多個產(chǎn)品協(xié)議。（2）合作協(xié)議，即：企業(yè)和其他機構(gòu)之間的合作項目簽訂的協(xié)議。（3）雇傭合同，即指企業(yè)雇傭員工的協(xié)議。UMPAY的數(shù)據(jù)模型中，目前協(xié)議主題僅是關(guān)于產(chǎn)品的協(xié)議，包含客戶（用戶）在購買產(chǎn)品時與UMPAY達成的各種合約，例如：包月服務(wù)協(xié)議、公共事業(yè)繳費協(xié)議、空充業(yè)務(wù)協(xié)議等。該主題記錄了協(xié)議生效日期，有效期，涉及金額等信息。分類視圖第一層：支付協(xié)議和業(yè)務(wù)協(xié)議。第二層：按業(yè)務(wù)線分為包月協(xié)議、資金歸集協(xié)議等歷史視圖協(xié)議狀態(tài)歷史協(xié)議重要日期歷史協(xié)議金額歷史關(guān)系視圖協(xié)議產(chǎn)品關(guān)系歷史協(xié)議渠道關(guān)系歷史協(xié)議關(guān)系歷史當(dāng)事人協(xié)議關(guān)系歷史協(xié)議主題視圖數(shù)據(jù)模型主題描述-渠道渠道主題渠道指在多個當(dāng)事人之間為了特定目的傳遞信息或產(chǎn)品的通道，渠道是直接或間接進行產(chǎn)品服務(wù)、客戶溝通、產(chǎn)品銷售的途徑。渠道主題包含了業(yè)務(wù)開展過程中的各種關(guān)注的接觸渠道信息。UMPAY的接觸渠道可以是產(chǎn)品的銷售渠道、可以是業(yè)務(wù)辦理過程中的接入渠道也可以是某業(yè)務(wù)的支付渠道。用戶通過這些渠道獲取產(chǎn)品信息、進行業(yè)務(wù)交易。支付渠道主要記錄各業(yè)務(wù)條線在進行支付時使用的渠道，例如：IPS，嗖付工行網(wǎng)銀，手機銀行卡工行網(wǎng)銀，北京移動等；接入渠道主要是從技術(shù)的口徑定義的發(fā)生一筆業(yè)務(wù)時的接入渠道，例如：發(fā)生一筆手機繳話費業(yè)務(wù)時，其接入渠道可以來自網(wǎng)銀，IVR或UMPAY統(tǒng)一分配的短信渠道；銷售渠道主要指UMPAY將產(chǎn)品掛接在某WEB頁面上供客戶瀏覽購買用的URL地址。分類視圖支付渠道、接入渠道和銷售渠道歷史視圖渠道狀態(tài)歷史關(guān)系視圖協(xié)議渠道關(guān)系歷史渠道當(dāng)事人關(guān)系歷史產(chǎn)品渠道關(guān)系歷史渠道主題視圖數(shù)據(jù)模型主題描述-事件事件主題事件是指業(yè)務(wù)運營過程中希望記錄的已發(fā)生或?qū)l(fā)生的事情。事件主題包含了UMPAY關(guān)注的活動明細(xì)信息，例如：UMPAY在業(yè)務(wù)開展過程中的支付行為、客戶購買產(chǎn)品時下訂單進行交易，UMPAY與商戶或銀行的對賬活動。每一個活動記錄將包括涉及的當(dāng)事人、發(fā)生的時間、交易的產(chǎn)品和使用的支付渠道，以及涉及的金額等重要信息。分類視圖訂單交易支付退款對賬差錯其他（風(fēng)控、客服、OA）事件主題視圖第32頁目錄IBM與聯(lián)動優(yōu)勢公司項目機密II數(shù)據(jù)模型方法論I客戶洞察III數(shù)據(jù)模型建設(shè)路徑IV數(shù)據(jù)模型關(guān)鍵成果V項目交付件I數(shù)據(jù)模型概述數(shù)據(jù)建模導(dǎo)論-主要內(nèi)容數(shù)據(jù)模型設(shè)計項目最終成果文檔序號文檔名稱用途描述1UMP_EDW_LDM.erwin展現(xiàn)邏輯數(shù)據(jù)模型視圖2UMP_LDM_翻譯.xls實體和屬性的翻譯3UMP_EDW_代碼表加載.xls需要硬編碼的代碼表梳理4UMP_EDW表和字段級分析_XX系統(tǒng)_.xlsx源系統(tǒng)入倉調(diào)研和映射信息5UMP_數(shù)據(jù)模型設(shè)計規(guī)范.doc數(shù)據(jù)模型設(shè)計規(guī)范描述6UMP_EDW邏輯數(shù)據(jù)模型設(shè)計說明書_總冊.doc邏輯數(shù)據(jù)模型的總體架構(gòu)、原則7UMP_EDW邏輯數(shù)據(jù)模型設(shè)計說明書_XX分冊.doc詳細(xì)闡述各主題的設(shè)計思想和內(nèi)容目23456TeradataFS_LDM模型介紹IBMIIW模型介紹維度模型設(shè)計第三范式模型設(shè)計匯聚數(shù)據(jù)財富

挖掘潛力無限錄數(shù)據(jù)建模導(dǎo)論1SysbaseIWS模型介紹7案例-模型案例說明35TeradataFS-LDM介紹主要內(nèi)容邏輯數(shù)據(jù)模型基本概念NCR

FS-LDM

LDM定制化工作步驟36數(shù)據(jù)倉庫數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別數(shù)據(jù)庫系統(tǒng)（生產(chǎn)系統(tǒng)）：面向應(yīng)用、事務(wù)驅(qū)動的實時性高數(shù)據(jù)檢索量少只存當(dāng)前數(shù)據(jù)數(shù)據(jù)倉庫系統(tǒng)（決策系統(tǒng)）：面向主題、分析和決策實時性要求不是特別高數(shù)據(jù)檢索量大存儲大量的歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)以銀行為例儲蓄客戶對公信用卡其他產(chǎn)品渠道交易機構(gòu)37數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)流規(guī)劃ETL服務(wù)器數(shù)據(jù)清洗／轉(zhuǎn)換／加載文本文件儲蓄信用卡對公總帳數(shù)據(jù)源面向應(yīng)用3NF數(shù)據(jù)集市DataMart最終用戶銀行邏輯數(shù)據(jù)模型保留詳細(xì)交易數(shù)據(jù)面向主題3NF建模LDMLDM面向分析主題匯總數(shù)據(jù)StarSchema建模數(shù)據(jù)倉庫38數(shù)據(jù)組織的基礎(chǔ)與目標(biāo)保留詳細(xì)交易數(shù)據(jù)數(shù)據(jù)一次導(dǎo)入，多次使用保證數(shù)據(jù)的一致性數(shù)據(jù)跨業(yè)務(wù)系統(tǒng)和業(yè)務(wù)平臺集成銀行所有的數(shù)據(jù)業(yè)務(wù)用戶對數(shù)據(jù)有一致的、統(tǒng)一的理解邏輯數(shù)據(jù)模型（LDM）39用圖形的方式展現(xiàn)業(yè)務(wù)規(guī)則由一系列表和實體詳細(xì)描述組成數(shù)據(jù)倉庫組織數(shù)據(jù)的方法是IT人員和業(yè)務(wù)人員溝通的工具獨立于技術(shù)邏輯數(shù)據(jù)模型基本概念邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務(wù),展現(xiàn)業(yè)務(wù)規(guī)則的詳細(xì)“藍圖”。40客戶/團體(party)PartyId(PK)______________PartyNameEventId(PK)__________________TransactionTypeTransactionAmountAccountId(FK)交易/事件(event)帳戶(ACCOUNT)AccountId(PK)__________________AccountTypeAccountOpenDateAccountCloseDateisholderofhasactivityof業(yè)務(wù)規(guī)則:

一個客戶擁有一個或多個帳戶

一個帳戶可能被一個或多個客戶持有.

一個帳戶可能與一個或多個交易／事件相關(guān)一個交易事件只涉及一個帳戶P實體(Entity)

關(guān)系(Relationship)屬性(Attributes)主鍵(KeyAttribute)邏輯數(shù)據(jù)模型舉例1:MN:M41LDM的益處是當(dāng)前和未來數(shù)據(jù)的集成藍圖是實現(xiàn)業(yè)務(wù)智能(BusinessIntelligence)的基礎(chǔ)用統(tǒng)一的邏輯語言描述業(yè)務(wù)系統(tǒng)的規(guī)則能更好的控制數(shù)據(jù)冗余便于開發(fā)人員和業(yè)務(wù)人員進行業(yè)務(wù)溝通能約束數(shù)據(jù)倉庫開發(fā)處理流程的行為規(guī)范，為數(shù)據(jù)倉庫的開發(fā)提供一種穩(wěn)定的、長期的、可靠的和精確的技術(shù)準(zhǔn)則。

是物理數(shù)據(jù)庫設(shè)計的基礎(chǔ)42LDM設(shè)計方法與原則LDM建模方法第三范式（3NF）星型結(jié)構(gòu)（StarSchema）雪花狀結(jié)構(gòu)（SnowflakeSchema）LDM設(shè)計原則采用第三范式（3NF）設(shè)計利用業(yè)界已成功的模型－NCRFS-LDM3NF基礎(chǔ)數(shù)據(jù)模型StarSchema匯總數(shù)據(jù)/已知應(yīng)用模型Snowflake星型結(jié)構(gòu)的演變43TeradataFS-LDM介紹主要內(nèi)容邏輯數(shù)據(jù)模型基本概念NCR

FS-LDM

LDM定制化工作步驟44NCR

FS-LDM全球二百多家金融機構(gòu)經(jīng)驗的總結(jié)描述了銀行的各類業(yè)務(wù)以及這些業(yè)務(wù)之間的關(guān)系，通過定義實體、實體的屬性以及實體之間的關(guān)系來描述具體的銀行業(yè)務(wù)邏輯蘊含了現(xiàn)代商業(yè)銀行分析決策和客戶關(guān)系管理的各個方面是滿足第三范式（3NF）的數(shù)據(jù)模型高起點，縮短周期、降低風(fēng)險、節(jié)約投資NCR金融業(yè)邏輯數(shù)據(jù)模型45NCRFS-LDM產(chǎn)品研發(fā)歷程1996199719981999200020012/96–研發(fā)開始4/96–產(chǎn)品驗證9/96–第一個客戶

2/00-獲得專利!12/00–版本4.0

-保險業(yè)務(wù)增強

-電子商務(wù)(點擊流分析)

-隱私功能(choice/consent)

-提供ImageMark接口2001版本5.0:

-商業(yè)銀行業(yè)務(wù)增強

-經(jīng)紀(jì)/投資業(yè)務(wù)增強

-信用卡業(yè)務(wù)增強2002/2003:

-集團壽險

-健康險

-數(shù)據(jù)管理20028/97–版本1.0–銀行業(yè)務(wù)–服務(wù)支持12/98–版本2.0–功能增強–行為分析模型–服務(wù)支持5/99–版本2.111/99–版本3.0–增加保險業(yè)務(wù)–多幣種支持–貢獻度分析數(shù)據(jù)模型

-新巴塞爾協(xié)議支持46NCRFS-LDM八大主題地理位置地理區(qū)域，物理的或電子的地址.團體(Party)個人或團體機構(gòu)事件一種資金或非資金的活動，可能需要也可能不需要銀行與客戶的直接接觸內(nèi)部組織金融機構(gòu)的分支機構(gòu)及業(yè)務(wù)單元帳戶金融機構(gòu)和客戶之間為某種產(chǎn)品或金融服務(wù)而設(shè)置的一種約定產(chǎn)品任何市場化的產(chǎn)品或服務(wù)，包括這些產(chǎn)品的條款和條件行銷活動為增加客戶、保留客戶、拓展業(yè)務(wù)而進行的策略、規(guī)劃或促銷事件渠道銀行同客戶交互或接觸的各種渠道47isdomiciledat/isvehicleformanages/managedbyoffersorservices/isofferedorservicedbyisdeliveredvia/isvehicleformaybea/isaZisinvolvedwith/involvestargets/istargetedbytargets/istargetforistargetfor/targetscanbecontactedat/iscontactforismarketedby/marketsisvehiclefor/isconductedviahasactivityof/involvesrepresents/isrepresentedbyusesormanages/isusedormanagedby團體

帳戶

事件渠道行銷活動地理位置

內(nèi)部組織產(chǎn)品

Note:Notallrelationships

areshownNCRCONFIDENTIAL(RESTRICTED)FS-LDMRelease4.0主題之間的關(guān)系說明48FS-LDM10MajorSubjectAreasProductEventAgreementChannelPartyPartyAssetFinanceLocationCampaignInternalOrganization491.團體(Party)主題是客戶概念的外延可以是一個銀行外部或內(nèi)部的組織機構(gòu)可以是一個具備相同目的的個體組合，例如協(xié)會、社會團體、家庭、親友團、同學(xué)會等。Party的定義：

PARTY是指任意的個人或團體的金融業(yè)服務(wù)對象。比如：客戶、潛在客戶、國內(nèi)組織、汽車商人、競爭者、雇員、分行、部門等等。501.Party主題的主要特點包括多種類型的個人和組織（客戶、潛在客戶、同業(yè)競爭者、特約商戶等）提供party之間的任意關(guān)系（父子關(guān)系、雇主與雇員關(guān)系、夫妻關(guān)系、雇員與分行的關(guān)系等）包括家庭關(guān)系、市場分類和人口統(tǒng)計特征。與其他主題的密切關(guān)聯(lián)

Party團體個人法人機構(gòu)內(nèi)部組織機構(gòu)社團雇員家庭金融機構(gòu)511.Party主題的主要實體521.國內(nèi)銀行客戶分類示例個人組織個人個體工商戶企業(yè)法人公司類客戶房貸類客戶金融機構(gòu)類客戶非法人單位事業(yè)單位及社會團體政府機關(guān)軍隊/武警53

包括產(chǎn)品和產(chǎn)品特性，通過產(chǎn)品特性來反映產(chǎn)品的特有屬性。產(chǎn)品特性包括利率、期限、數(shù)量、費用等。

可以包括競爭對手的產(chǎn)品或服務(wù)2.產(chǎn)品(Product)主題產(chǎn)品的定義：

PRODUCT是指銀行提供給金融服務(wù)對象的、市場化的、所有的產(chǎn)品和服務(wù)，包括這些產(chǎn)品的條款和條件。542.產(chǎn)品主題的主要特征可以組合成各種套裝產(chǎn)品產(chǎn)品與條款和條件相關(guān)聯(lián)產(chǎn)品及其特征可以按照內(nèi)部管理的需要進行分組產(chǎn)品與其他主題都有關(guān)聯(lián)為了滿足市場銷售的需要，產(chǎn)品可以組合打包。為了滿足銀行內(nèi)部的管理需求，產(chǎn)品也可以按照不同的方法進行分組?？偟恼f來，產(chǎn)品有以下幾個特征:552.產(chǎn)品主題視圖產(chǎn)品特性描述成本利潤條款分類產(chǎn)品組產(chǎn)品包描述利率費用數(shù)量期限分類團體渠道關(guān)聯(lián)特性組特性間關(guān)系關(guān)聯(lián)地域產(chǎn)品特性相關(guān)信息562.產(chǎn)品主題主要實體572.國內(nèi)銀行產(chǎn)品分類示例產(chǎn)品類存款貸款信用卡服務(wù)類委托及代理資金類（同業(yè)拆借）投資類其它表外業(yè)務(wù)產(chǎn)品包個人住房組合貸款本、外幣活期一本通境外籌資轉(zhuǎn)貸債務(wù)重組非產(chǎn)品類聯(lián)名卡／加油IC卡企業(yè)終端托收承付。。。583.帳戶(Account)主題帳戶的定義：

帳戶是金融機構(gòu)與客戶之間針對某種特定產(chǎn)品或服務(wù)而簽立的契約關(guān)系帳戶的實質(zhì)是一種合約（Contract）。銀行提供了某種產(chǎn)品（Product）或某種服務(wù)（Service），并給出了這種產(chǎn)品或服務(wù)的報價（Quotation），客戶（Customer）經(jīng)過申請（Application）和還價（Bargain）后接受了該種產(chǎn)品或服務(wù)，這時，銀行就同客戶達成了一個協(xié)議（Agreement），這個協(xié)議就是帳戶。59包括多種類型帳戶，例如儲蓄帳戶、支票帳戶、定期存款帳戶、退休基金帳戶、貸款帳戶、信用卡帳戶、保險帳戶等。和其他主題都有關(guān)聯(lián)3.帳戶主題的主要特征帳戶這種客戶和金融機構(gòu)之間的合約可能是面向利息的（貸款和存款等金融產(chǎn)品），也可能是面向費用的(保險箱，投資，保險等金融服務(wù))。603.帳戶(Account)分類帳戶存款帳戶流動帳戶貸款帳戶定期活期定期活期金融帳戶投資帳戶保險箱帳戶613.帳戶主題的主要實體623.國內(nèi)銀行帳戶分類示例帳戶外部帳內(nèi)部帳資金帳戶投資帳戶虛擬帳戶存款帳戶貸款帳戶流動帳戶活期活期定期定期保證類結(jié)算類咨詢類保管類整整、整零、零整、存本取息、教育儲蓄、華僑等活期、定活、協(xié)定存款、通知存款當(dāng)承兌匯票、信用證、保函等信用卡發(fā)放還款貸款展期以貸還貸額度貸款非表外代貸種63是party主題的子類型金融機構(gòu)的分支機構(gòu)及業(yè)務(wù)單元可以是正式組織：分行、分支機構(gòu)、部門也可以是非正式組織：銷售區(qū)域、團隊等4.內(nèi)部組織主題內(nèi)部組織的定義：

是指金融機構(gòu)的內(nèi)部組織和業(yè)務(wù)單元，包括：分行、呼叫中心、銷售區(qū)域、團隊等等。同時，能夠建立各組織單元之間的關(guān)系。644.內(nèi)部組織主題主要特征包括所有的組織類型以及它們的相互關(guān)系提供層次和矩陣結(jié)構(gòu)

和當(dāng)事人、渠道、地理位置、產(chǎn)品、帳戶、事件、行銷活動等主題有關(guān)聯(lián)

分行1分行2分行4地理位置1地理位置2銀行分行3市場區(qū)域1市場區(qū)域265“交易”概念的外延事件可能與帳戶相關(guān)，也可能與帳戶無關(guān)。事件可能與資金相關(guān)，也可能與資金無關(guān)。5.事件(Event)主題事件的定義：

事件（EVENT）是一種資金或非資金的活動，可能需要也可能不需要銀行與客戶的直接接觸，它記錄了詳細(xì)的行為和交易數(shù)據(jù)。包括存款、提款、付款、信用/借記卡年費、利息和費用、投訴、產(chǎn)品查詢、地址查詢、余額查詢、市場調(diào)查、網(wǎng)上交易等。665.事件主題主要特征包含資金或非資金事件由銀行或客戶發(fā)起若干客戶事件可以組成一個事務(wù)事件有相關(guān)的交易代碼與其他主題有密切關(guān)聯(lián)

67聯(lián)系事件客戶或潛在客戶，與金融機構(gòu)或金融機構(gòu)的商戶之間的各種聯(lián)系行為。（如客戶投訴）金融事件任何與資金相關(guān)的事件。（如取款）帳戶事件任何與帳戶相關(guān)的事件。（如帳戶凍結(jié)、解凍等）5.事件分類方法685.事件主題主要實體696.地理位置(Location)主題

包括地理區(qū)域及它們之間的聯(lián)系。地址可以是物理地址（如城市、街道等），也可以是電話號碼或電子郵件地址等。地理位置的定義：

地理位置(Location)是指金融機構(gòu)希望關(guān)注或考察的任何地理區(qū)域和地址。如國家、省份、城市、縣、鄉(xiāng)村等。70是金融機構(gòu)用以獲取客戶、保持客戶、爭取潛在客戶所使用的市場行為。是金融機構(gòu)的產(chǎn)品和市場形象對客戶有組織的展示包括非行銷的一些市場行為，如對欺詐的偵測與防范等7.行銷活動(Campaign)主題行銷活動的定義：

行銷活動是銀行對客戶開展的一系列的促銷事件以及相應(yīng)的策略和規(guī)劃活動的組合。717.行銷活動主題的主要特征包括從策略到執(zhí)行的多層次的市場活動。大型的或有目標(biāo)的活動與成本、收入、日期等有關(guān)與其他主題關(guān)聯(lián)行銷策略行銷事件市場計劃產(chǎn)品定位地理位置選擇渠道選擇行銷渠道行銷收益組織機構(gòu)客戶回應(yīng)廣告投入和實施面向公眾的行銷事件面向目標(biāo)市場的行銷事件分類行銷活動主題視圖72渠道（CHANNEL）是銀行與客戶進行交互和接觸的手段和方法，通過它客戶與金融機構(gòu)發(fā)生交易并交流很多的信息。8.渠道(Channel)主題渠道一般包括:ATM、分行柜臺、電話、POS、呼叫中心、電視、廣播、報紙、網(wǎng)絡(luò)、信件等。738.渠道主題的主要特征包括多種類型，只要是銀行與客戶的聯(lián)系工具都可以成為一個渠道。能夠考察渠道的分布和使用情況。和其他主題密切關(guān)聯(lián)。748.渠道主題的主要實體758.國內(nèi)銀行渠道分類示例有形渠道柜臺,ATM,POS…虛擬化渠道手機銀行、網(wǎng)上銀行…企業(yè)客戶終端系統(tǒng)大眾媒體一對一營銷渠道

Email,Mail…76其他相關(guān)內(nèi)容還有其它的相關(guān)內(nèi)容：帳戶申請（application）

包括帳戶的申請條件和過程產(chǎn)品報價（quotation）

金融機構(gòu)針對客戶對某種特定產(chǎn)品的報價，同時作為帳戶申請的限制條件。隱私（privacy） Party不愿公開的一些信息

77NCRFS-LDM小結(jié)FS-LDM集成了國際先進銀行科學(xué)的、先進的管理經(jīng)驗，可以幫助建行加快與國際商業(yè)銀行接軌。FS-LDM具有很大的可擴展性和靈活性。FS-LDM對數(shù)據(jù)倉庫的物理數(shù)據(jù)模型（PDM）的設(shè)計具有指導(dǎo)作用，可以最大程度的縮短開發(fā)周期。78TeradataFS-LDM介紹主要內(nèi)容邏輯數(shù)據(jù)模型基本概念NCR

FS-LDM

LDM定制化工作步驟79NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧80NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧81準(zhǔn)備工作1—組建團隊

銀行領(lǐng)導(dǎo)

NCR領(lǐng)導(dǎo)應(yīng)用小組NCR人員

銀行人員數(shù)據(jù)建模小組

NCR人員(2~4)銀行人員(2~4)項目總監(jiān)

銀行項目經(jīng)理

NCR項目經(jīng)理項目經(jīng)理

資深業(yè)務(wù)顧問資深系統(tǒng)架構(gòu)師

資深模型顧問資深技術(shù)顧問NCR專家顧問組

業(yè)務(wù)專家管理分析人員資深技術(shù)人員銀行后援支持組技術(shù)人員：熟悉業(yè)務(wù)系統(tǒng)溝通能力強理解數(shù)據(jù)業(yè)務(wù)人員：熟悉業(yè)務(wù)規(guī)則掌握實際運作確認(rèn)規(guī)范和定義數(shù)據(jù)規(guī)范小組NCR人員(1~2)

銀行人員(2~3)ETL小組NCR人員

銀行人員黃色部分是在數(shù)據(jù)倉庫項目組中和LDM建設(shè)相關(guān)的人員82準(zhǔn)備工作2—收集資料系統(tǒng)介紹包括系統(tǒng)架構(gòu)、主要設(shè)計思想以及和其他系統(tǒng)的關(guān)系等。系統(tǒng)數(shù)據(jù)字典有完整的數(shù)據(jù)字典（含字段說明）供分析用。樣本數(shù)據(jù)驗證重要的、復(fù)雜的業(yè)務(wù)規(guī)則，幫助分析數(shù)據(jù)的使用規(guī)則。如果涉及到多個系統(tǒng)，應(yīng)該保證各系統(tǒng)數(shù)據(jù)之間的同步性。83準(zhǔn)備工作3—確定范圍數(shù)據(jù)源范圍客戶化工作會涉及幾個源業(yè)務(wù)系統(tǒng)？樣本數(shù)據(jù)會選擇多少機構(gòu)、多長時間的數(shù)據(jù)？提交物客戶化工作結(jié)束之后的提交物主要包括哪些？84準(zhǔn)備工作—提交物源業(yè)務(wù)系統(tǒng)介紹材料

樣本數(shù)據(jù)報送表組織架構(gòu)建議和分工85NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧86項目組交流研討NCRFS-LDM產(chǎn)品培訓(xùn)

NCR資深建模專家就FS-LDM進行詳細(xì)的介紹，主要包括數(shù)據(jù)模型的一些基本概念、常用的建模方法、FS-LDM各主題的定義和主要內(nèi)容、關(guān)鍵實體和屬性描述等?？蛻艋杏憥椭椖拷M所有成員清楚地了解客戶化過程，明確小組的工作方式和主要工作目標(biāo)、任務(wù)，并且共同制定詳細(xì)工作方式，才能夠保證后續(xù)工作的順利展開。就術(shù)語達成共識確定LDM定位和作用確定實施策略制定詳細(xì)工作方式87交流研討—提交物培訓(xùn)材料

學(xué)習(xí)資料88NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧89分析源系統(tǒng)清晰了解現(xiàn)狀為客戶化提供基礎(chǔ)介紹源業(yè)務(wù)系統(tǒng)系統(tǒng)架構(gòu)/設(shè)計思想業(yè)務(wù)功能/重要流程系統(tǒng)定位和其他系統(tǒng)的關(guān)系分析整理數(shù)據(jù)結(jié)構(gòu)了解每個表的用途分析每個字段的含義整理數(shù)據(jù)結(jié)構(gòu)歸納分類數(shù)據(jù)表分析樣本數(shù)據(jù)分析數(shù)據(jù)的填寫規(guī)則驗證業(yè)務(wù)規(guī)則查詢某種規(guī)律關(guān)鍵點：有效的問題反饋機制完備的數(shù)據(jù)資料和文檔90源業(yè)務(wù)系統(tǒng)分析—提交物源業(yè)務(wù)系統(tǒng)介紹數(shù)據(jù)結(jié)構(gòu)整理數(shù)據(jù)字典整理數(shù)據(jù)表分類問題跟蹤表91NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧92客戶化模型1—框架設(shè)計基于NCR的FS-LDM，根據(jù)所設(shè)定的目標(biāo)和數(shù)據(jù)范圍，確定需要建設(shè)的主題范圍，構(gòu)建LDM的原型框架。LDM原型框架決定數(shù)據(jù)倉庫的數(shù)據(jù)組織原則和基本形式，也決定了數(shù)據(jù)倉庫的應(yīng)用范圍和應(yīng)用模式。 藍本93客戶化模型2—模型詳細(xì)設(shè)計以上工作須有業(yè)務(wù)人員和熟悉業(yè)務(wù)系統(tǒng)的技術(shù)人員的參與和配合基于LDM原型框架，進行各主題的詳細(xì)設(shè)計，主要任務(wù)包括：－創(chuàng)建各主題的實體和屬性，并進行盡可能詳細(xì)、準(zhǔn)確的定義和說明；－建立各實體間的關(guān)系；盡可能準(zhǔn)確地體現(xiàn)業(yè)務(wù)規(guī)則；－建立主題之間的關(guān)聯(lián)，參照業(yè)務(wù)需求對實體和屬性進行調(diào)整。設(shè)計過程中也需要對相關(guān)代碼表進行整理，建立主外鍵關(guān)系；94客戶化模型2—統(tǒng)一業(yè)務(wù)定義在詳細(xì)了解FS-LDM的基礎(chǔ)上，通過對源系統(tǒng)相關(guān)信息的了解和整理工作，IT人員和業(yè)務(wù)人員應(yīng)該對一些重要的業(yè)務(wù)元素統(tǒng)一定義，包括：產(chǎn)品渠道當(dāng)事人協(xié)議事件……及時確認(rèn)！95客戶化模型3—完善和回顧（1）與熟悉業(yè)務(wù)系統(tǒng)的技術(shù)人員進行交流和探討：—是否正確理解了原業(yè)務(wù)系統(tǒng)的數(shù)據(jù)

—是否有重要的數(shù)據(jù)被遺漏—實體之間的關(guān)系是否正確（2）與業(yè)務(wù)專家進行模型的回顧和檢討：

—是否能夠幫助實現(xiàn)業(yè)務(wù)需求—是否能夠很容易地理解—重要的業(yè)務(wù)規(guī)則是否得以體現(xiàn)

—回答、解決問題是否方便（3）對數(shù)據(jù)主題、實體、屬性進行確認(rèn)和完善；可能需要多次的討論和交流96客戶化模型—提交物概念模型框架模型模型命名規(guī)范客戶化后LDM問題跟蹤表97NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧98模型的驗證技術(shù)角度：

—是否符合建模規(guī)范

—是否有足夠的文檔支持業(yè)務(wù)角度：

—選取不同的業(yè)務(wù)需求，從不同的角度對模型進行驗證；

—通過應(yīng)用需求驗證，評估數(shù)據(jù)組織的合理性；驗證和評估結(jié)果將成為調(diào)整、完善模型的依據(jù)。99客戶化模型—提交物模型驗證文檔驗證后LDM

模型說明文檔100NCR邏輯數(shù)據(jù)模型客戶化方法論FS－LDM介紹客戶化研討講解模板產(chǎn)品當(dāng)事人協(xié)議事件渠道內(nèi)部機構(gòu)應(yīng)用驗證數(shù)據(jù)驗證合理性驗證規(guī)范驗證客戶化FS-LDM前期準(zhǔn)備項目組交流研討分析源系統(tǒng)統(tǒng)一業(yè)務(wù)定義模型驗證組建團隊收集資料確定范圍介紹源業(yè)務(wù)系統(tǒng)分析整理數(shù)據(jù)結(jié)構(gòu)分析樣本數(shù)據(jù)框架設(shè)計模型詳細(xì)設(shè)計完善和回顧101模型的實施確定數(shù)據(jù)類型，建立PDM；進行數(shù)據(jù)映射；制定抽取策略；轉(zhuǎn)入ETL工作開發(fā)基礎(chǔ)應(yīng)用；進行用戶培訓(xùn)和推廣；制定下階段工作目標(biāo)和范圍；102一個好的LDM應(yīng)該是……中性的，共享的：不針對某個特別的應(yīng)用而設(shè)計；靈活的，可擴展的：能以第三范式存放最詳盡的數(shù)據(jù)，業(yè)務(wù)發(fā)生變化時易于擴展，適應(yīng)復(fù)雜的實際業(yè)務(wù)情況；穩(wěn)定的，經(jīng)得起考驗的：能夠在很長時間內(nèi)保持穩(wěn)定性，回答不斷產(chǎn)生、不斷變化且無法預(yù)先定義的業(yè)務(wù)問題；規(guī)范的，易懂的：使用業(yè)務(wù)語言進行模型設(shè)計，易于讓業(yè)務(wù)人員理解和使用，有助于IT和業(yè)務(wù)部門人員的溝通；103成功關(guān)鍵要素對源業(yè)務(wù)系統(tǒng)的了解完備的文檔/數(shù)據(jù)資料學(xué)習(xí)溝通能力有效的問題解決機制和確認(rèn)機制目23456TeradataFS_LDM模型介紹IBMIIW模型介紹維度模型設(shè)計第三范式模型設(shè)計匯聚數(shù)據(jù)財富

挖掘潛力無限錄數(shù)據(jù)建模導(dǎo)論1SysbaseIWS模型介紹7案例-模型案例說明什么是IIW模型？IAA/IIW的保險業(yè)務(wù)數(shù)據(jù)模型(BDM)提供企業(yè)級的、通用和靈活的保險業(yè)務(wù)模型，而且保證業(yè)務(wù)人員可以方便使用。它獨立于具體的保險業(yè)務(wù)和保險機構(gòu)，通過模型的本地化和客戶化，來滿足某個具體的保險企業(yè)的使用。這些業(yè)務(wù)數(shù)據(jù)模型也與技術(shù)手段相脫離，專注為業(yè)務(wù)建模和業(yè)務(wù)分析提供一個穩(wěn)定可用的基礎(chǔ)平臺。BDM由主題區(qū)域（SubjectArea）組成，主題區(qū)域分為2類，一類是：主視圖（MainView），主要表示屬于該主題區(qū)域的類（Type）、屬性（Attribute）以及它們的關(guān)系；另一類是：外視圖（ExternalView）主要表示和其他主題區(qū)域的關(guān)系。主視圖-主題內(nèi)部關(guān)系，外視圖-多個主題間的關(guān)系IIW主題區(qū)域介紹（1）賬戶和資金（Account&Fund）包括能夠支持保險公司構(gòu)建運營上需要的各種賬戶。賬戶種類包括客戶賬戶、準(zhǔn)備金賬戶和資金。

活動（Activity）活動模塊對被建模的保險公司有關(guān)的利益方的各種不同的活動給出了定義，特別是在承保和理賠管理領(lǐng)域里的一些活動。在承保過程中，被建模的保險公司需要對基于被保險人在職業(yè)和個人生活兩方面從事的相關(guān)活動了解存在的風(fēng)險。例如，一個保險公司可以決定不為某一行業(yè)承保，或不為某些愛好承保，或因增加的風(fēng)險而要求更多的保險費。在理賠管理過程中，被建模的保險公司需要了解引起賠案的損失事件的背景環(huán)境。活動應(yīng)描述不同的當(dāng)事方在損失事件發(fā)生時的活動。這些活動的有效性將根據(jù)保險合同中所規(guī)定的條款而定，如果該條件不符合保險合同的規(guī)定，賠償將不予以支付

評估與狀況（AssessmentandCondition）包括情況、醫(yī)療情況、物品情況、地點情況、社交活動情況、經(jīng)濟的評估和用于市場分析的評分。

業(yè)務(wù)模型對象(BusinessModelObject)定義了在BDM所有對象的共同的特征。

類別(Catagory)將對象按照給定的條件組織在一起的結(jié)構(gòu)。

IIW主題區(qū)域介紹（2）理賠（Claim）對相關(guān)保單提出支付受益的申請。

聯(lián)系點和偏好（ContactPoint&Preference）包括了地址、電話號碼、電子郵件地址和優(yōu)先選擇的聯(lián)系點。

事件（Event）包括危險的自然現(xiàn)象或在理賠中典型的事故。

財務(wù)處理（FinancialTransaction）包括應(yīng)付款項和支付（進或出）。

資金計劃與管理（MoneyProvision）在合同上商定的或在理賠結(jié)算中所涉及的單次或多次付款計劃。

當(dāng)事方（Party）包括了人、機構(gòu)組織、角色和當(dāng)事方的名稱。

地點（Place）是地理位置的細(xì)分，例如街道、城市、省和被國家認(rèn)為是有特別的風(fēng)險的或有市場吸引力的。

IIW主題區(qū)域介紹（3）

注冊信息（Registration）當(dāng)事方在官方的登記或其他業(yè)務(wù)上的實情。例如，社會保障號、護照、車輛標(biāo)識號、產(chǎn)品注冊號。

規(guī)范，產(chǎn)品和協(xié)議（Specification,Product&Agreement）包括保險公司銷售產(chǎn)品的規(guī)范，各種保險公司和客戶或業(yè)務(wù)伙伴簽定的協(xié)議。

標(biāo)準(zhǔn)文本和通訊（StandardTextandCommunication）包括了預(yù)先定義了的文檔規(guī)格書、一般文檔和與客戶聯(lián)系的記錄。

類型（Type）一個相互排它的分類方法，將對象的性質(zhì)歸類到一個類（class）。IIW模型圖標(biāo)說明基本實體：在類型層次結(jié)構(gòu)中的根類型(例如：一個基本實體不依賴于其層次結(jié)構(gòu)中更高層的類型)兩個基本實體的關(guān)聯(lián)。一個關(guān)聯(lián)實體可以有一個或多個種類實體在類型層次結(jié)構(gòu)中高層類型的子類。在該層次結(jié)構(gòu)中，類型間相互不重疊。關(guān)聯(lián)實體的子類。它的名稱表示了關(guān)聯(lián)的種類。帳戶（Account）是帳戶和基金主題區(qū)域的基本實體，貨幣資金帳戶實體的子類負(fù)債帳戶是子類實體；帳戶關(guān)聯(lián)實體（AccountRlship）表示了各帳戶之間關(guān)聯(lián)關(guān)系的抽象實體，帳戶分配實體（AccountAllocation）是帳戶金融資產(chǎn)關(guān)聯(lián)實體（account-financialassetrlship）的子類實體。相關(guān)文檔介紹，詳見附件目23456TeradataFS_LDM模型介紹IBMIIW模型介紹維度模型設(shè)計第三范式模型設(shè)計匯聚數(shù)據(jù)財富

挖掘潛力無限錄數(shù)據(jù)建模導(dǎo)論1SysbaseIWS模型介紹7案例-模型案例說明113IWS數(shù)據(jù)模型說明——主題核心主題：LifePolicyEventLifeClaimTransactions關(guān)鍵度量主題：LifePolicyKeyMeasuresLifePolicyCostsKeyMeasuresLifeAgencyChannelKeyMeasuresLifeAgentChannelKeyMeasuresLifeProductCostsKeyMeasuresLifeUnderwritingCostsKeyMeasuresLifeClaimSummary（實際上也是KeyMeasures）其他應(yīng)用主題視圖：LifeQuotations&ProposalsLifeNewBusiness114LifePolicyKeyMeasuresLifeInsuredParticipantProfileLifeInsuredParticipantProfileLifePolicyEvent115LifeAgencyChannelKeyMeasuresInsuranceAgencyProfileLifeAgentChannelKeyMeasuresInsuranceAgentProfile116LifeInsuranceProductLifeProductCostsKeyMeasures通過分析，IWS模型主要由四類實體構(gòu)成：概貌類表：存儲實體歷史信息；事件類表：存儲明細(xì)交易信息；匯總類表：存儲不同視角指標(biāo)匯總信息，粒度一般到保單、責(zé)任或者代理人（機構(gòu)）；公用維度表：分為有業(yè)務(wù)含義的實體快照信息、或基礎(chǔ)公共信息；CustomerProfileInsuranceAgency代理機構(gòu)Geography位置Demography人口統(tǒng)計特征BehaviorScores行為FinancialScores財務(wù)Product產(chǎn)品Psychographics購買特征（消費行為）SinceDate相關(guān)行為開始日期BeginDate初始日期EndDate結(jié)束日期Assets資產(chǎn)Policy保單PolicyRating相關(guān)費率PolicyLifeCyclestatus保單狀態(tài)ApplicationDate申請PaymentCat支付InsuredParticipantLifePolicyKeyMeasureMaturityDate到期/滿期日期DeterminationDate其他重要日期Currency貨幣IWS數(shù)據(jù)模型說明——保單關(guān)鍵度量子模型個險業(yè)務(wù)分析-核心表結(jié)構(gòu)示例IWS_TK(1)數(shù)據(jù)模型是一個簡化版本的IWS模型，具體來說：（1）沒有概貌類表，不存儲歷史信息，多簡化為維度表，如保單、客戶、代理人；（2）僅包含核心的保單事件表，對于理賠沒有做相關(guān)事件表（3）沒有KPI度量表，只有幾個匯總表，粒度與IWS度量表相比較，粒度較粗，且針對需求設(shè)計，多以窄表的形式呈現(xiàn)；A表存儲的內(nèi)容主題相關(guān)性不足，難以理解；（4）實際應(yīng)用中，派生出多個F表，分別用于保全、承保分析或統(tǒng)計使用；業(yè)務(wù)應(yīng)用需求源系統(tǒng)表級、字段級分析；主要分析現(xiàn)有模型數(shù)據(jù)質(zhì)量，聽取用戶修改意見邏輯分類，各主題功能定位映射篩選分析數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型固定報表、管理駕駛艙、KPI需求源系統(tǒng)調(diào)研IWS參考模型LifeAgencyChannelKeyMeasuresLifeAgentChannelKeyMeasuresLifeCustomerKeyMeasuresLifeClaimSummaryLifeClaimTransactionsLifePolicyEventLifePolicyCostsKeyMeasuresLifePolicyKeyMeasuresLifeUnderwritingCostsKeyMeasuresLifeProductCostsKeyMeasuresIWS_TK_LDM數(shù)據(jù)倉庫CSL邏輯模型建設(shè)路徑整理出需求中涉及的指標(biāo)和維度矩陣；分析這些指標(biāo)歸屬的主題；分析現(xiàn)有模型核心表字段，將其數(shù)據(jù)質(zhì)量差、含義不明確、字段借用、含義與字段名稱錯誤等問題找出來，予以調(diào)整；分析核心表功能定位，收集IT多年來對這些表的修改意見；了解IWS模型設(shè)計思想，并以此為藍圖，客戶化泰康的數(shù)據(jù)模型；對于老BI客戶化不足之處進行擴充與完善；數(shù)據(jù)模型主題描述-保單事件保單事件存儲交易級別明細(xì)數(shù)據(jù)；粒度可以到保單、責(zé)任、渠道、代理人、中支；事件范圍涵蓋了新契約、承保、核保、保全、理賠、代理人職級變動等信息；寬表結(jié)構(gòu)，不同事件都有部分字段空值，以存儲空間換后續(xù)的處理效率；且便于運維管理；該表是計算指標(biāo)最為核心的基礎(chǔ)表；由于不存儲歷史信息，概貌表簡化為常規(guī)維度表；歷史信息的snap表以較多的存儲空間換來了歷史信息，指標(biāo)計算與etl加工較為方便，二期繼續(xù)保留；數(shù)據(jù)模型主題描述-關(guān)鍵指標(biāo)度量保單關(guān)鍵指標(biāo)度量一般存儲粒度比保單事件稍粗，不到交易層面；根據(jù)實際需求情況，保單關(guān)鍵指標(biāo)度量存儲不同粒度指標(biāo)匯總信息；只存儲本月或者本日數(shù)據(jù)，一般不做MTD或者YTD，這些指標(biāo)將在集市層中計算，ETL加工復(fù)雜度降低，且ETL處理效率會得到很大提高；老BI中的A表一般不再使用（除了個別復(fù)雜的指標(biāo)，如繼續(xù)率），涉及指標(biāo)將分拆到語義層和集市層處理；產(chǎn)品、客戶、代理人、代理機構(gòu)涉及關(guān)鍵指標(biāo)度量存儲的粒度與各主題相關(guān)，粒度相對來，很細(xì)，足夠常規(guī)報表統(tǒng)計需求；本期項目中，諸多指標(biāo)，將根據(jù)指標(biāo)主題性質(zhì)，進行歸來，納入到不同主題的關(guān)鍵指標(biāo)度量表中；這些關(guān)鍵指標(biāo)度量表作用就是將常規(guī)指標(biāo)提供計算，并存儲下來，供集市層指標(biāo)簡單匯總使用；應(yīng)用中，若干需要查詢細(xì)粒度的指標(biāo)數(shù)據(jù)，可以直接查詢這些度量表度量表粒度相比事件表，一般要稍粗一些保單事件示例：模型基本結(jié)構(gòu)解析1221.公共維度3.保單事件擴展、屬性2.保單事件日期4.保單基礎(chǔ)指標(biāo)5.保單擴展維度數(shù)據(jù)模型信息加工原則核心維表處理規(guī)則規(guī)則1核對維度表在多處使用，且影響范圍較廣，因此不做大的改動，對于其中含義不明的字段、沒有什么用處的字段、空值較多的字段進行排查，必要時可以核對多個維度表；核心保單事件表處理規(guī)則規(guī)則2該表示IWS模型的精髓，將保險業(yè)務(wù)進行簡單的逆范式處理，存儲保單各類操作事件，該表不做大的改變，繼續(xù)沿用這一框架；檢查個別字段數(shù)據(jù)質(zhì)量問題MQT表、其他F表處理規(guī)則規(guī)則3根據(jù)IWS模型的涉及初衷，建立的某個主題的細(xì)粒度度量表，存儲相關(guān)業(yè)務(wù)指標(biāo)；指標(biāo)的來源基于本期需求，同時根據(jù)經(jīng)驗，派生出一些中間指標(biāo)，用于計算更為復(fù)雜的指標(biāo)；主題的劃分參考IWS，根據(jù)實際需要進行裁剪；公共類表處理規(guī)則規(guī)則4對于機構(gòu)、產(chǎn)品、日期、月份、渠道處理規(guī)則，沿用以前的源表；個別字段進行去除，派生價值版塊中涉及的一些公共維度，數(shù)據(jù)來源于D表，做新的報表時，使用同類的V88，這樣結(jié)構(gòu)清晰，D表用于CSL，V88統(tǒng)一用于集市；CSL層相關(guān)問題124CSL層在數(shù)據(jù)架構(gòu)中是如何定位的？主要解決什么樣的問題？公共維度和指標(biāo)的單一視圖，解決：a、指標(biāo)維度的一致性；b、提高應(yīng)用開發(fā)和響應(yīng)效率；通用語義層細(xì)化到交易號粒度，與EDW的主要區(qū)別有哪些？在EDW中，沒有維度和指標(biāo)的概念，主要職責(zé)是合理地組織標(biāo)準(zhǔn)化數(shù)據(jù)；在CSL中，公共維度和指標(biāo)按照保險核心價值鏈進行主題分類組織，這些維度和指標(biāo)按照統(tǒng)一的算法邏輯進行標(biāo)準(zhǔn)化實現(xiàn)和數(shù)據(jù)加載；通用語義層的設(shè)計思路和步驟是什么？你們后邊打算怎么做這一塊的工作？設(shè)計思路：基于保險核心價值鏈的維度總線架構(gòu)模型，數(shù)據(jù)粒度到交易號，建立模型之間的簡單關(guān)聯(lián)關(guān)系；通用語義層設(shè)計基本依據(jù)：I、基于保險核心價值鏈分析和應(yīng)用需求分析的公共維度和基礎(chǔ)指標(biāo)構(gòu)成的維度指標(biāo)矩陣；II、基于事件梳理和對象梳理，構(gòu)造業(yè)務(wù)對象標(biāo)準(zhǔn)維、事務(wù)粒度事實表、累計快照事實表、交易行為事實表等；客戶化的策略和步驟，見CSL客戶化方法論CSL層相關(guān)問題（續(xù)）125通用語義層對于一些復(fù)雜的特殊指標(biāo)是如何考慮的，如已賺保費、滿期賠付率、未決賠款等？對于復(fù)雜的特殊指標(biāo)，建立公共匯總集市，如已賺保費、未決賠款、滿期賠付率等，為相關(guān)應(yīng)用提供一致的指標(biāo)數(shù)據(jù)如何在后期的開發(fā)和運維過程中持續(xù)發(fā)展和完善通用語義層？堅持發(fā)展和完善通用語義層的基本原則；制定模型升級維護管理辦法；專人管理模型升級維護；對于新增的公共維度和基礎(chǔ)指標(biāo)，分析與現(xiàn)有主題、維度、指標(biāo)之間的關(guān)系，對于相同主題和粒度的，擴展現(xiàn)有模型；如果現(xiàn)有模型無法合理容納，考慮建立新的主題模型；目23456TeradataFS_LDM模型介紹IBMIIW模型介紹維度模型設(shè)計第三范式模型設(shè)計匯聚數(shù)據(jù)財富

挖掘潛力無限錄數(shù)據(jù)建模導(dǎo)論1SysbaseIWS模型介紹7案例-模型案例說明內(nèi)容提綱內(nèi)容演講人備注第一部分：通用語義層概述Ⅰ：回顧以往數(shù)據(jù)倉庫模型設(shè)計思路Ⅱ：什么是通用語義層Ⅲ：通用語義層能解決什么問題Ⅳ：通用語義層有哪些特點第二部分：如何設(shè)計通用語義層第三部分：項目案例說明內(nèi)容提綱內(nèi)容演講人備注第一部分：通用語義層概述Ⅰ：回顧以往數(shù)據(jù)倉庫模型設(shè)計思路Ⅱ：什么是通用語義層Ⅲ：通用語義層能解決什么問題Ⅳ：通用語義層有哪些特點第二部分：如何設(shè)計通用語義層第三部分：項目案例說明

回顧數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)演變過程1.0實施方法特點：源數(shù)據(jù)一般直接抽取到緩沖層，緩沖層邏輯上在細(xì)分為全量區(qū)、增量區(qū)；基于緩沖層（當(dāng)時叫ODS層）加工數(shù)據(jù)集市，集市分為明細(xì)匯總表、高粒度的匯總表；用戶應(yīng)用多集中在報表統(tǒng)計；個險銀保團險電銷財務(wù)接口文件緩沖層，（ODS）個險、銀保、團險、財務(wù)、電銷等數(shù)據(jù)集市（DM）明細(xì)匯總表，高度匯總表固定報表靈活查詢多維分析1.5實施方法特點：緩沖層與數(shù)據(jù)集市模型設(shè)計思路與以往類似；整合層，參考了IBM的IIW、TD的FS_LDM模型，進行客戶化；或者據(jù)此設(shè)計公司內(nèi)部的企業(yè)模型；用戶應(yīng)用多樣化，充分利用BI工具分析功能；管理駕駛艙實際上是儀表盤+固定報表個險銀保團險電銷財務(wù)接口文件緩沖層，（ODS）個險、銀保、團險、財務(wù)、電銷等數(shù)據(jù)集市（DM）明細(xì)匯總表DM1，高度匯總表DM2固定報表靈活查詢多維分析整合層（DW）統(tǒng)一建模管理駕駛艙

IIIIVⅤ增量信息難以捕獲，造成模型設(shè)計難以保存歷史，造成了模型設(shè)計有些“四不象”，實際上并沒有學(xué)習(xí)到行業(yè)模型的精髓項目困難、困惑項目實施過程中遇到的困難、困惑ETL過程設(shè)計簡單，代理主鍵的使用、更新與維護混亂數(shù)據(jù)集市一般根據(jù)應(yīng)用來設(shè)計，集市表成“碎片”，且指標(biāo)多次重復(fù)計算，集市之間存在誤差（可能因為維度、指標(biāo)口徑不明確、加工頻度、刷新頻度、腳本錯誤等）數(shù)據(jù)集市根據(jù)實際需要分為明細(xì)匯總表、輕粒度匯總表、高度匯總表，至于為何這么分，并沒有講出所以然來III整合層按照范式的要求進行存儲，在計算集市時，非常的不方便，效率低下，因此常將一些常見的維度信息關(guān)聯(lián)好，存儲起來，集市計算時使用以往數(shù)據(jù)倉庫類項目模型設(shè)計成果示例當(dāng)事人事件協(xié)議集市模型，這里甚至沒有分層困惑~！當(dāng)前，數(shù)據(jù)倉庫最佳實踐之?dāng)?shù)據(jù)架構(gòu)2.0實施方法特點：總結(jié)以往項目經(jīng)驗，規(guī)劃出較為實用的一層，通用語義層，將基礎(chǔ)指標(biāo)的計算、維度梳理預(yù)處理，將多表關(guān)聯(lián)處理成冗余的寬表，解決實際問題；提煉建模方法論，指導(dǎo)項目實際操作；少走彎路。個險銀保團險電銷財務(wù)接口文件緩沖層，（緩沖區(qū)、轉(zhuǎn)換映射區(qū)、基礎(chǔ)數(shù)據(jù)區(qū)）個險、銀保、團險、財務(wù)、電銷等數(shù)據(jù)集市（DM）分主題匯總（考慮復(fù)用）、特定應(yīng)用匯總固定報表靈活查詢多維分析通用語義層（存儲明細(xì)數(shù)據(jù)、可多次復(fù)用的數(shù)據(jù)，解決維度與指標(biāo)一致性的問題）管理駕駛艙制式報告動態(tài)報表資產(chǎn)接口文件內(nèi)容提綱內(nèi)容演講人備注第一部分：通用語義層概述Ⅰ：回顧以往數(shù)據(jù)倉庫模型設(shè)計思路Ⅱ：什么是通用語義層Ⅲ：通用語義層能解決什么問題Ⅳ：通用語義層有哪些特點第二部分：如何設(shè)計通用語義層第三部分：項目案例說明通用語義層起源與BO通用語義層（CommonSemanticLayer），檢稱CSL，最早起源與BO，目的在于讓業(yè)務(wù)用戶能夠通過自己的業(yè)務(wù)術(shù)語，自由安全的訪問、分析以及分享信息的技術(shù)，其特點是：業(yè)務(wù)用戶自主操作提高用戶對于各種企業(yè)數(shù)據(jù)的操作體驗提供一致可信的數(shù)據(jù)，確保同一業(yè)務(wù)術(shù)語的引用能夠貫穿整個企業(yè)讓所有的商務(wù)智能工具都可以使用（只能用于BO）讓信息部門可以控制和確保信息訪問的安全性通用語義層帶來的價值簡潔一致的用戶體驗，讓業(yè)務(wù)用戶可以簡便的訪問企業(yè)內(nèi)的數(shù)據(jù)；減少企業(yè)的培訓(xùn)成本；保障業(yè)務(wù)用戶始終使用可信的信息業(yè)務(wù)用戶自創(chuàng)式創(chuàng)建各種商務(wù)智能的內(nèi)容可重用的查詢、計算、參數(shù)、過濾條件、值列表簡化用戶使用為普通用戶提供了一個簡化的界面，訪問復(fù)雜的企業(yè)數(shù)據(jù)降低BI項目的投入成本，保護現(xiàn)有IT數(shù)據(jù)投資擴展現(xiàn)有的BI平臺的安全模式支持多數(shù)據(jù)源的語義層，提高服務(wù)質(zhì)量支持完整BI項目生命周期，項目開發(fā)、測試、投產(chǎn)語義層與數(shù)據(jù)源的變化相同步支持和擴展數(shù)據(jù)庫的安全性預(yù)定義的可重用的查詢、參數(shù)、過濾、計算、值列表等給業(yè)務(wù)用戶帶來的價值給IT用戶帶來的價值可理解性差語義層過于復(fù)雜，難以理解，尤其是新老人員交替，溝通成本很高可復(fù)用性差語義層的設(shè)計成果不能在多個BI工具中使用，過于依賴BI工具.重用程度不高可擴展性差語義層的擴展于與分拆影響較大，難以后期維護，為了降低影響范圍，大多是在原來基礎(chǔ)上，新增其他功能，致其復(fù)雜度越來越高；BO中的通用語義層實踐中遇到了一系列的問題如何解決這些問題呢？即能夠享有通用語義層帶來的價值，又能夠規(guī)避這些問題。經(jīng)過敏思苦想、群策群力，終于有了答案。。。。敏思苦想群策群力奔走相告豁然開朗使用ETL的方式，將BO中的語義層搬到數(shù)據(jù)庫中，簡化加工邏輯、提供可擴展性和可復(fù)用性現(xiàn)在，我們來重新定義通用語義層通用語義層模型設(shè)計基于業(yè)務(wù)（如保險）核心價值鏈上的核心業(yè)務(wù)對象和業(yè)務(wù)事件，采用維度總線架構(gòu)思想來構(gòu)建；業(yè)務(wù)對象通常用維度實現(xiàn)，業(yè)務(wù)事件通常用事實表實現(xiàn)，按照事實表的不同類型分為：累計快照事實表、周期快照事實表、交易基礎(chǔ)事實表。通用語義模型設(shè)計面向管理決策和經(jīng)營分析，是公共維度和共性基礎(chǔ)指標(biāo)的實現(xiàn)載體，支持80%以上的共性應(yīng)用需求；通用語義模型設(shè)計采用維度化的逆范式設(shè)計模式，通常采用以下策略：預(yù)連接處理：按照總線架構(gòu)維度和事實表的要求，將分散在多張相關(guān)實體表的數(shù)據(jù)屬性進行預(yù)連接操作，使相關(guān)的維度盡可能組織在特定的維表或者事實表，如保單維、保單責(zé)任維、代理人維、客戶維、賠案維等；預(yù)計算處理：按照總線架構(gòu)維度和事實表的要求，對事實表中的基礎(chǔ)指標(biāo)進行加工計算，保證基礎(chǔ)指標(biāo)邏輯加工的“GoldenCopy”，如保單事件、核保事件、保全事件、查勘事件、理賠事件等；匯總處理：針對共性的復(fù)雜指標(biāo)，按