項目一 大數(shù)據(jù)數(shù)據(jù)建模

財務(wù)大數(shù)據(jù)分析

—大數(shù)據(jù)的數(shù)據(jù)建模學(xué)生在教師的指導(dǎo)下能夠應(yīng)用財務(wù)大數(shù)據(jù)分析的金蝶運(yùn)營魔方等幾種數(shù)據(jù)處理工具進(jìn)行建模和數(shù)據(jù)處理工作單元預(yù)期學(xué)習(xí)成果：目錄數(shù)據(jù)模型概論大數(shù)據(jù)的數(shù)據(jù)建模方法目錄數(shù)據(jù)模型概論大數(shù)據(jù)的數(shù)據(jù)建模方法什么是數(shù)據(jù)模型？數(shù)據(jù)模型就是數(shù)據(jù)組織和存儲方法，它強(qiáng)調(diào)從業(yè)務(wù)、數(shù)據(jù)存取和使用角度合理存儲數(shù)據(jù)。城市規(guī)劃圖書館藏規(guī)劃文件管理為什么需要數(shù)據(jù)模型？銷售采購生產(chǎn)倉庫計劃CRM質(zhì)量財務(wù)HROA電商后臺渠道公眾號各大電商平臺小程序物流微博號……客戶事業(yè)部產(chǎn)品消費(fèi)電子事業(yè)部MP3華強(qiáng)商貿(mào)上海聯(lián)華家樂福鴻華電器Pc電腦事業(yè)部手機(jī)Nb為什么需要數(shù)據(jù)模型？數(shù)據(jù)模型能夠促進(jìn)業(yè)務(wù)與技術(shù)進(jìn)行有效溝通，形成對主要業(yè)務(wù)定義和術(shù)語的統(tǒng)一認(rèn)識，具有跨部門、中性的特征，可以表達(dá)和涵蓋所有的業(yè)務(wù)。只有數(shù)據(jù)模型將數(shù)據(jù)有序的組織和存儲起來之后，大數(shù)據(jù)才能得到高性能、低成本、高效率、高質(zhì)量的使用。目錄數(shù)據(jù)模型概論大數(shù)據(jù)的數(shù)據(jù)建模方法大數(shù)據(jù)的數(shù)據(jù)建模方法實體關(guān)系(E-R)模型維度模型大數(shù)據(jù)的數(shù)據(jù)建模方法DataVault模型錨(Anchor)模型實體關(guān)系(E-R)模型E-R建模高層模型中層模型物理模型基于E-R構(gòu)建數(shù)據(jù)模型的過程數(shù)據(jù)采集層企業(yè)數(shù)據(jù)倉庫(EDW)規(guī)范化表3NF原子數(shù)據(jù)用戶可查詢數(shù)據(jù)發(fā)布BI應(yīng)用數(shù)據(jù)集市維度通常包含明細(xì)和匯總通常是部門級源系統(tǒng)E-R建模的特點E-R建模特點需要全面了解企業(yè)業(yè)務(wù)和數(shù)據(jù)實施周期非常長對建模人員的能力要求非常高維度模型維度模型事實表時間鍵用戶鍵優(yōu)惠券鍵產(chǎn)品鍵銷售數(shù)量銷售金額優(yōu)惠券維優(yōu)惠券鍵面額申請人批次批次名稱時間維時間鍵年季度月日用戶維用戶鍵姓名年齡國家省份市產(chǎn)品維產(chǎn)品鍵產(chǎn)品名稱產(chǎn)品描述一級類目二級類目選擇業(yè)務(wù)過程選擇粒度識別維度選擇事實星型模型基于維度模型的建模過程ETL系統(tǒng)源到目標(biāo)的轉(zhuǎn)換一致性維度規(guī)范化選擇不支持用戶查詢設(shè)計目標(biāo)吞吐量完整性與一致性BI應(yīng)用隨意查詢標(biāo)準(zhǔn)報表分析應(yīng)用數(shù)據(jù)挖掘統(tǒng)一API自助查詢展現(xiàn)區(qū)維度（星型模型或OLTP多維數(shù)據(jù)模型）原子數(shù)據(jù)和匯總數(shù)據(jù)按照業(yè)務(wù)過程組織使用統(tǒng)一一致性維度設(shè)計目標(biāo)方便實用查詢性能源系統(tǒng)日志爬蟲維度模型特點快速上手快速交付數(shù)據(jù)冗余量大靈活性較差維度模型的特點DataVault模型DataVault模型DataVault模型主要是建立一個可審計的基礎(chǔ)數(shù)據(jù)層，也就是需要有一個可以追述歷史和原子性的基礎(chǔ)層級，它并不要求對數(shù)據(jù)進(jìn)行過度的一致性處理和整合操作。DataVault面向細(xì)節(jié)可追蹤歷史綜合了3NF和星型模型滿足企業(yè)需求的適應(yīng)性DataVault模型構(gòu)成Hub：企業(yè)的核心業(yè)務(wù)實體Link：代表Hub之間的關(guān)系Satellite：是Hub的詳細(xì)描述內(nèi)容DataVault模型的特點更加靈活與可擴(kuò)展適合大規(guī)模抽取和處理數(shù)據(jù)ETL可設(shè)計和調(diào)度可快速生成業(yè)務(wù)分析所需的數(shù)據(jù)模型錨(Anchor)模型錨(Anchor)模型Anchor模型DataVault模型做了進(jìn)一步規(guī)范化處理，設(shè)計一個高度可擴(kuò)展的模型，其核心思想是所有的擴(kuò)展只是添加而不是修改，因此將模型規(guī)范到6NF，基本變成了K-V結(jié)構(gòu)化模型。Anchor模型可以獲取極大的可擴(kuò)展性，但也會增加非常多的查詢join操作。高度可擴(kuò)展6NFK-V結(jié)構(gòu)化過多Join查詢錨(Anchor)模型Anchors：代表業(yè)務(wù)實體Attributes