數(shù)據(jù)倉(cāng)庫(kù)中的ETL和Metadata

數(shù)據(jù)倉(cāng)庫(kù)中的ETL和Metadata第一頁(yè)，共三十四頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介元數(shù)據(jù)的實(shí)際問(wèn)題元數(shù)據(jù)與維護(hù)數(shù)據(jù)倉(cāng)庫(kù)第二頁(yè)，共三十四頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介第三頁(yè)，共三十四頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)是……數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、不可更新的(穩(wěn)定性)、隨時(shí)間不斷變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程W.H.Inmon第四頁(yè)，共三十四頁(yè)。元數(shù)據(jù)組成(Metadata)業(yè)務(wù)系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)展現(xiàn)工具ETLTargetDatabaseFront-EndTool數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)清洗數(shù)據(jù)加載數(shù)據(jù)匯總數(shù)據(jù)模型人事銷售庫(kù)存財(cái)務(wù)RDBMSODS/StagingAreaRDBMS數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市企業(yè)經(jīng)營(yíng)分析客戶關(guān)系管理業(yè)務(wù)流程分析財(cái)務(wù)分析Metadata外部系統(tǒng)StatisticsClusteringNeuralNetsArtificialIntelligence業(yè)務(wù)股東管理OLAP第五頁(yè)，共三十四頁(yè)?！熬S”Keys屬性Facts地點(diǎn)Table時(shí)間Table產(chǎn)品Table客戶TableManyRecords...第六頁(yè)，共三十四頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)不是……某種具體的產(chǎn)品簡(jiǎn)單的數(shù)據(jù)物理集中只能輸入而不能輸出的倉(cāng)庫(kù)報(bào)表中心可以一期到位的工程業(yè)務(wù)分析專家的替代品……第七頁(yè)，共三十四頁(yè)。術(shù)語(yǔ)解釋ETL（Extract/Transform/Loading）是數(shù)據(jù)從業(yè)務(wù)系統(tǒng)抽取轉(zhuǎn)化到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程Metadata可以理解成Dataaboutdata，關(guān)于數(shù)據(jù)的數(shù)據(jù)第八頁(yè)，共三十四頁(yè)。術(shù)語(yǔ)解釋OLAP（On-LineAnalyticalProcessing）面向分析的在線處理OLTP（On-LineTransactionalProcessing）面向交易的在線處理第九頁(yè)，共三十四頁(yè)。術(shù)語(yǔ)解釋數(shù)據(jù)集市則是范圍較小，面對(duì)單一主題或部門，同樣是為了查詢、報(bào)表、分析等目的進(jìn)行優(yōu)化ODS（OperationalDataStore）通常作為混合性可操作數(shù)據(jù)源StagingArea是數(shù)據(jù)處理區(qū)域，為了實(shí)現(xiàn)ETL過(guò)程的臨時(shí)存儲(chǔ)數(shù)據(jù)挖掘是通過(guò)一些數(shù)學(xué)方法對(duì)數(shù)據(jù)進(jìn)行深層次的分析從而發(fā)現(xiàn)其規(guī)律第十頁(yè)，共三十四頁(yè)。前端開(kāi)發(fā)ETL開(kāi)發(fā)需求/建模數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目三部曲第十一頁(yè)，共三十四頁(yè)。元數(shù)據(jù)的實(shí)際問(wèn)題第十二頁(yè)，共三十四頁(yè)。第十三頁(yè)，共三十四頁(yè)。倉(cāng)庫(kù)過(guò)程倉(cāng)庫(kù)操作轉(zhuǎn)換XML記錄型多維關(guān)系型業(yè)務(wù)信息軟件發(fā)布UML1.3對(duì)象OLAP數(shù)據(jù)挖掘信息可視化業(yè)務(wù)術(shù)語(yǔ)數(shù)據(jù)類型表達(dá)式鍵索引類型映射管理資源分析基礎(chǔ)對(duì)象模型舉例：CWM模型第十四頁(yè)，共三十四頁(yè)。第十五頁(yè)，共三十四頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)的整合性是基于元數(shù)據(jù)的統(tǒng)一ETL是數(shù)據(jù)倉(cāng)庫(kù)從業(yè)務(wù)系統(tǒng)獲得數(shù)據(jù)的必經(jīng)之路，元數(shù)據(jù)則是地圖建立可維護(hù)的數(shù)據(jù)倉(cāng)庫(kù)依賴很多因素，ETL/Metadata是非常重的兩大塊第十六頁(yè)，共三十四頁(yè)。CustomerCustomerNumberNameAddressComments建模工具CustomerTblCustomerIDNameAddressAddress1CommentsETL工具CustomerDetailsCustomerNumberNameAddressRemarks前端工具CustomerIDNameAddress1Address2Descr數(shù)據(jù)倉(cāng)庫(kù)客戶標(biāo)記，加前綴進(jìn)行區(qū)分對(duì)公和對(duì)私客戶客戶標(biāo)記，01打頭表示對(duì)公客戶，02打頭表示對(duì)私客戶無(wú)描述客戶標(biāo)記，01打頭表示對(duì)公客戶，02打頭表示對(duì)私客戶，03打頭表示海外客戶多個(gè)系統(tǒng)都包含元數(shù)據(jù)第十七頁(yè)，共三十四頁(yè)。不同的字段名補(bǔ)充字段業(yè)務(wù)定義不同CustomerCustomerNumberNameAddressComments建模工具CustomerTblCustomerIDNameAddressAddress1CommentsETL工具CustomerDetailsCustomerNumberNameAddressRemarks前端工具CustomerIDNameAddress1Address2Descr數(shù)據(jù)倉(cāng)庫(kù)客戶標(biāo)記，加前綴進(jìn)行區(qū)分對(duì)公和對(duì)私客戶客戶標(biāo)記，01打頭表示對(duì)公客戶，02打頭表示對(duì)私客戶無(wú)描述客戶標(biāo)記，01打頭表示對(duì)公客戶，02打頭表示對(duì)私客戶，03打頭表示海外客戶第十八頁(yè)，共三十四頁(yè)。哪份正確？正在使用哪份？應(yīng)該用哪份？CustomerCustomerNumberNameAddressComments建模工具CustomerTblCustomerIDNameAddressAddress1CommentsETL工具CustomerDetailsCustomerNumberNameAddressRemarks前端工具CustomerIDNameAddress1Address2Descr數(shù)據(jù)倉(cāng)庫(kù)第十九頁(yè)，共三十四頁(yè)。項(xiàng)目中經(jīng)常遇到的問(wèn)題元數(shù)據(jù)定義在業(yè)務(wù)層面難以在多個(gè)系統(tǒng)或部門間統(tǒng)一數(shù)據(jù)質(zhì)量的元數(shù)據(jù)被忽略需求難以確認(rèn)，而且在不斷變化對(duì)業(yè)務(wù)系統(tǒng)的元數(shù)據(jù)尚缺乏理解，就匆匆開(kāi)始開(kāi)發(fā)ETL過(guò)程，不斷返工第二十頁(yè)，共三十四頁(yè)。建議首先做選擇題，是否要先有模型再有數(shù)據(jù)倉(cāng)庫(kù)，然后決定元數(shù)據(jù)是否要統(tǒng)一結(jié)合業(yè)務(wù)系統(tǒng)文檔，對(duì)數(shù)據(jù)質(zhì)量做初步的評(píng)價(jià)，在ETL過(guò)程中引入校驗(yàn)點(diǎn)，然后不斷完善第二十一頁(yè)，共三十四頁(yè)。建議嘗試用簡(jiǎn)單的報(bào)表和公式跟用戶交流需求，分階段來(lái)凍結(jié)需求對(duì)業(yè)務(wù)系統(tǒng)清晰的理解，會(huì)減少歧義而且及早的發(fā)現(xiàn)問(wèn)題第二十二頁(yè)，共三十四頁(yè)。項(xiàng)目中經(jīng)常遇到的問(wèn)題項(xiàng)目周期不斷在壓縮、延遲中反復(fù)，開(kāi)發(fā)人員不再關(guān)心如何維護(hù)元數(shù)據(jù)的版本來(lái)自各種角落的元數(shù)據(jù)五花八門最終用戶過(guò)分依賴報(bào)表本身，而不是元數(shù)據(jù)技術(shù)人員對(duì)元數(shù)據(jù)期望過(guò)高，集中在理論層面第二十三頁(yè)，共三十四頁(yè)。建議當(dāng)項(xiàng)目壓力很大的時(shí)候，至少要做到分階段的元數(shù)據(jù)一致性根據(jù)項(xiàng)目的具體情況，制定元數(shù)據(jù)管理的策略及形式，簡(jiǎn)單的項(xiàng)目可以嘗試自行開(kāi)發(fā)元數(shù)據(jù)管理，對(duì)于倉(cāng)庫(kù)模型及ETL的參數(shù)進(jìn)行一些必要的管理第二十四頁(yè)，共三十四頁(yè)。建議提供給業(yè)務(wù)人員一個(gè)友好的元數(shù)據(jù)訪問(wèn)、查詢界面元數(shù)據(jù)的管理及標(biāo)準(zhǔn)尚未成熟，格式轉(zhuǎn)換、查詢、版本管理實(shí)現(xiàn)比較簡(jiǎn)單，并容易看到效果，進(jìn)一步的分析則應(yīng)該結(jié)合具體項(xiàng)目需求第二十五頁(yè)，共三十四頁(yè)。元數(shù)據(jù)與維護(hù)數(shù)據(jù)倉(cāng)庫(kù)第二十六頁(yè)，共三十四頁(yè)。LegalHROperationalDataSourcesDataSourcesDataWarehousemetadataExtract/Transform/LoadBusinessIntelligenceDataforAnalysisExecutiveInformationManagementReportingDailyReportingProductOperationalDataStoreFinancialCustomerStoreExtractTransformLoadExtractTransformLoadRealEstateDataQualitymetadataDataQualityEnterpriseMetadata第二十七頁(yè)，共三十四頁(yè)。項(xiàng)目一期開(kāi)發(fā)14個(gè)月ETL開(kāi)發(fā)了9個(gè)月3.5個(gè)版本最終還是沒(méi)有元數(shù)據(jù)二期……重做第二十八頁(yè)，共三十四頁(yè)。用元數(shù)據(jù)維護(hù)倉(cāng)庫(kù)及時(shí)發(fā)現(xiàn)系統(tǒng)變化找出需要調(diào)整的ETL程序給出倉(cāng)庫(kù)中數(shù)據(jù)和指標(biāo)的來(lái)源及規(guī)則調(diào)整倉(cāng)庫(kù)的數(shù)據(jù)模型促進(jìn)項(xiàng)目組成員的溝通監(jiān)控?cái)?shù)據(jù)質(zhì)量采用元數(shù)據(jù)跟用戶確認(rèn)新的需求第二十九頁(yè)，共三十四頁(yè)。小結(jié)第三十頁(yè)，共三十四頁(yè)。ETL/元數(shù)據(jù)配合整體的建設(shè)策略從簡(jiǎn)單元數(shù)據(jù)管理做起，規(guī)范ETL設(shè)計(jì)項(xiàng)目必須分階段依據(jù)元數(shù)據(jù)凍結(jié)需求讓業(yè)務(wù)人員盡早的使用元數(shù)據(jù)小心數(shù)據(jù)質(zhì)量的元數(shù)據(jù)，提供校驗(yàn)點(diǎn)設(shè)計(jì)企業(yè)模型的同時(shí)，搭建數(shù)據(jù)集市第三十一頁(yè)，共三十四頁(yè)。MSN&Email:Mobile:第三十二頁(yè)，共三十四頁(yè)。多謝第三十三頁(yè)，共三十四頁(yè)。內(nèi)容總結(jié)數(shù)據(jù)倉(cāng)庫(kù)中的ETL和Metadata。ETL（Extract/Transform/Loading）是數(shù)據(jù)從業(yè)務(wù)系統(tǒng)抽取轉(zhuǎn)化到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程。OLTP（On-LineTransactionalProcessing）面向交易