數(shù)據(jù)倉(cāng)庫(kù)的挑戰(zhàn)和展望

1、 學(xué) 號(hào) :10720938 姓 名 :數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與面臨問題9/25/20221提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的操作問題展望9/25/20222提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的操作問題展望9/25/20223數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)的目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境，為企業(yè)提供決策支持（Decision-Support）。其實(shí)數(shù)據(jù)倉(cāng)庫(kù)本身并不“生產(chǎn)”任何數(shù)據(jù)，同時(shí)自身也不需要“消費(fèi)”任何的數(shù)據(jù)，數(shù)據(jù)來源于外部，并且開放給外部應(yīng)用，這

2、也是為什么叫“倉(cāng)庫(kù)”，而不叫“工廠”的原因。因此數(shù)據(jù)倉(cāng)庫(kù)的基本架構(gòu)主要包含的是數(shù)據(jù)流入流出的過程，可以分為三層源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)應(yīng)用：9/25/20224數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值從圖中可以看出數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來源于不同的源數(shù)據(jù)，并提供多樣的數(shù)據(jù)應(yīng)用，數(shù)據(jù)自下而上流入數(shù)據(jù)倉(cāng)庫(kù)后向上層開放應(yīng)用，而數(shù)據(jù)倉(cāng)庫(kù)只是中間集成化數(shù)據(jù)管理的一個(gè)平臺(tái)。數(shù)據(jù)倉(cāng)庫(kù)從各數(shù)據(jù)源獲取數(shù)據(jù)及在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)轉(zhuǎn)換和流動(dòng)都可以認(rèn)為是ETL（抽取Extra, 轉(zhuǎn)化Transfer, 裝載Load）的過程，ETL是數(shù)據(jù)倉(cāng)庫(kù)的流水線，也可以認(rèn)為是數(shù)據(jù)倉(cāng)庫(kù)的血液，它維系著數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的新陳代謝，而數(shù)據(jù)倉(cāng)庫(kù)日常的管理和維護(hù)工作的大部分

3、精力就是保持ETL的正常和穩(wěn)定。9/25/20225數(shù)據(jù)倉(cāng)庫(kù)的價(jià)值高效的數(shù)據(jù)組織形式時(shí)間價(jià)值集成價(jià)值歷史數(shù)據(jù)9/25/20226提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的操作問題展望9/25/20227數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用領(lǐng)域 隨著數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)的發(fā)展和普及，將來可能在以下倆方面提出新的發(fā)展瓶頸和挑戰(zhàn):首先，是對(duì)新數(shù)據(jù)類型的出現(xiàn)，提出新的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)對(duì)其支持非傳統(tǒng)的系統(tǒng)架構(gòu)和新的需求，在數(shù)據(jù)倉(cāng)庫(kù)技術(shù)中可以找到好的解決辦法9/25/20228空間數(shù)據(jù)倉(cāng)庫(kù)隨著移動(dòng)互聯(lián)網(wǎng)和基于位置服務(wù)的發(fā)展，同時(shí)衛(wèi)星遙感，GPS，醫(yī)藥成像以及其他空間可計(jì)算

4、工具獲得數(shù)據(jù)的普及，我們獲取了大量的關(guān)于時(shí)空的數(shù)據(jù)。但是，這些數(shù)據(jù)的結(jié)構(gòu)復(fù)雜，數(shù)據(jù)量大的特點(diǎn)，對(duì)其處理和分析的技術(shù)還有一定的欠缺，近年來，提出了空間數(shù)據(jù)倉(cāng)庫(kù)的概念，現(xiàn)在已經(jīng)存在了幾個(gè)大型的空間數(shù)據(jù)倉(cāng)庫(kù)。例如美國(guó)的聯(lián)合國(guó)環(huán)境規(guī)劃署（EP)9/25/20229空間數(shù)據(jù)倉(cāng)庫(kù) 空間數(shù)據(jù)倉(cāng)庫(kù)是融合了數(shù)據(jù)倉(cāng)庫(kù)跟空間數(shù)據(jù)庫(kù)技術(shù)，利用這兩種技術(shù)提高了對(duì)大量空間數(shù)據(jù)的處理、分析、管理的能力，但是現(xiàn)在還是存在一下幾種挑戰(zhàn)：空間數(shù)據(jù)粒度的劃分空 間數(shù)據(jù)的分割空間數(shù)據(jù)的集成當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型標(biāo)準(zhǔn)化推廣空間DW對(duì)決策系統(tǒng)的支持對(duì)空間DW的多維度表示9/25/202210Web數(shù)據(jù)倉(cāng)庫(kù)9/25/202211Web數(shù)據(jù)

5、倉(cāng)庫(kù)9/25/202212本體數(shù)據(jù)倉(cāng)庫(kù)9/25/202213本體數(shù)據(jù)倉(cāng)庫(kù)9/25/202214其他領(lǐng)域數(shù)據(jù)倉(cāng)庫(kù)生命科學(xué)數(shù)據(jù)倉(cāng)庫(kù)模式數(shù)據(jù)倉(cāng)庫(kù)9/25/2022159/25/202216數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用環(huán)境業(yè)務(wù)流程數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)流，實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)與云計(jì)算9/25/202217提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的操作問題新的挑戰(zhàn)9/25/202218數(shù)據(jù)倉(cāng)庫(kù)模型與設(shè)計(jì)方法數(shù)據(jù)倉(cāng)庫(kù)建立模型的過程實(shí)際上是一個(gè)從關(guān)系型、規(guī)范式的數(shù)據(jù)模型向多維模型轉(zhuǎn)換的過程。其中數(shù)據(jù)倉(cāng)庫(kù)建模和數(shù)據(jù)倉(cāng)庫(kù)開發(fā)方法是數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建過程中最為關(guān)鍵的技術(shù)環(huán)

6、節(jié)，它直接決定數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的成敗。9/25/202219數(shù)據(jù)倉(cāng)庫(kù)建模概念建模 概念建模為數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)提供了一個(gè)高層次的抽象，從各個(gè)方面描述了數(shù)據(jù)倉(cāng)庫(kù)的過程和體系結(jié)構(gòu)，從而完成數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施。通常，借助于圖形表示法能讓設(shè)計(jì)者和商業(yè)用戶更方便的對(duì)概念模式進(jìn)行表達(dá)、理解和管理。現(xiàn)有的方法可以分為三類:擴(kuò)展ER模型;擴(kuò)展UML模型;特殊的模型。當(dāng)前概念模型存在的問題有以下：缺乏標(biāo)準(zhǔn)概念模型安全問題Mining-aware design9/25/202220邏輯建模 邏輯建模邏輯建模的總體任務(wù)是將概念模型轉(zhuǎn)換成邏輯模型。在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域，目標(biāo)數(shù)據(jù)庫(kù)系統(tǒng)通常要么是關(guān)系型的，要么是多維的。對(duì)于關(guān)系型的而言，

7、人們普遍采用所謂的星型、星座和雪花模型來處理數(shù)據(jù)立方體，并且各個(gè)廠商也對(duì)這些模型提供支持。關(guān)于多維模型的實(shí)施，人們提出幾種有效的多維數(shù)據(jù)結(jié)構(gòu)，如濃縮數(shù)據(jù)立方體來管理數(shù)據(jù)立方體。當(dāng)前邏輯模型最大的存在問題：概念數(shù)據(jù)模型與關(guān)系或者數(shù)據(jù)立方多維實(shí)現(xiàn)的語(yǔ)義差別的問題9/25/202221物理建模 物理建模 根據(jù)邏輯模型設(shè)計(jì)階段的星型模型或雪花模型能夠方便地定義物理數(shù)據(jù)結(jié)構(gòu)，一般將指標(biāo)實(shí)體轉(zhuǎn)化為物理數(shù)據(jù)庫(kù)表，稱為事實(shí)表。事實(shí)表首先包括星型模型中心的指標(biāo)量，其次應(yīng)包括星型模型角上的維度實(shí)體中層次最低單位的主碼。維度實(shí)體通常也轉(zhuǎn)化為維數(shù)據(jù)庫(kù)表，稱為維表，它包括其每一層次的主碼和對(duì)應(yīng)的值。維表的關(guān)鍵字是該維度

8、實(shí)體對(duì)應(yīng)的詳細(xì)類別實(shí)體的主碼。維表和事實(shí)表通過維表關(guān)鍵字相關(guān)聯(lián)。9/25/202222概念模型 (1) 界定系統(tǒng)的邊界 (2) 確定主要的主題域9/25/202223概念模型學(xué)年學(xué)期維 課程信息維 9/25/202224概念模型學(xué)生信息維 教師信息維 9/25/202225概念模型9/25/202226邏輯模型9/25/202227物理模型9/25/202228數(shù)據(jù)倉(cāng)庫(kù)開發(fā)方法2)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)方法數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和創(chuàng)建是一個(gè)分布實(shí)施的連貫過程，在確定用戶需求的基礎(chǔ)上，完成數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和建立、提取和加載，最后進(jìn)行長(zhǎng)期的使用和維護(hù)。從系統(tǒng)的角度看，數(shù)據(jù)倉(cāng)庫(kù)的建立首先必須明確其設(shè)計(jì)方法，針對(duì)解決問題

9、的短期性或長(zhǎng)效性，將數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方法分為以下3種：自頂向下的方法、自底向上的方法、聯(lián)合方法，當(dāng)前的方法都還存在以下問題：首先是需求分析評(píng)估質(zhì)量指標(biāo)的問題9/25/202229互操作與元數(shù)據(jù)在物理模型和邏輯模型中的混雜性，同時(shí)在市場(chǎng)中存在的多種工具和軟件產(chǎn)品，這就會(huì)產(chǎn)生大量的多種多樣的元數(shù)據(jù)，在我們把一種元數(shù)據(jù)轉(zhuǎn)換成另一種元數(shù)據(jù)的時(shí)候，就會(huì)損失掉大量的信息。所以在數(shù)據(jù)倉(cāng)庫(kù)中就需要這樣的一種標(biāo)準(zhǔn)轉(zhuǎn)換，當(dāng)前工業(yè)界有兩種標(biāo)準(zhǔn):開放信息模型和元數(shù)據(jù)結(jié)合。但是這兩種模型都有大量的缺陷9/25/202230提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)

10、庫(kù)的操作問題新的挑戰(zhàn)9/25/202231數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)首先，要有更好的方法獲得用戶想要的數(shù)據(jù)并且把他們智能化其次，既要能分析標(biāo)準(zhǔn)化的數(shù)據(jù)，也要能分析非標(biāo)準(zhǔn)化的數(shù)據(jù)再次，提高數(shù)據(jù)的安全性和有效性9/25/202232傳統(tǒng)的體系結(jié)構(gòu)9/25/202233傳統(tǒng)的體系結(jié)構(gòu)9/25/202234參考體系結(jié)構(gòu)9/25/202235提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的操作問題展望9/25/202236數(shù)據(jù)倉(cāng)庫(kù)操作的問題OLAP標(biāo)準(zhǔn)化的問題Approximate answers.（近似解答）What-if analysis.（假設(shè)分析

11、）Holistic aggregation（整理聚合）9/25/202237提綱數(shù)據(jù)倉(cāng)庫(kù)的實(shí)質(zhì)與價(jià)值數(shù)據(jù)倉(cāng)庫(kù)新的應(yīng)用與環(huán)境數(shù)據(jù)倉(cāng)庫(kù)的模型與設(shè)計(jì)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及其改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的操作問題展望9/25/202238接下來要做的工作9/25/202239現(xiàn)狀：數(shù)據(jù)倉(cāng)庫(kù)的概念已經(jīng)被國(guó)內(nèi)用戶接受多年，但在應(yīng)用方面的收效仍很有限。原因：尚不存在可靠的、完善的、被廣泛接受的數(shù)據(jù)倉(cāng)庫(kù)標(biāo)準(zhǔn)；現(xiàn)有的數(shù)據(jù)庫(kù)系統(tǒng)不健全，數(shù)據(jù)積累還不夠，無法提出決策支持需求；缺乏能夠擔(dān)負(fù)規(guī)劃、設(shè)計(jì)、構(gòu)建和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)的重任的復(fù)合型人才；缺乏數(shù)據(jù)倉(cāng)庫(kù)前端工具（如OLAP工具、數(shù)據(jù)挖掘工具等）；由于國(guó)內(nèi)外文化的差異，一些用于構(gòu)建數(shù)據(jù)

12、倉(cāng)庫(kù)的知名產(chǎn)品無法處理一些難以預(yù)料的問題，使得建立數(shù)據(jù)倉(cāng)庫(kù)的困難加大。9/25/202240前景：隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是分布式技術(shù)的發(fā)展， 數(shù)據(jù)倉(cāng)庫(kù)在我國(guó)有著廣闊的發(fā)展空間和良好的發(fā)展前景。例如：由于銀行商業(yè)化的步伐正在加大，開始重新考慮自身的業(yè)務(wù)，特別是信貸風(fēng)險(xiǎn)管理方面特別注意，因而有關(guān)信貸風(fēng)險(xiǎn)管理和風(fēng)險(xiǎn)規(guī)章的基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)的需求逐漸增多；由于電子商務(wù)的迅速發(fā)展，越來越多的電子商務(wù)網(wǎng)站，開始考慮如何將數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用于商品銷售分析、顧客的誠(chéng)信度分析等，為客戶提供更進(jìn)一步的個(gè)性化服務(wù)；如移動(dòng)通信等各大型企業(yè)也開始考慮著手進(jìn)行決策支持以及數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃。9/25/202241參考文獻(xiàn)Joachim Hammer,Manifesto of a Markus Schneider , Timos Sellis.Dagstuhl Perspectives Seminar,Data Warehousing at the Crossroads .Dagstuhl，一2004.The Model of Data War ehouse Based on OntologyCHEN Zhi-gang, LUO Xin-