倉儲管理--資料倉儲的應用與管理（ 73頁）ppt課件

1、第5章 資料倉儲的應用與管理5.1 資料倉儲的運用者5.2 資料倉儲應用實例 5.3 資料倉儲的執(zhí)行技術管理5.4 資料倉儲的超資料管理5.5 資料倉儲應用中的法律問題 5.6 資料倉儲的本錢與效益分析習題 .5.1 資料倉儲的運用者 5.1.1 資料倉儲的運用者資訊的運用者與知識的採掘者 經(jīng)常需求對倉儲中的龐大資料進行採掘，而採掘的內(nèi)容能夠是：企業(yè)所面對的客戶群中，哪些客戶是使企業(yè)營利的客戶；這些營利客戶應該具有哪些特徵；這些營利客戶在採購程序中經(jīng)常採購的是哪些種類的產(chǎn)品；所採購的這些產(chǎn)品彼此之間有什麼樣的相互關係。 .5.1.2 資訊運用者的資料倉儲運用方式資料倉儲的資訊運用者經(jīng)常是在戰(zhàn)略

2、管理階層上，利用資料倉儲來監(jiān)控企業(yè)戰(zhàn)略的實行績效，即經(jīng)由對企業(yè)營運狀況的關鍵指標之監(jiān)控，來判斷某一經(jīng)營戰(zhàn)略能否有效，並將具體的評估結果回饋給資料採掘者。 .5.1.3 資料採掘者的資料倉儲運用方式 資料採掘者運用資料倉儲的普通程序主要有：狀況分析 資料採掘者所進行的機率分析的內(nèi)容能夠有：經(jīng)常來採購的客戶性別比例?？偣灿卸嗌倏蛻艄馀R。經(jīng)常進行採購的客戶數(shù)量及其中的比例情況為何。.客戶的平均採購量。有多少客戶超過平均採購量。有多少客戶低於平均採購量等。資料擷取資料擷取任務是根據(jù)資料採掘的需求和機率分析的結果，將需求進行分析的資料從資料倉儲中擷取出來。 .建模分析 資料採掘中的建模分析是資料採掘者運

3、用資料倉儲的中心任務，建模分析是開發(fā)用於描畫客戶、產(chǎn)品或銷售商模型的程序。 .分類處理經(jīng)由建模分析，資料採掘者己從所建模型中分析出需求的資料，之後他們便可以根據(jù)所採掘出的知識對資料倉儲中的一切資料進行分類。 .5.2 資料倉儲應用實例 管理者希望透過運用資料進行各式各樣的分析內(nèi)容，以發(fā)現(xiàn)有價值的資訊，來用於輔助決策。但是，管理決策所遇到的問題是不同的，資料倉儲的應用也各有其特征，應該根據(jù)具體的實際情況選擇適當?shù)馁Y料倉儲開發(fā)方案。 .5.2.1 分層式?jīng)Q策系統(tǒng) 例如，在各子公司的部分資料倉儲中存放著公司的電器銷售資訊，各子公司可以對這些細部資料進行分析、整合，萃取出有用的資訊以供決策之用。表5-

4、1所示的是設在臺北某地的子公司的銷售記錄。 .在每次編製好這種整體資料倉儲格式的記錄檔案之後，便可以將其送入整體資料倉儲中。表5-2所示就是整體資料倉儲中的彩色電視機銷售匯總資訊。 .5.2.2 資料抽樣分析 某化學公司想在不添加投資、不購買設備的條件下採用採掘現(xiàn)有生產(chǎn)潛力的辦法來添加產(chǎn)量，以提高效益。公司用產(chǎn)出率來評估每次化學產(chǎn)品生產(chǎn)的效率，其目的是想經(jīng)由提高產(chǎn)出率來提高每爐化學產(chǎn)品的產(chǎn)量。 .5.2.3 發(fā)揮歷史資料的經(jīng)濟效益 遠程銷售商為了開展郵購銷售，需求定期向外寄送商品型錄。消費者接到型錄後，假設對某種商品感興趣，可以打電話詢問更多的資訊。 .其中的一種分析報表 (如表5-4所示)從

5、資料倉儲中擷取了有關客戶的幾個資訊，包括：零售商最後一次與該客戶接觸是什麼時候？客戶上次購買的商品是什麼？該客戶喜歡哪類商品？.5.2.4 回扣分析 當航空公司想要制定某個合理的回扣比率時，就可以方便而快捷地調(diào)出當前匯總資料和歷史匯總資料進行比較和計算，以便公司在保證航班滿載的條件下盡量降低本錢。 .5.2.5 顧客關係管理(CRM)在顧客關係管理戰(zhàn)略中，資料倉儲儲存的客戶之各類資料，能提供顧客的詳細資訊，用來引導市場銷售部門與客戶堅持緊密的聯(lián)繫，使資料倉儲在顧客關係管理中發(fā)揮重要的功能。.穩(wěn)住顧客 在競爭猛烈的市場上，企業(yè)所面臨的最大挑戰(zhàn)來自於客戶的流失。市場競爭中的客戶流失現(xiàn)象是必然發(fā)生的

6、，問題是必須防止重要客戶的流失。所以應該不斷地進行客戶的細分任務。 .管理的收益利用資料倉儲可以統(tǒng)一掌握客戶資訊，資料倉儲集中管理了客戶的一切資料，包括購買的歷史資訊和網(wǎng)路資訊，能夠提供一個統(tǒng)一的顧客資訊管理系統(tǒng)。這樣就可以迅速並準確地預測客戶需求，提高盈利才干。 .企業(yè)的行銷戰(zhàn)略管理現(xiàn)有的客戶能夠會帶來新的收益機會，利用交叉銷售或提升銷售可以使企業(yè)獲得銷售額的成長。通常，企業(yè)的業(yè)務處理資料是一種特定的資訊來源，普通僅適用於本企業(yè)。 .改變競爭的利基 從資料倉儲中的歷史資料中搜集關於客戶的知識，並經(jīng)由對實際執(zhí)行結果的快速回饋來加強這些客戶知識。 .5.3 資料倉儲的執(zhí)行技術管理 5.3.1 資

7、料載入的一些問題資料準備區(qū) 由於資料倉儲的資料擷取、清理、載入需求較長的任務時間，因此經(jīng)常設定一個作為資料準備區(qū)的臨時資料庫，專門用於資料擷取、清理和載入的操作。 .資料載入方式的選擇資料載入的方式普通考慮用整批處理。因為資料的載入活動運用到的系統(tǒng)資源較多，需求資料來源和資料倉儲的處理器、記憶體和外部儲存設備。 .大批數(shù)量資料載入的處理 有的資料源制止單純的大容量資料載入，這就需求採用一些特殊的技術來處理大量資料的載入。大量資料的載入往往會導致資料的更新，而對資料倉儲的更新，實際上是不允許的，因為資料的更新將導致資料倉儲中歷史資料的遺失。 .5.3.2 缺點回復管理在缺點回復管理中可以採用這樣

8、一些步驟停頓包括作業(yè)系統(tǒng) (OS) 在內(nèi)的伺服器。更新安裝和配置作業(yè)系統(tǒng)。更新標定驅(qū)動器。重新安裝和配置關係資料庫系統(tǒng)、監(jiān)控程序和中間元件。對資料進行更新載入和重新索引。 .5.3.3 查詢控制與平安管理 控制對資料倉儲的查詢是一個重要的問題，同時任務也是相當複雜的，主要由以下多種要素呵斥：資料倉儲應用的公開性與平安之間的矛盾資料倉儲主要用於企業(yè)公開搜集的資料，但是，資料倉儲的平安性控制則要求限制資料執(zhí)行的公開化。這就構成了明顯的矛盾。 .運用者的不同查詢請求在資料倉儲的操作中，運用者按照不同的彙總程度查詢資料倉儲內(nèi)的資料。知識發(fā)現(xiàn)程序?qū)ζ桨驳挠绊懘蠖鄶?shù)運用者經(jīng)由“知識發(fā)現(xiàn)程序來運用資料倉儲。

9、由於運用者需求進行深化的探求，平安控制就與這一程序間產(chǎn)生了矛盾。 .有些隱憂的危害較大，一些不懷好意的運用者能夠會使大量的資源處於停頓狀態(tài)，從而使資料倉儲無法運用。管理無法控制的查詢、建置臨時報表、將資源範圍用於運用者側(cè)面描畫等都能指出這些隱患。 .5.3.4 資料添加的管理 彙總技術大量運用彙總技術可以明顯地減少資料量。對細剖資料的控制?？刂萍毱实某潭瓤梢源蟠鬁p少資料量。歷史資料的限制。限制必須儲存到資料倉儲中的歷史資料的長度。 .資料運用範圍的限制利用能夠改變搜集資料環(huán)境的商業(yè)事件知識來限制必須管理的資料範圍。睡眠資料的移出 有些資料在資料倉儲中長期無人運用。這些緣由都呵斥了資料倉儲中有大

10、量的睡眠資料。隨著睡眠資料的添加，導致真正用於查詢處理的實際可用資料的百分比不斷降低。 .解決這個問題的一種辦法就是找出並移除很少被查詢的資料。將這些很少運用的資料移出資料倉儲，減少儲存量，便可以提高查詢處理的效率。也可以採用鄰線儲存系統(tǒng)的二級儲存方式。 .5.4 資料倉儲的超資料管理5.4.1 超資料的儲存、管理與維護 超資料的儲存 運用商業(yè)或資料倉儲資訊目錄。資訊目錄可以儲存和管理超資料，用於資料倉儲應用程式。資料倉儲的一切內(nèi)部程式都可以查詢該目錄。 .運用超資料庫資料字典。超資料庫或資料字典是一種普通意義上的分類方法，通常用於儲存、分類和管理超資料。 .超資料的管理將超資料組織成易於了解

11、的分類方案。能夠依托超資料庫或資料字典的資訊，將超資料組織為易於了解的分類方案?？冃Х治龊退褜び行Ч爣牟鸥伞＞邆鋵Y料倉儲的運用進行績效分析和搜尋有效範圍的才干 。 .將設計開發(fā)超資料與運作超資料分隔成各自獨立的功能。將設計開發(fā)超資料與運作超資料分離成各自獨立的功能，普通用於分隔邏輯分析模型和實體資料庫模型。反應修正歷史的超資料版本資訊版本資訊能夠反應超資料版本變化的日期以及進行修正的操作人。 .超資料的維護 在超資料儲存進入系統(tǒng)以後，就需求經(jīng)常對超資料進行維護，才干保證超資料的可用性。超資料的維護方式取決於超資料產(chǎn)生時的搜集方式、變化頻率和超資料量。 .5.4.2 超資料的運用者與運用方法

12、 超資料的資料倉儲開發(fā)運用者 資料倉儲開發(fā)人員運用的超資料主要包括資料源的實體結構。企業(yè)資料模型和資料倉儲資料模型。在資料倉儲開發(fā)任務中需求對資料源的超資料進行分析，根據(jù)分析結果在資料源和資料倉儲之間建立映射。 .超資料的資料倉儲維護運用者 在資料倉儲開發(fā)好以後，資料倉儲維護人員需求對資料倉儲進行維護，超資料在資料倉儲的維護任務中可以發(fā)揮重要的作用。維護人員用超資料能夠了解資料源的變化、資料倉儲的變化對資料倉儲的性能及應用等方面的影響。 .資料倉儲維護人員還可以利用超資料堅持資料倉儲的完備性和正確性。 資料倉儲維護人員對超資料的運用包括到一切的超資料，並且要求能夠直接對超資料進行查詢。 .超資

13、料的資料倉儲終端運用者資料倉儲最終運用者對超資料的查詢範圍要遠小於超資料的資料倉儲開發(fā)運用者和維護運用者，但是對超資料查詢的要求卻要高於其他運用者。資料倉儲終端運用者在運用超資料時，主要希望能夠經(jīng)由超資料了解資料倉儲中有什麼資料，以及這些資料是從哪些地方來的。 .超資料的運用方法目前，超資料的運用方法主要有以下幾種：超資料與分析資料同時各自顯示，是指在一臺電腦上分別用兩種工具顯示超資料和分析資料。將超資料作為分析資料的協(xié)助工具。運用者在這種超資料運用方式下，可以利用系統(tǒng)的協(xié)助來了解所查詢的分析資料。 .超資料的直接查詢超資料的查詢工具可以直接地、動態(tài)地查詢超資料，能為運用者提供最新的協(xié)助系統(tǒng)。

14、超資料與分析資料的互動。超資料與分析資料執(zhí)行互動以後，運用者在超資料瀏覽器中瀏覽超資料時，就可以將所選定的表或查詢自動地輸入查詢工具。 .5.4.3 超資料管理模型 在討論超資料模型時，必須提到超資料交換規(guī)則(MDIS)。這是一個由包括微軟在內(nèi)的有上百個成員的超資料聯(lián)盟所提出的超資料交換規(guī)則，規(guī)則涵蓋了資料庫、檔案、關係、運用者自訂定義、專用超資料等不同物件類型。 .開發(fā)資訊模型 .在開發(fā)資訊模型結構中的統(tǒng)一建模語言模型(UML，Unified Modeling Language Model)是其他模型的原型，其他模型都由此衍生而來。 UML延伸模型(UML Extension Model)為

15、UML提供了一套彙總的延伸，為建立在UML概念水準上的固定方式提供模型。資料類型模型(DTM，,Data Type Model)為描畫資料類型規(guī)定了介面，其中包括執(zhí)行語言和資料庫。 .彙總模型(Gen，Generic Model)為多個資訊模型之間的運用，提供了一系列普遍目的或普通的介面。 元件描畫模型(CDM，Component Description Model)為即時元件及其規(guī)格建立了介面和等級。元件物件模型(COM，Component Object Model)為其本身提供了一係列延伸。 .資料庫模型(DBM，Database Model)描畫了企業(yè)的資料庫計劃資訊。 SQL Serv

16、er模型(Sql，SQL Server Model)用於SQL Server的資料庫模型延伸。DB2模型(DB2，DB2 Model)用於Db2的資料庫模型延伸。 .OLAP模型(Olap，OLAP Model)是資料庫模型的延伸，描畫了資料的多維視覺圖。 Informix模型(Ifx，Informix Model)用於Informix資料庫模型延伸。 資料庫轉(zhuǎn)換模型(DTM，Database Transformation Model)描畫了資料庫之間的資訊活動。 .Orac1e模型(Ocl，Oracle Model)用於0racle的資料庫模型延伸。 語義資訊模型(SIM，Semantic

17、Information Model)允許運用者不用學習查詢資料庫的語言就可以處理資料庫中的資料。 .通用倉儲超資料 Oracle與IBM在OLAP委員會的超資料API(MDAPI)基礎上提出了超資料模型的解決方案通用倉儲超資料(CWM，Common Warehouse Metadata)。 .5.5 資料倉儲應用中的法律問題 在資料倉儲與資料採掘中所擴及到的法律問題，主要是指客戶的隱私權權保護與處理問題。由於資料倉儲與資料採掘所具有的強大的資料處理功能，可以將本來分散在各系統(tǒng)中、隱藏在資料背後的客戶資訊集中在一同，並明晰地表現(xiàn)出來。 .5.5.1 資料的隱私權權問題 客戶的隱私權問題是全世界一

18、切企業(yè)都關注的議題。雖然這在資料倉儲管理中只是一個背景問題，卻已引起了各方的關注，當大最的客戶資訊儲存在資料倉儲中時，資料倉儲的擁有者就有義務保護這些客戶的資料，以免遭到濫用。 .5.5.2 資料隱私權權的處理 資料隱私權的處理 應該讓客戶知道以下資訊：所搜集或運用的個人資訊的存在性及本質(zhì)、資料收集的政策；任何類型處理的預期目的。例如：資料的搜集、應用或揭露等；“資料控制員以及其他接納資料人員的身份；任何自動處理中包括的邏輯。 .搜集和運用限制應將搜集和運用限定為有明確、具體和合法目的的。相對於起始目的來說，資料必須是適當?shù)?、相關的且不過分的。 .接受和拒絕。客戶應能接受將個人資料用於直接行銷

19、，並可以拒絕將個人資料泄漏給第三者?？蛻粢部梢越?jīng)由明確接受，表示贊同資料的運用目的。 資料品質(zhì)、查詢、準確性和修正。應該給客戶提供一種才干，使他們能對不準確或不完全的個人資料加以檢查和修正。 .資料平安確保個人資料不流失，不發(fā)生未經(jīng)授權的查詢、破壞、更動、運用或洩露。 義務、強制和求助。援助現(xiàn)存法律和補充規(guī)則的強制執(zhí)行，援助國家隱私權管理部門所認定，應該達到的隱私權控制要求。 .資料隱私權控制結構 為了達到上述隱私權處理要求，需求建立一個隱私權控制架構。其架構如下： 加強邏輯資料模型。為了強調(diào)隱私權，應該首先檢查一下公司已開發(fā)的邏輯資料模型，並將一切與“客戶相關的資料進行實際確認 .用隱私權視

20、援助限制性查詢、拒絕和匿名應該將應用分類應用於下述類型的視圖中： 分析應用：匿名化視覺圖。 採取行動應用：直接行銷拒絕視覺圖。 揭露應用：選擇性匿名化視覺圖。 特別管理應用和運用者：個人資料視覺圖。 一切其他應用：標準視覺圖。 .為個人資料管理提供互動式客戶服務介面在建立了延伸方式導向的資料倉儲，並加進了額外個人資料欄位和“拒絕標示之後，就需求一種方法為這些額外的列參與特殊的客戶資料。 .提供報告，驗證能否遵重隱私權。隱私權問題的另一個方面是需求對遵守情況進行驗證。驗證可以由一個獨立組織、政府部門或自我驗證來完成。 .5.6 資料倉儲的本錢與效益分析 資料倉儲和一切的資訊技術(Information Technology,IT)一樣，都是經(jīng)由投資來提高企業(yè)的競爭才干和營利程度的，因此，企業(yè)需求制定資料倉儲計劃(商業(yè)的和技術的)，並進行本錢/效益分析(Cost