商業(yè)智能(BI)解決方案.doc

IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 目目 錄錄 第一章第一章 概述概述 1 第二章第二章 商業(yè)智能綜述商業(yè)智能綜述 2 2 1 商業(yè)智能基本結(jié)構(gòu) 2 2 1 1 IBM數(shù)據(jù)倉(cāng)庫(kù)架構(gòu) 3 2 1 2 數(shù)據(jù)倉(cāng)庫(kù) 用于抽取 整合 分布 存儲(chǔ)有用的信息 4 2 1 3 多維分析 全方位了解現(xiàn)狀 4 2 1 4 前臺(tái)分析工具 5 2 1 5 數(shù)據(jù)挖掘 5 2 2 商業(yè)智能方案實(shí)施原則 5 2 2 1 分階段 循序漸進(jìn)的原則 5 2 2 2 實(shí)用原則 6 2 2 3 知識(shí)原則 6 第三章第三章 XXX 公司公司 BI 系統(tǒng)方案系統(tǒng)方案 7 3 1 XXX 公司 BI 系統(tǒng)的需求分析 7 3 2 IBM 的解決方案 7 3 3 建議架構(gòu) 9 第四章第四章 所選所選 IBM 產(chǎn)品簡(jiǎn)介產(chǎn)品簡(jiǎn)介 11 4 1 DB2 UDB 11 4 1 1 概述 DB2家族 Family 與DB2通用數(shù)據(jù)庫(kù) UDB V7 2 11 4 1 2 DB2通用數(shù)據(jù)庫(kù) UDB V7 2的特色 12 4 1 3 DB2通用數(shù)據(jù)庫(kù) UDB 的其他先進(jìn)功能 22 4 2 DB2 WAREHOUSE MANAGER 數(shù)據(jù)倉(cāng)庫(kù)管理器 26 4 2 1 DB2 Warehouse Manager的主要部件 26 4 2 2 數(shù)據(jù)抽取 轉(zhuǎn)換和加載 ETL 功能 27 4 2 3 元數(shù)據(jù) Meta Data 管理 31 4 2 4 DB2 Warehouse Manager的其它技術(shù)特點(diǎn) 31 4 3 IBM OLAP SERVER 多維數(shù)據(jù)庫(kù)服務(wù)器 33 4 3 1 DB2 OLAP Server引擎 33 4 3 2 DB2 OLAP Server各個(gè)附件 34 4 3 3 DB2 OLAP Server與DB2 Warehouse Manager集成 36 4 3 4 DB2 OLAP Server支持的前端工具 36 4 4 DB2 OLAP ANALYZER 37 4 5 數(shù)據(jù)挖掘工具 IBM INTELLIGENT MINER 37 4 5 1 數(shù)據(jù)挖掘的實(shí)現(xiàn)方法 38 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 4 5 2 數(shù)據(jù)挖掘基本方法 39 4 5 3 數(shù)據(jù)挖掘與多維分析相結(jié)合 40 第五章第五章 工程服務(wù)和售后服務(wù)工程服務(wù)和售后服務(wù) 41 5 1 工程服務(wù) 41 5 2 售后服務(wù) 41 5 2 1 IBM數(shù)據(jù)倉(cāng)庫(kù)的安裝及配置服務(wù) 41 5 2 2 IBM數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)服務(wù) 41 5 2 3 IBM數(shù)據(jù)倉(cāng)庫(kù)的顧問(wèn)服務(wù) 42 5 2 4 IBM培訓(xùn)服務(wù) 42 5 3 技術(shù)文檔 42 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 1 頁(yè) 第一章第一章 概述概述 隨著市場(chǎng)競(jìng)爭(zhēng)的日益激烈 各家公司紛紛把提高決策的科學(xué)性 合理性提高 到一個(gè)新的認(rèn)識(shí)高度 在此背景下 利用信息技術(shù)的最新手段 利用業(yè)務(wù)數(shù)據(jù)進(jìn) 行面向決策的分析這一方法紛紛被國(guó)內(nèi)外許多公司所采用 通過(guò)有目的 有選擇地采集業(yè)務(wù)數(shù)據(jù) 并將其轉(zhuǎn)換為對(duì)決策有用的信息 用 于智能化的分析 預(yù)測(cè)和模擬等目的 這樣的應(yīng)用被稱為商業(yè)智能應(yīng)用 從國(guó)內(nèi) 外各行各業(yè)的發(fā)展經(jīng)驗(yàn)看 實(shí)施商業(yè)智能是提高企業(yè)進(jìn)行高效的業(yè)務(wù)分析和科學(xué) 決策的有效手段 作為一個(gè)具有八十多年歷史 以開(kāi)發(fā)信息技術(shù)和商業(yè)應(yīng)用而聞名的 藍(lán)色巨 人 IBM 在這一領(lǐng)域進(jìn)行了多年的研究 發(fā)展出完備的商業(yè)智能技術(shù) 為商業(yè) 數(shù)據(jù)自動(dòng)轉(zhuǎn)化為商業(yè)知識(shí)提供了現(xiàn)實(shí)的方案 商業(yè)智能的本質(zhì) 是提取收集到的數(shù)據(jù) 進(jìn)行智能化的分析 揭示企業(yè)運(yùn)作 和市場(chǎng)情況 幫助管理層做出正確明智的經(jīng)營(yíng)決定 一般現(xiàn)代化的業(yè)務(wù)操作 通 常都會(huì)產(chǎn)生大量的數(shù)據(jù) 如話單 賬單以及客戶資料等 其中一部分是決策關(guān)鍵 數(shù)據(jù) 但并不是所有的數(shù)據(jù)都對(duì)決策有決定意義 商業(yè)智能包括收集 清理 管 理和分析這些數(shù)據(jù) 將數(shù)據(jù)轉(zhuǎn)化為有用的信息 然后及時(shí)分發(fā)到企業(yè)各處 用于 改善業(yè)務(wù)決策 企業(yè)可以利用它的信息和結(jié)論進(jìn)行更加靈活的階段性的決策 如 采用什么產(chǎn)品 針對(duì)哪類客戶 如何選擇和有效地推出服務(wù)等等 也可以實(shí)現(xiàn)高 效的財(cái)務(wù)分析 銷售分析 風(fēng)險(xiǎn)管理 分銷和后勤管理等等 這一切都是為了降 低成本 提高利潤(rùn)率和擴(kuò)大市場(chǎng)分額 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 2 頁(yè) 第二章第二章 商業(yè)智能綜述商業(yè)智能綜述 2 1 商業(yè)智能基本結(jié)構(gòu)商業(yè)智能基本結(jié)構(gòu) 當(dāng)今 許多企業(yè)認(rèn)識(shí)到只有靠充分利用 發(fā)掘其現(xiàn)有數(shù)據(jù) 才能實(shí)現(xiàn)更大的 商業(yè)效益 日常的商務(wù)應(yīng)用生成了大量的數(shù)據(jù) 這些數(shù)據(jù)若用于決策支持則會(huì)帶 來(lái)顯著的附加值 若再加上市場(chǎng)分析報(bào)告 獨(dú)立的市場(chǎng)調(diào)查 質(zhì)量評(píng)測(cè)結(jié)果和顧 問(wèn)評(píng)估等外來(lái)數(shù)據(jù)時(shí) 上述處理過(guò)程產(chǎn)生的效益可進(jìn)一步增強(qiáng) 而數(shù)據(jù)倉(cāng)庫(kù)正是 匯總這些商用信息后 進(jìn)而支持?jǐn)?shù)據(jù)發(fā)掘 多維數(shù)據(jù)分析等當(dāng)今尖端技術(shù)和傳統(tǒng) 的查詢及表報(bào)功能 這些對(duì)于在當(dāng)今激烈的商業(yè)競(jìng)爭(zhēng)中保持領(lǐng)先是至關(guān)重要的 那么怎樣把這樣大量的數(shù)據(jù)轉(zhuǎn)換成可靠的 商用的信息以便于決策支持呢 建立 數(shù)據(jù)倉(cāng)庫(kù)正被廣泛地公認(rèn)為最好的轉(zhuǎn)換手段 圖 1數(shù)據(jù)倉(cāng)庫(kù)建立過(guò)程 根據(jù) IDC 的調(diào)查 使用數(shù)據(jù)倉(cāng)庫(kù)的投資回報(bào)率平均超過(guò) 400 尤其是從小 型數(shù)據(jù)倉(cāng)庫(kù)開(kāi)始實(shí)施的平均超過(guò) 500 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 3 頁(yè) 2 1 1 IBM 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu) IBM 早在 90 年代初期 就投入大量?jī)?yōu)秀技術(shù)人員和資金開(kāi)始了數(shù)據(jù)倉(cāng)庫(kù)的 研究 并啟動(dòng)了 Star Burst 大型科研項(xiàng)目 該項(xiàng)目主要就是為了攻克數(shù)據(jù)倉(cāng)庫(kù)領(lǐng) 域的一些技術(shù)難題 例如優(yōu)化星型連接 Star join 實(shí)現(xiàn)多維分析 因此 IBM 現(xiàn)在發(fā)布的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品都是經(jīng)過(guò)反復(fù)推敲和久經(jīng)考驗(yàn)的 真正做到讓用戶買起 來(lái)放心 用起來(lái)舒心 基于對(duì)數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的深刻理解和多年積累的經(jīng)驗(yàn) IBM 設(shè)計(jì)了自己的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu) 見(jiàn)下圖 數(shù)據(jù)倉(cāng)庫(kù)的組成 作為一個(gè)開(kāi)發(fā)式結(jié)構(gòu) 它方便了用戶的產(chǎn)品選擇 實(shí)施和今后的擴(kuò)展 圖 2IBM 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu) 上圖為 IBM 三層次數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu) 從第一層 OLTP 業(yè)務(wù)系統(tǒng)到第二層數(shù)據(jù) 倉(cāng)庫(kù)為建倉(cāng)過(guò)程 從第二層到第三層數(shù)據(jù)集市為按主題分類建立應(yīng)用的過(guò)程 第 一步包括數(shù)據(jù)抽取 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)分布等步驟 按照統(tǒng)一的數(shù)據(jù)格式標(biāo)準(zhǔn)進(jìn)行 統(tǒng)一的數(shù)據(jù)轉(zhuǎn)換 建立可被企業(yè)各部門充分共享的數(shù)據(jù)倉(cāng)庫(kù) 其中 數(shù)據(jù)抽取階 段完成對(duì)各種數(shù)據(jù)源的訪問(wèn) 數(shù)據(jù)轉(zhuǎn)換階段完成對(duì)數(shù)據(jù)的清洗 匯總和整合等 數(shù)據(jù)分布階段完成對(duì)結(jié)果數(shù)據(jù)存儲(chǔ)的分配 這三個(gè)階段通常緊密結(jié)合在一起 由 一個(gè)產(chǎn)品或幾個(gè)產(chǎn)品配合實(shí)現(xiàn) 例如 DB2 Warehouse Manager 既可獨(dú)立完成 又可結(jié)合 DataJoiner DataPropagator 實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)和數(shù)據(jù)復(fù)制的處理 DB2 Warehouse Manager 可進(jìn)行數(shù)據(jù)映射的定義 以定期地抽取 轉(zhuǎn)換和分布數(shù)據(jù) IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 4 頁(yè) DataJoiner 可訪問(wèn)的各種關(guān)系型數(shù)據(jù)庫(kù)包括 DB2 數(shù)據(jù)庫(kù)家族 ORACLE SYBASE INFORMIX 和 MS SQL Server 等 DataPropagator 主要用 于數(shù)據(jù)復(fù)制 采用數(shù)據(jù)復(fù)制的方式可對(duì)業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行增量數(shù)據(jù)更新 避免對(duì) 作業(yè)系統(tǒng)事物處理性能的影響和大量重復(fù)抽取數(shù)據(jù) 數(shù)據(jù)的存儲(chǔ)由 DB2 家族產(chǎn) 品來(lái)完成 以保證數(shù)據(jù)倉(cāng)庫(kù)始終高性能地運(yùn)轉(zhuǎn) 提供完整 準(zhǔn)確的數(shù)據(jù) 便于將 來(lái)的升級(jí)和擴(kuò)展 第二步 在按主題分類建立應(yīng)用時(shí) 若既想擁有多維數(shù)據(jù)庫(kù)的獨(dú)特功能 又 要把數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫(kù)中以便管理 則 DB2 OLAP Server 是用戶的最佳 選擇 DB2 Warehouse Manager 中提供的 Information Catalog 通過(guò)描述性數(shù)據(jù)幫 助用戶查找和理解數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù) Intelligent Miner 用于數(shù)據(jù)挖掘以便幫助 決策者預(yù)測(cè)或發(fā)現(xiàn)隱藏的關(guān)系 最后 我們以報(bào)表或圖形的方式將結(jié)果數(shù)據(jù)呈現(xiàn) 給用戶 這通常由第三方產(chǎn)品來(lái)實(shí)現(xiàn) 它們包括 Hyperion Analyzer Cognos Brio Business Objects 等 商業(yè)智能的實(shí)現(xiàn)方式多種多樣 其規(guī)模和特點(diǎn)由用戶的需求來(lái)決定 但萬(wàn)變 不離其宗 其基本體系結(jié)構(gòu)往往包括三個(gè)部分 2 1 2 數(shù)據(jù)倉(cāng)庫(kù) 用于抽取 整合 分布 存儲(chǔ)有用的信息 一個(gè)企業(yè)的信息往往分布在不同的部門和分支機(jī)構(gòu) 管理者要綜觀全局 運(yùn) 籌帷幄 必須能迅速地找到能反映真實(shí)情況的數(shù)據(jù) 這些數(shù)據(jù)也許是當(dāng)前的現(xiàn)實(shí) 數(shù)據(jù) 也可能是過(guò)去的歷史數(shù)據(jù) 因此 有必要把各個(gè)區(qū)域的數(shù)據(jù)集合起來(lái) 去 其糟粕 取其精華 將真實(shí)的 對(duì)決策有用的數(shù)據(jù)保留下來(lái) 隨時(shí)準(zhǔn)備管理人員 使用 因此 數(shù)據(jù)倉(cāng)庫(kù)不僅僅是個(gè)數(shù)據(jù)的儲(chǔ)存?zhèn)}庫(kù) 更重要的是它提供了豐富的 工具來(lái)清洗 轉(zhuǎn)換和從各地提取數(shù)據(jù) 使得放在倉(cāng)庫(kù)里的數(shù)據(jù)有條有理 易于使 用 2 1 3 多維分析 全方位了解現(xiàn)狀 管理人員往往希望從不同的角度來(lái)審視業(yè)務(wù)數(shù)值 比如從時(shí)間 地域 產(chǎn)品 來(lái)看同一類業(yè)務(wù)的總額 每一個(gè)分析的角度可以叫作一個(gè)維 因此 我們把多角 度分析方式稱為多維分析 以前 每一個(gè)分析的角度需要制作一張報(bào)表 由此產(chǎn) 生了在線多維分析工具 它的主要功能 是根據(jù)用戶常用的多種分析角度 事先 計(jì)算好一些輔助結(jié)構(gòu) 以便在查詢時(shí)能盡快抽取到所要的記錄 并快速地從一維 轉(zhuǎn)變到另一維 將不同角度的信息以數(shù)字 直方圖 餅圖 曲線等等方式展現(xiàn)在 您面前 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 5 頁(yè) 2 1 4 前臺(tái)分析工具 提供簡(jiǎn)單易用的圖形化界面給管理人員 由他們自由選擇要分析的數(shù)據(jù) 定 義分析角度 顯示分析結(jié)果 往往與多維分析工具配合 作為多維分析服務(wù)器的 前臺(tái)界面 以上三部分是商業(yè)智能的基礎(chǔ) 它完成的是對(duì)用戶數(shù)據(jù)的整理和觀察 可以 說(shuō) 它的工作是總結(jié)過(guò)去 在此基礎(chǔ)結(jié)構(gòu)之上 商業(yè)智能可以發(fā)揮更進(jìn)一步的作 用 利用數(shù)據(jù)挖掘技術(shù) 發(fā)現(xiàn)問(wèn)題 找出規(guī)律 達(dá)到真正的智能效果 預(yù)測(cè)將來(lái) 2 1 5 數(shù)據(jù)挖掘 正如在礦井中可以挖掘出珍貴的礦石 在數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)里也常?？梢酝诰?出業(yè)務(wù)人員意想不到的信息 它比多維分析更進(jìn)一步 例如 如果管理人員要求 比較各個(gè)區(qū)域某類業(yè)務(wù)在過(guò)去一年的情況 可以從多維分析中找答案 但是 如 果管理人員要問(wèn)為何一種業(yè)務(wù)在某地區(qū)的情況突然變得特別好或是不好 或者問(wèn) 該業(yè)務(wù)在另一地區(qū)將會(huì)怎么樣 這時(shí)數(shù)據(jù)挖掘工具可以作出回答 簡(jiǎn)單的說(shuō) 數(shù)據(jù)挖掘使用統(tǒng)計(jì) 分析等數(shù)學(xué)方法 以及電腦學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò) 等人工智能方式 從大量的數(shù)據(jù)中 找尋數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系 這種關(guān)系 一 般顯示數(shù)據(jù)組之間相似或相反的行為或變化 一個(gè)細(xì)心的分析者 往往能從這些 發(fā)掘出來(lái)的關(guān)系得到啟示 而這種啟示又很可能使得到它的業(yè)者 獲得其他競(jìng)爭(zhēng) 者所沒(méi)有的先機(jī) 數(shù)據(jù)挖掘要求有數(shù)據(jù)倉(cāng)庫(kù)作基礎(chǔ) 并要求數(shù)據(jù)倉(cāng)庫(kù)里已經(jīng)存有豐富的數(shù)據(jù) 因此 在實(shí)施商業(yè)智能方案時(shí) 一般分兩步走 第一步實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)和多維分析 構(gòu)造商業(yè)智能的基礎(chǔ) 實(shí)現(xiàn)分析應(yīng)用 第二步實(shí)現(xiàn)數(shù)據(jù)挖掘 發(fā)揮商業(yè)智能的特 色 2 2 商業(yè)智能方案實(shí)施原則商業(yè)智能方案實(shí)施原則 實(shí)施商業(yè)智能方案項(xiàng)目工程 與實(shí)施傳統(tǒng)的應(yīng)用系統(tǒng)有很大的不同 其中最 重要的是 商業(yè)智能的實(shí)施是不斷的交流過(guò)程 只有雙方緊密的合作才能取得實(shí) 施的成功 我們建議 工程實(shí)施上采取以下原則 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 6 頁(yè) 2 2 1 分階段 循序漸進(jìn)的原則 任何一個(gè)項(xiàng)目的實(shí)施都是一個(gè)發(fā)現(xiàn)問(wèn)題 解決問(wèn)題 積累經(jīng)驗(yàn) 又遇到新問(wèn) 題 再解決 再積累的循序漸進(jìn)的過(guò)程 我們建議 XXX 公司 應(yīng)根據(jù)現(xiàn)有的資 源以及今后發(fā)展的方向 分階段 循序漸進(jìn)的實(shí)施商業(yè)智能方案 2 2 2 實(shí)用原則 在第一步實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)時(shí) 盡量針對(duì)當(dāng)前電信最關(guān)心的主題 并將該主題進(jìn) 行細(xì)致分析 盡可能用簡(jiǎn)單 統(tǒng)一 易于使用的方式來(lái)實(shí)現(xiàn) 避免追求片面的復(fù) 雜和完美 2 2 3 知識(shí)原則 普遍說(shuō)來(lái) 由于商業(yè)智能技術(shù)相對(duì)而言比較新 企業(yè)的信息技術(shù)人員對(duì)數(shù)據(jù) 倉(cāng)庫(kù) 多維分析 數(shù)據(jù)挖掘等系統(tǒng)涉及的知識(shí)往往存在著不足或偏差 實(shí)際應(yīng)用 經(jīng)驗(yàn)也很欠缺 因此 我們建議在實(shí)施過(guò)程中結(jié)合專家培訓(xùn)和服務(wù) 在商業(yè)智能 系統(tǒng)的設(shè)計(jì) 開(kāi)發(fā) 實(shí)施當(dāng)中 逐步培養(yǎng)出企業(yè)自己的系統(tǒng)管理 維護(hù)和開(kāi)發(fā)人 員 當(dāng)系統(tǒng)投入使用時(shí) 這些人員可以對(duì)系統(tǒng)進(jìn)行維護(hù)和管理 并負(fù)責(zé)對(duì)最終用 戶進(jìn)行培訓(xùn) IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 7 頁(yè) 第三章第三章 XXX 公司公司 BI 系統(tǒng)方案系統(tǒng)方案 3 1 XXX 公司公司 BI 系統(tǒng)的需求分析系統(tǒng)的需求分析 在 XXX 公司 的 BI 系統(tǒng)中 可以實(shí)現(xiàn)如下一系列經(jīng)營(yíng)過(guò)程中的分析和決策支持 除了以上列出的一系列分析和預(yù)測(cè)外 利用 BI 系統(tǒng) 還應(yīng)該能夠根據(jù) XXX 公司 的需求很方便地?cái)U(kuò)展其功能 3 2 IBM 的解決方案的解決方案 基于 XXX 公司 BI 系統(tǒng)的需求 以及 IBM 公司在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的經(jīng)驗(yàn) 我 們提出以下解決方案 采用一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù) 實(shí)現(xiàn)各分行業(yè)務(wù)數(shù)據(jù)的自動(dòng)采集 清洗 匯總 并且通過(guò)多維分析工具 讓用戶能夠有效的將數(shù)據(jù)轉(zhuǎn)化為靈活的報(bào)表和決策支持 信息 最終滿足用戶的信息需求 該方案的實(shí)現(xiàn)方式如下 首先 在數(shù)據(jù)主要來(lái)源于兩個(gè)方面 綜合業(yè)務(wù)系統(tǒng)和新錄入的數(shù)據(jù) 綜合業(yè) 務(wù)系統(tǒng)中的數(shù)據(jù)通過(guò)數(shù)據(jù)倉(cāng)庫(kù)工具進(jìn)行自動(dòng)采集 清洗 整理 而需要新錄入的 數(shù)據(jù)則通過(guò)瀏覽器方式錄入 在構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中 我們采取以點(diǎn)帶面的做法 采用小步長(zhǎng) 逐步地 建立數(shù)據(jù)倉(cāng)庫(kù)的策略 以 XXX 公司 報(bào)表系統(tǒng)為開(kāi)端 分階段地實(shí)現(xiàn)商業(yè)智能 應(yīng)用 小的項(xiàng)目可以立即顯示數(shù)據(jù)倉(cāng)庫(kù)的價(jià)值 同時(shí)也提供了更快的投資回報(bào) 而且 先在只有少量的數(shù)據(jù)和用戶的小系統(tǒng)上進(jìn)行學(xué)習(xí)和實(shí)踐 對(duì)技術(shù)人員來(lái)說(shuō) 會(huì)學(xué)得更快 我們希望首先在需求較為迫切的領(lǐng)域 選擇一些比較有意義的主題 基于這些主題 我們將建立一個(gè)數(shù)據(jù)集市 待用戶能夠?qū)?shù)據(jù)倉(cāng)庫(kù)的概念和一些 技術(shù)有了比較深刻的認(rèn)識(shí)之后 再綜觀全局 構(gòu)建起企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)錄入可以采用數(shù)據(jù)文件快速裝入的方式 也可以采用專門應(yīng)用的方式 如果采用后者 我們可以考慮使用 IBM 的 WebSphere 和 VisualAge for Java 進(jìn)行 開(kāi)發(fā) 它們產(chǎn)品是 IBM 電子商務(wù)應(yīng)用的重要部件 利用這兩個(gè)工具 我們可以 方便地建立 Web 頁(yè)面 生成 Java 程序 包括 Applet Servlet 和 Application 等等 并且系統(tǒng)的維護(hù)工作也比較方便 當(dāng)需要修改應(yīng)用時(shí) 只需要修改服務(wù)器上的程 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 8 頁(yè) 序就可以了 不需要在客戶端做工作 另外 這種結(jié)構(gòu)對(duì)客戶機(jī)的配置要求也不 太高 在建造數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中 我們推薦使用 IBM 的 Warehouse Manager 該產(chǎn) 品是 IBM 用來(lái)建立數(shù)據(jù)倉(cāng)庫(kù)的工具 利用該工具 我們可以方便 快捷地構(gòu)造 起數(shù)據(jù)倉(cāng)庫(kù)來(lái) 因?yàn)槲覀儜?yīng)該認(rèn)識(shí)到數(shù)據(jù)倉(cāng)庫(kù)必須建立在一個(gè)開(kāi)放的 可更改的 結(jié)構(gòu)上 以便能夠處理數(shù)據(jù)和需求的不斷膨脹 Warehouse Manager 正是這樣的 一個(gè)工具 提供一個(gè)開(kāi)放的 從數(shù)據(jù)源到數(shù)據(jù)倉(cāng)庫(kù)的一致的解決方案 在 XXX 公司 的 BI 系統(tǒng)中 通過(guò) Warehouse Manager 管理器可以方便地建 立數(shù)據(jù)加工的流程 process 和步驟 step 這些步驟反映了 XXX 公司 具體業(yè)務(wù) 數(shù)據(jù)的流程 規(guī)則 在各步驟中可以定義代理 agent 來(lái)自動(dòng)運(yùn)行數(shù)據(jù)傳遞 清洗 和匯總功能 這些步驟可以按時(shí)間 事件運(yùn)行 或由其它步驟觸發(fā) 代理可以運(yùn) 行在 Warehouse Manager 服務(wù)器上 也可以運(yùn)行在遠(yuǎn)程的業(yè)務(wù)主機(jī)上 并且可以 有多個(gè)代理運(yùn)行以提高效率 可以以非常直觀的圖形化方式管理數(shù)據(jù)倉(cāng)庫(kù) 當(dāng)報(bào) 表系統(tǒng)的業(yè)務(wù)需求發(fā)生變化時(shí) 可以非常方便地修改步驟 滿足變化多端的商業(yè) 競(jìng)爭(zhēng)環(huán)境 Warehouse Manager 是專門為商業(yè)應(yīng)用設(shè)計(jì)的 它可以自動(dòng)在網(wǎng)絡(luò)上進(jìn)行數(shù) 據(jù)的傳送 不需要人為干預(yù) 并且利用它的日志功能可以對(duì)系統(tǒng)運(yùn)行很好地監(jiān)控 在 DB2 Warehouse Manager DWM 中含有 Warehouse Agent 部件 它可以用 來(lái)在位于數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)數(shù)據(jù)庫(kù) DB2 UDB 中執(zhí)行直接執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加工 另外 在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器于業(yè)務(wù)系統(tǒng)之間的文件數(shù)據(jù) FTP 傳輸以及從表中抽取 少量數(shù)據(jù)也可以通過(guò) Agent 直接執(zhí)行 建立數(shù)據(jù)倉(cāng)庫(kù)之后 選擇一些有意義的主題 抽取相關(guān)的數(shù)據(jù)到 DB2 OLAP Server 中 利用 DB2 OLAP Server 的強(qiáng)大分析功能 給最終用戶提供在線 多維分析的功能 能夠讓最終用戶充分挖掘出數(shù)據(jù)中包含的信息 DWM 在執(zhí)行完數(shù)據(jù)的提取任務(wù)后 自動(dòng)觸發(fā)預(yù)先定義好的 OLAP 操作 將 數(shù)據(jù)經(jīng)過(guò)匯總計(jì)算后加載至 DB2 OLAP Server 中 最終用戶工具我們選用 DB2 OLAP Analyzer 這個(gè)產(chǎn)品是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的前 端分析工具 利用這個(gè)工具用戶可以很容易地訪問(wèn) OLAP Server 中經(jīng)過(guò)處理的數(shù) 據(jù) 制作各種形式 風(fēng)格的報(bào)表 報(bào)表內(nèi)容可以包括數(shù)字 圖像 曲線等 使得 管理層可以直接 直觀地查看企業(yè)的經(jīng)營(yíng)情況 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 9 頁(yè) 3 3 建議架構(gòu)建議架構(gòu) 生產(chǎn)系統(tǒng)1 生產(chǎn)系統(tǒng)2 生產(chǎn)系統(tǒng)3 Intranet Internet Browser Windows 2000 Meta Data管理 數(shù)據(jù)倉(cāng)庫(kù)控制 DB2 Warehouse Control Center DB2 Warehouse Server DB2 OLAP Server Application Manager DB2 Intelligent Miner Client Windows 2000 查詢 分析WEB應(yīng)用服務(wù)器 DB2 OLAP Analysis Server HTTP Server DB2 UDB EE DB2 Warehouse Manager DB2 Intelligent Miner for Data DB2 Intelligent Miner Scoring OLAP Data Warehouse Data RS 6000 DB2 OLAP Server 圖 3XXX 公司 BI 系統(tǒng)軟硬件配置示意圖 在此方案中 采用 RS 6000 服務(wù)器作為運(yùn)行數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)數(shù)據(jù)庫(kù)的服務(wù)器 其上安裝 DB2 UDB EE DB2 Warehouse Manager 用來(lái)從生產(chǎn)系統(tǒng)抽取對(duì)決策 有用的業(yè)務(wù)數(shù)據(jù) 經(jīng)過(guò)加工后存放在數(shù)據(jù)倉(cāng)庫(kù)中 在海量數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上針對(duì)每一類具體業(yè)務(wù)問(wèn)題建立數(shù)據(jù)集市 由于 XXX 公司 BI 系統(tǒng)中的業(yè)務(wù)問(wèn)題大多是多維分析問(wèn)題 故利用另外一臺(tái) RS 6000 服務(wù) 器運(yùn)行 IBM 公司專門的多維分析服務(wù)器產(chǎn)品 DB2 OLAP Server 以極大地加快 多維分析的速度 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 10 頁(yè) 在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器上同時(shí)安裝 DB2 Intelligent Miner for Data 從數(shù)據(jù)倉(cāng)庫(kù)服 務(wù)器中抽取數(shù)據(jù)進(jìn)行智能挖掘 此外 在數(shù)據(jù)倉(cāng)庫(kù)上安裝 DB2 Intelligent Miner Scoring 用來(lái)將數(shù)據(jù)挖掘的結(jié)果作用到數(shù)據(jù)倉(cāng)庫(kù)中 實(shí)現(xiàn)打分功能 所有客戶端以瀏覽器方式 通過(guò)查詢和多維分析的 WEB 應(yīng)用服務(wù)器訪問(wèn)數(shù) 據(jù)倉(cāng)庫(kù)和多維分析服務(wù)器中的數(shù)據(jù) 整個(gè)系統(tǒng)需要在一臺(tái)運(yùn)行 Windows 2000 的 PC 服務(wù)器上安裝 DB2 OLAP Analyzer Analysis Server 以及 HTTP Server 作為為 前端瀏覽器客戶提供統(tǒng)一入口的應(yīng)用服務(wù)器 為提高系統(tǒng)響應(yīng)時(shí)間及提供負(fù)載均 衡能力 可以配合 WebSphere Application Server 共同使用 另外 需要配置一臺(tái) PC 服務(wù)器運(yùn)行 Windows 2000 作為整個(gè)系統(tǒng)的控制服 務(wù)器 安裝 DB2 Warehouse Control Server DB2 Control Center OLAP Server 控 制臺(tái) OLAP Server Application Manager 以及挖掘服務(wù)器前端 DB2 Intelligent Miner for Data Client 此方案的優(yōu)點(diǎn) 基于公司的業(yè)務(wù)需求 各業(yè)務(wù)部門可以根據(jù)自己的需要定義數(shù)據(jù)集市的內(nèi)容 并進(jìn)行各種指標(biāo)的多維分析 在實(shí)際應(yīng)用中不斷擴(kuò)展系統(tǒng) 為決策者提供必要的 信息 高性能 高效率 數(shù)據(jù)都在本地運(yùn)行 數(shù)據(jù)量相對(duì)較小 因此對(duì)服務(wù)器計(jì)算 能力的要求相對(duì)較低 同時(shí)由于在局域網(wǎng)上運(yùn)行 對(duì)網(wǎng)絡(luò)帶寬基本不會(huì)有壓力 并且用戶響應(yīng)時(shí)間可以得到保障 最大限度地減少網(wǎng)絡(luò)負(fù)荷 各客戶端通過(guò)瀏覽器方式從中心數(shù)據(jù)倉(cāng)庫(kù)中獲取 數(shù)據(jù) 只有需要的數(shù)據(jù)被傳輸 滿足 XXX 公司 未來(lái)發(fā)展的需要 此方案具有很好的可擴(kuò)展性 隨著 XXX 公司 業(yè)務(wù)量的增加 業(yè)務(wù)數(shù)據(jù)的增多 各種業(yè)務(wù)系統(tǒng)的建立 此方案可以容易 的適應(yīng)這些變化 滿足業(yè)務(wù)的需求 一次性投資 長(zhǎng)期受益 此方案不僅可以滿足 XXX 公司 目前 BI 系統(tǒng)的需 要 更為重要的是為 XXX 公司 商業(yè)智能應(yīng)用打下了一個(gè)堅(jiān)實(shí)的基礎(chǔ) XXX 公 司 可以在此基礎(chǔ)上開(kāi)發(fā)各種商業(yè)智能應(yīng)用 輔助決策者制定業(yè)務(wù)計(jì)劃和措施 在激烈的競(jìng)爭(zhēng)中保持良好的勢(shì)頭 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 11 頁(yè) 第四章第四章 所選所選 IBM 產(chǎn)品簡(jiǎn)介產(chǎn)品簡(jiǎn)介 在這次的商業(yè)智能解決方案中 采用的產(chǎn)品包括數(shù)據(jù)庫(kù) DB2 UDB 數(shù)據(jù)倉(cāng) 庫(kù) DB2 Warehouse Manager 多維數(shù)據(jù)庫(kù) OLAP Server 前臺(tái)分析工具 DB2 OLAP Analyzer 及智能數(shù)據(jù)挖掘服務(wù)器 DB2 Intelligent Miner for Data 以下是 各個(gè)產(chǎn)品的描述說(shuō)明 4 1 DB2 UDB 4 1 1 概述 DB2 家族 Family 與 DB2 通用數(shù)據(jù)庫(kù) UDB V7 2 IBM DB2 家族的各種關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)適用于各種硬件平臺(tái) 其中包括 基于 Intel 的微機(jī) IBM 的或非 IBM 的各種 RISC 服務(wù)器和工作站 大型并行處 理機(jī) AS 400 中型計(jì)算機(jī)系統(tǒng)以及運(yùn)行 VM VSE 和 MVS OS 390 操作系統(tǒng) 的主機(jī)系統(tǒng) 各種平臺(tái)上的 DB2 有共同的應(yīng)用程序接口 因此運(yùn)行在一種平臺(tái) 上的程序可以很容易地移植到其他的平臺(tái) DB2 家族產(chǎn)品能夠滿足不同用戶的 需求 它包含了從單用戶的微機(jī)系統(tǒng)到支持 80 萬(wàn)用戶的主機(jī)系統(tǒng) DB2 家族除 了包含在各種平臺(tái)上運(yùn)行的數(shù)據(jù)庫(kù)管理系統(tǒng)內(nèi)核之外 產(chǎn)品包中還包括了數(shù)據(jù)復(fù) 制 數(shù)據(jù)庫(kù)系統(tǒng)管理 環(huán)球網(wǎng) Internet 網(wǎng)關(guān)支持 在線分析處理 多媒體支持和 各種并行處理能力 免費(fèi)提供免費(fèi)提供 DB2 UDB V7 2 在在 PC 和和 UNIX 平臺(tái)上的客戶機(jī)端平臺(tái)上的客戶機(jī)端 產(chǎn)品產(chǎn)品 DB2 CAE 并為所有平臺(tái)上的異構(gòu)數(shù)據(jù)庫(kù)訪問(wèn)提供 中介件 Middleware 解決方案 可運(yùn)行在基于 Intel 的微機(jī)及各種 RISC 服務(wù)器 UNIX 平臺(tái) 上的 DB2 UDB V7 2 包括 DB2 for AIX DB2 for HP UX DB2 for SUN Solaris DB2 for OS 2 DB2 for Windows NT DB2 for Win95 DB2 for Win98 DB2 for Linux DB2 for SCO DB2 for Sinix DB2 for NUMA Q 等等 這些產(chǎn)品是全功能 具有工業(yè)強(qiáng)度的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng) 分別用于服務(wù)器 和工作站平臺(tái) 可以把它們配置到單個(gè)的系統(tǒng)上 或者配置到支持客戶機(jī)工作站 的 LAN 服務(wù)器上 還可以把它們配置為環(huán)球網(wǎng) Internet 上的數(shù)據(jù)庫(kù)服務(wù)器 如 果使用服務(wù)器配置 那就允許 DOS Windows OS 2 Win95 Win98 Macintosh 或 UNIX 客戶機(jī)去訪問(wèn) DB2 服務(wù)器 可以使用 TCP IP IPX SPX NetBIOS 或 APPC 等網(wǎng)絡(luò)協(xié)議 如果作為 環(huán)球網(wǎng)上的數(shù)據(jù)庫(kù)服務(wù)器 則可由一臺(tái)瀏覽器 Web Browser 作為客戶機(jī)訪問(wèn) IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 12 頁(yè) DB2 通用數(shù)據(jù)庫(kù) UDB V7 2 產(chǎn)品建立在一個(gè)共同代碼的基礎(chǔ)之上 依據(jù)多 進(jìn)程 多線索結(jié)構(gòu)進(jìn)行設(shè)計(jì) 其數(shù)據(jù)庫(kù)引擎的核心技術(shù)來(lái)自 Starburst 研究項(xiàng)目以 及 DB2 for OS 390 等主機(jī)產(chǎn)品 而且它們?cè)跀?shù)據(jù)和應(yīng)用的可移植性兩個(gè)方面與 DB2 家族中的其他成員完全兼容 因而任何受過(guò)一種平臺(tái)上的 DB2 培訓(xùn)的人員 能夠很容易地使用其他平臺(tái)的 DB2 產(chǎn)品 在保持這種外在的兼容性以及具備 DB2 家族成員所必需具備的可靠性和可管理性的同時(shí) 實(shí)際上它們每個(gè)產(chǎn)品還 針對(duì)各自的平臺(tái)環(huán)境作了調(diào)整和優(yōu)化以達(dá)到業(yè)界領(lǐng)先的性能 價(jià)格比 DB2 產(chǎn)品家族提供了完整的中文支持 對(duì)中文的支持貫穿于從微機(jī)到主機(jī) 的所有平臺(tái) 這是任何其他數(shù)據(jù)庫(kù)廠家做不到的 圖 4DB2 家族產(chǎn)品 4 1 2 DB2 通用數(shù)據(jù)庫(kù) UDB V7 2 的特色 DB2 通用數(shù)據(jù)庫(kù) UDB V7 2 無(wú)論在網(wǎng)絡(luò)計(jì)算方面還是在線分析 多媒體處 理 都能給你全面 滿意的支持 而且集成了豐富的數(shù)據(jù)庫(kù)管理工具 把原來(lái)復(fù) 雜的管理工作變得非常簡(jiǎn)單 DB2 V7 2 致力于商業(yè)智能和數(shù)據(jù)倉(cāng)庫(kù)方面的改進(jìn) 包括自動(dòng)觸發(fā)器 多分 區(qū)和多表的自動(dòng)總計(jì)表格 優(yōu)化星式結(jié)構(gòu)的連接方法 使查詢和整個(gè)系統(tǒng)的反應(yīng) 速度大大提高 同時(shí)也增加了在裝載和在線重組時(shí)對(duì)索引的維護(hù) 在 DB2 中還 新增了統(tǒng)計(jì) 線性回歸等功能 直接支持進(jìn)一步深入分析 以便利用 DB2 的查 詢處理實(shí)用程序 而以往只能在應(yīng)用程序級(jí)上做到這一點(diǎn) 另外 在支持 16 和 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 13 頁(yè) 32KB Pages 多個(gè)緩沖池 multiple buffer pool 的優(yōu)化 更快的完整性約束處理 處理更多查詢的星式連接等方面 做了一系列的改進(jìn) 應(yīng)一些 IBM 合作伙伴軟件提供商的要求 DB2 UDB V7 2 包含以下擴(kuò)充性 能 表 視圖 別名的命名長(zhǎng)度限制由原來(lái)的 18 個(gè)字符擴(kuò)充為 128 個(gè)字符 列命名長(zhǎng)度限制由原來(lái)的 18 個(gè)字符擴(kuò)充為 30 個(gè)字符 SQL 語(yǔ)句的最大長(zhǎng)度由原來(lái)的 32KB 增大到 64KB 頁(yè)大小從 16KB 增大到 32KB 最大變量字符為 32KB 取決于頁(yè)大小 最大表 表空間的大小從 128GB 擴(kuò)大到 512GB 取決于頁(yè)大小 索引關(guān)鍵字長(zhǎng)度從 255 字符擴(kuò)大到 1 024 個(gè)字符 嵌入式 SQL 編程支持宏 DB2 V7 2 對(duì)統(tǒng)一代碼 Unicode 的支持 16 Bit 固定長(zhǎng)度的 Unicode 包含所 有通用文本字符 容許定長(zhǎng)字符序列 以便分析 和設(shè)定含義的字符 對(duì) UCS 2 和 UTF 8 格式的支持 允許用戶用各種主要語(yǔ)言創(chuàng)建數(shù)據(jù)庫(kù)和存取數(shù)據(jù) DB2 支持 wchar t 數(shù)據(jù)類型 使得用戶在單字節(jié)環(huán)境 如英語(yǔ)環(huán)境 下開(kāi)發(fā)的應(yīng)用在其 他環(huán)境 日語(yǔ) 下也可照常運(yùn)行 DB2 UDB V7 2 增強(qiáng)面向?qū)ο蟮?SQL 和 SQL 擴(kuò)展 集成 Windows 平臺(tái) 打 包新增免費(fèi)軟件 產(chǎn)品集成改變主要包括通用數(shù)據(jù)支持 免費(fèi)新增數(shù)據(jù)倉(cāng)庫(kù)中心 和 DB2 OLAP starter kit 用戶可以使用 DB2 的數(shù)據(jù)連接器 DataJoiner 象訪問(wèn) DB2 數(shù)據(jù)資源一樣 訪問(wèn) Oracle Sybase Informix SQL Server 等數(shù)據(jù)庫(kù) 用戶只 需熟悉 DB2 語(yǔ)法即可在跨平臺(tái)的復(fù)雜環(huán)境中輕松獲取非 DB2 數(shù)據(jù) DB2 UDB V7 2 選件中針對(duì) Oracle 的關(guān)系連接部件可以使用戶通過(guò)標(biāo)準(zhǔn) SQL 查詢同時(shí)訪問(wèn) DB2 和 Oracle 的數(shù)據(jù)資源 DB2 UDB V7 2 的用戶現(xiàn)在可以跨越 DB2 數(shù)據(jù)庫(kù) Oracle 數(shù)據(jù)庫(kù)或者一個(gè) OLE DB 資源進(jìn)行分布式的查詢 也就是可以通過(guò)使用 DB2 通用數(shù)據(jù)庫(kù)的 SQL 句法和 API 在一個(gè)工作單元的查詢內(nèi)實(shí)現(xiàn)訪問(wèn)和操作保存在異構(gòu)數(shù)據(jù)資源中的 數(shù)據(jù) DB2 Relational Connect 加強(qiáng)了分散查詢功能 使 DB2 用戶可以通過(guò)一個(gè) 簡(jiǎn)單的查詢來(lái)訪問(wèn) DB2 數(shù)據(jù)和存儲(chǔ)在 Oracle 數(shù)據(jù)庫(kù)中的數(shù)據(jù) DB2 UDB V7 2 免費(fèi)包含的數(shù)據(jù)倉(cāng)庫(kù)中心把可視化倉(cāng)庫(kù)的強(qiáng)大功能和 DB2 控制中心的便捷特點(diǎn)結(jié)合起來(lái) 為需要商業(yè)智能的用戶提供友好的用戶界面 用 戶可以使用數(shù)據(jù)倉(cāng)庫(kù)中心對(duì)數(shù)據(jù)進(jìn)行定義 自動(dòng)取樣 轉(zhuǎn)換 發(fā)布 以及為數(shù)據(jù) 倉(cāng)庫(kù)加載數(shù)據(jù) 這種新功能可以為一個(gè)部門或單位配置一個(gè)獨(dú)立的簡(jiǎn)單數(shù)據(jù)中心 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 14 頁(yè) 除數(shù)據(jù)倉(cāng)庫(kù)中心之外 DB2 還在 Wizards 模式名模型 Schema Modeler 元數(shù) 據(jù)交換 Metadata Interchange 等方面做了改進(jìn) DB2 UDB V7 2 數(shù)據(jù)倉(cāng)庫(kù)中心使用了更便捷的新界面 用于創(chuàng)建 設(shè)計(jì) 儲(chǔ) 存以及維護(hù)數(shù)據(jù)倉(cāng)庫(kù)以及 OLAP 表 DB2 數(shù)據(jù)倉(cāng)庫(kù)管理器產(chǎn)品在大量數(shù)據(jù)傳遞 元數(shù)據(jù)管理以及查詢管理方面做了改進(jìn) DB2 UDB V7 中包含了一些先進(jìn)的高級(jí)面向?qū)ο?SQL 功能 對(duì)開(kāi)發(fā)人員和 分析員都非常有用 這些聚合功能用于 OLAP 應(yīng)用計(jì)算 這是在 SQL 99 中很難 或根本無(wú)法實(shí)現(xiàn)的 其符合 SQL 99 OLAP 附錄中建議的標(biāo)準(zhǔn) DB2 現(xiàn)在可以提供臨時(shí)表格支持 應(yīng)用存儲(chǔ)點(diǎn) saving point 標(biāo)識(shí)欄 ID Column 嵌套存儲(chǔ)過(guò)程 SQL 過(guò)程語(yǔ)言 SQL Procedure Language 支持創(chuàng)建 DB2 存儲(chǔ)過(guò)程 符合 ANSI SQL99 中的存儲(chǔ)過(guò)程模型標(biāo)準(zhǔn) DB2 UDB 存儲(chǔ)過(guò)程 創(chuàng)建工具 SPB 是一個(gè)圖形應(yīng)用工具 支持 DB2 存儲(chǔ)過(guò)程的快速開(kāi)發(fā) 通過(guò)使用 SPB 用戶可以在本地和遠(yuǎn)程 DB2 服務(wù)器上創(chuàng)建 修改 運(yùn)行 測(cè)試和調(diào)試存 儲(chǔ)過(guò)程 SPB 提供 Windows AIX 和 Solaris 下的開(kāi)發(fā)環(huán)境 支持 DB2 系列產(chǎn)品 用戶可以從 DB2 UDB 程序組啟動(dòng) SPB 也可以從 MS VC MS VB IBM VisualAge for Java DB2 控制中心啟動(dòng) SPB DB2 UDB V7 2 創(chuàng)建用戶定義功能 表功能和行功能時(shí)允許包含一條 SQL 語(yǔ)句 這就減少了使用外部高級(jí)語(yǔ)言書(shū)寫 這些功能的需要 DB2 UDB V7 2 推出了結(jié)構(gòu)數(shù)據(jù)類型 或者叫做抽象數(shù)據(jù)類型 這可以讓用戶和開(kāi)發(fā)商們創(chuàng)建帶有結(jié)構(gòu)的表格 DB2 UDB V7 2 版本中包括了許多可以提高系統(tǒng)性能和改善系統(tǒng)管理的功能 能夠把 ODBC CLI 應(yīng)用程序包含的動(dòng)態(tài) SQL 語(yǔ)句轉(zhuǎn)換為靜態(tài) SQL 并執(zhí)行 活動(dòng) 日志最大可為 32GB 支持多個(gè) TCP IP 收聽(tīng)者 listener DB2 UDB 7 提供三個(gè)新的擴(kuò)展器 1 空間擴(kuò)展器 Spatial Extender DB2 提出了空間 SQL 查詢概念 Spatially Enabled SQL Queries 使用戶可以在關(guān)系型數(shù)據(jù)庫(kù)中集成空間數(shù)據(jù) 通 過(guò)坐標(biāo)確定位置 和普通的 SQL 數(shù)據(jù) 這兩種技術(shù)的結(jié)合使用戶可以進(jìn) 行新型查詢 新的空間擴(kuò)展器將能夠存儲(chǔ)和索引空間數(shù)據(jù) 坐標(biāo)信息 并使用戶通過(guò)特定的空間數(shù)據(jù)查詢對(duì)其進(jìn)行訪問(wèn) 2 DB2 XML 擴(kuò)展器 IBM DB2 XML Extender 體現(xiàn)了 IBM 全面的 XML 技術(shù)策略 在電子商務(wù)領(lǐng)域居業(yè)界領(lǐng)導(dǎo)地位 XML 擴(kuò)展器是 IBM B2B 服務(wù)器的組成部分 使 DB2 服務(wù)器可以支持 XML IBM 曾為早期 XML 技術(shù)被采用和發(fā)展起到了關(guān)鍵作用 此次該擴(kuò)展器又提供了 XML 存儲(chǔ)和數(shù)據(jù)交換的新技術(shù) 通過(guò)存儲(chǔ) XML 擴(kuò)展器提供了 XML 文檔在 DB2 中的存儲(chǔ)和恢復(fù)機(jī)制 并可高效地查詢 XML 內(nèi)容 通過(guò)數(shù)據(jù)交換 XML 擴(kuò)展器提供新的和已存在的 DB2 相關(guān)表格和 XML 格式文檔之間 的映射 DB2 用戶可以在任何地方通過(guò) XML 擴(kuò)展器進(jìn)行電子商務(wù) 實(shí) IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 15 頁(yè) 現(xiàn)企業(yè)之間 B2B 和企業(yè)與消費(fèi)者之間 B2C 的應(yīng)用 本產(chǎn)品是免 費(fèi)的 A 支持先進(jìn)的面向?qū)ο蠛投嗝襟w應(yīng)用 自從 70 年代 IBM 發(fā)明關(guān)系數(shù)據(jù)庫(kù)以來(lái) 在數(shù)據(jù)庫(kù)市場(chǎng)上 關(guān)系型數(shù)據(jù)庫(kù)管 理系統(tǒng) RDBMS 得到極其廣泛的運(yùn)用 關(guān)鍵任務(wù)的應(yīng)用在很大程度上依賴于 RDBMS 的使用 然而 目前很多 RDBMS 用戶正轉(zhuǎn)向非傳統(tǒng)的 面向?qū)ο蟮膽?yīng) 用 需要對(duì)更廣泛的形形色色的現(xiàn)實(shí)世界數(shù)據(jù)予以支持 比如 需要更有效地處 理在 RDBMS 中的文本 聲音 視頻 映象等數(shù)據(jù) DB2 通用數(shù)據(jù)庫(kù) UDB 能夠支持這些先進(jìn)的應(yīng)用 DB2 把對(duì)傳統(tǒng)應(yīng)用與非 傳統(tǒng)應(yīng)用的支持與數(shù)據(jù)庫(kù)體系結(jié)構(gòu)集成在一起 對(duì)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行面向?qū)ο髷U(kuò) 展 形成新一代對(duì)象關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng) Object Relational DBMS DB2 UDB V7 2 提供了許多對(duì)面向?qū)ο蠹岸嗝襟w應(yīng)用的支持 1 用戶定義類型 UDT DB2 允許用戶定義新的數(shù)據(jù)類型 稱為用戶自定義類型 User Defined Type 例如 一個(gè)用戶可以定義兩種幣值類型 用 CDOLLAR 表示加拿大元 用 USDOLLAR 表示美元 這兩種類型在內(nèi)部可以用 decimal 十進(jìn)制 類型來(lái)表示 但在意義上是有顯著差別的 它們彼此間不應(yīng)也不能直接進(jìn)行比較 也不可直接 與 decimal 類型進(jìn)行比較 這是通過(guò) DB2 的面向?qū)ο髲?qiáng)類型 strong typing 機(jī)制 來(lái)保證的 象內(nèi)設(shè) built in 類型一樣 UDT 可以用來(lái)定義表列的數(shù)據(jù)類型和用戶 定義函數(shù) UDF 的參數(shù) 例如 用戶可以定義一個(gè)類型 多邊形 Polygons 這個(gè) 用戶自定義類型可有構(gòu)造函數(shù) 還可有一組用戶定義的函數(shù)作用于它 如求面積 求角度 以及旋轉(zhuǎn)多邊形等等 2 用戶定義函數(shù) UDF DB2 允許用戶用 C C 等編譯語(yǔ)言定義新的函數(shù) 稱為用戶自定義函數(shù) User Defined Function UDF 允許在查詢中包含強(qiáng)有力的計(jì)算過(guò)程和檢索判定 以便濾除在數(shù)據(jù)源附近無(wú)關(guān)的數(shù)據(jù) UDF 使用戶有能力提供一組函數(shù) 它們作 用于用戶定義的類型 形成面向?qū)ο蟮姆庋b 從而定義該 UDT 的行為語(yǔ)義 SQL 優(yōu)化器考慮到 UDF 的語(yǔ)義和執(zhí)行成本 這使得對(duì)待用戶定義的函數(shù)就完全 象對(duì)待內(nèi)設(shè)函數(shù) 如 SUBSTR 和 LENGTH 一樣 開(kāi)發(fā)應(yīng)用程序所用的語(yǔ)言環(huán)境 可以不同 如 C C COBOL FORTRAN 和 PL I 等 借助于 SQL 應(yīng)用程 序共享一組 UDT 和 UDF IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 16 頁(yè) 把用戶定義的類型和函數(shù)組合在一起使用 就能把數(shù)據(jù)的表示和解釋該數(shù)據(jù) 的一組函數(shù)定義都隱藏起來(lái) 利用它們能創(chuàng)建函數(shù)庫(kù) 這些函數(shù)庫(kù)可以是 IBM 開(kāi)發(fā)的 也可以是第三方經(jīng)銷商或客戶自行開(kāi)發(fā)的 然后直接把它們集成在數(shù)據(jù) 庫(kù)中 3 大對(duì)象 LOB LOB 允許用戶在一個(gè)數(shù)據(jù)庫(kù)中存儲(chǔ)特大 若干個(gè) GB 對(duì)象 在 DB2 中有二進(jìn) 制 LOB BLOB 字符 LOB CLOB 雙字節(jié)字符 LOB DBCLOB 等幾種類型 用 LOB 可以存儲(chǔ)多媒體對(duì)象 如文檔資料 視頻信號(hào) 映象和聲音等 它也可 存儲(chǔ)由 UDT 和 UDF 定義其語(yǔ)義的小型結(jié)構(gòu) DB2 支持一組用于 LOB 的功能強(qiáng) 大的內(nèi)設(shè)函數(shù) 如查找 子串和連接等 利用 UDF 方式用戶可隨時(shí)定義附加函 數(shù) 另外 在一個(gè)表中可以定義多個(gè) LOB 列 對(duì) LOB 實(shí)現(xiàn)支持時(shí)要考慮到客戶對(duì)性能的需求 為此允許數(shù)據(jù)庫(kù)用戶或管 理員執(zhí)行如下操作 僅訪問(wèn)應(yīng)用程序需要的那部分 LOB 不必訪問(wèn)整個(gè) LOB 延遲或取消 LOB 的求值過(guò)程 在定義一個(gè) LOB 列時(shí) 能做出選擇 對(duì)該 LOB 列是否作日志 把 LOB 數(shù)據(jù)存儲(chǔ)在不連續(xù)的數(shù)據(jù)庫(kù)分區(qū)中 這些分區(qū)是專為 LOB 管理 而構(gòu)造的 4 關(guān)系數(shù)據(jù)庫(kù)擴(kuò)展器 Relational Extenders 關(guān)系數(shù)據(jù)庫(kù)擴(kuò)展器是一個(gè)預(yù)先包裝的用戶定義類型 用戶定義函數(shù) 觸發(fā)器 約束以及存貯過(guò)程的集合 利用 DB2 提供的對(duì)象關(guān)系型特征 把 DB2 的基于內(nèi) 容的搜索能力擴(kuò)展到諸如文本 圖像 視頻 音頻之類的新的數(shù)據(jù)類型 使用關(guān) 系擴(kuò)展程序 只需簡(jiǎn)單地添加由關(guān)系擴(kuò)展程序提供的相應(yīng)數(shù)據(jù)類型的列 如文本 或圖像列 用戶就可以把文本文檔 圖像 視頻 音頻等連同常規(guī)企業(yè)數(shù)據(jù)一 起存貯在 DB2 的表中 對(duì)這些表的結(jié)構(gòu)或主關(guān)鍵列并沒(méi)有任何特殊要求 關(guān)系 擴(kuò)展程序還提供了一組用戶定義函數(shù) 用于對(duì)新數(shù)據(jù)類型的管理 索引和搜索 5 集成內(nèi)容搜索 集成內(nèi)容搜索由 Relational Extenders 通過(guò)用戶定義函數(shù)來(lái)支持 例如 DB2 Image Extender 提供了一組函數(shù)來(lái)支持關(guān)于圖像的 基于內(nèi)容的搜索 一個(gè)用戶 可以在一個(gè) SQL 查詢中使用一個(gè) Image Extender 函數(shù)來(lái)請(qǐng)求那些與一個(gè)現(xiàn)有圖 像相似的圖像 并且 其實(shí)現(xiàn)對(duì)用戶是透明的 用戶只需簡(jiǎn)單地把他的搜索請(qǐng)求 表示為 SQL 查詢即可 該 SQL 查詢將自動(dòng)地調(diào)用由擴(kuò)展程序提供的函數(shù) DB2 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 17 頁(yè) 的基于 SQL 的 支持集成內(nèi)容搜索的方法的另一個(gè)重要的優(yōu)點(diǎn)是既可以在多種 非常規(guī)的數(shù)據(jù)類型上搜索給定的查詢 又可以在常規(guī)的數(shù)據(jù)上搜索給定的查詢 B 強(qiáng)勁的在線分析處理 OLAP 支持 DB2 優(yōu)化器能夠使用動(dòng)態(tài)位圖索引 Dynamic Bit Map Index Anding 即根據(jù)需 要在相應(yīng)字段上自動(dòng)地動(dòng)態(tài)生成位圖索引 從維數(shù)表格 Dimension table 中調(diào)選 出符合條件的記錄 再和事實(shí)表格 Fact table 連接 提高了訪問(wèn)多維數(shù)據(jù)的性能 而不是執(zhí)行 Cartesian 的維數(shù)表格連接 避免了大量中間數(shù)據(jù)的生成 中間數(shù)據(jù) 已實(shí)現(xiàn)了理論上的最小值 當(dāng)連接所涉及的表達(dá)到三個(gè)或三個(gè)以上 DB2 可自 動(dòng)判斷是否使用星型連接技術(shù) Star Join 和動(dòng)態(tài)位圖索引進(jìn)行優(yōu)化 DB2 在 SQL 中新增加了 ROLLUP 和 CUBE 功能 ROLLUP 功能通過(guò)在常 規(guī)組的行中增加 小計(jì) 和 總計(jì) 行來(lái)提供擴(kuò)展的組 GROUP CUBE 功能增加了 cross tabulation 行 它們通過(guò)星型連接 Star join 方式在關(guān)系型數(shù)據(jù)庫(kù)中支持在 線分析處理 OLAP 使用立體的結(jié)構(gòu)查看和歸納數(shù)據(jù)而不是傳統(tǒng)的平面結(jié)構(gòu) DB2 的優(yōu)化器一向是值得 IBM 驕傲的 它提供了領(lǐng)先于其它數(shù)據(jù)庫(kù)廠商的基于 成本優(yōu)化技術(shù) 它在優(yōu)化時(shí)考慮了 CPU 速度 磁盤 I O 率 表格尺寸 有效訪 問(wèn)路徑 并且如果可能的話可以重寫查詢 以得到更高的性能 這更使得 DB2 的在線分析處理 OLAP 功能如虎添翼 C 卓越的并行處理能力 1 并行優(yōu)化技術(shù) DB2 UDB V7 2 無(wú)論在 SMP 還是在 MPP 環(huán)境下 甚至在 SMP 節(jié)點(diǎn)組成的 MPP 環(huán)境下 都可充分發(fā)揮其并行處理能力 查詢執(zhí)行時(shí)被透明地分開(kāi)后并行 執(zhí)行 稱作內(nèi)部查詢并行性 Intra query parallelism 過(guò)去需要數(shù)小時(shí)的查詢現(xiàn)在 只需幾分鐘就可以完成 過(guò)去不能執(zhí)行的查詢現(xiàn)在不僅可行 而且還能從中獲益 在 SMP 環(huán)境下處理并行 DB2 UDB 采用的是吸管模型 Straw model 此時(shí) 被執(zhí)行的 SQL 相當(dāng)于杯子中的水 而每個(gè) CPU 相當(dāng)于一根吸水的吸管 這樣被 執(zhí)行的 SQL 很快就被 CPU 吸干 了 在 MPP 環(huán)境下處理并行 則相當(dāng)于把杯子 中的水先智能地分配給多個(gè)小水杯 參與 SQL 執(zhí)行的節(jié)點(diǎn)機(jī) 這樣小水杯中的 水就分別被每個(gè)節(jié)點(diǎn)機(jī) 吸干 了 有了好的模型僅僅是開(kāi)了個(gè)好頭 DB2 UDB V7 2 中融入的最先進(jìn)的技術(shù)才是成功的關(guān)鍵 1 并行優(yōu)化 并行優(yōu)化 從很多系統(tǒng)中抽取非常多的數(shù)據(jù) 這會(huì)耗費(fèi)大量的時(shí)間 如 果效率不高 還會(huì)浪費(fèi)大量寶貴的處理能力 從串行數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)有很多方 IBM 公司數(shù)據(jù)倉(cāng)庫(kù) 商業(yè)智能解決方案 XXX 公司 IBM 中國(guó)有限公司機(jī)密第 18 頁(yè) 法 它們沒(méi)有必要象并行數(shù)據(jù)庫(kù)那樣運(yùn)作 DB2 UDB V7 2 有一個(gè)查詢優(yōu)化器 是由 IBM 研究機(jī)構(gòu)開(kāi)發(fā)的 它是專為提高并行抽取數(shù)據(jù)的效率而設(shè)計(jì)的 這樣 就可獲得高品質(zhì)的查詢性能 特別是對(duì)特大型數(shù)據(jù)庫(kù) 2 全面并行全面并行 Parallel Everything DB2 首先把數(shù)據(jù)分配到數(shù)據(jù)庫(kù)中的多 個(gè)分區(qū)或子集中 這些數(shù)據(jù)庫(kù)位于多個(gè) SP 站點(diǎn)或 SMP 服務(wù)器內(nèi) 接著 DB2 自動(dòng)創(chuàng)建一個(gè)并行處理訪問(wèn)計(jì)劃 數(shù)據(jù)掃描 合并 分類 負(fù)載平衡 表格重組 數(shù)據(jù)調(diào)用 創(chuàng)建索引 索引訪問(wèn) 備份與恢復(fù)等一系列工作都是在所有不同的節(jié) 點(diǎn)里同時(shí)完成的 DB2 UDB V7 2 以并行方式執(zhí)行全部數(shù)據(jù)庫(kù)功能 這包括全部 SQL 語(yǔ)句 Select Insert Update 和 Delete 實(shí)用程序 backup restore reorg load 和數(shù)據(jù)存取方法 連接 表掃描和索引掃描 等 而 且無(wú)需任何額外的編程 這不僅提供了更好的性能和可伸縮性 而且也提供了更 佳的管理性 有能力利用全部處理機(jī)去執(zhí)行數(shù)據(jù)庫(kù)管理任務(wù) 進(jìn)一步說(shuō) DB2 UDB V7 2 既可用于聯(lián)機(jī)事務(wù)處理 OLTP 又可用于決策支持查詢工作 3 管理工具在并行環(huán)境同樣適用 管理工具在并行環(huán)境同樣適用 Governor 幫助您控制每個(gè)用戶及應(yīng)用程 序的資源利用率 可自動(dòng)調(diào)整查詢的優(yōu)先級(jí) 從而 在線平衡負(fù)載 簡(jiǎn)化系統(tǒng)管 理 減少關(guān)機(jī)時(shí)間 通過(guò)并行在線備份功能可顯著減少備份及恢復(fù)所需的時(shí)間 4 并行環(huán)境下功能不受任何限制 并行環(huán)境下功能不受任何限制 DB2 UDB V7 2 對(duì)多媒體數(shù)據(jù)的支持 支持的客戶端平臺(tái) 支持的應(yīng)用開(kāi)發(fā)接口和開(kāi)發(fā)工具以及動(dòng)態(tài)位圖索引等多維分 析功能 對(duì) WEB 和 Java 的支持均不受限制 2 對(duì)MPP結(jié)構(gòu)計(jì)算機(jī)的獨(dú)特支持 當(dāng)企業(yè)的業(yè)務(wù)系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)量不斷增大 并發(fā)用戶量不斷增大 時(shí) 依靠單一的數(shù)據(jù)庫(kù)服務(wù)器往往難以獲得比較好的性能和處理能力 此時(shí) 由 多臺(tái)服務(wù)器協(xié)同工作成為解決這一問(wèn)題的有效手段 多臺(tái)服務(wù)器協(xié)同工作的手段主要有共享硬盤的集群式計(jì)算機(jī) 以及不共享任 何資源而自以高速網(wǎng)絡(luò)相連的海量并行處理計(jì)算機(jī)兩種方式 隨著計(jì)算機(jī)科學(xué)的 不斷發(fā)展 無(wú)論是科學(xué)計(jì)算領(lǐng)域還是在數(shù)據(jù)庫(kù)領(lǐng)域都已經(jīng)備計(jì)算機(jī)科學(xué)家證明 海量并行處理是目前解