銀行業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)解決方案

1、銀行業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)解決方案第1章銀行業(yè)務(wù)與數(shù)據(jù)倉(cāng)庫(kù)現(xiàn)狀3第2章DB2數(shù)據(jù)倉(cāng)庫(kù)解決方案32.1數(shù)據(jù)倉(cāng)庫(kù)海量關(guān)系型數(shù)據(jù)庫(kù)DB2 ESE 與數(shù)據(jù)分區(qū)模塊DPF52.1.1高擴(kuò)展性52.1.2高性能62.1.3高可靠性62.1.4易管理性62.2DB2調(diào)度復(fù)雜即席查詢的查詢管理器DB2 Query Patroller112.3DB2多維分析工具DB2 Cube Views112.4Websphere Information Integrator162.4.1聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）172.4.2針對(duì)異構(gòu)關(guān)系型數(shù)據(jù)庫(kù)的復(fù)制服務(wù)器（Replication Server）1

2、82.5數(shù)據(jù)倉(cāng)庫(kù)管理工具DB2 Warehouse Manager182.6數(shù)據(jù)挖掘DB2 Intelligent Miner192.6.1DB2 Intelligent Miner Scoring212.6.2DB2 Intelligent Miner Modeling222.6.3DB2 Intelligent Miner Visualization222.7前端展示應(yīng)用開發(fā)平臺(tái)DB2 Alphablox24第3章根據(jù)規(guī)模靈活配置26第1章 銀行業(yè)務(wù)與數(shù)據(jù)倉(cāng)庫(kù)現(xiàn)狀現(xiàn)有的新興商業(yè)銀行業(yè)務(wù)系統(tǒng)及中間業(yè)務(wù)系統(tǒng)中，存在以下難題：l 缺乏有針對(duì)性的分析模型l 分析工具功能有限、效率不高l 客戶流動(dòng)性

3、加大, 業(yè)務(wù)復(fù)雜性加劇, 隨機(jī)分析需求增多在構(gòu)建銀行業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)時(shí)，需要面對(duì)如下挑戰(zhàn)： l 整合新興商業(yè)銀行各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，提供針對(duì)銀行的分析數(shù)據(jù)模型； l 提供針對(duì)業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)的分析指標(biāo)體系；l 系統(tǒng)要具有海量關(guān)系型數(shù)據(jù)庫(kù)引擎，在技術(shù)上有效的支持海量數(shù)據(jù)的存儲(chǔ)；l 系統(tǒng)要具有強(qiáng)大的數(shù)據(jù)分析引擎，提供強(qiáng)大的數(shù)據(jù)分析能力。 第2章 DB2數(shù)據(jù)倉(cāng)庫(kù)解決方案IBM軟件方案建議采用成熟的、具有性能價(jià)格比優(yōu)勢(shì)的、功能完善的DB2 Data Warehouse Enterprise Edition(DWEE)數(shù)據(jù)倉(cāng)庫(kù)企業(yè)版來建立銀行的業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)平臺(tái)，其總體結(jié)構(gòu)規(guī)劃如下：DB2 Data War

4、ehouse Enterprise Edition (DB2數(shù)據(jù)倉(cāng)庫(kù)企業(yè)版)是一個(gè)強(qiáng)大的商業(yè)智能平臺(tái)，他擴(kuò)展了IBM DB2 UDB用于構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和分析應(yīng)用的商業(yè)智能特性。包括聯(lián)邦數(shù)據(jù)訪問，數(shù)據(jù)分區(qū)，在線分析處理，數(shù)據(jù)挖掘，ETL,工作負(fù)載管理等功能。整合了IBM DB2 UDB的商業(yè)智能特性，是面向客戶和合作伙伴，構(gòu)建企業(yè)隨需應(yīng)變架構(gòu)，實(shí)施實(shí)時(shí)商業(yè)智能的新一代商業(yè)智能解決方案。主要產(chǎn)品包括如下：產(chǎn)品：功能模塊1.數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的海量關(guān)系型數(shù)據(jù)庫(kù)DB2 UDB ESEDB2 UDB ESE企業(yè)版,數(shù)據(jù)倉(cāng)庫(kù)引擎2.數(shù)據(jù)分區(qū)模塊DB2 UDB DPFDB2 UDB DPF模塊,提供分區(qū)支持，支持多

5、機(jī)并行3.調(diào)度復(fù)雜即席查詢的查詢管理器Query Patroller基于成本的查詢負(fù)載管理工具, 提高數(shù)據(jù)倉(cāng)庫(kù)吞吐量4.多維分析工具DB2 Cube Views1.OLAP元數(shù)據(jù)交換工具2.模型級(jí)物化查詢表生成器，加速OLAP多維分析5.實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)及信息集成器IBM Websphere INFORMATION INTEGRATOR1.關(guān)系數(shù)據(jù)庫(kù)聯(lián)接Relation Connect 2.非關(guān)系數(shù)據(jù)庫(kù)聯(lián)接Life Sencie Connect6.ETL工具B2 Warehouse Manager1.用于數(shù)據(jù)抽取、清洗、加工和裝載的的ETL工具DB2 Warehouse Manager Trans

6、former；2 用于分布數(shù)據(jù)倉(cāng)庫(kù)ETL過程的數(shù)據(jù)倉(cāng)庫(kù)代理Agent。3. 數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)、監(jiān)控以及Meta Data管理工具DB2 Warehouse Center；4 數(shù)據(jù)倉(cāng)庫(kù)信息目錄Information Catalog；5.報(bào)表生成工具QMF7.DB2 Intelligent Miner Scoring 數(shù)據(jù)挖掘評(píng)分工具在數(shù)據(jù)倉(cāng)庫(kù)中直接實(shí)現(xiàn)(實(shí)時(shí))評(píng)分8.DB2 Intelligent Miner Modeler 數(shù)據(jù)挖掘建模工具,從數(shù)據(jù)倉(cāng)庫(kù)中發(fā)現(xiàn)規(guī)律(模型)9.DB2 Intelligent Miner Visualization 數(shù)據(jù)挖掘模型圖示化工具10.IBM Office C

7、onnect Analytical/Enterprise Web Edition Excel多維分析插件，在Excel中實(shí)現(xiàn)查詢、報(bào)表、多維分析11. DB2 Alphablox提供開發(fā)分析應(yīng)用的平臺(tái)，構(gòu)建客戶自己的分析應(yīng)用 2.1 數(shù)據(jù)倉(cāng)庫(kù)海量關(guān)系型數(shù)據(jù)庫(kù)DB2 ESE 與數(shù)據(jù)分區(qū)模塊DPF2.1.1 高擴(kuò)展性在單UNIX主機(jī)CPU擴(kuò)展方面，TPC-C（OLTP）和TPC-H（Ad-Hoc Query），顯示了DB2在擴(kuò)展性方面的能力。在SMP環(huán)境中，經(jīng)SUN在64 CPU E1000上的測(cè)量，可達(dá)到90的擴(kuò)展性（詳細(xì)信息參見）。在集群技術(shù)方面，采用Share Noth

8、ing的MPP體系結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)獨(dú)享各自的硬盤空間，各個(gè)節(jié)點(diǎn)間通過網(wǎng)絡(luò)交換數(shù)據(jù)?？缮炜s性強(qiáng)，最多可以擴(kuò)充到1000個(gè)節(jié)點(diǎn)。國(guó)外有512節(jié)點(diǎn)的實(shí)例。每個(gè)數(shù)據(jù)庫(kù)中單個(gè)表的大小可以達(dá)到512GB*1000=500TB。在全球范圍有許多TB級(jí)的數(shù)據(jù)倉(cāng)庫(kù)。美國(guó)電信公司Sprint PCS的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)由55個(gè)DB2節(jié)點(diǎn)服務(wù)器組成，每個(gè)節(jié)點(diǎn)4CPU，運(yùn)行50TB實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)。2.1.2 高性能DB2的基于成本優(yōu)化技術(shù)已經(jīng)有27年歷史，積累了大量獨(dú)有專利技術(shù)。針對(duì)任意的查詢，DB2獨(dú)特的查詢重寫功能將所有SQL語(yǔ)句改寫成為語(yǔ)義上完全相同，但是可以使用優(yōu)化器所有優(yōu)化功能的語(yǔ)句，優(yōu)化器再自動(dòng)選擇最優(yōu)的查詢路徑完

9、成查詢。此功能特別適用于以圖形化界面生成的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。針對(duì)OLAP應(yīng)用做了相當(dāng)多的優(yōu)化。強(qiáng)大的基于成本的優(yōu)化，獨(dú)特的星型連接算法、動(dòng)態(tài)位圖索引、OLAP算子等。2.1.3 高可靠性支持Cluster、Standby等雙機(jī)熱備份、聯(lián)機(jī)快速備份、快速加載數(shù)據(jù)和快速備份數(shù)據(jù)恢復(fù)。提供雙日志功能，具有表空間級(jí)的備份和恢復(fù)功能，可以從整個(gè)數(shù)據(jù)庫(kù)備份集中選擇需要的單元進(jìn)行恢復(fù)。提供在線重組織表，在線重組織索引，在線配置主要參數(shù)的能力，在線創(chuàng)建、刪除和修改緩沖池的能力。2.1.4 易管理性IBM DB2是一個(gè)SMART的數(shù)據(jù)庫(kù)，即自我管理及資源調(diào)度的智能數(shù)據(jù)庫(kù)系統(tǒng)。DB2由數(shù)據(jù)庫(kù)系統(tǒng)自己進(jìn)行錯(cuò)誤分析、可能

10、的解決方案建議及自我修復(fù)的功能，提供部分核心配置參數(shù)進(jìn)行自動(dòng)配置，而不需數(shù)據(jù)庫(kù)管理員進(jìn)行指定和修改。技術(shù)特點(diǎn)：數(shù)據(jù)分區(qū)技術(shù)：l DB2 Data Partitioning Option（數(shù)據(jù)分區(qū)技術(shù)）：DB2 UDB提供了先進(jìn)的“哈希（HASH）算法”映射數(shù)據(jù)庫(kù)的每一條記錄到特定的數(shù)據(jù)庫(kù)分區(qū)中?！肮Ｋ惴ā笔褂帽碇械囊涣?或一組列)作為分區(qū)關(guān)鍵字，得到0至4095的數(shù)值。分區(qū)圖定義了為4096個(gè)值中的每一個(gè)值分配的特定的數(shù)據(jù)庫(kù)分區(qū)。DB2 UDB為數(shù)據(jù)存儲(chǔ)提供了靈活的拓?fù)浣Y(jié)構(gòu)以達(dá)到高性能及高并行。其中每個(gè)數(shù)據(jù)庫(kù)由一些數(shù)據(jù)庫(kù)分區(qū)組成，每個(gè)數(shù)據(jù)庫(kù)分區(qū)實(shí)際上是數(shù)據(jù)庫(kù)的一個(gè)子集，它包含自己的用戶數(shù)據(jù)，

11、索引，交易日志及配置文件。在數(shù)據(jù)庫(kù)中，管理員需要定義節(jié)點(diǎn)組(Node Group)數(shù)據(jù)庫(kù)分區(qū)所分布的節(jié)點(diǎn)集合。節(jié)點(diǎn)組能夠跨越為該數(shù)據(jù)庫(kù)設(shè)置的數(shù)據(jù)庫(kù)分區(qū)的一部分或全部。在節(jié)點(diǎn)組中，還要定義表空間，以說明用來存儲(chǔ)表數(shù)據(jù)及索引的容器(Container)(文件或設(shè)備)。在數(shù)據(jù)庫(kù)分區(qū)中，如果為每個(gè)表空間定義多個(gè)容器，則數(shù)據(jù)庫(kù)管理系統(tǒng)可以利用I/O的并行機(jī)制提高性能。圖一.數(shù)據(jù)分區(qū)分布圖DB2 UDB數(shù)據(jù)庫(kù)分區(qū)的體系結(jié)構(gòu)具有很多優(yōu)勢(shì)：一張數(shù)據(jù)庫(kù)表被分布在多個(gè)數(shù)據(jù)庫(kù)分區(qū)上，因此一張大規(guī)模數(shù)據(jù)庫(kù)表可以大到TB級(jí)。DB2 UDB在數(shù)據(jù)定義語(yǔ)言(DDL)，數(shù)據(jù)操作SQL，以及運(yùn)行時(shí)都引用了分區(qū)的模式。其分區(qū)方法

12、還可以看做為裝載平衡的工具(通過修改分區(qū)關(guān)鍵字及分區(qū)圖，各分區(qū)中的記錄數(shù)可以調(diào)整)。DB2 UDB優(yōu)化器利用分區(qū)的知識(shí)來估價(jià)不同操作的耗費(fèi)，從而為每個(gè)SQL語(yǔ)句選擇最優(yōu)的執(zhí)行策略。數(shù)據(jù)的分布通過對(duì)分區(qū)關(guān)鍵字進(jìn)行哈希算法完成，分區(qū)圖中提供了每條記錄的存放位置。如果在初次分布數(shù)據(jù)之后，出現(xiàn)了數(shù)據(jù)存放不均的現(xiàn)象，DB2 UDB能夠自動(dòng)分析并更正。DB2 UDB可以通過修改分區(qū)的分布自動(dòng)創(chuàng)建一個(gè)新的分區(qū)圖來平均分布當(dāng)前不均的數(shù)據(jù)。其中涉及到的數(shù)據(jù)記錄自動(dòng)移到它新被分到的數(shù)據(jù)分區(qū)。對(duì)于不斷增長(zhǎng)的數(shù)據(jù)庫(kù)，我們可以增加分區(qū)(同時(shí)增加處理能力)，修改分區(qū)圖來包含這些新的數(shù)據(jù)庫(kù)分區(qū)，而后系統(tǒng)能夠自動(dòng)的重新分布數(shù)

13、據(jù)，以達(dá)到新的平衡。DB2 UDB提供了這一功能，使得系統(tǒng)具有非常好的擴(kuò)展性。處理能力較強(qiáng)的數(shù)據(jù)庫(kù)分區(qū)可以存放較多的數(shù)據(jù)，從而在一切不共享的配置下可以充分利用各節(jié)點(diǎn)的處理能力使其負(fù)載均衡。DB2 UDB可以用來按比例的將更多的數(shù)據(jù)分布在具有更強(qiáng)處理能力的數(shù)據(jù)庫(kù)分區(qū)上。應(yīng)用可以調(diào)用API找到記錄的存放位置，然后將交易送到記錄所在的節(jié)點(diǎn)。該API也可以直接被交易處理應(yīng)用來調(diào)用，如IBM CICS，Encina,將交易送到適當(dāng)?shù)墓?jié)點(diǎn)而提高性能。l Multi-Dimension Cluster（多維群集技術(shù)）：為了提高對(duì)一張大表的訪問效率，IBM DB2提供一種新的索引技術(shù)MDC（多維群集）技術(shù)。多

14、維群集（MDC）提供了一個(gè)出色的方法，可靈活、連續(xù)、自動(dòng)群集多維數(shù)據(jù)。這將會(huì)極大地提高查詢的性能，而且大幅度降低了數(shù)據(jù)維護(hù)操作的費(fèi)用，例如重組織，以及插入、更新和刪除操作過程中的索引維護(hù)操作。多維群集主要用于在線事務(wù)處理（OLTP）環(huán)境、數(shù)據(jù)倉(cāng)庫(kù)和大型數(shù)據(jù)庫(kù)環(huán)境中。首先，MDC采用“BLOCK”來進(jìn)行索引的組織，一個(gè)BLOCK會(huì)包含很多條傳統(tǒng)索引機(jī)制所采用的“行”記錄，因而大大的提高的索引的粒度。使得索引的定位變得更快。利用MDC，可以使一個(gè)表在物理上同時(shí)群集在多個(gè)主鍵（或維度）上。利用群集索引，在表中插入和更新記錄時(shí)，DB2以索引中主鍵的順序在物理數(shù)據(jù)存儲(chǔ)頁(yè)面中維護(hù)著數(shù)據(jù)的實(shí)際順序。群集索引

15、大量提高了大范圍查詢的性能，在良好的群集的幫助下，由于當(dāng)頁(yè)面存儲(chǔ)連續(xù)，完成預(yù)讀取的性能將非常高，從而提高數(shù)據(jù)查詢的效率。這些查詢不僅只訪問包含有正確的維度數(shù)值的記錄的頁(yè)面，并且這些符合條件的頁(yè)面將會(huì)根據(jù)范圍進(jìn)行分組。而且，盡管具有一個(gè)群集索引的數(shù)據(jù)表可以隨著表空間的填充，解除群集，但MDC表能夠自動(dòng)連續(xù)維護(hù)所有維度上的群集，從而不必為了恢復(fù)數(shù)據(jù)的物理順序而重新組織表。在一張大表上定義一個(gè)MDC后，原有的索引都仍然有效，換句話說，我們可以在一個(gè)已經(jīng)存在的大數(shù)據(jù)表上，隨時(shí)增加MDC，以提高對(duì)它的訪問效率。l UNION ALL View：IBM DB2 UDB支持在多個(gè)小型數(shù)據(jù)庫(kù)表上增加一個(gè)UNI

16、ON ALL VIEW，從而建立一個(gè)邏輯上的大表。如果由于硬件等原因，使得對(duì)一張大數(shù)據(jù)表的存儲(chǔ)處理變得困難時(shí)，我們可以支持將數(shù)據(jù)分布在多個(gè)較小型的數(shù)據(jù)表中，然后使用UNION ALL VIEW技術(shù)來實(shí)現(xiàn)一個(gè)邏輯大表的組織和訪問。透過UNION ALL View，用戶可以透明地對(duì)View中的多個(gè)較小規(guī)模的表實(shí)現(xiàn)UPDATE、DELETE、INSERT、SELECT操作。并行技術(shù)DB2 UDB無論在SMP還是在MPP環(huán)境下，甚至在SMP節(jié)點(diǎn)組成的MPP環(huán)境下，都可以通過完善的協(xié)同處理和事務(wù)控制技術(shù)保證處理的并行、完整和一致性，充分發(fā)揮其并行處理能力。查詢執(zhí)行時(shí)被透明地分開后并行執(zhí)行(稱作節(jié)點(diǎn)間查詢

17、并行性：Intra-query parallelism)，過去需要數(shù)小時(shí)的查詢現(xiàn)在只需幾分鐘就可以完成。過去不能執(zhí)行的查詢現(xiàn)在不僅可行，而且還能從中獲益。在單臺(tái)SMP環(huán)境下處理并行(稱作節(jié)點(diǎn)間查詢并行性：Intra-query parallelism)，DB2 UDB采用的是吸管模型(Straw model)。此時(shí)被執(zhí)行的SQL相當(dāng)于杯子中的水，而每個(gè)CPU相當(dāng)于一根吸水的吸管，這樣被執(zhí)行的SQL很快就被CPU“吸干”了,同時(shí)可以使用到多I/O的并行進(jìn)行數(shù)據(jù)的存取操作，此種并行模式稱作節(jié)點(diǎn)內(nèi)并行（Intra-Partition parallelism） 。在MPP環(huán)境下或者多SMP組成的集群環(huán)

18、境下處理并行，則相當(dāng)于把杯子中的水先智能地分配給多個(gè)小水杯(參與SQL執(zhí)行的各個(gè)節(jié)點(diǎn)機(jī))，這樣小水杯中的水就分別被每個(gè)節(jié)點(diǎn)機(jī)“吸干”了，此種并行模式稱作節(jié)點(diǎn)間并行（Inter-Partition parallelism）。有了好的模型僅僅是開了個(gè)好頭，DB2 UDB 中融入的最先進(jìn)的技術(shù)才是成功的關(guān)鍵。l 并行優(yōu)化：從很多系統(tǒng)中抽取非常多的數(shù)據(jù)，這會(huì)耗費(fèi)大量的時(shí)間，如果效率不高，還會(huì)浪費(fèi)大量寶貴的處理能力。從串行數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)有很多方法，它們沒有必要象并行數(shù)據(jù)庫(kù)那樣運(yùn)作。DB2 UDB 有一個(gè)查詢優(yōu)化器，是由IBM研究機(jī)構(gòu)開發(fā)的，它是專為提高并行抽取數(shù)據(jù)的效率而設(shè)計(jì)的。這樣就可獲得高品質(zhì)的查

19、詢性能，特別是對(duì)特大型數(shù)據(jù)庫(kù)。l 全面并行(Parallel Everything)：DB2首先把數(shù)據(jù)分配到數(shù)據(jù)庫(kù)中的多個(gè)分區(qū)或子集中，這些數(shù)據(jù)庫(kù)位于多個(gè)MPP節(jié)點(diǎn)機(jī)或SMP服務(wù)器內(nèi)。接著，DB2自動(dòng)創(chuàng)建一個(gè)并行處理訪問計(jì)劃。數(shù)據(jù)掃描、合并、分類、負(fù)載平衡、表格重組、數(shù)據(jù)調(diào)用、創(chuàng)建索引、索引訪問、備份與恢復(fù)等一系列工作都是在所有不同的節(jié)點(diǎn)里同時(shí)完成的。DB2 UDB以并行方式執(zhí)行全部數(shù)據(jù)庫(kù)功能，這包括全部SQL語(yǔ)句(Select、Insert、Update和Delete)、實(shí)用程序(backup，restore，reorg，load)和數(shù)據(jù)存取方法(連接、表掃描和索引掃描)等，而且無需任何額外

20、的編程。這不僅提供了更好的性能和可伸縮性，而且也提供了更佳的管理性有能力利用全部處理機(jī)去執(zhí)行數(shù)據(jù)庫(kù)管理任務(wù)。進(jìn)一步說，DB2 UDB既可用于聯(lián)機(jī)事務(wù)處理(OLTP)，又可用于決策支持查詢工作。l 管理工具在并行環(huán)境同樣適用：Governor幫助您控制每個(gè)用戶及應(yīng)用程序的資源利用率，可自動(dòng)調(diào)整查詢的優(yōu)先級(jí)。從而，在線平衡負(fù)載，簡(jiǎn)化系統(tǒng)管理，減少關(guān)機(jī)時(shí)間。通過并行在線備份功能可顯著減少備份及恢復(fù)所需的時(shí)間。l 并行環(huán)境下功能不受任何限制：DB2 UDB對(duì)多媒體數(shù)據(jù)的支持、支持的客戶端平臺(tái)、支持的應(yīng)用開發(fā)接口和開發(fā)工具以及動(dòng)態(tài)位圖索引等多維分析功能、對(duì)WEB和Java的支持均不受限制。l 多用戶并發(fā)

21、控制：并發(fā)控制是通過行級(jí)封鎖、查詢結(jié)果游標(biāo)處理以及層次隔離等手段進(jìn)行維護(hù)的，層次隔離包括游標(biāo)穩(wěn)定性、讀穩(wěn)定性、可重復(fù)讀和未提交讀等方式。l DB2 UDB的并行查詢處理：DB2 UDB中的并行查詢處理是通過并行執(zhí)行任務(wù)實(shí)現(xiàn)的，每個(gè)任務(wù)僅在自身分區(qū)的數(shù)據(jù)上工作。例如，在6個(gè)單處理器的集群環(huán)境中，表的掃描被分成在6個(gè)單獨(dú)數(shù)據(jù)庫(kù)分區(qū)(Partition)上執(zhí)行的6個(gè)單獨(dú)的表掃描。在一個(gè)4 CPU的集群中，一般情形下會(huì)有4個(gè)數(shù)據(jù)庫(kù)分區(qū)，這樣，表的掃描在所有服務(wù)器上并發(fā)執(zhí)行。SMP節(jié)點(diǎn)內(nèi)的查詢則被分成單獨(dú)的執(zhí)行任務(wù)利用SMP的多處理器并行執(zhí)行。結(jié)果被匯總后傳遞給用戶，在這樣的環(huán)境中，用戶無需了解有關(guān)數(shù)據(jù)

22、庫(kù)分區(qū)及并行處理的情形。從最終用戶的角度來看，盡管DB2 UDB的性能大大的提高了，但它與傳統(tǒng)數(shù)據(jù)庫(kù)(非集群)的使用方法是一樣的。缺省情況下，DB2 UDB使用TCP/IP在集群系統(tǒng)的分區(qū)間進(jìn)行通訊，信息及數(shù)據(jù)通過高效緩存機(jī)制進(jìn)行交換，大大減少了通訊的需要。l 并行備份和恢復(fù)：能夠用并行方式把數(shù)據(jù)庫(kù)或表空間備份到多臺(tái)設(shè)備上或者反過來從多臺(tái)設(shè)備上進(jìn)行恢復(fù)。用并行方式執(zhí)行備份/恢復(fù)大大地減少所花費(fèi)的時(shí)間， 從而滿足關(guān)鍵性維護(hù)任務(wù)的需求。 備份和恢復(fù)實(shí)用程序能以并行方式使用若干設(shè)備，這樣就減少了這些實(shí)用程序所耗費(fèi)的運(yùn)行時(shí)間。2.2 DB2調(diào)度復(fù)雜即席查詢的查詢管理器DB2 Query Patroll

23、erDB2 Query Patroller 是一種強(qiáng)大的查詢管理系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)管理員可以使用該系統(tǒng)按照以下方式對(duì)DB2數(shù)據(jù)倉(cāng)庫(kù)前瞻性地動(dòng)態(tài)控制查詢流程，針對(duì)不同大小的查詢定義單獨(dú)查詢類別，以便更好地在各查詢間共享系統(tǒng)資源，以及防止較小的查詢被困在較大查詢之后。l 將特定用戶提交的查詢排列為高優(yōu)先級(jí)，以便使這些查詢更快速地運(yùn)行l(wèi) 自動(dòng)暫停大型查詢，以便能夠取消它們或安排它們?cè)诜欠逯禃r(shí)間運(yùn)行跟蹤并取消失控查詢Query Patroller可使數(shù)據(jù)倉(cāng)庫(kù)管理員調(diào)整數(shù)據(jù)庫(kù)查詢工作負(fù)載，以便使小型查詢和高優(yōu)先級(jí)查詢能夠立即運(yùn)行，并使數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)資源得到有效利用。此外，還可收集和分析已完成的查詢信息，以便

24、確定查詢、高使用量用戶、頻繁使用的表和索引間的趨勢(shì)。 管理員可使用 Query Patroller 來：l 建立系統(tǒng)級(jí)和用戶級(jí)資源使用策略l 通過取消和重新安排可能影響數(shù)據(jù)庫(kù)性能的查詢，監(jiān)控和關(guān)聯(lián)系統(tǒng)使用情況l 生成有助于確定數(shù)據(jù)庫(kù)使用趨勢(shì)的報(bào)告，例如正在訪問哪些對(duì)象，哪些個(gè)人或用戶組產(chǎn)生的工作負(fù)載最大查詢提交者可使用 Query Patroller 來：l 監(jiān)控他們已提交的查詢l 保存查詢結(jié)果，以備未來進(jìn)行檢索和重用，從而有效避免了重復(fù)性的查詢提交l 設(shè)置各種參數(shù)，以定制查詢提交，例如是否在查詢完成時(shí)接收電子郵件通知DB2 Query Patroller 可單獨(dú)提供，也可包含在 DB2 Da

25、ta Warehouse Enterprise Edition 中。2.3 DB2多維分析工具DB2 Cube ViewsDB2 Cube Views 是 DB2 UDB 中的最新一代 OLAP 支持，它能夠使關(guān)系數(shù)據(jù)庫(kù)成為管理及部署企業(yè)多維分析應(yīng)用的OLAP服務(wù)器平臺(tái)。憑借DB2 Cube Views，數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)人員能夠提供可更快速部署、更容易管理并能夠在各種分析應(yīng)用程序（無論使用哪些特定的 OLAP 工具和技術(shù)）間提高性能的 OLAP 解決方案。DB2 Cube Views 功能部件是如何做到這一點(diǎn)呢？首先，它允許 DB2 支持 OLAP。如果沒有多維數(shù)據(jù)視圖，關(guān)系數(shù)據(jù)庫(kù)對(duì)于不熟悉數(shù)據(jù)庫(kù)

26、結(jié)構(gòu)和內(nèi)容的人來說似乎是一組令人生畏的帶有一些列的表。DB2 Cube Views 元數(shù)據(jù)使您能夠更完整地記錄 DB2 數(shù)據(jù)庫(kù)中的底層結(jié)構(gòu)。通常，倉(cāng)庫(kù)或數(shù)據(jù)集市是特別為維分析設(shè)計(jì)的。在這種情況下，數(shù)據(jù)庫(kù)通常由被組織為一個(gè)或多個(gè)星型（或雪花型）模式的表組成。簡(jiǎn)單的星型模式包含一個(gè)事實(shí)表，事實(shí)表周圍有一些維表。例如，事實(shí)表可以記錄公司各個(gè)產(chǎn)品和分店每日銷售數(shù)據(jù)。維表（或許是 PRODUCTS 和 STORES 表）可能包含有關(guān)各個(gè)產(chǎn)品和分店的詳細(xì)信息，并且與事實(shí)表相連接。元數(shù)據(jù)對(duì)象DB2 Cube Views 元數(shù)據(jù)尤其擅長(zhǎng)捕獲星型或雪花型模式中固有的結(jié)構(gòu)（請(qǐng)參閱圖 1）。該元數(shù)據(jù)通過一組元數(shù)據(jù)對(duì)

27、象提供關(guān)系數(shù)據(jù)的“空間視圖”。元數(shù)據(jù)對(duì)象被劃分為多層，從簡(jiǎn)單對(duì)象（如 Attribute，簡(jiǎn)單的 Attribute 對(duì)表列建模）到更復(fù)雜的對(duì)象（如 Join、Hierarchy、Dimension 和 Cube Model）。完整定義的多維數(shù)據(jù)模型對(duì)象通常符合星型（或雪花型）模式，并對(duì)一組具有公共維數(shù)的度量建模。然后，多維數(shù)據(jù)模型就封裝其它 DB2 Cube Views 元數(shù)據(jù)對(duì)象（如 Dimension 和 Measure），這一點(diǎn)都不奇怪。圖 1. 引用關(guān)系星型模式的 DB2 Cube Views 多維數(shù)據(jù)模型簡(jiǎn)而言之，DB2 Cube Views 元數(shù)據(jù)使您能夠捕獲 DB2 數(shù)據(jù)庫(kù)的多

28、維結(jié)構(gòu)和設(shè)計(jì)。DB2 Cube Views 元數(shù)據(jù)除了使 DB2 支持 OLAP 外，至少還有兩種使用方法：l DB2 Cube Views 功能部件利用元數(shù)據(jù)來優(yōu)化命中 DB2 數(shù)據(jù)庫(kù)的 SQL 查詢。 l 位于 DB2 之上的產(chǎn)品和應(yīng)用程序可以使用元數(shù)據(jù)。 這兩種用法的簡(jiǎn)要介紹：將 DB2 Cube Views 元數(shù)據(jù)用于優(yōu)化DB2 Cube Views 通過創(chuàng)建合適的實(shí)例化的查詢表（materialized query table，MQT）來加速 SQL 查詢，這些 MQT 中保存了預(yù)先聚集的數(shù)據(jù)。MQT 也稱為（自動(dòng)）匯總表。如果可以，DB2 優(yōu)化器會(huì)將 SQL 查詢重新路由給 MQT

29、（請(qǐng)參閱圖 2）。MQT 通常比底層的基本表（MQT 構(gòu)建于這些基本表之上）小好幾個(gè)數(shù)量級(jí)。因而，對(duì)于同一個(gè) SQL 查詢，將該查詢重新路由給 MQT 這種查詢方法通常比用查詢基本表的方法快得多。DB2 Cube Views 有一個(gè)基于元數(shù)據(jù)和用戶輸入的優(yōu)化顧問程序，它推薦一組合適的 MQT。圖 2. DB2 優(yōu)化器在適當(dāng)時(shí)將查詢路由到 MQT元數(shù)據(jù)使用者多維數(shù)據(jù)視圖元數(shù)據(jù)還有其它好處。商業(yè)智能工具可以從 DB2 讀取元數(shù)據(jù)來了解 DB2 表的維結(jié)構(gòu)。然后，根據(jù)元數(shù)據(jù)，這些工具提供處理 DB2 數(shù)據(jù)的查詢和報(bào)告解決方案。使用 DB2 Cube Views 元數(shù)據(jù)的工具和應(yīng)用程序一般分為兩類：

30、第一類應(yīng)用程序“咬住”DB2 Cube Views 。它們通常通過使用元數(shù)據(jù)來構(gòu)造 SQL 查詢，以讀取元數(shù)據(jù)并直接用它對(duì) DB2 數(shù)據(jù)庫(kù)進(jìn)行分析。大多數(shù)情況下，這些工具對(duì) DB2 Cube Views 多維數(shù)據(jù)模型和多維數(shù)據(jù)對(duì)象進(jìn)行查詢和報(bào)告。 第二類工具使多維數(shù)據(jù)視圖元數(shù)據(jù)從 DB2 流入自己的工具，然后根據(jù)自己的元數(shù)據(jù)查詢 DB2。這些工具必須能夠?qū)?DB2 Cube Views 元數(shù)據(jù)映射到自己的元數(shù)據(jù)。這一映射的復(fù)雜程度取決于元數(shù)據(jù)的相似程度（或相異程度）。 元數(shù)據(jù)生產(chǎn)者并非所有對(duì) DB2 Cube Views 元數(shù)據(jù)感興趣的應(yīng)用程序都讀取元數(shù)據(jù)，這一點(diǎn)也很重要。還有一類工具和應(yīng)用程

31、序產(chǎn)生元數(shù)據(jù)并將它推入 DB2。維元數(shù)據(jù)通常來自數(shù)據(jù)庫(kù)設(shè)計(jì)、抽取-轉(zhuǎn)換-裝入（extract-transform-load，ETL）和其它數(shù)據(jù)庫(kù)管理工具。通過使維元數(shù)據(jù)流入 DB2，這些工具可以利用先前提到的這些優(yōu)化和管理好處。顯然，為了讀取、創(chuàng)建、修改和刪除元數(shù)據(jù)對(duì)象，工具和應(yīng)用程序需要一種與 DB2 中多維數(shù)據(jù)視圖元數(shù)據(jù)交互的工具，這個(gè)工具就是DB2 Cube Views.DB2 Cube Views組件l 多維元數(shù)據(jù)對(duì)象用戶可以創(chuàng)建元數(shù)據(jù)對(duì)象集，以便在維度上對(duì)關(guān)系數(shù)據(jù)和 OLAP 結(jié)構(gòu)進(jìn)行建模。DB2 Cube Views 保存了用戶能夠在 DB2 目錄中創(chuàng)建的所有元數(shù)據(jù)對(duì)象。l OLA

32、P Center 憑借 OLAP Center，用戶可以創(chuàng)建、處理、導(dǎo)入或?qū)С龆嗑S數(shù)據(jù)集模型、多維數(shù)據(jù)集，以及可用于 OLAP 工具的其它元數(shù)據(jù)對(duì)象。OLAP Center 提供了易用的向?qū)Ш痛翱趤韼椭脩羰褂迷獢?shù)據(jù)。例如，Optimization Advisor 可分析元數(shù)據(jù)，并建議如何構(gòu)建對(duì) OLAP 式 SQL 查詢的聚合數(shù)據(jù)加以保存和編寫索引的匯總表。l OLAP Center 管理界面l DB2 Office Connect Analytic Edition DB2 Office Connect Analytic Edition 是一種可查詢 DB2 中 OLAP 數(shù)據(jù)的易用型電子表

33、格外接工具。憑借 DB2 Office Connect Analytic Edition，用戶可以連接到 DB2 數(shù)據(jù)庫(kù)，選擇 DB2 Cube Views 多維數(shù)據(jù)集，并探索 Microsoft Excel 中的數(shù)據(jù)。l 多維服務(wù)DB2 Cube Views 提供了面向 OLAP 工具和應(yīng)用程序開發(fā)者且基于 SQL 和 XML 的應(yīng)用程序編程界面 (API)。通過 CLI、ODBC 或 JDBC 連接，或者通過將嵌入式 SQl 應(yīng)用到 DB2，應(yīng)用程序和工具可使用單個(gè)存儲(chǔ)過程來創(chuàng)建、修改及檢索元數(shù)據(jù)對(duì)象。l 樣本數(shù)據(jù)DB2 Cube Views還提供了樣本應(yīng)用程序和數(shù)據(jù)庫(kù)來幫助用戶學(xué)習(xí)。用戶

34、可以在 DB2 目錄與 OLAP 工具之間交換元數(shù)據(jù)對(duì)象。l db2mdapiclient 實(shí)用程序 這種 db2mdapiclient 實(shí)用程序是作為對(duì)面向多維服務(wù)的應(yīng)用程序進(jìn)行編碼的樣本源代碼提供的。2.4 Websphere Information Integrator由于當(dāng)前信息技術(shù)的飛速發(fā)展，各企業(yè)的業(yè)務(wù)環(huán)境日益復(fù)雜，各種業(yè)務(wù)數(shù)據(jù)不斷的增加，使得企業(yè)中各種數(shù)據(jù)類型繁多，數(shù)據(jù)源也十分分散。用戶越來越希望能夠?qū)φ麄€(gè)企業(yè)不同數(shù)據(jù)源及數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行統(tǒng)一的相關(guān)聯(lián)的管理。但是目前很多企業(yè)受各方面因素的約束，分散的且不同廠商的數(shù)據(jù)源很難復(fù)制或集中到單一的數(shù)據(jù)庫(kù)上。因此，這就使用戶越來越渴望能夠

35、獲得一個(gè)可以整合企業(yè)中各個(gè)分布式的數(shù)據(jù)源以方便訪問多樣化數(shù)據(jù)的解決方案。在這種需求之下，IBM公司提供了IBM Information Integrator系列產(chǎn)品，能夠在整個(gè)企業(yè)范圍內(nèi)訪問關(guān)系型、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。它能提供戰(zhàn)略上的數(shù)據(jù)集成架構(gòu)，以幫助用戶去訪問、處理以及整合異構(gòu)的、分布式的實(shí)時(shí)數(shù)據(jù)。IBM Information Integrator包括聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）和復(fù)制服務(wù)器（Replication Server），用于整合異構(gòu)的實(shí)時(shí)數(shù)據(jù)。聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）利用SQL或產(chǎn)生SQL的工具（整合的開發(fā)

36、環(huán)境、報(bào)表、分析工具）訪問、整合及處理分布式的和異構(gòu)的數(shù)據(jù)。該產(chǎn)品主要適用于數(shù)據(jù)源為各類關(guān)系型數(shù)據(jù)庫(kù)及其他如XML、Web或內(nèi)容數(shù)據(jù)源。IBM Information Integrator 核心內(nèi)容包括：2.4.1 聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）聯(lián)邦數(shù)據(jù)服務(wù)器是一種特殊類型的分布式數(shù)據(jù)庫(kù)管理系統(tǒng)。一個(gè)聯(lián)邦數(shù)據(jù)服務(wù)器包括一個(gè)作為服務(wù)器的DB2實(shí)例，另外還可以有一個(gè)或多個(gè)不同的數(shù)據(jù)源對(duì)應(yīng)不同廠商的關(guān)系型數(shù)據(jù)庫(kù)，以及訪問數(shù)據(jù)庫(kù)和數(shù)據(jù)源的客戶端（用戶和應(yīng)用）。利用聯(lián)邦數(shù)據(jù)服務(wù)器，用戶可以在一個(gè)SQL語(yǔ)句中向不同的數(shù)據(jù)源發(fā)送分布式請(qǐng)求，從而實(shí)現(xiàn)集成異構(gòu)數(shù)據(jù)庫(kù)的功能。DB2聯(lián)

37、邦數(shù)據(jù)服務(wù)器的強(qiáng)大性在于： l 聯(lián)合本地表和遠(yuǎn)程數(shù)據(jù)源，就象所有的數(shù)據(jù)都在本地一樣操作。 l 利用數(shù)據(jù)源的處理功能，向數(shù)據(jù)源發(fā)送分布式請(qǐng)求。 l 在一個(gè)聯(lián)邦數(shù)據(jù)服務(wù)器上處理分布式請(qǐng)求的各個(gè)部分，彌補(bǔ)數(shù)據(jù)源上的SQL限制。 聯(lián)邦數(shù)據(jù)服務(wù)器支持的數(shù)據(jù)源包括：關(guān)系型數(shù)據(jù)庫(kù)：IBM DB2, IBM Informix Dynamic Server, IBM Informix Extended Parallel Server, Microsoft SQL Server, Oracle, Sybase SQL Server, Sybase Adaptive Server Enterprises, Tera

38、data, 以及ODBC數(shù)據(jù)源。非關(guān)系型數(shù)據(jù)源：IBM Websphere MQ Message queues, Web services，Microsoft Access，Microsoft Excel spreadsheets，flat 文件，XML 文檔，LDAP 目錄，和Entrez，Blast， HMMer， BioRS，Documentum，IBMLotus Extended Search能夠訪問的數(shù)據(jù)源。IBM Lotus Extended Search 提供訪問多個(gè)數(shù)據(jù)存儲(chǔ)，包括Domino， IBM DB2 Information Integrator for Content

39、 sources (比如 IBM Content Manager，IBM Content Manager OnDemand，和IBM ImagePlus)，關(guān)系型數(shù)據(jù)庫(kù)(IBM DB2，Oracle，Sybase，Microsoft SQL Server，Microsoft Access)， Lotus Domino.Doc，Microsoft Index Server，Microsoft Site Server，Microsoft Exchange，和超過18個(gè)搜索網(wǎng)站。l 針對(duì)開發(fā)：一個(gè)開發(fā)工具箱，提供開發(fā)訪問其它的數(shù)據(jù)源。應(yīng)用程序能夠查詢或檢索整合后的數(shù)據(jù)源就象它們?cè)趩我坏臄?shù)據(jù)庫(kù)上n 查

40、詢操作使用標(biāo)準(zhǔn)SQL。n 聯(lián)邦數(shù)據(jù)服務(wù)器使用基于成本的分布式查詢優(yōu)化器選擇最佳的訪問路徑以獲取更好的查詢性能。n 用戶可以在聯(lián)邦數(shù)據(jù)服務(wù)器上定義數(shù)據(jù)緩存以提高查詢效率。n 應(yīng)用程序能夠訪問傳統(tǒng)數(shù)據(jù)庫(kù)或Web 應(yīng)用客戶端2.4.2 針對(duì)異構(gòu)關(guān)系型數(shù)據(jù)庫(kù)的復(fù)制服務(wù)器（Replication Server）客戶可以在異構(gòu)關(guān)系型數(shù)據(jù)資源之間復(fù)制數(shù)據(jù)IBM DB2，IBM Informix，Microsoft，Oracle，和Sybase都是可以作為復(fù)制源或復(fù)制目標(biāo)；Teradata可以作為復(fù)制目標(biāo)。用戶可以配置一個(gè)多樣性的拓?fù)洵h(huán)境l 復(fù)制服務(wù)器支持分布式（從一個(gè)數(shù)據(jù)庫(kù)到多個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）和集中式（

41、從多個(gè)數(shù)據(jù)庫(kù)到一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）l 數(shù)據(jù)遷移可以同時(shí)使用標(biāo)準(zhǔn)的SQL表達(dá)式或存儲(chǔ)過程l 數(shù)據(jù)遷移可以定時(shí)的自動(dòng)執(zhí)行，或在一定的時(shí)間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行2.5 數(shù)據(jù)倉(cāng)庫(kù)管理工具DB2 Warehouse ManagerDB2 Warehouse Manager 提供了用于構(gòu)建、管理及訪問數(shù)據(jù)倉(cāng)庫(kù)的強(qiáng)大工具。Warehouse Manager具有以下特性：l 開發(fā)簡(jiǎn)單。只需要用簡(jiǎn)單的點(diǎn)擊、拖拉等Windows常用操作，系統(tǒng)會(huì)自動(dòng)生成標(biāo)準(zhǔn)的SQL語(yǔ)句，當(dāng)然，也可以自己定義SQL。一般情況下 不需要編寫程序，但提供接口為滿足特殊需要，用戶也可以自己用VB、C/C+等寫數(shù)據(jù)處理程

42、序。l 維護(hù)簡(jiǎn)單。由于基本不需要編程實(shí)現(xiàn)，因此可以適應(yīng)于變化的需求。當(dāng)需求發(fā)生變化時(shí)，只需要改變數(shù)據(jù)倉(cāng)庫(kù)中的定義即可。l 自動(dòng)化的執(zhí)行。通過調(diào)度(schedule)，數(shù)據(jù)倉(cāng)庫(kù)可以自動(dòng)完成所有的數(shù)據(jù)抽取、整理、轉(zhuǎn)換，以及分發(fā)等功能。l 支持眾多的關(guān)系數(shù)據(jù)庫(kù)，以及非關(guān)系數(shù)據(jù)庫(kù)。從個(gè)人機(jī)到NT服務(wù)器、Unix服務(wù)器以及IBM的主機(jī)系統(tǒng)。l 提供分布式數(shù)據(jù)處理功能。利用Agent技術(shù)，可以分布式處理來自多個(gè)數(shù)據(jù)源的數(shù)據(jù)。這一點(diǎn)對(duì)于企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)來說非常重要，因?yàn)樗梢蕴峁┝己玫目蓴U(kuò)展性。l 元數(shù)據(jù)管理。DataGuide提供方便的手段管理數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)，用戶可以用各種方式查看它們。同時(shí)，IBM正在致

43、力于制定數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的國(guó)際標(biāo)準(zhǔn)(以Warehouse Manager的TAG文件為基礎(chǔ))，以實(shí)現(xiàn)不同數(shù)據(jù)倉(cāng)庫(kù)廠商之間的數(shù)據(jù)交換。l 眾多的第三方工具。如DataStage、Vality、ETI等可以和Warehouse Manager非常好的集成在一起，為數(shù)據(jù)處理提供增強(qiáng)的功能。l DB2 UDB是業(yè)界公認(rèn)的性能優(yōu)良、開放、具有出色可擴(kuò)展性的數(shù)據(jù)庫(kù)。Warehouse Manager和DB2 UDB密切協(xié)同工作，為數(shù)據(jù)倉(cāng)庫(kù)的良好運(yùn)作提供保證。這也是為什么世界上許多大型跨國(guó)公司，如花旗銀行、聯(lián)邦快運(yùn)等都將數(shù)據(jù)倉(cāng)庫(kù)建立在IBM方案之上。2.6 數(shù)據(jù)挖掘DB2 Intelligent Miner

44、DWE中的IBM DB2 Intelligent Miner 主要是以下產(chǎn)品的集合：l Intelligent Miner Scoring（IM Scoring） l Intelligent Miner Modeling（IM Modeling） l Intelligent Miner Visualization（IM Visualization） 這些產(chǎn)品支持快速實(shí)現(xiàn) IM 分析，此分析是嵌入在商業(yè)智能（BI）、電子商務(wù)或傳統(tǒng)聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用程序中的。它們作為獨(dú)立定價(jià)的產(chǎn)品提供。它們還在 IBM DB2 Data Warehouse Edition 中提供。在 DB2 中，專業(yè)人

45、員可以交互地從命令中心或命令行處理器發(fā)出 SQL 語(yǔ)句。他們還可以從這些接口之一啟動(dòng) Intelligent Miner 函數(shù)。Intelligent Miner V8.2 提供基于 Excel 電子表格的加載演示。此演示闡明了 SQL API 的功能以及如何使用它。有了這個(gè)演示，您可以用 IM 函數(shù)為原型開發(fā)一個(gè)“概念證明”而無需處理 SQL API 的復(fù)雜情況。為了輔助應(yīng)用程序開發(fā)者，Intelligent Miner V8.2 提供了 WebSphere Studio Plug-in。該插件包含集成在 WebSphere Studio Plug-in 環(huán)境中的圖形向?qū)Ш途庉嬈?。通過這些工

46、具，應(yīng)用程序開發(fā)者可以圖形化方式為挖掘任務(wù)建模，生成 SQL 將 IM SQL 功能嵌入他們的商業(yè)應(yīng)用程序中。根據(jù)經(jīng)驗(yàn)、個(gè)人偏好、挖掘技能和待解決問題的復(fù)雜度，您可以在以下開發(fā)挖掘解決方案的方法中進(jìn)行選擇：l 使用樣本和教程開始并進(jìn)行改編使它們適應(yīng)您自己的商業(yè)問題。 l 使用 WebSphere Studio Plug-in 提供的圖形界面來定義挖掘過程。生成代碼并將它集成到您自己的商業(yè)應(yīng)用中。 l 對(duì)普通挖掘任務(wù)使用簡(jiǎn)單挖掘過程來執(zhí)行典型的挖掘任務(wù)。 l 使用命令行腳本生成器 idmmkSQL 作為起始點(diǎn)來編寫 Scoring 語(yǔ)句。 l 在 SQL 腳本中或者從任何 JDBC、CLI、OD

47、BC 或 SQLJ 應(yīng)用程序中使用功能強(qiáng)大的低級(jí)別 SQL/MM API。圖 1. 在您的商業(yè)環(huán)境中使用 IM 產(chǎn)品 圖 1 顯示了如何在商業(yè)環(huán)境中使用 IM 產(chǎn)品的典型應(yīng)用場(chǎng)合：商業(yè)應(yīng)用程序的應(yīng)用程序開發(fā)者使用開發(fā)者工具將 IM SQL 功能集成到應(yīng)用程序中。 專業(yè)人員從商業(yè)應(yīng)用程序中使用此挖掘功能。2.6.1 DB2 Intelligent Miner ScoringIM Scoring 擴(kuò)展了數(shù)據(jù)庫(kù)功能，并使用戶能夠?qū)崟r(shí)部署數(shù)據(jù)挖掘分析系統(tǒng)。通過數(shù)據(jù)挖掘所產(chǎn)生的分析數(shù)據(jù)，為企業(yè)和消費(fèi)客戶提供更加個(gè)性化的服務(wù)，或通過不斷進(jìn)行模型改進(jìn)以響應(yīng)特定情況，用戶可以在商業(yè)智能和運(yùn)營(yíng)應(yīng)用程序中采用它們

48、，以便為企業(yè)及提供更好的服務(wù)。IM Scoring使應(yīng)用程序能夠?qū)?PMML 模型應(yīng)用到大型數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)子集或單行或情況中。應(yīng)用程序使用 SQL API，此 API 由用戶定義的函數(shù)（UDF）和用戶定義的方法（UDM）組成，以執(zhí)行記分操作。 PMML 模型可能由某個(gè) Intelligent Miner 產(chǎn)品創(chuàng)建或通過其它支持 PMML 模型的應(yīng)用程序和工具來創(chuàng)建。IM Scoring的特點(diǎn)如下：l DB2 Intelligent Miner Scoring 提供了如同數(shù)據(jù)庫(kù)擴(kuò)展的無與倫比的計(jì)分技術(shù)：DB2 Extender 和 Oracle cartridge。 l 通過簡(jiǎn)單的 SQL 編程

49、界面和標(biāo)準(zhǔn)開發(fā)界面，DB2 Intelligent Miner Scoring 提供了無與倫比的可擴(kuò)展性和強(qiáng)大功能。 l DB2 Intelligent Miner Scoring 在關(guān)系數(shù)據(jù)庫(kù)中將挖掘模型另存為 XML 對(duì)象。實(shí)施基于數(shù)據(jù)挖掘的新行業(yè)標(biāo)準(zhǔn)。 l DB2 Intelligent Miner Scoring 根據(jù)數(shù)據(jù)挖掘模型中表示的一系列預(yù)定標(biāo)準(zhǔn)對(duì)記錄進(jìn)行計(jì)分對(duì)這些記錄的主題進(jìn)行分段、分類和分級(jí)。 l DB2 Intelligent Miner Scoring 支持所有可提供數(shù)據(jù)計(jì)分功能的 DB2 Intelligent Miner，例如決策樹、基于中心和基于分發(fā)的群集、多項(xiàng)式回

50、歸及神經(jīng)網(wǎng)絡(luò)。通過使挖掘模型和計(jì)分邏輯與應(yīng)用程序隔離開來，您可以在趨勢(shì)改變或獲得其它信息時(shí)不斷改進(jìn)模型無需中斷應(yīng)用程序。 用戶可以在各種環(huán)境下執(zhí)行 DB2 Intelligent Miner Scoring。例如 DB2 Extenders 與 Oracle cartridge、通過 DB2 DataJoiner 對(duì)聯(lián)合數(shù)據(jù)的 DB2 的存取。IM Scoring 包括 IM Scoring Java Bean，使您可以在給定 PMML 模型的情況下對(duì) Java 應(yīng)用程序中的單個(gè)數(shù)據(jù)記錄計(jì)分。這可以用于將計(jì)分集成到電子商務(wù)應(yīng)用中，例如用于客戶關(guān)系管理（CRM）系統(tǒng)的實(shí)時(shí)計(jì)分。2.6.2 DB2

51、 Intelligent Miner ModelingIM Modeling 提供 IM Modeling 技術(shù)，例如 DB2 extender。它使得 SQL 應(yīng)用程序能夠基于 DB2 Universal Database(TM) V8.1 或 V8.2 SQL 訪問的數(shù)據(jù)來開發(fā)分析模型。DB2 IM Modeling的特性如下：l DB2 Intelligent Miner Modeling 為以下建模操作提供了 DB2 Extender： l 關(guān)聯(lián)發(fā)現(xiàn)。應(yīng)用示例包括發(fā)現(xiàn)購(gòu)物籃分析中的產(chǎn)品關(guān)聯(lián)、電子商務(wù)站點(diǎn)的站點(diǎn)訪問模式或購(gòu)買的金融產(chǎn)品組合。 l 人口群集。應(yīng)用示例包括市場(chǎng)細(xì)分、商店背景描

52、述及購(gòu)買行為模式。 l 分類樹。應(yīng)用示例包括基于理想結(jié)果的客戶背景描述，例如購(gòu)買傾向、預(yù)計(jì)的花費(fèi)水平，以及在某段時(shí)間內(nèi)客戶減少的可能性 l DB2 Intelligent Miner Modeling 是 DB2 數(shù)據(jù)庫(kù)的高級(jí) SQL 擴(kuò)展，它能夠使建模功能嵌入到商業(yè)應(yīng)用程序中。 l DB2 Intelligent Miner Modeling 支持以符合業(yè)界新分析模型標(biāo)準(zhǔn)“預(yù)測(cè)模型標(biāo)記語(yǔ)言 (PMML) V2.0”的形式開發(fā)數(shù)據(jù)挖掘模型。 l 當(dāng)發(fā)現(xiàn)新關(guān)系時(shí)，DB2 Intelligent Miner Scoring 可將這些新關(guān)系實(shí)時(shí)應(yīng)用到新數(shù)據(jù)。 l 數(shù)據(jù)挖掘模型分析可通過基于 Java

53、 的結(jié)果瀏覽器 DB2 Intelligent Miner Visualizer 獲得。通過 DB2 Intelligent Miner Modeling，即使非專家級(jí)人員也能夠查看及評(píng)估數(shù)據(jù)挖掘建模流程的結(jié)果。 2.6.3 DB2 Intelligent Miner VisualizationIM Visualization 提供以下 JAVA 觀測(cè)器來顯示數(shù)據(jù)建模結(jié)果以供分析：l 關(guān)聯(lián)觀測(cè)器 l 分類觀測(cè)器 l 群集觀測(cè)器 l 回歸觀測(cè)器（僅對(duì) IM Modeling 模型）可使用 Intelligent Miner Visualizer 使符合 PMML 的挖掘模型可視化。應(yīng)用程序可調(diào)用

54、這些觀測(cè)器來顯示模型結(jié)果，或者您可將觀測(cè)器部署為 Web 瀏覽器中的小應(yīng)用程序以供現(xiàn)成分發(fā)。可通過使用 IM Modeling 或其它通過使用 PMML 模型支持互操作性的應(yīng)用程序和工具來開發(fā)模型，或者可將 Intelligent Miner for Data 的模型作為 PMML 模型導(dǎo)出。模型作為平面文件存儲(chǔ)，或者您可以直接從數(shù)據(jù)庫(kù)中將挖掘模型可視化。數(shù)據(jù)庫(kù)中的模型已經(jīng)通過 IM Modeling 創(chuàng)建或者已經(jīng)使用 IM Scoring 的導(dǎo)入功能導(dǎo)入數(shù)據(jù)庫(kù)中。PMML 標(biāo)準(zhǔn)的焦點(diǎn)是計(jì)分的互操作性。如果 PMML 模型包含 IM Visualization 擴(kuò)展（例如，IM Modelin

55、g 產(chǎn)生的分布統(tǒng)計(jì)或質(zhì)量信息），則使用 IM Visualization 能夠?qū)崿F(xiàn)最好的結(jié)果。IM Visualization V8.2 提供以下增強(qiáng)功能：l 成果圖 l 字段重要性 l 質(zhì)量分析2.7 前端展示應(yīng)用開發(fā)平臺(tái)DB2 AlphabloxDB2 Alphablox 是一種業(yè)界領(lǐng)先的平臺(tái)，它可實(shí)現(xiàn)應(yīng)用程序中嵌入的集成分析的快速匯編和廣泛部署。其擁有基于 J2EE（Java 2 平臺(tái)，企業(yè)版）標(biāo)準(zhǔn)開發(fā)基于 Web 的企業(yè)應(yīng)用程序的業(yè)界標(biāo)準(zhǔn)的開放式、可擴(kuò)展架構(gòu)。通過在無需復(fù)雜編程的情況下自動(dòng)處理應(yīng)用程序行為的眾多細(xì)節(jié)，其簡(jiǎn)化了企業(yè)應(yīng)用程序開發(fā)。 DB2 Alphablox 提供了各種模塊

56、化、可再用的 Blox 組件，以及應(yīng)用程序框架、功能強(qiáng)大的編程模型和各種用于對(duì)分析應(yīng)用程序進(jìn)行匯編的開發(fā)工具。針對(duì)其運(yùn)行時(shí)環(huán)境，DB2 Alphablox 充分利用了標(biāo)準(zhǔn) J2EE 應(yīng)用程序服務(wù)器。DB2 Alphablox 可安裝在領(lǐng)先的商用 J2EE 應(yīng)用程序服務(wù)器上，例如 IBM WebSphere 等。當(dāng)開發(fā)具有嵌入式 DB2 Alphablox 功能的應(yīng)用程序時(shí)，您能夠利用由基本 J2EE 應(yīng)用程序服務(wù)器提供的眾多功能，包括增強(qiáng)的性能、安全性及個(gè)性化。與應(yīng)用程序服務(wù)器環(huán)境的集成可使應(yīng)用程序生成器充分利用 DB2 Alphablox 來提供與構(gòu)建、部署及執(zhí)行分析應(yīng)用程序相關(guān)的基本功能，

57、同時(shí)依靠應(yīng)用程序服務(wù)器來提供強(qiáng)大可靠的管理和部署服務(wù)。 組件 DB2 Alphablox 提供了可滿足集成分析應(yīng)用程序設(shè)計(jì)要求的廣泛 Blox 庫(kù)，以便實(shí)現(xiàn)最高的可用性。這些組件包括： 數(shù)據(jù)存取 blox，其通過用戶界面與相應(yīng)數(shù)據(jù)源之間的連接管理數(shù)據(jù)存取。由于 DB2 Alphablox 直接存取您數(shù)據(jù)庫(kù)中的數(shù)據(jù)，因此充分利用其功能的應(yīng)用程序?qū)⒆袷厝魏伟踩匦曰騼?nèi)置到您數(shù)據(jù)庫(kù)中的限制。DB2 Alphablox 顯示了由多維數(shù)據(jù)庫(kù)引擎提供的所有分析功能（例如：分級(jí)、推導(dǎo)出的計(jì)算、排序、高級(jí)過濾、百分位數(shù)、十分位數(shù)、變異數(shù)、標(biāo)準(zhǔn)差、關(guān)聯(lián)、趨勢(shì)分析、統(tǒng)計(jì)功能，及其它高級(jí)計(jì)算）。此外，DB2 Alphablox 還可使最終用戶和應(yīng)用程序開發(fā)人員創(chuàng)建定制的計(jì)算所得成員。 DataBlox 還提供了以 XML 格式返回?cái)?shù)據(jù)的 API。這開啟了通向可擴(kuò)展性的大門，充分利用 DB2 Alphablox 的應(yīng)用程序?qū)⑴c企業(yè)應(yīng)用程序相集成。它還實(shí)現(xiàn)了到支持 XML 的客戶端（包括蜂窩電話、尋呼機(jī)和 PDA）的數(shù)據(jù)傳輸。應(yīng)用程序開發(fā)人員還能夠顯示 web 服務(wù)中的數(shù)據(jù)和或構(gòu)建定制的用戶界面。 由 DB2 Alphablox 提供的用戶界面 blox 具有強(qiáng)大的功能和高交互性特點(diǎn)，它完