商業(yè)智能的支撐技術(shù)

1、商業(yè)智能的支撐技術(shù)         在本欄目的前兩期中，我們向大家介紹了商業(yè)智能的常規(guī)性知識、典型應(yīng)用、其與各種企業(yè)信息化系統(tǒng)的關(guān)系以及一個典型的商業(yè)智能系統(tǒng)模型。其實，正像我們開始對商業(yè)智能概念界定的那樣，“商業(yè)智能不是什么新技術(shù)，它只是數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘等技術(shù)的綜合運用。為此，把商業(yè)智能看成是一種解決方案應(yīng)該比較恰當(dāng)?！鄙钊胝J識商業(yè)智能，必須從這些支撐技術(shù)入手。那么，支撐商業(yè)智能的各項技術(shù)的工作原理是什么？它們各自的功能如何？帶著這些問題，請看本期的商業(yè)智能的支撐技術(shù)。由于商業(yè)智能只是數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖

2、掘等技術(shù)的綜合運用，所以我們有必要先來了解一下這些BI的支撐技術(shù)。BI的數(shù)據(jù)存儲技術(shù)數(shù)據(jù)倉庫和數(shù)據(jù)集市數(shù)據(jù)倉庫（DataWarehouse）是將從多個數(shù)據(jù)源收集的信息，按照單一的模式進行存儲，并通常將這些信息駐留在單個站點。數(shù)據(jù)倉庫通過數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)集成、數(shù)據(jù)裝入和定期數(shù)據(jù)刷新來構(gòu)造其內(nèi)容。數(shù)據(jù)倉庫收集了整個組織的主題信息，因此，它是企業(yè)范圍的數(shù)據(jù)存儲。寬松地講，數(shù)據(jù)倉庫是一個數(shù)據(jù)庫，組織可以將它與組織機構(gòu)的操作數(shù)據(jù)庫分別進行維護。數(shù)據(jù)倉庫系統(tǒng)允許將各種應(yīng)用系統(tǒng)集成在一起，為統(tǒng)一的>' target='_blank' class='infotex

3、tkey'>歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理提供支持。按照W.H.Inmon這位數(shù)據(jù)倉庫系統(tǒng)構(gòu)造方面的權(quán)威設(shè)計師的說法，“數(shù)據(jù)倉庫是一個面向主題的、集成的、時變的、非易失的數(shù)據(jù)集合，支持>' target='_blank' class='infotextkey'>管理部門的決策過程”。這個簡短而又全面的定義指出了表明數(shù)據(jù)倉庫主要特征的四個關(guān)鍵詞：面向主題的、集成的、時變的、非易失的，將數(shù)據(jù)倉庫與其他數(shù)據(jù)存儲系統(tǒng)（如關(guān)系數(shù)據(jù)庫系統(tǒng)、事務(wù)處理系統(tǒng)和文件系統(tǒng)）區(qū)別開來。讓我們進一步看看這些關(guān)鍵特征。面向主題的（subject-o

4、riented）：數(shù)據(jù)倉庫圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品和銷售組織。數(shù)據(jù)倉庫關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機構(gòu)的日常操作和事務(wù)處理。因此，數(shù)據(jù)倉庫排除對決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。集成的（integrated）：通常，構(gòu)造數(shù)據(jù)倉庫是將多個異種數(shù)據(jù)源，如關(guān)系數(shù)據(jù)庫、一般文件和聯(lián)機事務(wù)處理記錄集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)和屬性度量等指標的一致性。時變的（time-variant）：數(shù)據(jù)存儲從>' target='_blank' class='infotextkey'>歷史的角度（例如

5、過去5-10年）提供信息。數(shù)據(jù)倉庫中的關(guān)鍵結(jié)構(gòu)，隱式或顯式地包含時間元素。非易失的（nonvolatile）：數(shù)據(jù)倉庫總是物理地分離存放數(shù)據(jù)；這些數(shù)據(jù)源于操作環(huán)境下的應(yīng)用數(shù)據(jù)。由于這種分離，數(shù)據(jù)倉庫不需要事務(wù)處理、恢復(fù)和并發(fā)控制機制。通常，它只需要兩種數(shù)據(jù)訪問：數(shù)據(jù)的初始化裝入和數(shù)據(jù)訪問。概言之，數(shù)據(jù)倉庫是一種語義上一致的數(shù)據(jù)存儲，它充當(dāng)決策支持數(shù)據(jù)模型的物理實現(xiàn)，并存放企業(yè)戰(zhàn)略決策所需信息。數(shù)據(jù)倉庫也常常被看作一種體系結(jié)構(gòu)，通過將異種數(shù)據(jù)源中的數(shù)據(jù)集成在一起而構(gòu)造，支持結(jié)構(gòu)化的和專門的查詢、分析報告和決策。數(shù)據(jù)集市(datamart)則是數(shù)據(jù)倉庫的一個部門子集。它聚焦在選定的主題上，是部門范

6、圍的。通過提供多維數(shù)據(jù)視圖和匯總數(shù)據(jù)的預(yù)計算，數(shù)據(jù)倉庫非常適合聯(lián)機分析處理（OLAP）。OLAP操作使用數(shù)據(jù)的領(lǐng)域背景知識，允許在不同的抽象層提供數(shù)據(jù)。這些操作適合不同的用戶。盡管數(shù)據(jù)倉庫工具對于支持數(shù)據(jù)分析是有幫助的，但是仍需要更多的數(shù)據(jù)挖掘工具，以便進行更深入的自動分析。BI的分析技術(shù)OLAP、數(shù)據(jù)挖掘OLAP根據(jù)OLAP委員會的定義，聯(lián)機分析處理(Online Analytical Processing，簡稱OLAP)是使分析人員、>' target='_blank' class='infotextkey'>管理人員或執(zhí)行人員能夠從多種

7、角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維度特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。它的技術(shù)核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。有些>' target='_blank' class='infotextkey'>歷史的企業(yè)將會積累下大量的來自外部或內(nèi)部的數(shù)據(jù)，在進行OLAP分析時，要先將這些數(shù)據(jù)批量裝入數(shù)據(jù)倉庫。此外，業(yè)務(wù)系統(tǒng)也會不斷產(chǎn)生新的數(shù)據(jù)，并需要增量裝入數(shù)據(jù)倉庫。數(shù)據(jù)倉庫建立之后，即可以利用OLAP復(fù)雜的查詢能力、數(shù)據(jù)對比、數(shù)據(jù)抽取和報表

8、來進行探測式數(shù)據(jù)分析了。之所以稱其為探測式數(shù)據(jù)分析，是因為用戶在選擇相關(guān)數(shù)據(jù)后，通過切片、切塊、上鉆、下鉆、旋轉(zhuǎn)等操作，可以在不同的粒度上對數(shù)據(jù)進行分析嘗試，得到不同形式的知識和結(jié)果。在多維數(shù)據(jù)結(jié)構(gòu)中，按二維選擇數(shù)據(jù)，稱為切片（Slice），按三維選擇數(shù)據(jù)稱為切塊（Dice）。如在“城市、產(chǎn)品、時間”三維立方體中進行切塊和切片，可得到各城市、各產(chǎn)品的銷售情況。在數(shù)據(jù)結(jié)構(gòu)樹中，用戶選擇展開同一級數(shù)據(jù)的詳細信息，稱為下鉆（Drill-down），選擇更高一級的數(shù)據(jù)詳細信息以及數(shù)據(jù)視圖，稱為上鉆（Drill-up）。鉆取的深度與維所劃分的層次相對應(yīng)。旋轉(zhuǎn)(Rotate)則可以通過旋轉(zhuǎn)得到不同視圖的數(shù)

9、據(jù)。數(shù)據(jù)挖掘數(shù)據(jù)挖掘是按照一定的規(guī)則對數(shù)據(jù)庫和數(shù)據(jù)倉庫中已有的數(shù)據(jù)進行信息開采、挖掘和分析，從中識別和抽取隱含的模式和有趣知識，并利用它們?yōu)闆Q策者提供決策依據(jù)。數(shù)據(jù)挖掘的任務(wù)是從數(shù)據(jù)中發(fā)現(xiàn)模式。模式有很多種，按功能可分為兩大類：預(yù)測型（Predictive）模式和描述型（Descriptive）模式。預(yù)測型模式是可以根據(jù)數(shù)據(jù)項的值精確確定某種結(jié)果的模式。挖掘預(yù)測型模式所使用的數(shù)據(jù)也都是可以明確知道結(jié)果的。描述型模式是對數(shù)據(jù)中存在的規(guī)則做一種描述，或者根據(jù)數(shù)據(jù)的相似性把數(shù)據(jù)分組。描述型模式不能直接用于預(yù)測。在實際應(yīng)用中，根據(jù)模式的實際作用，細分為分類模式、回歸模式、時間序列模式、聚類模式、關(guān)聯(lián)模

10、式和序列模式種。其中包含的具體算法有貨籃分析（Market Analysis）、聚類檢測（Clustering Detection）、神經(jīng)網(wǎng)絡(luò)（Neural Networks）、決策樹方法（Decision Trees）、遺傳算法（Genetic Analysis）、連接分析（Link Analysis）、基于范例的推理（Case Based Reasoning）和粗集（Rough Set）以及各種統(tǒng)計模型。數(shù)據(jù)挖掘與OLAP的區(qū)別和聯(lián)系是：OLAP側(cè)重于與用戶的交互、快速的響應(yīng)速度及提供數(shù)據(jù)的多維視圖，而數(shù)據(jù)挖掘則注重自動發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式和有用信息，盡管允許用戶指導(dǎo)這一過程。OLAP的分析結(jié)果可以給數(shù)據(jù)挖掘提供分析信息作為挖掘的依據(jù)，數(shù)據(jù)挖掘可以拓展OLAP分析的深度，可以發(fā)現(xiàn)OLAP所不能發(fā)現(xiàn)的更為復(fù)雜、細致的信息。BI的表示和發(fā)布技術(shù)數(shù)據(jù)可視化和Web技術(shù)為了發(fā)現(xiàn)這些不同類型的知識。要采用多種發(fā)現(xiàn)知識的工具。為了使發(fā)現(xiàn)知識的過程和結(jié)果易于理解和在發(fā)現(xiàn)知識過程