商業(yè)智能內(nèi)訓(xùn)

1、商業(yè)智能介紹內(nèi)訓(xùn)資料2007年04月23日1目錄商業(yè)智能概念與原理富深研發(fā)中心BI組階段性成果 2商業(yè)智能產(chǎn)生的背景隨著信息技術(shù)的普及，各級政府和企業(yè)建立了大量的業(yè)務(wù)信息系統(tǒng)，這些業(yè)務(wù)系統(tǒng)存儲了大量的、有價值的數(shù)據(jù)，如部門預(yù)算、指標、工資及單位資料等。盡管如此，高層領(lǐng)導(dǎo)和管理人員在面對動態(tài)的、不確定的外部環(huán)境和內(nèi)部環(huán)境時，卻不知道從何處去得到?jīng)Q策所需要的信息，有時即使知道，由于效率太低的問題也不能進行所需要的數(shù)據(jù)分析。為了改變這種“數(shù)據(jù)泛濫，知識貧乏”的局面，商業(yè)智能便應(yīng)運而生。3商業(yè)智能的概念商業(yè)智能也稱作BI(Business Intelligence)，是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和

2、分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息，創(chuàng)造和積累商務(wù)知識和見解，完善各種商務(wù)流程，改善商務(wù)決策水平，采取有效的商務(wù)行動，提升各方面商務(wù)績效，增強綜合競爭力的智慧和能力，是將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具。商務(wù)智能是運用了數(shù)據(jù)倉庫、聯(lián)機分析處理和數(shù)據(jù)挖掘技術(shù)來處理和分析數(shù)據(jù)的技術(shù)，它允許用戶查詢和分析數(shù)據(jù)庫或數(shù)據(jù)倉庫，進而得出影響商業(yè)活動的關(guān)鍵因素，最終幫助用戶做出更好、更合理的決策。4商業(yè)智能的信息層次商業(yè)智能 商業(yè)價值驅(qū)動決策支持分析型報告操作型報告5商業(yè)智能體系結(jié)構(gòu)數(shù)據(jù)源數(shù)據(jù)倉庫數(shù)據(jù)集市?數(shù)據(jù)采集及整合數(shù)據(jù)的映射規(guī)則、模型。（元數(shù)據(jù)管理）商業(yè)智能項目流程管

3、理及系統(tǒng)性能管理和監(jiān)控?數(shù)據(jù)展現(xiàn)及決策部門預(yù)算預(yù)算執(zhí)行工資統(tǒng)發(fā)外部收入分析支出分析指標分析多維分析 儀表盤 數(shù)據(jù)挖掘終端用戶終端用戶6數(shù)據(jù)倉庫的概念 數(shù)據(jù)倉庫之父William H.Inmon在Building the DataWarehouse中，將數(shù)據(jù)倉庫定義為“一個面向主題的、集成的隨時間變化的非易失性數(shù)據(jù)的集合，用于支持管理層的決策過程”。7數(shù)據(jù)倉庫的特性面向主題典型的主題領(lǐng)域：收入分析；支出分析；指標分析集成的數(shù)據(jù)抽取、清理、轉(zhuǎn)換、裝載非易失的數(shù)據(jù)倉庫的數(shù)據(jù)通常是一起載入和訪問的，但并不進行一般意義上的數(shù)據(jù)更新隨時間的變化性數(shù)據(jù)倉庫中的時間期限要遠遠長于操作型系統(tǒng)中的時間期限（510

4、年）；數(shù)據(jù)倉庫中的數(shù)據(jù)是一系列某一時刻生成的復(fù)雜快照；數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時間元素。8數(shù)據(jù)倉庫的幾個重要概念主題 從信息管理的角度看，主題就是在一個較高的管理層次上對信息系統(tǒng)中的數(shù)據(jù)按照某一具體的管理對象進行綜合、歸類所形成的分析對象。 從數(shù)據(jù)組織的角度看，主題就是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對分析對象進行了比較完整的、一致的數(shù)據(jù)描述，這種描述不僅涉及數(shù)據(jù)自身，還涉及數(shù)據(jù)之間的聯(lián)系。 9數(shù)據(jù)倉庫的幾個重要概念 某個“客戶”在特定“時間”、特定“地點”購買了一個“產(chǎn)品”，發(fā)生了購買活動。這是一個基本的業(yè)務(wù)事件。事實是從市場捕捉到的事件的一個度量，它是客戶在特定時間和地點與產(chǎn)品發(fā)生作用時的瞬

5、時值。這個事件的參考實體“客戶”、“時間“、“地點”和“產(chǎn)品”，稱之為維。數(shù)據(jù)倉庫中的事實定義為維的交叉點。維和事實10 數(shù)據(jù)倉庫的幾個重要概念粒度 所謂粒度是指數(shù)據(jù)倉庫中數(shù)據(jù)單元的詳細程度和級別。數(shù)據(jù)越詳細，粒度越小級別就越低；數(shù)據(jù)綜合度越高，粒度越大級別就越高。粒度越小，細節(jié)程度越高程度越低，回答查詢的種類就越多。11銷售地區(qū)西南華中華東四川云南河南湖北江蘇上海維的層次 級別 成員 12數(shù)據(jù)集成的背景統(tǒng)一性問題：業(yè)務(wù)信息系統(tǒng)建設(shè)相對分散，缺乏統(tǒng)一規(guī)劃和統(tǒng)一的數(shù)據(jù)平臺。共享性問題。各業(yè)務(wù)流程之間缺乏順暢的系統(tǒng)銜接，數(shù)據(jù)共享困難，數(shù)據(jù)的利用率比較低，形成信息孤島。管理水平問題：領(lǐng)導(dǎo)需要從整體上

6、對業(yè)務(wù)數(shù)據(jù)進行查詢和分析，以便作出科學(xué)決策，現(xiàn)有的系統(tǒng)難以滿足要求。安全性問題：各業(yè)務(wù)系統(tǒng)安全措施差次不齊，隨著應(yīng)用需求的不斷擴大，有待于建立規(guī)范的安全系統(tǒng)。 13數(shù)據(jù)集成數(shù)據(jù)集成一般稱為ETL(Extract,Transformation,Loading，抽取、轉(zhuǎn)換、加載)，就是對原有的，分散的，陳舊的數(shù)據(jù)進行批量的提取、轉(zhuǎn)換、加載，使它們成為對OLAP(聯(lián)機分析系統(tǒng))和數(shù)據(jù)挖掘等決策分析有用的數(shù)據(jù)。ETL工具既可以滿足用戶對種類繁多的異構(gòu)數(shù)據(jù)源進行整合的需求，又可以通過增量方式進行數(shù)據(jù)的后期更新。14數(shù)據(jù)抽取支持跨平臺：支持UNIX、Windows 98/NT/2000/2003、Linu

7、x等操作系統(tǒng) 。 集成異構(gòu)的數(shù)據(jù)源：支持Oracle、Sybase、SqlServer、DB2等業(yè)界主流數(shù)據(jù)庫軟件平臺；支持文件數(shù)據(jù)源，支持JDBC、ODBC、OLE-DB接口，XML接口，消息隊列以及Web Sevice應(yīng)用接口等。數(shù)據(jù)抽取過程的調(diào)度：抽取過程的備份與恢復(fù)；支持時間觸發(fā)方式；支持事件觸發(fā)方式；支持命令行執(zhí)行方式等。 15數(shù)據(jù)轉(zhuǎn)換選擇過濾：從源系統(tǒng)中選擇整個記錄或者部分記錄。分離/合并：對源系統(tǒng)中記錄中的數(shù)據(jù)進行分離操作或者對很多源系統(tǒng)中選擇的部分數(shù)據(jù)進行合并操作。排序：對源系統(tǒng)中的數(shù)據(jù)按某幾個字段進行排序操作。轉(zhuǎn)化：對字段的轉(zhuǎn)化包括對源系統(tǒng)進行標準化和使字段對用戶來說是可用和

8、可理解的。匯總：數(shù)據(jù)倉庫中需要保存很多匯總數(shù)據(jù)。這需要將最低粒度數(shù)據(jù)進行匯總。計算值：根據(jù)某個公式進行若干字段的計算。16數(shù)據(jù)加載 數(shù)據(jù)裝載完成將轉(zhuǎn)換好的數(shù)據(jù)存儲到數(shù)據(jù)倉庫的任務(wù)。數(shù)據(jù)裝載類型主要有3種方式：最初裝載、增量裝載和完全刷新。17數(shù)據(jù)倉庫建模的目的數(shù)據(jù)倉庫的數(shù)據(jù)模型中不包含操作型的數(shù)據(jù)，數(shù)據(jù)倉庫的數(shù)據(jù)模型只包含用戶所感興趣的分析數(shù)據(jù)、描述數(shù)據(jù)和細節(jié)數(shù)據(jù)。數(shù)據(jù)倉庫的數(shù)據(jù)模型擴充了關(guān)鍵字結(jié)構(gòu)，增加了時間屬性作為關(guān)鍵字的一部分。數(shù)據(jù)倉庫的數(shù)據(jù)模型中還增加了一些由基本數(shù)據(jù)所導(dǎo)出的衍生數(shù)據(jù)，這些導(dǎo)出的衍生數(shù)據(jù)主要用于對企業(yè)的管理決策進行分析 。18數(shù)據(jù)倉庫建模的步驟維表建模：每一張維表對應(yīng)現(xiàn)

9、實世界中的觀察事件的一個角度，如時間、地區(qū)、預(yù)算科目等事實表建模：每一個事實表通常包含了處理所關(guān)心的一系列的度量值數(shù)據(jù)倉庫建模：維表和事實表按相互關(guān)系組織成數(shù)據(jù)倉庫模型，常見的有星型模型和雪花模型聚合表設(shè)計：性能考慮19 星型模型核心是事實表，圍繞事實表的是維度表。通過事實表將各種不同的維度表連接起來，各個維度表都連接到中央事實表。星型模型 事實表維度表維度表維度表維度表維度表20 雪花模型是對星型模型的擴展，每一個維度都可以向外連接到多個詳細類別表。雪花模型對星型模型的維度表進一步標準化，對星型模型中的維度表進行了規(guī)范化處理。 事實表維度表維度表維度表維度表維度表詳細類別表詳細類別表雪化模型

10、21星型模型示例Vendor dataVendor dataVendor datavendor_id供應(yīng)商cust_id客戶order_id發(fā)貨Order dataOrder dataorder_id訂單Cust dataCust dataCust dataMoney dataOrder dataOrder dataOrder data產(chǎn)品Product dataProduct dataProduct dataProduct idVendor idMoney datacust idMoney dataorder idMoney dataproduct id22 聯(lián)機分析處理（OLAP）的概念聯(lián)

11、機分析處理OLAP（On-Line Analytical Processing）是一類與聯(lián)機事務(wù)處理OLTP（On-Line Transaction Processing）有明顯區(qū)分的軟件技術(shù)，它使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解。 OLAP的目標是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術(shù)核心是維這個概念。23OLAP的特征1.快速性系統(tǒng)能在數(shù)秒內(nèi)對用戶的多數(shù)分析要求做出反應(yīng)2.可分析性用戶無需編程就可以定義新的專門計算，將其作為分析的一部分，并以用戶所希望的方式給出報告3.多維性提供對數(shù)據(jù)分析的多維視圖

12、和分析4.信息性能及時獲得信息，并且管理大容量信息24地區(qū) 產(chǎn)品北京上海 化妝品江蘇 玩具 浙江 服裝 電器 1 2 3 4 時間（月）(上海，4月，電器，10000） OLAP可認為是在多維數(shù)據(jù)集進行分析操作的工具集合?；镜亩嗑S分析操作有鉆?。ㄉ暇砗拖裸@）、切片、切塊、及旋轉(zhuǎn)等。銷售多維數(shù)據(jù)集OLAP與多維分析25切片 地區(qū) 產(chǎn)品北京上海 化妝品江蘇 玩具 浙江 服裝 電器 1 2 3 4 時間（月） 對多維數(shù)據(jù)集的某一個維或多個維選定成員，稱為切片(slice)。切片的維數(shù)取決于原來多維數(shù)據(jù)集的維數(shù)。下圖為在產(chǎn)品維選定“電器”后的切片。服裝切片26切塊 地區(qū) 時間（月）北京上海 4江蘇

13、3 浙江 2 1 化妝品 玩具 電器 服裝 產(chǎn)品 對多維數(shù)據(jù)集的某一個維或多個維選定成員集合，稱為切塊(dice)。切塊的維數(shù)取決于原來多維數(shù)據(jù)集的維數(shù)。下圖為在時間維選定“1月”，“2月”，“3月”集合的切塊。服裝切片服裝切片27上卷地區(qū) 產(chǎn)品華北 化妝品華東 玩具 服裝 電器 1 2 3 4 時間（月） 上卷是指沿某一個維的層次向上爬升，例如地區(qū)維成員“北京”，“上?！?，“江蘇”，“浙江”向上爬升為“華北”，“華東”，使銷售數(shù)據(jù)按地區(qū)維進行聚集，或稱為匯總。28下鉆 地區(qū) 產(chǎn)品蘇州無錫 化妝品常州 玩具 鎮(zhèn)江 服裝 電器 1 2 3 4 時間（月） 下鉆是上卷的逆向操作，沿某一個維的層次向

14、下細化，例如地區(qū)維成員“江蘇”細化為“蘇州”， “無錫”， “常州”，“鎮(zhèn)江”，使銷售數(shù)據(jù)按地區(qū)維向下尋找細節(jié)數(shù)據(jù)的過程。29旋轉(zhuǎn) 用戶常常希望改變多維數(shù)據(jù)集顯示的維方向，稱為多維數(shù)據(jù)集的旋轉(zhuǎn)(rotate)操作。如原來橫坐標為時間維，縱坐標為地區(qū)維。通過旋轉(zhuǎn)可以使橫坐標為地區(qū)維，縱坐標為時間維。30旋轉(zhuǎn) 31 OLAP與數(shù)據(jù)倉庫的關(guān)系 OLAP獨立于數(shù)據(jù)存儲的具體形式，是以數(shù)據(jù)倉庫(DW)或數(shù)據(jù)庫為基礎(chǔ)，其最終數(shù)據(jù)來源是底層的OLTP數(shù)據(jù)庫系統(tǒng)，但主要數(shù)據(jù)源是數(shù)據(jù)倉庫。 OLAP對數(shù)據(jù)的任何分析請求要在一個穩(wěn)定一致的時間內(nèi)，給子響應(yīng)，所以在分析操作前，先將所需數(shù)據(jù)從OLTP數(shù)據(jù)庫中收集、挑選

15、、轉(zhuǎn)換、合并與匯總，而管理人員需要的也是從更高層次、全局的角度理解數(shù)據(jù)，故數(shù)據(jù)倉庫是最好的選擇。32OLAP的數(shù)據(jù)組織方式存儲組織方式主要有MOLAP、ROLAP和HOLAP三種。MOLAP（Multidimensional OLAP)：MOLAP利用一個專有的多維數(shù)據(jù)庫來存儲OLAP分析所需的數(shù)據(jù)，數(shù)據(jù)以多維方式存儲，并以多維視圖方式顯示。ROLAP（Relational OLAP）：ROLAP利用一個關(guān)系數(shù)據(jù)據(jù)庫來存儲OLAP分析所需的數(shù)據(jù)。HOLAP（HOLAP,Hybrid OLAP）： HOLAP用關(guān)系表存儲事實表和維表，利用專有的多維數(shù)據(jù)庫來存儲聚集表。33數(shù)據(jù)挖掘的概念從商業(yè)角度

16、看，數(shù)據(jù)挖掘是一種嶄新的商業(yè)信息處理技術(shù)，其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進行抽取、轉(zhuǎn)化、分析和模式化處理，從中提取輔助商業(yè)決策的關(guān)鍵知識。 從技術(shù)角度看，數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的實際數(shù)據(jù)中，提取隱含在其中的、人們所不知道的、但又是潛在有用的信息和知識的過程。34 數(shù)據(jù)挖掘與傳統(tǒng)數(shù)據(jù)分析比較35 數(shù)據(jù)挖掘與數(shù)據(jù)倉庫的關(guān)系大多數(shù)數(shù)據(jù)挖掘工具需要在集成的、一致的、經(jīng)過清理的數(shù)據(jù)上進行挖掘。 數(shù)據(jù)挖掘所需要的數(shù)據(jù)與數(shù)據(jù)倉庫所能提供的數(shù)據(jù)要求相符合。數(shù)據(jù)挖掘技術(shù)在數(shù)據(jù)倉庫中的應(yīng)用，正好彌補了數(shù)據(jù)倉庫只能提供大量數(shù)據(jù)，而無法進行深度信息分析的缺陷，提高了數(shù)據(jù)倉庫的利

17、用價值。36數(shù)據(jù)挖掘的過程確定挖掘?qū)ο鬁蕚鋽?shù)據(jù)建立模型數(shù)據(jù)挖掘結(jié)果分析知識應(yīng)用階段 源數(shù)據(jù) 集成數(shù)據(jù) 目標數(shù)據(jù) 預(yù)處理數(shù)據(jù) 商業(yè)模式 知識 業(yè)務(wù)對象 應(yīng)用方案37數(shù)據(jù)挖掘的技術(shù)關(guān)聯(lián)規(guī)則：關(guān)聯(lián)規(guī)則是指兩個或多個變量間的取值之間存在某種關(guān)聯(lián)性。分類規(guī)則：分類規(guī)則是指利用已有的數(shù)據(jù)構(gòu)造一個分類函數(shù)，用來預(yù)測未知類別數(shù)據(jù)的類別判別。聚類規(guī)則：聚類規(guī)則是指通過某種相似性標準把數(shù)據(jù)劃分到不同的組中，組間的差別盡可能大，組內(nèi)的差別盡可能小，這些組也稱為簇。異常檢測：異常檢測是發(fā)現(xiàn)數(shù)據(jù)集中與其它數(shù)據(jù)點表現(xiàn)不一致的數(shù)據(jù)。預(yù)測：利用某變量的歷史數(shù)據(jù)建立某種規(guī)則和模型，然后利用該模型來分析該變量未來的情況。38數(shù)據(jù)挖掘的主要算法統(tǒng)計分析工具：統(tǒng)計分析包括回歸分析、聚類分析、因子分析、趨勢分析等。決策樹：決策樹是建立在信息論基礎(chǔ)之上，對數(shù)據(jù)進行分類的一種方法。首先，通過一批已知的訓(xùn)練數(shù)據(jù)建立一棵決策樹。然后，利用建好的決策樹，對數(shù)據(jù)進行預(yù)測。神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)建立在自學(xué)習的數(shù)學(xué)模型基礎(chǔ)之上。它可以對大量復(fù)雜的數(shù)據(jù)進行，并可以完成對人腦或其他計算機來說極為復(fù)雜的模式抽取及趨勢分析。遺傳算法：遺傳算法是一種基于生物進化論和分子遺傳學(xué)的搜索優(yōu)化算法。39商業(yè)智能的應(yīng)用在財政、審計領(lǐng)域的應(yīng)用 :財政收入分析、支出分析、指標分析、部門預(yù)算試算，工資增