BI基礎(chǔ)概念培訓(xùn)

1、讓 數(shù) 據(jù) 變 為 財(cái) 富 商務(wù)智能平臺交流目錄 商務(wù)智能(BI)簡介 介紹術(shù)語 OLTP和OLAP的區(qū)別 OLAP的整體框架 數(shù)據(jù)倉庫的內(nèi)部結(jié)構(gòu) 數(shù)據(jù)立方和數(shù)據(jù)倉庫的關(guān)系 多維數(shù)據(jù)集組成 數(shù)據(jù)倉庫的維度表在OLAP里的表現(xiàn)形式。 查詢立方什么是商務(wù)智能(BI)? 現(xiàn)代化的業(yè)務(wù)操作，通常會產(chǎn)生大量的數(shù)據(jù)，如何從如此繁多的業(yè)務(wù)數(shù)據(jù)中提取有用的信息，然后根據(jù)這些信息來采取明智的行動，這是決策者面臨的最大問題，這也就是商務(wù)智能解決的問題。什么是商務(wù)智能(BI)? 商業(yè)智能能夠輔助業(yè)務(wù)經(jīng)營決策，既可以是操作層的，也可以是戰(zhàn)術(shù)層和戰(zhàn)略層的決策。 商業(yè)智能是對商業(yè)信息的搜集、管理和分析過程，目的是使企業(yè)的

2、各級決策者獲得知識或洞察力（insight），促使他們做出對企業(yè)更有利的決策。 理解商務(wù)智能 目標(biāo)：數(shù)據(jù)信息 轉(zhuǎn)化為商務(wù)價(jià)值 方法：轉(zhuǎn)儲、監(jiān)控、分析和展現(xiàn)海量數(shù)據(jù) 過程：知識決策價(jià)值數(shù)據(jù)信息分析提煉指導(dǎo)創(chuàng)造行動落實(shí)什么是商務(wù)智能(BI)? 商業(yè)智能的關(guān)鍵:是根據(jù)企業(yè)發(fā)展需要,建立業(yè)務(wù)模型,從許多來自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性. 然后對數(shù)據(jù)經(jīng)過抽取（Extraction）、轉(zhuǎn)換（Transformation）和裝載（Loading），即ETL過程，合并到一個(gè)企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖. 在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)

3、挖掘工具、聯(lián)機(jī)分析處理（OLAP）工具等對其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識），最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。 BI的基本框架什么是商務(wù)智能(BI)? 所需技術(shù): ETL數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理（OLAP）工具數(shù)據(jù)挖掘等技術(shù)。 商務(wù)智能的實(shí)現(xiàn)涉及到軟件、硬件、咨詢服務(wù)及應(yīng)用 商務(wù)智能發(fā)展歷程 1964年，一個(gè)叫Michael S. Scott Morton的研究員在哈佛商業(yè)學(xué)院提出了“決策支持系統(tǒng)”的想法，這便是BI商務(wù)智能萌芽。 20世紀(jì)70年代之后，當(dāng)企業(yè)建立了大量的IT系統(tǒng)，信息已經(jīng)不再缺乏而是泛濫，而企業(yè)國際化、消費(fèi)者需求的多樣化與苛刻、競爭對手?jǐn)?shù)量的增加

4、和競爭層次的提高，無不要求企業(yè)更加關(guān)注對企業(yè)內(nèi)部知識、外部信息的提煉和洞察，以保證企業(yè)決策的快速與準(zhǔn)確。 80年代，“商業(yè)智能”的標(biāo)準(zhǔn)是能容易地獲得想要的數(shù)據(jù)和信息。 90年代是商業(yè)智能真正起步的階段。 商務(wù)智能發(fā)展 當(dāng)前，商務(wù)智能（當(dāng)前，商務(wù)智能（BI）市場正處于一個(gè)重要）市場正處于一個(gè)重要的轉(zhuǎn)型期的轉(zhuǎn)型期 進(jìn)入二十一世紀(jì)，進(jìn)入二十一世紀(jì)，“應(yīng)用應(yīng)用”成為關(guān)鍵詞之一，成為關(guān)鍵詞之一，商務(wù)智能的深入應(yīng)用也成為業(yè)界關(guān)注的焦點(diǎn)商務(wù)智能的深入應(yīng)用也成為業(yè)界關(guān)注的焦點(diǎn) 2003年起，商務(wù)智能領(lǐng)域掀起并購熱潮年起，商務(wù)智能領(lǐng)域掀起并購熱潮BI受市場關(guān)注的原因 如何利用大量數(shù)據(jù)進(jìn)行決策：ERP/SCM/C

5、RM等產(chǎn)生大量地?cái)?shù)據(jù)，刺激了BI投資，其目的應(yīng)用數(shù)據(jù)進(jìn)行決策 績效管理成為BI市場增長重要因素： 績效管理是驅(qū)動商業(yè)智能市場增長的重要因素之一，絕大多數(shù)公司希望在該領(lǐng)域做出成績 日益嚴(yán)格的行業(yè)規(guī)范要求：例如薩班斯-奧克斯利(Sarbanes-Oxley)法等法案的頒布，也推動了BI工具的接受和認(rèn)同商務(wù)智能的熱點(diǎn)應(yīng)用財(cái)務(wù) 績效評估 盈利分析 預(yù)算 風(fēng)險(xiǎn)控制 欺詐識別市場 客戶關(guān)系管理 市場促銷 市場細(xì)分 品牌管理 客戶忠誠度分析 客戶流失分析 產(chǎn)品及服務(wù)目錄管理銷售 銷售分析 客戶管理 銷售漏斗管理 需求預(yù)測 關(guān)聯(lián)銷售分析 Web點(diǎn)擊流和銷售分析運(yùn)營 供應(yīng)鏈優(yōu)化 IT運(yùn)營優(yōu)化 分銷商評估 質(zhì)量控

6、制 內(nèi)部管理流程優(yōu)化BI國內(nèi)應(yīng)用l 企業(yè)信息化整體上處理基礎(chǔ)建設(shè)階段 數(shù)據(jù)整合，規(guī)劃基礎(chǔ)體系架構(gòu)，實(shí)施基礎(chǔ)應(yīng)用l 多數(shù)企業(yè)BI應(yīng)用處于較低的層次 報(bào)表查詢+初步分析l 金融、電信、保險(xiǎn)等企業(yè)起步早些 BI應(yīng)用的大好時(shí)期正在到來BI主要用途BI具有三方面的主要用途： 對組織的財(cái)務(wù)和運(yùn)營健康狀況進(jìn)行監(jiān)視。 報(bào)告、分析工具、關(guān)鍵性能指標(biāo)（KPI）和儀表板規(guī)范 組織的運(yùn)營 從數(shù)據(jù)中挖掘出新的信息 同運(yùn)營系統(tǒng)、信息反饋系統(tǒng)的雙向集成BI 對現(xiàn)有系統(tǒng)的整合 基于現(xiàn)有業(yè)務(wù)系統(tǒng)和歷史數(shù)據(jù) 通過對數(shù)據(jù)的充分運(yùn)用提升現(xiàn)有系統(tǒng)價(jià)值 可以同時(shí)支持多種不同的數(shù)據(jù)庫平臺 面向數(shù)據(jù)分析而非過程跟蹤 可以基于實(shí)時(shí)數(shù)據(jù)也可以基

7、于非實(shí)時(shí)數(shù)據(jù)商務(wù)智能系統(tǒng)如何輔助決策 通過數(shù)據(jù)的整合提供更加全面的信息 通過預(yù)先計(jì)算提供更快捷的速度 通過OLAP技術(shù)可以非常靈活的以多種形式展現(xiàn)數(shù)據(jù)，以使管理者發(fā)現(xiàn)問題 通過數(shù)據(jù)挖掘模型（以歷史數(shù)據(jù)為基礎(chǔ)）預(yù)測商務(wù)的未來走勢，為管理者提供決策支持商務(wù)智能應(yīng)用的范圍 不局限于某一個(gè)行業(yè)或局限于具體的業(yè)務(wù) 面向的是數(shù)據(jù)，不是過程 使用通用的分析方法和模型 不局限于特定的使用人 Information worker、Knowledge Worker 領(lǐng)導(dǎo)層和決策層 任何其他需要使用數(shù)據(jù)和報(bào)表的人 受行業(yè)發(fā)展冷熱的影響不大 IT行業(yè)發(fā)展的時(shí)候需要商務(wù)智能 IT行業(yè)冬天的時(shí)候仍然需要商務(wù)智能市場份額主

8、要由國際BI廠商占領(lǐng)為什么我們需要商務(wù)智能？ 我們在未來的三年中將會制造出比過去三十萬年更多的數(shù)據(jù)資料！加州大學(xué)信息管理學(xué)院 統(tǒng)計(jì),54%的人認(rèn)為很難找到他們想得到的信息. 43%的人認(rèn)為不知道這些內(nèi)部的信息是否正確. 77%的人認(rèn)為由于信息的缺乏,很多決定是不正確的. 61%的人認(rèn)為50%的決定是拍腦袋來的. 為什么我們需要商務(wù)智能？ 在過去的幾十年里，各種機(jī)構(gòu)已經(jīng)花費(fèi)了大量的財(cái)力和資源去構(gòu)建聯(lián)機(jī)事務(wù)處理系統(tǒng)(OLTP)和資源計(jì)劃系統(tǒng)(ERP)等各種系統(tǒng).不斷累計(jì)的信息和存儲在數(shù)據(jù)倉庫中的數(shù)據(jù)達(dá)到了令人驚訝的規(guī)模。 當(dāng)這些系統(tǒng)極大地改善了信息的自動處理能力時(shí)，也造就了很多“信息孤島”(inf

9、ormation silos)-大量只有很有限的獲取和分析能力的數(shù)據(jù)。一項(xiàng)IBM的調(diào)查表明，大部分機(jī)構(gòu)只利用了其存儲信息的2%-4%。北京市管委IT狀況應(yīng)急事件處理數(shù)據(jù)應(yīng)急事件處理數(shù)據(jù)基礎(chǔ)地理信息數(shù)據(jù)基礎(chǔ)地理信息數(shù)據(jù)視頻監(jiān)控?cái)?shù)據(jù)視頻監(jiān)控?cái)?shù)據(jù)城管通平臺數(shù)據(jù)城管通平臺數(shù)據(jù)井蓋數(shù)據(jù)井蓋數(shù)據(jù)市政設(shè)施數(shù)據(jù)市政設(shè)施數(shù)據(jù)環(huán)衛(wèi)信息數(shù)據(jù)環(huán)衛(wèi)信息數(shù)據(jù)戶外廣告數(shù)據(jù)戶外廣告數(shù)據(jù) 視頻監(jiān)控?cái)?shù)據(jù)應(yīng)急事件處理數(shù)據(jù)基礎(chǔ)地理信息數(shù)據(jù)城管通平臺數(shù)據(jù)環(huán)衛(wèi)信息數(shù)據(jù)戶外廣告數(shù)據(jù)市政設(shè)施數(shù)據(jù)井蓋數(shù)據(jù)為什么我們需要商務(wù)智能？傳統(tǒng)的方案不能提供一個(gè)經(jīng)過整合的，功能強(qiáng)大的分析工具給最終用戶。特別是給那些非技術(shù)的商業(yè)用戶。由于下圖中所示的兩個(gè)主

10、要原因，傳統(tǒng)系統(tǒng)不能滿足商務(wù)層面的分析需要。 難以獲得的信息未經(jīng)整合的信息獲得性和整合性的空缺傳統(tǒng)分析系統(tǒng)常見問題 術(shù)語介紹 數(shù)據(jù)倉庫 ：面向主題的、集成的、與時(shí)間相關(guān)且不可修改的數(shù)據(jù)集合。 維度 ：維度是分析中描述性的分類，通過它可以將度量值分離出來進(jìn)行分析 度量 ：在多維數(shù)據(jù)集中，度量值是一組值，這些值基于多維數(shù)據(jù)集的事實(shí)數(shù)據(jù)表中的一列，而且通常為數(shù)字。此外，度量值是所分析的多維數(shù)據(jù)集的中心值。即，度量值是最終用戶瀏覽多維數(shù)據(jù)集時(shí)重點(diǎn)查看的數(shù)字?jǐn)?shù)據(jù)。您所選擇的度量值取決于最終用戶所請求的信息類型。一些常見的度量值有 sales cost 、 和 production count 等 術(shù)語介

11、紹 粒度 ：數(shù)據(jù)匯總的層次或深度。 聚合 ：聚合是預(yù)先計(jì)算好的數(shù)據(jù)匯總，由于在問題提出之前已經(jīng)準(zhǔn)備了答案，聚合可以改進(jìn)查詢響應(yīng)時(shí)間。 切片 ：由一個(gè)維的一個(gè)成員限定的分區(qū)數(shù)據(jù)，稱為一個(gè)切片。 數(shù)據(jù)鉆取 ：最終用戶從常規(guī)多維數(shù)據(jù)集、虛擬多維數(shù)據(jù)集或鏈接多維數(shù)據(jù)集中選擇單個(gè)單元，并從該單元的源數(shù)據(jù)中檢索結(jié)果集以獲得更詳細(xì)的信息，這個(gè)操作過程就是數(shù)據(jù)鉆取。 級別 ：級別是維度層次結(jié)構(gòu)的一個(gè)元素。級別描述了數(shù)據(jù)的層次結(jié)構(gòu)，從數(shù)據(jù)的最高（匯總程度最大）級別直到最低（最詳細(xì)）級別。 OLTP 與OLAP的區(qū)別 OLTP（On-Line Transaction Processing ）聯(lián)機(jī)事務(wù)處理 OLAP

12、（On-Line Analysis Processing ）聯(lián)機(jī)分析處理OLTP 與OLAP的區(qū)別 OLTP 系統(tǒng)的特征 處理實(shí)時(shí)業(yè)務(wù) 包含了為數(shù)據(jù)錄入和編輯進(jìn)行優(yōu)化的數(shù)據(jù)結(jié)構(gòu) 提供有限的決策支持能力 OLTP 系統(tǒng)的例子 訂單系統(tǒng) 客戶服務(wù) l庫存管理 l財(cái)務(wù) OLTP 與OLAP的區(qū)別OLTP原始數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù)當(dāng)前值數(shù)據(jù)可實(shí)時(shí)更新一次處理的數(shù)據(jù)量小面向應(yīng)用,事務(wù)驅(qū)動業(yè)務(wù)操作人員 支持日常操作簡單的事務(wù)100MB-GB OLAP整理后的數(shù)據(jù)綜合性和提煉性數(shù)據(jù)歷史數(shù)據(jù)周期性刷新更新一次處理大量的數(shù)據(jù)面向主題，分析驅(qū)動決策人員,高級管理人員分析決策復(fù)雜的查詢100GB-TB數(shù)據(jù)倉庫的特征 為商業(yè)

13、分析過程展示數(shù)據(jù) 提供一致的歷史數(shù)據(jù)存儲 把數(shù)據(jù)儲存為抽取和查詢而優(yōu)化的結(jié)構(gòu) 整合異構(gòu)的數(shù)據(jù) 統(tǒng)一有效的數(shù)據(jù)源 把數(shù)據(jù)整理為穩(wěn)定、面向主題的結(jié)構(gòu)數(shù)據(jù)倉庫系統(tǒng)的創(chuàng)建數(shù)據(jù)倉庫數(shù)據(jù)倉庫終端用戶終端用戶原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)集結(jié)區(qū)數(shù)據(jù)集結(jié)區(qū) 數(shù)據(jù)的提取，轉(zhuǎn)換，加載（數(shù)據(jù)的提取，轉(zhuǎn)換，加載（ETL）了解數(shù)據(jù)倉庫數(shù)據(jù)倉庫終端用戶終端用戶數(shù)據(jù)集市數(shù)據(jù)集市OLAP數(shù)據(jù)倉庫數(shù)據(jù)倉庫維度表 維度是分析中描述性的分類，通過它可以將度量值分離出來進(jìn)行分析。主鍵 主鍵 唯一性 關(guān)聯(lián)事實(shí)表與維度表 兩個(gè)選擇 應(yīng)用主鍵 (app suffix) ：原業(yè)務(wù)系統(tǒng)的主鍵 代理鍵 (key suffix) 數(shù)據(jù)倉庫系統(tǒng)產(chǎn)生的

14、數(shù)字鍵product_id_appproduct_dim_key在維度中分不同的層次 定義層次結(jié)構(gòu)的好處 允許用戶從不同的層次展示數(shù)據(jù) 在分析中采用不同的路徑進(jìn)行鉆取 舉例：日期 分為，年半年季度月日期星型模型EmployeeKeyEmployeeID.TimeKeyTheDate.ProductKeyProductID.CustomerKeyCustomerID.ShipperKeyShipperID.Sales_FactTimeKeyEmployeeKeyProductKeyCustomerKeyShipperKeySales AmountUnit Sales .雪花模型 在多維表中定義層

15、次 節(jié)省存儲空間 存取效率較低 事實(shí)表的組成維度表維度表201 ALFI Alfreds 25 123 Chai 事實(shí)表事實(shí)表customer_key product_key time_key quantity_sales amount_sales外鍵外鍵2012513440010,789事實(shí)表中的粒度就是維度表與事實(shí)表中相關(guān)聯(lián)的最小事實(shí)表中的粒度就是維度表與事實(shí)表中相關(guān)聯(lián)的最小級別的數(shù)據(jù)級別的數(shù)據(jù)134 1/1/2000 度量值度量值事實(shí)表庫存數(shù)庫存數(shù), 入庫數(shù)，出庫數(shù)入庫數(shù)，出庫數(shù)產(chǎn)品的銷售數(shù)量產(chǎn)品的銷售數(shù)量, 成本成本,銷售額，訂單數(shù)銷售額，訂單數(shù)度量值：業(yè)務(wù)數(shù)據(jù)度量值：業(yè)務(wù)數(shù)據(jù)外鍵 t

16、ime_dim_keyproduct_dim_keycustomer_dim_keyproduct_keycustomer_keyorder_date_key外鍵約束外鍵約束 與維度表中的主鍵的聯(lián)系 使事實(shí)表的數(shù)據(jù)與維度表發(fā)生關(guān)聯(lián)外鍵外鍵 約束約束外鍵約束外鍵約束數(shù)據(jù)倉庫和多維立方 終端用戶終端用戶數(shù)據(jù)存取數(shù)據(jù)存取數(shù)據(jù)集市數(shù)據(jù)集市OLAP數(shù)據(jù)倉庫數(shù)據(jù)倉庫多維數(shù)據(jù)集的組成 度量值 用戶分析的業(yè)務(wù)數(shù)據(jù) 維度 度量值的事實(shí)記錄的特性 來源于維度表 Cubes 綜合維度和度量值的數(shù)據(jù)模型 OLAP 數(shù)據(jù)的邏輯存儲介質(zhì)維度表OLAP 維度YearQuarterMonth1999Q1Jan1999Q1Feb時(shí)間維時(shí)間維MonthQuarterY