BI商業(yè)智能系統(tǒng)概要.doc

1、BI 商業(yè)智能系統(tǒng)隨著企業(yè)各種信息系統(tǒng)的建設和完善 ,企業(yè)所擁有的數據 越來越多。 決策者面對的問題已經不再是缺少信息 , 而是如何得 到正確的信息以幫助制定決策。 典型的公司擁有數十乃至上百個 應用 ,但是卻難于從中提取、綜合、使用這些系統(tǒng)的數據 , 繼而 從數據中提取有用的信息 ,發(fā)掘并提升數據的價值。商業(yè)智能 (Business Intelligence,簡稱 BI 提供了提取 數據、處理加工、信息訪問的技術手段。經過多年發(fā)展 ,其運用 范圍逐漸由支撐特定業(yè)務過程的戰(zhàn)術性決策發(fā)展到在企業(yè)范圍 內系統(tǒng)化地創(chuàng)造價值。 因此 , 越來越多的企業(yè)已將其視為戰(zhàn)略性的企業(yè)應用。商業(yè)智能通過將分散在企

2、業(yè)各系統(tǒng)中的數據進行整合 ,使 得繁瑣的信息獲取過程變得簡便易行。 任何用戶都能夠容易的運 用這些技術進行決策 ,業(yè)務執(zhí)行、業(yè)務管理、企業(yè)管理各個層次 上的用戶都能夠使用不同的工具和技術做出明智的決策 , 全方位的提高企業(yè)的競爭力。信息技術在企業(yè)中的地位正在由業(yè)務支撐工具逐步走向中 心性地位 , 在很大程度上影響著企業(yè)如何開展業(yè)務和創(chuàng)造新的價 值。企業(yè)要求 IT 系統(tǒng)不僅要能夠支撐特定業(yè)務的執(zhí)行 ,而且還 要能夠創(chuàng)造出新的價值。由于 IT 在業(yè)務中逐步走向中心地位 ,對這些信息的訪問也 需要擴展到原來創(chuàng)建系統(tǒng)所服務的對象之外。 系統(tǒng)之間越來越需 要廣泛的互相連接 ,以及擴展連接到客戶和合作伙伴

3、的系統(tǒng)。 與此同時 , 由于系統(tǒng)是業(yè)務的載體 , 所以必須要能夠跟隨業(yè)務變化而變化 , 成為快速革新的助推器而不是障礙。 作為企業(yè)的 關鍵資產 , IT 不僅被期望是一個運行良好的成本中心 ,而且是 企業(yè)成長和擴張的貢獻力量。業(yè)務對 IT 要求的多種重要能力 :廣泛互聯(lián)的能力 :連接客戶、 合作伙伴 , 賦予員工新的能力。 通過將內部員工、 合作伙伴和客戶的數據進行整合 , 并進行加工 和提煉后再提供出來供內部員工、 合作伙伴和客戶使用 , 商業(yè)智 能系統(tǒng)提升了三者業(yè)務上互相聯(lián)接的能力適應變化的能力 :隨著業(yè)務的發(fā)展而變化, 促進而非阻礙業(yè)務發(fā)展。創(chuàng)造價值的能力 :在業(yè)務的各個不同層面上創(chuàng)造價

4、值。 商業(yè) 智能系統(tǒng)為企業(yè)各個不同層面的人提供合適的工具和信息 , 使得 獲取準確信息和做出明智決策的能力不僅僅局限于決策層 , 而是所有人員都能夠在各自的層面上借助 BI 系統(tǒng)提供能力 ,從而全 方位的增強企業(yè)決策能力 ,全面創(chuàng)造價值。這些能力的重要價值在于增強了企業(yè)敏捷性 , 能夠更主動地 適應企業(yè)內部和外部的變化。商業(yè)智能的核心議題始終圍繞在為員工提供正確信息的周 圍, 使他們能夠在合適的時間完成一個特殊的目標。 使這些承諾 成為真實的需求 ,成為全面的、安全的、與操作系統(tǒng)集成的、全 天候的商業(yè)智能解決方案。下圖為商業(yè)智能發(fā)展縮影圖:一、 商業(yè)智能的技術架構商業(yè)智能是由數據倉庫、查詢報表

5、、數據分析、數據挖掘、 數據備份和恢復等部分組成的、 以幫助企業(yè)決策為目的的技術及 其應用。商業(yè)智能是數據庫技術、 OLAP 技術、數據采集和遷移 技術、網絡技術、 GUI 技術、查詢報表技術、統(tǒng)計學、人工智能、 知識發(fā)現技術等理論和技術的綜合運用 , 其核心內容是從許多來 自企業(yè)不同的業(yè)務處理系統(tǒng)的數據中 , 提取出有用的數據 , 進行 清理以保證數據的正確性 ,然后經過抽取 (Extraction 、轉換 (Transformation 和裝載 (Load ,即 ETL 過程 ,整合到一個 企業(yè)級的數據倉庫里 , 從而得到企業(yè)信息的一個全局視圖 , 利用 合適的查詢和分析工具、 數據挖掘工

6、具等對數據倉庫里的數據進 行分析和處理 ,形成信息 ,把信息提煉出輔助決策的知識 ,最后 把知識呈現給管理者 ,為管理者的決策過程提供支持。二、商業(yè)智能的體系結構商業(yè)智能的整個系統(tǒng)被劃分為 4 個層面 ,根據數據的處理 和應用過程分成 7 個環(huán)節(jié)。從數據源經過抽取 (Extraction 、 轉換 (Transformation 和裝載 (Load 過程加載到中央數據倉 庫 ,再從數據倉庫經過分類加工放到數據集市 (Data Market, DM , 或者將 數據 集 市中 的 數據 進 一步 存 放到 多 維數 據 庫 (Multi-dimension Database , MDD , 這都

7、屬于數據組織的問題 , 從中間層到終端用戶或從多維數據庫到終端用戶可將其劃歸為前端應用實現的問題。而貫穿整個體系數據處理環(huán)節(jié)的, 是系統(tǒng) 的流程調度控制和元數據管理 ,其結構如圖 1 所示。圖 1 商業(yè)智能體系結構下面對商業(yè)智能的完整的體系結構作如下解釋 :(1 數據源 :數據源可以是企業(yè)日常運作積累下來的各類的業(yè)務數據 , 也可以是外部的數據。 數據倉庫的體系結構必須能處理這種多樣性帶來的種種問題, 并解決由于數據遠程遷移所帶來的完整性和安全性的問題。(2 數據抽取、轉換和裝載 (ETL : 從源數據抽取數據、 進行一定的變換、裝載到數據倉庫。需要進行數據處理 ,包括 :簡單變換 一次只針對

8、一個字段 ,而不是考慮相關字段的值 ; 清潔和刷洗 為了保證前后一致地格式化和使用某一字段或 相關的字段群 , 檢查字段和字段組中的實際內容而不僅是存儲格 式 ; 集成 要把從全然不同來源的數據結合在一起 , 真正的困 難在于將其集成為一個緊密結合的數據模型 ; 聚集和概括 按 照一個和幾個業(yè)務維將相近的數值加在一起 , 聚集是將不同業(yè)務 元素加在一起成為一個公共總數 , 在數據倉庫中它們是以相同的 方式進行的。(3 數據倉庫 :數據倉庫的一個目的就是把企業(yè)的信息訪 問基礎從一種非結構化的或發(fā)展中的環(huán)境改變成一種結構化或 規(guī)劃良好的環(huán)境。(4 數據集市 :數據集市是為部門范圍級別的決策支持應

9、用而設計的 , 其數據模型設計和數據組織上更多地服務于一個部 門的信息需求。(5 操作型數據存儲區(qū) :操作型數據存儲區(qū) (Operational Data Store , ODS是業(yè)務系統(tǒng)和 DW 之間更偏向業(yè)務系統(tǒng)的數據 存儲區(qū)域。(6 元數據 :元數據 (Meta-data 通常定義為 “關于數 據的數據 ”是,描述和管理數據倉庫自身內容對象、用來表示數 據項的意義及其在系統(tǒng)各組成部件之間的關系的數據。 數據倉庫 所提供的 “統(tǒng)一的企業(yè)級的信息視圖 ”能力 ,主要就是靠元數據 來體現。 實現元數據管理的主要目標就是使企業(yè)內部元數據的定義標準化。數據倉庫的維護工具可以根據元數據完成數據的抽取

10、、清洗和轉換 ,并做適度的匯總 ,數據倉庫的元數據包括 :數據資源 :包括數據源模型 ,描述源數據屬性及業(yè)務含 義,源數據到數據倉庫的映射關系 ;數據組織 :數據倉庫、數據集市表的結構、屬性及業(yè)務含義 ,多維結構等 ;數據應用 :查詢與報表輸出格式描述、 OLAP 、數據挖掘等 的數據模型的信息展現、商業(yè)術語 ;數據管理 :數據倉庫操作過程以及數據倉庫操作結果的模 型 , 包括描述數據抽取和清洗規(guī)則 , 數據加載控制 , 臨時表結構、 用途和使用情況 ,數據匯總控制。(7 前端應用 :數據倉庫的前端應用是建立數據倉庫的目的 , 即根據用戶的特點提供不同的界面。 最終用戶對數據倉庫的訪問 方式包

11、括 :即席查詢、報表、聯(lián)機分析處理 (OLAP 、數據挖掘以 及領導信息系統(tǒng) (EIS 等。(8 數據挖掘 (Data Mining , DM : 數據挖掘是采用數學的、 統(tǒng)計的、 人工智能和神經網絡等領域的科學方法 , 從大量數據中 挖掘出隱含的、先前未知的、對決策有潛在價值的關系、模式和 趨勢并用這些知識和規(guī)則建立用于決策支持的模型 , 為商業(yè)智能 系統(tǒng)服務的各業(yè)務領域提供預測性決策支持的方法、工具和過 程。(9 信息門戶 (Enterprise Information Portal , EIP :為使數據倉庫的使用者可以根據自己的需要獲得想要的信息, 需要 從界面、 應用系統(tǒng)交互等角度進

12、行門戶的建設規(guī)劃。如果將這些 功能模型進行抽象 ,可以歸結為以下的功能層次 :集成 :包括信息的集成、人的集成和流程的集成。 內 容 管 理 :對 現 有 信 息 實 現 統(tǒng) 一 的 目 錄 分 類 管 理 (Categorization 。包括結構化數據和非結構化信息的分類、編目、摘要、審核和發(fā)布。搜索 :分類和搜索是組織和獲取信息的緊密聯(lián)系的兩個方面。以人為本的核心安全架構 :支持統(tǒng)一面向自然人的用戶 身份認證 , 統(tǒng)一用戶的訪問權限控制和統(tǒng)一用戶資源管理 , 實現 單次登錄就可以訪問所有相關信息資源是門戶的一個重要功能。 個性化 :即信息門戶的數據和應用可以根據每一個人的要求來配臵 ,

13、為用戶提供個性化的應用界面 , 提高員工工作效率 , 增強對用戶的親和力和吸引力。可訪問性 :在門戶中 ,用戶可以在安全機制的保護下 , 在任何時間任何地點方便地訪問企業(yè)的信息和應用 , 完成對信息 和數據的處理和提交 ,保證企業(yè)的業(yè)務運轉永不停頓。協(xié)作與共享 :提供同事間、部門間、企業(yè)間、客戶和廠商間的協(xié)作和交互。管理和調度 :可以實現日常性的信息采集和分送的調度和管理維護。信息門戶實施后 , 員工日常需要的各個應用和信息集中展現 在員工的桌面。 只要在統(tǒng)一的信息訪問入口進行一次登錄的身份 驗證 ,便可真正地實現信息一站式服務。三 、商業(yè)智能需求商業(yè)智能需求形成的價值鏈:商業(yè)智能需求所形成的

14、價值鏈提 煉商業(yè)智能需求按照成長歷程來說 , 大體分為兩個階段 :技 術驅動時代 ;業(yè)務驅動時代。技術驅動的時代 :商業(yè)智能的需求分析更多地是側重在 BI 工具的應用。例如用報表工具來實現一些管理性的報表 ,用 OLAP 來實現一些經常性的數據統(tǒng)計與分析 ,用 ETL 工具來替代 手工編寫代碼方式的數據遷移。 這個階段的需求分析過程有非常 明顯的技術傾向性 , 這種項目往往有個前提 , 就是目標技術平臺 往往在項目啟動之初已經敲定。 需求分析師首先要非常了解目標 技術平臺的各項技術指標 , 并且把目標用戶的需求引導并且框定在這個目標技術平臺的能力范圍之內。在業(yè)務驅動的時代 , 需求分析師首先需

15、要非常熟悉目標用 戶的日常業(yè)務 , 商業(yè)智能系統(tǒng)比傳統(tǒng)業(yè)務系統(tǒng)相比 , 需求的把握 與定義是非常困難的 , 傳統(tǒng)業(yè)務系統(tǒng)的流程是非常清晰的 , 類似 銀行業(yè)務的核心業(yè)務系統(tǒng) ,諸如儲蓄業(yè)務 ,對公業(yè)務 ,國際業(yè)務 即使種類很多 , 而對于落實到具體業(yè)務的需求的時候 , 起碼同一 家銀行是有一個標準的業(yè)務操作的流程的 ,不論流程多么復雜 , 所對應的需求總是明確的 , 可見的 , 用程序化的方式來表達也是 簡單的 ,而且作為生產系統(tǒng) ,早日投產比完善往往是更具價值 , 在這個大前提是 , 花繁為簡 , 穩(wěn)定壓倒一切是甲乙雙方都認同的。 而作為以輔助業(yè)務中戰(zhàn)術決策的商業(yè)智能系統(tǒng) , 首先要邁過的一

16、 個關口就是 , 在戰(zhàn)術智慧上 , 系統(tǒng)的決策水平要起碼高明于一個 中等層次的業(yè)務人員的商業(yè)智慧 , 這樣他才會覺得系統(tǒng)對他是有 幫助的。 目前 ,一些大公司依靠影響力 ,組織了一群技術專家 經過多年的類似項目經驗沉淀后 ,形成了一套模板 ,一則讓 BI 需求分析師對于業(yè)務思考模式的學習和理解可以從客戶現場退 回到自己的公司內部。 二則 , 也試圖用既成事實的行業(yè)標準的做 法迅速而直接的影響用戶的思維 ,業(yè)界內俗稱 ,給客戶 “洗腦 ” 然,而 , 針對個別企業(yè)的業(yè)務所分析出來的模板能推廣 , 有一個預 設前提 , 就是這種業(yè)務在全世界有一個可以普遍使用 , 而且有同 質度非常高的標準成功模式

17、 ,事實上 ,每個企業(yè)和人一樣 ,是個 性發(fā)展的產物 , 不是標準形成的產物 , 標準的推行本身就意味著企業(yè)的持續(xù)變革 , 這里也形成了一個悖論 , 持續(xù)的變革是否需要 模板也需要持續(xù)的調整 , 然后模板的調整是否又需要持續(xù)的變革 來配合在 BI 領域 ,這個以優(yōu)化為名的迭代幾乎形成了一個沒完 沒了的怪圈。 這個怪圈的形成 , 給每一位商業(yè)智能工作者提了個 醒,商業(yè)智能不是一個目標 ,而是一個過程。通過目前商業(yè)智能 需求獲取的階段分析 , 商業(yè)智能需求必然走向的是價值驅動 , 商 業(yè)智能的需求經過多次否定之否定的螺旋式上升發(fā)展的過程后 , 商業(yè)智能的應用與企業(yè)價值鏈的優(yōu)化組合是必然的趨勢 ,

18、只有把 商業(yè)智能的需求和企業(yè)價值鏈的形成與提升結合起來 , 商業(yè)智能 的實際價值才能得到真正的體現。正如前面的分析 , 各種內外因素的組合作用 , 使企業(yè)必然 信息驅動為核心的生產和管理方式 , 在企業(yè)利潤形成的整個價值 鏈條中 , 信息使這條價值鏈從模糊逐漸走向清晰 , 將數據作為企 業(yè)戰(zhàn)略資產并且在數據質量方面繼續(xù)投資 , 是使企業(yè)成為行業(yè)先 鋒的重要保證 ,運用商業(yè)智能的環(huán)境來回答諸如客戶價值貢獻 度 ,地區(qū)市場差異 ,資本充足率 ,商品生命周期 ,成本與財務預 算 ,定價策略 ,資金周轉率等與企業(yè)利潤的形成密切相關 ,商業(yè) 智能把歷史數據從 “數據監(jiān)獄 ”里釋放出來 ,成為企業(yè)的一筆有

19、形的資產。商業(yè)智能從 “智能 ”走向 “商業(yè) ”是一條商業(yè)智能需求走 的必由之路 , 技術至上的觀點 , 不但會成為商業(yè)智能發(fā)展的桎梏 ,甚至會成為扼殺商業(yè)智能應用推廣的無形黑手, 所以 , 作為商業(yè) 智能項目主導的這些需求分析負責人 , 首先 , 就要明確地樹立的是做商業(yè)智能是為客戶賺錢的商業(yè)觀念 , 在和客戶需求形成的過程中 , 把客戶的需求引導向對客戶有利而同時也對降低自身實施 成本 , 加快投產速度也有利的角度, 不要認為做報表和查詢是一種身價的貶低 ,如果一份 “簡單 ”的報表或一筆 “簡單 ”的查詢 能為客戶一年節(jié)省過千萬的成本 ,避免一筆過千萬的風險損失, 一份報表就把客戶對項目

20、的全部投資都收回來了,這筆帳 , 這 樣的商業(yè)智能項目 ,難道還會受到客戶的冷遇和拒絕嗎? 四、商業(yè)智能系統(tǒng)的實施商業(yè)智能的實施主要有 3 類風險 :技術風險、工程管理風險 和業(yè)務風險。 應對商業(yè)智能項目風險的最好方法是采用一套成熟 的方法學 (Methodology , 方法學是人們在數據倉庫構建實踐中 所積累的成功和失敗的經驗的總結。 商業(yè)智能項目是一個需要不 斷優(yōu)化的循環(huán)過程。 商業(yè)智能在需求的環(huán)節(jié)會更加依賴于用戶的 思維習慣和認識水平 ,商業(yè)智能項目具有長期性和艱巨性商業(yè)智能的實施方法有3 種方式 :(1 自上而下 ,頂層設計思想。全局考慮,全面實施 ,建立 適合企業(yè)信息共性需求的完整

21、的數據模型 , 然后從業(yè)務運營系統(tǒng) 中提取數據 ,進行數據的清洗、合并、規(guī)范化和合理化 ,并加載 到數據倉庫中 , 形成企業(yè)統(tǒng)一的數據集成平臺 , 最后可以根據部門個性需要將數據倉庫的數據分發(fā)到面向主題的數據集市中。優(yōu)點包括 :企業(yè)統(tǒng)一的數據集成平臺 ;集中化的控制管理 ;數據容 易分發(fā)到各個數據集市中。缺點包括 :開發(fā)過程復雜 ,費用高 ; 開發(fā)時間長 , 難以滿足快速變化的業(yè)務需求 ; 需要進行大量的業(yè) 務需求分析 ,需要大量的資源。(2 自下而上。根據特定的業(yè)務主題 ,分部門考慮 ,分部門 實施 , 在很短的時間內實現部門級的數據集市 , 多個數據集市組 成企業(yè)聯(lián)邦制的數據倉庫。優(yōu)點包括

22、 :可以并行開發(fā) ;見效快 ; 分散化的資源和管理控制。 缺點包括 :很難協(xié)調各個數據集市的 建設 ; 可能存在著部門之間數據集市歸屬問題 ; 多種數據源采集 系統(tǒng) ,可能造成對業(yè)務系統(tǒng)的沖擊和數據的不一致。(3 元數據驅動的實施方法。元數據管理在商業(yè)智能項目開 發(fā)建設中有很重要的作用。 元數據驅動、 螺旋上升的數據倉庫建 立的過程就是 “建立元數據 構造數據倉庫集市 ”的不斷循環(huán)、 不斷上升的過程 , 元數據驅動的數據倉庫開發(fā)過程可以細分為以 下階段 :建立元數據 :包括定義元數據的數據源 ;定義元數據的內 容和屬性 ;定義元數據使用規(guī)則 ;聲明元數據聯(lián)合使用的規(guī)則。 構造數據倉庫 /集市

23、:基于元數據進行數據抽聊 /清洗 /轉換 /聚合 /加載 /分布 ;基于元數據進行前端應用界面定制。這種開發(fā)方式優(yōu)點包括 :建立企業(yè)數據的統(tǒng)一視圖 ;有統(tǒng)一 的元數據管理 ;具有靈活可擴展的的體系結構 ;分步式開發(fā) ,螺 旋式上升 , 既能快速看到效果 , 又能保證系統(tǒng)的連續(xù)性、 一致性。缺點就是如何真正實現這種方式 , 提取和維護元數據并不是一件 很難的事情 , 而在實際的實施過程中 , 如何真正地實現元數據的 驅動則不是一件容易的事情 ,由于受傳統(tǒng)程序開發(fā)思想的影響 , 很多開發(fā)者對需求問題的解決更多地依賴于程序設計 , 這樣使得 很多控制邏輯很難被抽象出來 , 因此也難于把數據的處理過程標 準化、規(guī)范化 , 這種以程序驅動的方式很容易把所謂的元數據驅 動流于形式。商業(yè)智能的實施原則如下:(1 總體規(guī)劃原則 :整個項目建設應該統(tǒng)一進行規(guī)劃 ,建 立一個能夠支持企業(yè)長期發(fā)展的總體系統(tǒng)架構 , 為將來的應用打 下堅實的基礎。(2 分階段 、循序漸進的原則 :任何一個項目的實施都是一個發(fā)現問題 , 解決問題 , 積累經驗 , 又遇到新問題 , 再解決 , 再積累的循序漸進的過程。(3 實用