商務智能大綱整理

1、商務智能大綱一、商務智能概要商務智能的標準定義商務智能是企業(yè)利用現(xiàn)代信息技術收集、管理和分析結構化和非結構化的商務數(shù)據(jù)和信息，創(chuàng)造和累計商務知識和見解，改善商務決策水平，采取有效的商務行動，完善各種商務流程，提升各方面商務績效，增強綜合競爭力的智慧和能力。商務智能的對象和技術1.企業(yè):“組織機構”或“實體”,企業(yè)機構或非企業(yè)性機構，比如政府部門、教育機構、醫(yī)療機構和公用事業(yè)等，都應該而且能夠利用商務智能。2現(xiàn)代信息技術:能保證從不同的數(shù)據(jù)源（提取有用的數(shù)據(jù)，對數(shù)據(jù)進行清理以保證數(shù)據(jù)的質量，將數(shù)據(jù)經(jīng)轉換、重構后存入數(shù)據(jù)倉庫或數(shù)據(jù)集市（這時數(shù)據(jù)變?yōu)樾畔ⅲ?，然后尋找合適的查詢、報告和分析工具和數(shù)據(jù)挖

2、掘工具對信息進行處理（這時信息變?yōu)檩o助決策的知識），最后將知識呈現(xiàn)于用戶面前，轉變?yōu)闆Q策。商務智能的分析過程3收集一收集數(shù)據(jù)是管理和分析數(shù)據(jù)的前提。內部結構化比如ERP、CRM、SCM和電子商務等系統(tǒng)，內部非結構化、外部數(shù)據(jù)市場調研報告、人口統(tǒng)計報告、顧客信用報告。4管理-這里的“管理”主要是指對數(shù)據(jù)的儲存、提取、清洗、轉換、裝載、整合等工作，其目的主要是為了提高數(shù)據(jù)的質量和安全性。5分析一數(shù)據(jù)查詢、數(shù)據(jù)報告、多維分析、數(shù)據(jù)挖掘、高級統(tǒng)計分析6結構化一一結構化的數(shù)據(jù)主要是指儲存于各個交易系統(tǒng)背后的關系型數(shù)據(jù)庫中的數(shù)據(jù)，通常都是以表格的形式存在和展現(xiàn)的。傳統(tǒng)的商務智能概念只包括這種結構化的、可定

3、量的數(shù)據(jù)。7.非結構化以零散的文件形式存在和展現(xiàn)的，通過文件管理和內容管理（DocumentManagement&ContentManagement）軟件來進行的商務智能的作用8商務數(shù)據(jù)和信息包括一切可能對商務產(chǎn)生影響的、直接和間接的數(shù)據(jù)和信息9創(chuàng)造和累計商務知識和見解一一這是商務智能的第一層的目的和功能，也是最直接的目的和功能；“知識和見解”正是“智能”得名的由來。io改善商務決策水平一一這是商務智能的更高一層的目的和功能，企業(yè)能否利用好這一功能、實現(xiàn)這一目的在很大程度上取決于領導者的意識和胸襟以及企業(yè)文化中決策科學化和民主化的成分。11.采取有效的商務行動采取有效的商務行動是創(chuàng)造和累計商務

4、知識和見解、改善商務決策水平的目的和動力。12完善各種商務流程一殘缺、散亂、僵化、低效的商務流程是企業(yè)的頑疾，商務智能能夠為這一頑疾的診斷和治療做出一定的貢獻；優(yōu)化后自動化（請注意先后順序）的商務流程反過來也會促進商務智能的發(fā)展。商務智能的組成和技術商務智能的結構主要由兩部分組成:數(shù)據(jù)倉庫環(huán)境分析環(huán)境商務智能主要由三種技術構成:數(shù)據(jù)倉庫(DataWarehouse)聯(lián)機分析處理(On-lineAnalyticalProcessing)數(shù)據(jù)挖掘(DataMining)三大技術的作用在三大技術支柱中，數(shù)據(jù)倉庫是商務智能的基礎。聯(lián)機分析處理(OLAP)是以海量數(shù)據(jù)為基礎的復雜分析技術。數(shù)據(jù)挖掘(Da

5、taMining)是從海量數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又可能有用的信息和知識的過程。商務智能的效用理解業(yè)務認識是哪些趨勢、哪些非正常情況和哪些行為正對業(yè)務產(chǎn)生影響衡量績效商務智能可以用來確立對員工的期望，幫助他們跟蹤并管理其績效改善關系改善企業(yè)與顧客、員工、供應商、股東和大眾的關系創(chuàng)造獲利機會出售這些信息從而獲取利潤。掌數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合，用于支持經(jīng)營管理中的決策制定過程。ADataWarehouseisasubject-oriented,integrated,time-variant,nonvolatilecollectio

6、nofdatainsupportofmanagementsdecisionmakingprocess-WilliamHarveryInmon“BuildingtheDataWarehouse”DW建立目標就是把企業(yè)范圍內的所有數(shù)據(jù)集成在一個大倉庫中，讓用戶能運行查詢、產(chǎn)生報告和執(zhí)行分析。數(shù)據(jù)倉庫的特征面向主題數(shù)據(jù)倉庫中的數(shù)據(jù)按照主題進行組織；集成從多個數(shù)據(jù)源將數(shù)據(jù)集合到數(shù)據(jù)倉庫中，并集成為一個整體；穩(wěn)定數(shù)據(jù)倉庫中的數(shù)據(jù)通常是歷史數(shù)據(jù)，很少進行更新；時變數(shù)據(jù)倉庫中的所有數(shù)據(jù)都有特定的時間標識.數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別對比內容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內容當前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標面向

7、業(yè)務操作程序、重復處理面向主題域、管理決策分析應用數(shù)據(jù)特性動態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時添加數(shù)據(jù)結構高度結構化、復雜、適合操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事務只訪問少量記錄有的事務可能要訪問大量記錄對響應時間的要求以秒為單位計量以秒、分鐘、甚至小時為計量單位粒度的重要性在數(shù)據(jù)倉庫環(huán)境中粒度之所以是主要的設計問題，是因為它深深地影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能回答的查詢類型。在數(shù)據(jù)倉庫中的數(shù)據(jù)量大小與查詢的詳細程度之間要作出權衡。數(shù)據(jù)集市的定義數(shù)據(jù)集市是整個企業(yè)數(shù)據(jù)的一個子集，包括特定業(yè)務單元、部門或用戶集的值。數(shù)據(jù)集市是根據(jù)特定主題而

8、不是根據(jù)數(shù)據(jù)集市數(shù)據(jù)庫的大小來定義。三、數(shù)據(jù)挖掘概要數(shù)據(jù)挖掘發(fā)展概述（發(fā)展歷程及數(shù)據(jù)、信息與知識三者關系）數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘的步驟數(shù)據(jù)挖掘的主要功能數(shù)據(jù)挖掘的應用技術的發(fā)展+需求的升級進化階段商業(yè)問題支持技術產(chǎn)品廠家產(chǎn)品特點數(shù)據(jù)搜集(60年代)“過去五年中我的總收入是多少？”計算機、磁帶和磁盤IBMCDC提供歷史性的、靜態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪冋(80年代)“在新英格蘭的分部去年三月的銷售額是多少？”關系數(shù)據(jù)庫(RDBMS)結構化查詢語言(SQL)ODBCOracleSybaseInformixIBMMicrosoft在記錄級提供歷史性的、動態(tài)數(shù)據(jù)信息數(shù)據(jù)倉庫決策支持(90年代)“在新英格蘭的分

9、部去年三月的銷售額是多少？波士頓據(jù)此可得出什么結論？”聯(lián)機分析處理(OLAP)多維數(shù)據(jù)庫數(shù)據(jù)倉庫PilotComshareArborCognosMicrostrategy在各種層次上提供回溯的、動態(tài)的數(shù)據(jù)信息數(shù)據(jù)挖掘(正在流行)“下個月波士頓的銷售會怎么樣？為什么？”高級算法多處理器計算機海量數(shù)據(jù)庫PilotLockheedIBMSGI其他初創(chuàng)公司提供預測性的信息數(shù)據(jù)挖掘的技術定義數(shù)據(jù)挖掘(DataMining)從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。知識發(fā)現(xiàn)(KnowledgeDiscoveryinDa

10、tabases)是用數(shù)據(jù)庫管理系統(tǒng)來存儲數(shù)據(jù)，用機器學習的方法來分析數(shù)據(jù)，挖掘大量數(shù)據(jù)背后隱藏的知識，稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)。數(shù)據(jù)挖掘與數(shù)據(jù)倉庫大部分情況下，數(shù)據(jù)挖掘都要先把數(shù)據(jù)從數(shù)據(jù)倉庫中拿到數(shù)據(jù)挖掘庫或數(shù)據(jù)集市中。從數(shù)據(jù)倉庫中直接得到進行數(shù)據(jù)挖掘的數(shù)據(jù)有許多好處。數(shù)據(jù)倉庫的數(shù)據(jù)清理和數(shù)據(jù)挖掘的數(shù)據(jù)清理差不多，如果數(shù)據(jù)在導入數(shù)據(jù)倉庫時已經(jīng)清理過，那很可能在做數(shù)據(jù)挖掘時就沒必要再清理一次了，而且所有的數(shù)據(jù)不一致的問題都已經(jīng)解決了。數(shù)據(jù)挖掘的步驟I數(shù)據(jù)準備-數(shù)據(jù)選擇：目標數(shù)據(jù)-數(shù)據(jù)預處理：消除噪聲、不一致、冗余等-數(shù)據(jù)變換：連續(xù)數(shù)據(jù)離散化、數(shù)據(jù)轉化-數(shù)據(jù)歸約：特征選擇或抽取數(shù)據(jù)挖掘時，需要-明確

11、任務如數(shù)據(jù)總結、分類、聚類、關聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)等。-考慮用戶的知識需求(得到描述性的知識、預測型的知識)。-根據(jù)具體的數(shù)據(jù)集合，選取有效的挖掘算法。數(shù)據(jù)挖掘的步驟II結果的解釋評估(interpretationandevaluation)-對挖掘出來的結果（模式），經(jīng)用戶或機器評價，剔除冗余或無關的模式。-模式不滿足用戶需求時，返回到某一步，重新挖掘。如：重新選擇數(shù)據(jù)、采用新的變換方法、設定新的數(shù)據(jù)挖掘參數(shù)，或者換一種挖掘算法（如分類方法，不同的方法對不同的數(shù)據(jù)有不同的效果）。-挖掘的結果是面向用戶的,對挖掘結果進行可視化或者轉化為用戶易于理解的形式表示。評注-影響挖掘結果質量的因素：

12、采用的算法、數(shù)據(jù)本身的質量與數(shù)量-數(shù)據(jù)挖掘的過程是一個不斷反饋的過程-可視化在數(shù)據(jù)挖掘過程的各個階段都扮演著重要角色，如用散點圖或直方圖等統(tǒng)計可視化技術來顯示有關數(shù)據(jù)，以期對數(shù)據(jù)有一個初步的了解。數(shù)據(jù)挖掘的主要功能可以挖掘哪些模式？一般功能描述性的數(shù)據(jù)挖掘預測性的數(shù)據(jù)挖掘通常，用戶并不知道在數(shù)據(jù)中能挖掘出什么東西，對此我們會在數(shù)據(jù)挖掘中應用一些常用的數(shù)據(jù)挖掘功能，挖掘出一些常用的模式，包括：定性歸納一個概念：對一個包含大量數(shù)據(jù)的數(shù)據(jù)集合總體情況的概述。概念描述（conceptdescription）：對含有大量數(shù)據(jù)的數(shù)據(jù)集合進行概述性的總結并獲得簡明、準確的描述。概念描述的主要方法：-對目標數(shù)

13、據(jù)進行概述性的總結，數(shù)據(jù)泛化。-對兩個數(shù)據(jù)集合概化后，進行對比并將對比結果進行概化。（以表格或對比規(guī)則形式給出）關聯(lián)規(guī)則關聯(lián)規(guī)則挖掘就是發(fā)現(xiàn)大量數(shù)據(jù)中項集之間有趣的關聯(lián)?；颈硎拘问剑呵疤釛l件n結論支持度，置信度buys（x,“diapers）nbuys（x,“beers）0.5%,66%major（x，“CS”）takes（x，“DB”）ngrade（x，“A”）1%，75%具體應用：利潤最大化-商品貨架設計：更加適合客戶的購物路徑-貨存安排：實現(xiàn)超市的零庫存管理-用戶分類：提供個性化的服務分類與預測根據(jù)訓練數(shù)據(jù)集和類標號屬性，構建模型來分類現(xiàn)有數(shù)據(jù)，并用來分類新數(shù)據(jù)（分類），用來預測類型標

14、志未知的對象類（預測）。比如：按氣候將國家分類，按汽油消耗定額將汽車分類導出模型的表示:判定樹、分類規(guī)則、神經(jīng)網(wǎng)絡可以用來預報某些未知的或丟失的數(shù)字值例：IFage=“=30”ANDstudent=“no”THENbuys_computer=“no”IFage=“40”ANDcredit_rating=“excellent”THENbuys_computer=“yes”IFage=“40”ANDcredit_rating=“fair”THENbuys_computer=“no”聚類分析聚類是對數(shù)據(jù)對象進行劃分的一種過程，與分類不同的是，它所劃分的類是未知的，故此，這是一個“無指導的學習(uns

15、upervisedlearning)過程，即聚類算法不需要“教師”的指導，不需要提供訓練數(shù)據(jù)，它傾向于數(shù)據(jù)的自然劃分。文本聚類(Textclustering):將文本集合分組成多個類或簇，使得在同一個簇中的文本內容具有較高的相似度，而不同簇中的文本內容差別較大。它是聚類分析技術在文本處理領域的一種應用。例子：對Web日志的聚類，發(fā)現(xiàn)用戶訪問模式孤立點分析孤立點分析-孤立點:一些與數(shù)據(jù)的一般行為或模型不一致的孤立數(shù)據(jù)-通常孤立點被作為“噪音”或異常被丟棄，但在欺騙檢測中卻可以通過對罕見事件進行孤立點分析而得到結論。-研究方法：專門進行孤立點研究的方法與技術。統(tǒng)計方法是占主流，考察數(shù)據(jù)的分布，用距離來度量。應用-信用卡欺詐檢測-移動電話欺詐檢測-客戶劃分-醫(yī)療分析(異常)演化分析對隨時間變化的數(shù)據(jù)對象的變化規(guī)律和演化趨勢進行建模分析。(時序數(shù)據(jù)庫)如對主要股票的交易