大數據時代的數據挖掘與商務智能課件

1、1大數據時代的數據挖掘與商務智能2大 綱大數據的時代背景商務智能與數據科學基于統(tǒng)計的傳統(tǒng)數據分析技術數據管理系統(tǒng)與聯機分析處理數據挖掘與知識發(fā)現技術典型應用及案例分析3第二部分商務智能與數據科學4商務智能概論什么是商務智能？數據、信息、知識管理、信息與決策決策支持系統(tǒng)5什么是商務智能？商務智能(BI)定義眾說紛紜。高級管理人員信息系統(tǒng)（EIS)管理信息系統(tǒng)（MIS），決策支持系統(tǒng)（DSS）數據庫技術，數據倉庫(數據集市)數據整合與清洗工具查詢和報告工具,在線分析處理工具(OLAP)統(tǒng)計數據分析，數據挖掘分析性ERP、CRM、SCM。 企業(yè)績效管理，平衡記分卡商業(yè)智能Gartner商業(yè)智能的概念

2、于1996年最早由加特納集團（Gartner Group）提出，加特納集團將商業(yè)智能定義為：商業(yè)智能描述了一系列的概念和方法，通過應用基于事實的支持系統(tǒng)來輔助商業(yè)決策的制定。商業(yè)智能技術提供使企業(yè)迅速分析數據的技術和方法，包括收集、管理和分析數據，將這些數據轉化為有用的信息，然后分發(fā)到企業(yè)各處。67什么是商務智能？商務智能是企業(yè)利用現代信息技術收集、管理和分析結構化和非結構化的商務數據和信息，創(chuàng)造和累計商務知識和見解，改善商務決策水平，采取有效的商務行動，完善各種商務流程，提升各方面商務績效，增強綜合競爭力的智慧和能力。8企業(yè)企業(yè)這里用“組織機構”或“實體”會顯得更完整，因為所有的組織機構和實

3、體（不只是企業(yè)）都可以而且應該利用商務智能；之所以仍用“企業(yè)”是為保持與“商務”的一致性。各行各業(yè)，包括非企業(yè)性機構，比如政府部門、教育機構、醫(yī)療機構和公用事業(yè)等，都應該而且能夠利用商務智能。9現代信息技術利用現代信息技術這是這一定義中的關鍵之一，IT的發(fā)展產生了信息經濟和信息社會，在這一新型的經濟和社會形態(tài)中，信息的爆炸式激增又產生了對能夠處理和控制信息的新技術的強烈需求；商務智能就是新的IT在商務分析中的有效利用。BI過程中所涉及的IT主要有：從不同的數據源收集的數據中提取有用的數據，對數據進行清理以保證數據的質量，將數據經轉換、重構后存入數據倉庫或數據集市（這時數據變?yōu)樾畔ⅲ?，然后尋找?/p>

4、適的查詢、報告和分析工具和數據挖掘工具對信息進行處理（這時信息變?yōu)檩o助決策的知識），最后將知識呈現于用戶面前，轉變?yōu)闆Q策。10收集數據收集收集數據是管理和分析數據的前提，數據收集工作是十分重要的，必須引起企業(yè)的充分重視，在這方面中國企業(yè)與世界上發(fā)達國家中的先進企業(yè)之間的差距非常大，這是商務智能在中國還不能很快成熟起來的重要原因之一， 這應了中國的一句俗話：“巧婦難為無米之炊”。數據和信息的收集主要是通過各種交易系統(tǒng)進行的，比如ERP、CRM、SCM和E-Business等系統(tǒng)。隨著中國企業(yè)在這些方面的進步，數據和信息的數量會快速增長的。另外，信息，特別是非結構化的信息，來自公司各個部門和各個員

5、工創(chuàng)造和收集的、沒有放在上述交易系統(tǒng)中的內容。第三方也是企業(yè)收集數據和信息的一個重要來源，這樣的外部數據和信息包括市場調研報告、人口統(tǒng)計報告、顧客信用報告等。11管理和分析數據管理這里的“管理”主要是指對數據的儲存、提取、清洗、轉換、裝載、整合等工作，其目的主要是為了提高數據的質量和安全性。分析“分析”是一個廣泛的概念，這里包括數據查詢、數據報告、多維分析、數據挖掘、高級統(tǒng)計分析等。大多數人理解的商務智能都集中在這些分析工具上。12結構化與非結構化數據結構化結構化的數據主要是指儲存于各個交易系統(tǒng)背后的關系型數據庫中的數據，通常都是以表格的形式存在和展現的。傳統(tǒng)的商務智能概念只包括這種結構化的、

6、可定量的數據。非結構化的非結構化的數據和信息主要是上面的提到的各個部門和各個員工創(chuàng)造和收集的、沒有放在各種交易系統(tǒng)中的內容，通常是以零散的文件形式存在和展現的；新的商務智能概念納入了非結構化內容的分析，但是非機構化的內容的管理仍然主要是通過文件管理和內容管理（Document Management & Content Management）軟件來進行的。13商務數據和信息 商務數據和信息并不能加以狹隘的理解，這里所致的商務數據和信息包括一切可能對商務產生影響的、直接和間接的數據和信息，往小里說包括顧客的名字、地址和電話號碼等，往大里說包括過國際上的政治、經濟、文化和軍事情況等。14商務智能的目

7、的創(chuàng)造和累計商務知識和見解這是商務智能的第一層的目的和功能， 也是最直接的目的和功能；“知識和見解”正是“智能”得名的由來。改善商務決策水平這是商務智能的更高一層的目的和功能，企業(yè)能否利用好這一功能、實現這一目的在很大程度上取決于領導者的意識和胸襟以及企業(yè)文化中決策科學化和民主化的成分。15商務行動與商務流程采取有效的商務行動采取有效的商務行動是創(chuàng)造和累計商務知識和見解、改善商務決策水平的目的和動力。商務智能是能夠指導實戰(zhàn)的高明兵法，而不是“無所不知、但無能為力”的“紙上談兵”。完善各種商務流程殘缺、散亂、僵化、低效的商務流程是企業(yè)的頑疾，商務智能能夠為這一頑疾的診斷和治療做出一定的貢獻； 優(yōu)

8、化后自動化（請注意先后順序）的商務流程反過來也會促進商務智能的發(fā)展。16商務績效提升各方面商務績效這是商務智能在企業(yè)內部的最高目的和作用，有效的商務智能系統(tǒng)和技術能夠幫助企業(yè)提升各個方面的績效：財務的和非財務的，前臺的和后臺的，企業(yè)內的和供應鏈內的，組織的和個人的。企業(yè)績效管理已成為熱門的管理和技術概念，這既是因為各種軟件廠商的推動又是因為企業(yè)所面臨的績效方面的壓力的增大。17綜合競爭力增強綜合競爭力這是商務智能在企業(yè)中的最高目的和作用。商務智能事關企業(yè)的興衰成敗和生死存亡。如今以及未來企業(yè)之間的競爭是主要是綜合智能上的競爭，不管是中國企業(yè)還是外國企業(yè)，不管是國營企業(yè)還是民營企業(yè)，不管是大企業(yè)

9、還是小企業(yè)，都必須提高企業(yè)經營和競爭活動中的智能水平，爭取成為優(yōu)秀的智能企業(yè)，否則一定會落后于智能上高人一等、捷足先登的企業(yè)。智慧和能力把商務智能分為智慧和能力是因為真正的商務智能既有思想層面也有行動層面（而且“智能”本身可以一分為二、二合為一）。18商務智能軟件發(fā)展前景根據Gartner公司的報告，2007年全球BI（商業(yè)智能）軟件市場份額達到了51億美元，比2006年增加了13%。最大的贏家是那些大的軟件廠商，如SAP、IBM、Oracle和Microsoft，它們總的市場份額從2006年的20%，增加到2007年的66%。這種急劇增長主要是通過并購來實現的。在2007年1月份，SAP收購

10、了BO（Business Object），IBM收購了Cognos。在2007年3月份，Oracle則收購了Hyperion。合并之后，SAP和BO排名第一，占據了全球26.3的BI軟件市場，比第二名（IBM和Cognos，市場份額為14.7%）高出了將近一倍。SAS為第三名，市場份額為14.5%。下表中的排名與此不同，是因為有些并購直到2008年才最終完成。19Gartner發(fā)布商務智能魔力象限 /reprints/oracle/154227.html20Gartner發(fā)布客戶數據挖掘魔力象限 /reprints/sas/vol5/article3/article3.html21數據、信息與

11、知識每時每刻，我們身邊都充滿了各種各樣的數據。但只有將這些雜亂無章的數據，轉換為信息和知識，才能幫助我們做出聰明的選擇。由于數據、信息與知識三者之間有著密切的相關性，他們常被混淆使用。我們將重點對數據、信息與知識進行分析和對比。 22數據（Data）數據泛指對客觀事物的數量、屬性、位置及其相互關系的抽象表示，以適合于用人工或自然的方式進行保存、傳遞和處理。例如，水的溫度是100，禮物的重量是500克，木頭的長度是2米，大樓的高度時45層。在這些表述中：100；500克；2米；45層就是數據。數據的表現形式是多種多樣的，除了數字，數據還以圖像、聲音、文字等形式表現出來。23信息（Informat

12、ion）信息是指有一定含義的、經過加工處理的、對決策有價值的數據。 信息數據處理 信息是有意義的數據，是被賦予相關性和目的性的數據。例如，人口的分布情況、降雨量分布情況等。可以用專門的信息管理系統(tǒng)對各類信息進行管理。信息管理系統(tǒng)的最基本功能就是數據收集和數據處理。24知識（Knowledge）知識是信息基礎上的又一次升華，是濃縮的系統(tǒng)化了的信息。需要通過信息，使用歸納、演繹的方法得到。知識只有在經過廣泛深入地實踐檢驗，被人消化吸收，并成為了個人的信念和判斷取向之后才能成為知識。知識信息+理解（understanding）與推理（reasoning）解決問題的技能（skill）決策支持系統(tǒng)、專家

13、系統(tǒng)、案例推理系統(tǒng)是對人類知識的利用，而智能數據分析是獲得隱含在數據信息中的知識。OECD 1990s 知識分類 3W+H25信息（Information）知識（Knowledge）與智慧（Wisdom） 26The Data Information Knowledge and Wisdom Hierarchy (DIKW) 知識是從數據到智慧劃分為不同層次的。27示例 數據：上季度產品A在華東地區(qū)銷售額為120萬。 信息：上季度產品A華東地區(qū)銷售額比去年同期減少了25 %。 知識：如分析原因是華東地區(qū)銷售單位不行，或產品A進入了衰退期，還是公司整體營銷活動落后，競爭者強力促銷導致？或是其它原

14、因。針對這一問題公司應對的策略是什么？ 智慧：應對的行動方案可能有多種，但（戰(zhàn)略）選擇哪個靠智慧。行動則又會產生新的交易數據。28管理與管理系統(tǒng) 管理是管理主體作用于管理客體的活動過程。隨著科技的發(fā)展，管理及管理系統(tǒng)的信息化、網絡化、智能化已越來越受到人們的廣泛關注。 （信息）管理系統(tǒng)：數據處理系統(tǒng)、檢索系統(tǒng)、計算機輔助系統(tǒng)、管理信息系統(tǒng)MIS、辦公自動化系統(tǒng)OA、決策支持系統(tǒng)DSS、知識管理系統(tǒng)KMS等。29決策與信息 “決策” 一詞的英語表述為decision-making，意思就是作出決定或選擇。當今是信息爆炸時代，重要的不是獲得信息，而在于對信息的加工和分析，使之對決策有用。決策者需要

15、的是對決策有意義的新信息，決策者的注意力是一種最寶貴資源，不能無謂消耗在大量無關的信息上。對信息的提供，就應當有一定條件的限制，不符合這些條件的信息，不應該輸送給決策者。所以信息系統(tǒng)應該包括一個篩選系統(tǒng)，以保證提供與決策有關的有用信息。 30國民經濟和社會的信息化社會信息化后，社會的運轉是軟件的運轉社會信息化后，社會的歷史是數據的歷史因此政府提出“信息化”和“發(fā)展軟件產業(yè)”31數據分析與挖掘有許多預測機構和名人都看好數據分析技術對未來科學技術的影響，對市場所占有的份額有樂觀的估計。世界有名的Gartner Group咨詢公司預計：不久的將來先進大型企業(yè)會設置“統(tǒng)一數據分析專家”, 數據分析的應

16、用一定會擴展開來！微軟專家也認為數據分析與挖掘會成為21世紀的重要技術之一，也有研究小組。在微軟亞洲研究院（/asia/）有相應的研究，有多個研究小組與數據分析有關。32數據分析與挖掘概況一些技術的發(fā)展也需要數據分析技術。 ERP(企業(yè)資源計劃), SCM(物流與供應鏈管理), CRM(客戶關系管理)，BI（商務智能）， 數據庫， 數據倉庫，知識管理 決策支持系統(tǒng)新的發(fā)展。 數據的大量積累，需求的多樣性而發(fā)展起來。33數據分析與挖掘概況數據分析與挖掘數據庫越來越大有價值的知識可怕的數據34數據分析與挖掘概況數據爆炸，知識貧乏 苦惱: 淹沒在數據中 ; 不能制定合適的決策! 數據知識決策模式趨勢

17、事實關系模型關聯規(guī)則序列目標市場資金分配貿易選擇在哪兒做廣告銷售的地理位置金融經濟政府人口統(tǒng)計生命周期35應用需求科學領域生物醫(yī)學數據 & DNA數據分析空間數據分析 (GIS, GPS, 遙感系統(tǒng))商業(yè)領域經濟 & 金融數據分析零售業(yè)數據分析電信業(yè)數據分析WWW數據分析Necessity is the mother of invention（Plato）36現代數據分析的特點最大的特點：海量數據集（大數據）美國零售商沃爾瑪每天大約2千萬筆的交易，一年的客戶交易數據庫容量超過11TBAT&T公司，1億電話用戶，每天3億次的呼叫特征數據美國宇航局NASA的地球觀測系統(tǒng)每小時生成幾個GB的原始數據

18、人類基因工程中超過3.3109個核苷酸的數據庫其它特點：較高維度，有噪聲，屬性值缺失37技術驅動 更大,更便宜的存儲器 - 磁盤密度以Moores law增長 “每18個月增長一倍” - 存儲器價格飛快下降下降更快,更便宜的信息處理器 - 分析更多的數據 - 適應更多復雜的模型 - 引起更多查詢技術 - 激起更強的可視化技術 數據處理與分析技術 - 數據庫與數據倉庫 - 統(tǒng)計學 - 人工智能 - 機器學習38智能數據分析（1） Intelligent data analysis has its origins in various disciplines. Ststistics and machine learning is the most important two dis