數(shù)據(jù)挖掘與商務(wù)智能課件

1、商務(wù)智能概述第一章數(shù)據(jù)挖掘與商務(wù)智能主要內(nèi)容數(shù)據(jù)時代需要BI什么是BIBI給我們帶來了什么BI系統(tǒng)架構(gòu)主流商務(wù)智能產(chǎn)品介紹商務(wù)智能應(yīng)用及發(fā)展趨勢數(shù)據(jù)時代需要BI-1計算時代實驗室里的大量計算不重視數(shù)據(jù)的存儲普及時代個人、企業(yè)廣泛使用出現(xiàn)數(shù)據(jù)、存儲的需求應(yīng)用系統(tǒng)時代開始出現(xiàn)數(shù)據(jù)積累互聯(lián)網(wǎng)時代更加海量的網(wǎng)上數(shù)據(jù)數(shù)據(jù)時代？數(shù)據(jù)、數(shù)據(jù)、數(shù)據(jù)、數(shù)據(jù)、數(shù)據(jù).“大話”計算機數(shù)十年來的發(fā)展數(shù)據(jù)時代需要BI-2案例一：Behavior Targeting用戶行為（網(wǎng)絡(luò)用戶，實際用戶）目標(biāo)銷售（email，網(wǎng)絡(luò)廣告，短信，電話促銷）用戶的歸類、預(yù)測數(shù)據(jù)告訴我們什么-3案例二：SEM（Search Engine M

2、arketing）搜索引擎營銷MSN Bing 、 Google、Yahoo和Baidu四大全球搜索引擎KSP（Keyword Services Platform ）AdSage（艾德思奇）:第三方SEM服務(wù)商“Business Intelligence is a process of turning data into information and knowledge into action for business gain?！盌ata Warehouse Institute. 什么是商務(wù)智能-1數(shù)據(jù)可以記錄、通信和能識別的符號可以是文本、圖片、聲音等多種形式信息有用的數(shù)據(jù)就是信息，信息

3、是對數(shù)據(jù)的解釋信息是經(jīng)過加工后的數(shù)據(jù)一個人的垃圾（數(shù)據(jù)）是另一個人的財富（信息）知識是對信息內(nèi)容進行提煉、比較、挖掘、分析、概括、判斷和推論事實性知識和經(jīng)驗知識（顯性和隱性）How are You?什么是商務(wù)智能-2商務(wù)智能是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息，創(chuàng)造和累計商務(wù)知識和見解，改善商務(wù)決策水平，采取有效的商務(wù)行動，完善各種商務(wù)流程，提升各方面商務(wù)績效，增強綜合競爭力的智慧和能力-王茁專著三位一體的商務(wù)智能.共性沒有數(shù)據(jù)就沒有商務(wù)智能數(shù)據(jù)之間往往存在一定的規(guī)律采用一定的信息技術(shù)手段BI給我們帶來了什么-1BI給我們帶來了什么-2豐富的報表、查詢功能發(fā)生

4、了什么BI給我們帶來了什么-3圖4.5 Cognos的鉆取操作IBM Cognos的鉆取操作為什么發(fā)生BI給我們帶來了什么-4預(yù)測將來會發(fā)生什么銷售分析儀表盤BI給我們帶來了什么-5仿真分析希望發(fā)生什么BI 系統(tǒng)架構(gòu)-1數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫添加、修改、刪除；查詢、統(tǒng)計、歸檔；存儲、集群、備份、遷移數(shù)據(jù)倉庫ETL數(shù)據(jù)挖掘模型多維分析模型分析展現(xiàn)挖掘展現(xiàn)門戶集成BI 系統(tǒng)架構(gòu)-2數(shù)據(jù)源企業(yè)內(nèi)部數(shù)據(jù)各種應(yīng)用系統(tǒng)：訂單系統(tǒng)、銷售系統(tǒng)、OLTP（Online Transaction Processing）外部數(shù)據(jù)：市場信息、競爭對手?jǐn)?shù)據(jù)存在問題異構(gòu)環(huán)境數(shù)據(jù) 主題不明確對業(yè)務(wù)系統(tǒng)的影響B(tài)I 系統(tǒng)架構(gòu)-3數(shù)據(jù)倉

5、庫（Data Warehouse，DW）面向主題的、集成的、穩(wěn)定的、隨時間不斷變化的數(shù)據(jù)庫系統(tǒng)ETL數(shù)據(jù)抽取（Extraction）數(shù)據(jù)轉(zhuǎn)換（Transformation）數(shù)據(jù)加載（Loading）BI 系統(tǒng)架構(gòu)-4OLAP（On-Line Analytical Processing）商務(wù)智能的直接數(shù)據(jù)來源？OLTP?數(shù)據(jù)倉庫？多維數(shù)據(jù)集?什么是多維數(shù)據(jù)集？“多維數(shù)據(jù)集是一種結(jié)構(gòu)，包含了一個或多個度量。這些度量用于所有維度的成員的每個唯一組合?！盉I 系統(tǒng)架構(gòu)-5OLAP（On-Line Analytical Processing）“OLAP系統(tǒng)能夠讓用戶快捷地從數(shù)據(jù)中檢索信息，通常作為分析工

6、具用在數(shù)據(jù)集市中，OLAP系統(tǒng)通過度量、維度、層次結(jié)構(gòu)和多維數(shù)據(jù)集等來展示數(shù)據(jù)。” MicrosoftBI 系統(tǒng)架構(gòu)-6數(shù)據(jù)挖掘啤酒與尿布的故事： 在一家超市里，有一個有趣的現(xiàn)象：尿布和啤酒赫然擺在一起出售，但是這個奇怪的舉措?yún)s使尿布和啤酒的銷量雙雙增加了。 原來，美國的婦女們經(jīng)常會囑咐她們的丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機會還是很多的。BI的三個層次數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫添加、修改、刪除；查詢、統(tǒng)計、歸檔；存儲、集群、備份、遷移數(shù)據(jù)倉庫ETL數(shù)據(jù)挖掘模型多維分析模型分析展現(xiàn)挖掘展現(xiàn)門戶集成BI的三個層次用戶數(shù)增加報表分析OLA

7、PDM復(fù)雜度增加我知道它現(xiàn)在是怎樣的我知道它為什么是這樣我知道它以后會是怎樣主流商務(wù)智能產(chǎn)品介紹-1廠商產(chǎn)品及簡介IBMDB2以及Cognos、SPSS、DataStage，覆蓋BI全部領(lǐng)域OracleOracle、Hyperion(海波龍 )，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘領(lǐng)域有待加強MicrosoftSQLServer，覆蓋BI全部領(lǐng)域，適合中小型企業(yè)，性價比高InformaticaInformatica，主要是數(shù)據(jù)集成領(lǐng)域TeradataTeradata，主要是數(shù)據(jù)倉庫領(lǐng)域SybaseSybaseIQ，主要是數(shù)據(jù)倉庫領(lǐng)域SAPBusinessObjects、CrystalReports，主要

8、是OLAP和報表領(lǐng)域SASSAS，數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先奧威智動Power-BI，主要是OLAP和報表領(lǐng)域，行業(yè)解決方案尚南BlueQuery，主要是OLAP和報表領(lǐng)域（已被用友華表收購）潤乾潤乾報表，主要是OLAP和報表領(lǐng)域探智Trinity，主要是數(shù)據(jù)集成領(lǐng)域主流商務(wù)智能產(chǎn)品介紹-2商務(wù)智能應(yīng)用-1商務(wù)智能行業(yè)應(yīng)用商務(wù)智能應(yīng)用-2各行業(yè)電子商務(wù)網(wǎng)站算法層商業(yè)邏輯層行業(yè)應(yīng)用層商業(yè)應(yīng)用商業(yè)模型挖掘算法CRM產(chǎn)品推薦客戶細分客戶流失客戶利潤客戶響應(yīng)關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、偏差分析WEB挖掘網(wǎng)站結(jié)構(gòu)優(yōu)化網(wǎng)頁推薦商品推薦基因挖掘基因表達路徑分析基因表達相似性分析基因表達共發(fā)生分析銀行電信零售保險制

9、藥生物信息科學(xué)研究相關(guān)行業(yè)商務(wù)應(yīng)用需求的推動神經(jīng)網(wǎng)絡(luò)、決策樹、回歸分析、粗集、遺傳算法金融行業(yè)應(yīng)用美國匯豐銀行使用SPSS成功案例公司背景 美國匯豐銀行是HSBC集團成員之一，通過位于紐約的 380 個分支機構(gòu)為 140 多萬銀行客戶提供核算、投資、借貸和其它金融服務(wù)。美國匯豐銀行資產(chǎn)為350億美元。 面臨問題 同一地區(qū)可能有多家銀行設(shè)有分支機構(gòu)，從而引起持續(xù)的競爭來吸引和保持附近的潛在客戶。為保持高水平的客戶獲取和保持率，并維持可贏利性，銀行經(jīng)常要實現(xiàn)以下目標(biāo)：擴展和現(xiàn)有客戶的關(guān)系控制營銷費用以維持利潤用新的智能快速轉(zhuǎn)移市場 金融行業(yè)應(yīng)用美國匯豐銀行使用SPSS成功案例解決方案SPSS 客戶

10、細分：采用實時的預(yù)測分析技術(shù)，分析來自各種不同數(shù)據(jù)源（ATM、交易網(wǎng)站、呼叫中心及相關(guān)分支機構(gòu)）的客戶數(shù)據(jù),發(fā)現(xiàn)潛在價值客戶流失：找出最有價值的客戶，理解他們的行為。在客戶群中找出盡可能多的潛在流失者，進行有效的保留活動并降低成本交叉銷售:從客戶的交易數(shù)據(jù)和客戶的自然屬性中尋找、選擇最有可能捆綁在一起銷售的產(chǎn)品和服務(wù)，發(fā)現(xiàn)有價值的產(chǎn)品和服務(wù)組合，從而有效地向客戶提供額外的服務(wù)，提高活期收入并提升客戶的收益率金融行業(yè)應(yīng)用美國匯豐銀行使用SPSS成功案例應(yīng)用結(jié)果 揭示特定客戶的需求，銷售增加50%營銷費用減少30% 提高了建立和開展適時營銷戰(zhàn)略的能力 Somma說， OLAP對了解數(shù)據(jù)特征來說是一

11、個不錯的工具，但我無法從中發(fā)現(xiàn)聯(lián)系的力度，也不能做出預(yù)測模型，而那正是我最需要的?！癝omma說，OLAP是好的報告工具，但沒有統(tǒng)計引擎，它只能告訴過去我在哪里，而不能說出我需要去哪里。 BI在電信行業(yè)應(yīng)用精細化營銷 客戶細分，找準(zhǔn)客戶范圍，全面了解客戶 地市分公司數(shù)據(jù)集市建設(shè)評估分析套餐資費預(yù)演功能 套餐分析 資費營銷案活動管理 降低成本重入網(wǎng)現(xiàn)象日趨嚴(yán)重 利用呼叫指紋和IMEI技術(shù)，架構(gòu)新的重入網(wǎng)模型 BI在零售業(yè)應(yīng)用-1零售業(yè)特點顧客數(shù)量龐大，消費水平層次不齊 銷售品種多，銷售方式多樣供應(yīng)商信息龐大顧客已從“感覺消費”向“感情消費”邁進企業(yè)經(jīng)營開始從降低成本向提高顧客滿意度邁進（CRM）

12、 CRM（客戶關(guān)系管理）指在合適的時間、以合適的價格、將合適的產(chǎn)品或服務(wù)提供給合適的客戶，以滿足他們的需要。BI在零售業(yè)應(yīng)用-2BI在零售業(yè)的應(yīng)用價值了解銷售全局 商品分組布局 降低庫存成本 市場和趨勢分析 有效的商品促銷 BI在電子商務(wù)行業(yè)的應(yīng)用-1BI在電子商務(wù)行業(yè)的應(yīng)用-2Web挖掘就是利用數(shù)據(jù)挖掘技術(shù)，從Web文檔以及服務(wù)中發(fā)現(xiàn)信息、知識的過程數(shù)據(jù)來源于Web文檔、 Web服務(wù)器日志、用戶Cookies主要處理文本、圖形、圖像等半結(jié)構(gòu)化數(shù)據(jù)主要應(yīng)用網(wǎng)站結(jié)構(gòu)優(yōu)化智能搜索引擎?zhèn)€性化推薦顧客分類，交叉銷售垃圾郵件過濾BI在電子商務(wù)行業(yè)的應(yīng)用-3Web挖掘分類Web挖掘 Web結(jié)構(gòu)挖掘 Web

13、使用挖掘 Web內(nèi)容挖掘 文本挖掘 多媒體挖掘 內(nèi)、外部結(jié)構(gòu)挖掘 URL挖掘 個性化訪問模式追蹤 一般訪問模式追蹤BI在電子商務(wù)行業(yè)的應(yīng)用-4Web文本挖掘Web文本挖掘應(yīng)用搜索引擎優(yōu)化垃圾郵件過濾BI在電子商務(wù)行業(yè)的應(yīng)用-4Web結(jié)構(gòu)挖掘通過分析頁面鏈接的數(shù)量和對象，從而建立Web的鏈接結(jié)構(gòu)模式 相關(guān)算法PageRank算法：網(wǎng)頁的質(zhì)量和重要性可以通過其他網(wǎng)頁對其鏈接的數(shù)量進行衡量 HITS算法：權(quán)威頁面：表達某一主題的頁面Hub頁面：把權(quán)威頁面鏈接到一起的頁面應(yīng)用信息檢索：根據(jù)Web重要性進行排名社區(qū)識別：識別基于某個特定主題的相關(guān)Web頁面網(wǎng)站優(yōu)化：重新定位網(wǎng)頁鏈接BI在電子商務(wù)行業(yè)的應(yīng)

14、用-5Web日志挖掘指從用戶訪問日志中獲取有價值的信息 ，包括訪問者的興趣愛好、訪問模式、滿意度 應(yīng)用顧客分類：開展有針對性的營銷活動交叉銷售：識別商品間的關(guān)聯(lián)程度個性化推薦：在適合的時間，以適合的方式，將適合的產(chǎn)品，推薦到適合的人手中。BI在電子商務(wù)行業(yè)的應(yīng)用-6服裝電子商務(wù)個性化推薦系統(tǒng)關(guān)鍵技術(shù)研究 課題虛擬與現(xiàn)實存在一定的差距，傳統(tǒng)的服裝電子商務(wù)網(wǎng)站不適合“一看二摸三試衣”的購物流程存在海量的商品信息查找困難，失去購物興趣搜索結(jié)果界面相同缺乏個性化（顏色、款式）服裝個性化搭配問題服裝展示：二維圖片+文字說明為主用戶購衣后衣服不合體衣服質(zhì)感存在較大差異BI在電子商務(wù)行業(yè)的應(yīng)用-7服裝款式個性化推薦技術(shù)用戶聚類Web數(shù)據(jù)挖掘協(xié)同過濾推薦不確定性服裝搭配預(yù)測模型研究 虛擬試衣三維人體建模技術(shù)三維人體模型與三維服裝CAD結(jié)合虛擬試衣技術(shù)商務(wù)智能進展-1技術(shù)發(fā)展20世紀(jì)90年代初期 ，信息倉庫90年代中期 ，數(shù)據(jù)倉庫90年代后期 ，數(shù)據(jù)挖掘、多維分析與展現(xiàn) 技術(shù)BI市場競爭Gartner公司的調(diào)查表明，2000年到2004年之間，安全是企業(yè)IT投資排在第一位的主題，而商務(wù)智能項目的投資在2000年時僅排在第14位，2007年卻突飛猛