數據挖掘與商務智能-1 商務智能概述-

商務智能概述第一章數據挖掘與商務智能1主要內容容數據時代代需要BI什么是BIBI給我我們帶來來了什么么BI系統統架構主流商務務智能產產品介紹紹商務智能能應用及及發(fā)展趨趨勢數據時代代需要BI-1計算時代代實驗室里里的大量量計算不重視數數據的存存儲普及時代代個人、企企業(yè)廣泛泛使用出現數據據、存儲儲的需求求應用系統統時代開始出現現數據積積累互聯網時時代更加海量量的網上上數據數據時代代？數據、數數據、數數據、數數據、數數據………..“大話””計算機機數十年年來的發(fā)發(fā)展數據時代代需要BI-2案例一：：BehaviorTargeting用戶行為為（網絡絡用戶，，實際用用戶）目標銷售售（email，網絡絡廣告，，短信，，電話促促銷…））用戶的歸歸類、預預測數據告訴訴我們什什么-3案例二：：SEM（SearchEngineMarketing）搜索引擎擎營銷MSNBing、、Google、Yahoo和Baidu四大大全球搜搜索引擎擎KSP（（KeywordServicesPlatform））AdSage（（艾德思思奇）::第三方方SEM服務商商“BusinessIntelligenceisaprocessofturningdataintoinformationandknowledgeintoactionforbusinessgain?！薄狣ataWarehouseInstitute.什么是商商務智能能-1數據可以記錄錄、通信信和能識識別的符符號可以是文文本、圖圖片、聲聲音等多多種形式式信息有用的數數據就是是信息，，信息是是對數據據的解釋釋信息是經經過加工工后的數數據一個人的的垃圾（（數據））是另一一個人的的財富（（信息））知識是對信息息內容進進行提煉煉、比較較、挖掘掘、分析析、概括括、判斷斷和推論論事實性知知識和經經驗知識識（顯性性和隱性性）HowareYou?什么是商商務智能能-2商務智能是企業(yè)利用現代信息技術收集、管理和分析結構化和非結構化的商務數據和信息，創(chuàng)造和累計商務知識和見解，改善商務決策水平，采取有效的商務行動，完善各種商務流程，提升各方面商務績效，增強綜合競爭力的智慧和能力-王茁專著《三位一體的商務智能》.共性沒有數據據就沒有有商務智智能數據之間間往往存存在一定定的規(guī)律律采用一定定的信息息技術手手段BI給我我們帶來來了什么么-1BI給我我們帶來來了什么么-2豐富的報報表、查查詢功能能——發(fā)生了什什么BI給我我們帶來來了什么么-3圖4.5Cognos的鉆取操操作IBMCognos的鉆鉆取操作作——為為什么發(fā)發(fā)生BI給我我們帶來來了什么么-4預測——將來會發(fā)發(fā)生什么么銷售分析析儀表盤盤BI給我我們帶來來了什么么-5仿真分析析——希望發(fā)生生什么BI系系統架構構-1數據庫業(yè)務數據庫添加、修改、刪除；查詢、統計、歸檔；存儲、集群、備份、遷移數據倉庫庫ETL數據挖掘模型多維分析模型分析展現挖掘展現門戶集成BI系系統架構構-2數據源企業(yè)內部部數據各種應用用系統：：訂單系系統、銷銷售系統統、OLTP（OnlineTransactionProcessing）外部數據據：市場場信息、、競爭對對手數據據存在問題題異構環(huán)境境數據主題不明明確對業(yè)務系系統的影影響B(tài)I系系統架構構-3數據倉庫庫（DataWarehouse，DW）面向主題題的、集集成的、、穩(wěn)定的的、隨時時間不斷斷變化的的數據庫庫系統ETL數據抽取?。‥xtraction）數據轉換換（Transformation）數據加載載（Loading）BI系系統架構構-4OLAP（On-LineAnalyticalProcessing）商務智能能的直接接數據來來源？OLTP?數據倉庫庫？多維數據據集?什么是多多維數據據集？“多維數據集是一種結構，包含了一個或多個度量。這些度量用于所有維度的成員的每個唯一組合?！盉I系系統架構構-5OLAP（On-LineAnalyticalProcessing）“OLAP系統能夠讓用戶快捷地從數據中檢索信息，通常作為分析工具用在數據集市中，OLAP系統通過度量、維度、層次結構和多維數據集等來展示數據?！报CMicrosoftBI系系統架構構-6數據挖掘掘啤酒與尿布的故事：在一家超市里，有一個有趣的現象：尿布和啤酒赫然擺在一起出售，但是這個奇怪的舉措卻使尿布和啤酒的銷量雙雙增加了。原來，美國的婦女們經常會囑咐她們的丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機會還是很多的。BI的三三個層次次數據庫業(yè)務數據庫添加、修改、刪除；查詢、統計、歸檔；存儲、集群、備份、遷移數據倉庫庫ETL數據挖掘模型多維分析模型分析展現挖掘展現門戶集成BI的三三個層次次用戶數增增加報表分析析OLAPDM復雜度增增加我知道它它現在是是怎樣的的我知道它它為什么么是這樣樣我知道它它以后會會是怎樣樣主流商務務智能產產品介紹紹-1廠商產品及簡介IBMDB2以及Cognos、SPSS、DataStage，覆蓋BI全部領域OracleOracle、Hyperion(海波龍

)，覆蓋BI全部領域，數據挖掘領域有待加強MicrosoftSQLServer，覆蓋BI全部領域，適合中小型企業(yè)，性價比高InformaticaInformatica，主要是數據集成領域TeradataTeradata，主要是數據倉庫領域SybaseSybaseIQ，主要是數據倉庫領域SAPBusinessObjects、CrystalReports，主要是OLAP和報表領域SASSAS，數據挖掘領域領先奧威智動Power-BI，主要是OLAP和報表領域，行業(yè)解決方案尚南BlueQuery，主要是OLAP和報表領域（已被用友華表收購）潤乾潤乾報表，主要是OLAP和報表領域探智Trinity，主要是數據集成領域主流商務務智能產產品介紹紹-2商務智能能應用--1商務智能能行業(yè)應應用商務智能能應用--2各行業(yè)電電子商務務網站算法層商業(yè)邏輯層行業(yè)應用層商業(yè)應用用商業(yè)模型型挖掘算法法CRM產品推薦客戶細分客戶流失客戶利潤客戶響應關聯規(guī)則、序列模式、分類、聚集、偏差分析…WEB挖掘網站結構優(yōu)化網頁推薦商品推薦……基因挖掘基因表達路徑分析基因表達相似性分析基因表達共發(fā)生分析……銀行電信零售保險制藥生物信息科學研究……相關行業(yè)業(yè)商務應用用需求的的推動神經網絡絡、決策策樹、回回歸分析析、粗集集、遺傳傳算法金融行業(yè)業(yè)應用———美國國匯豐銀銀行使用用SPSS成功功案例公司背景景美國匯豐豐銀行是是HSBC集團團成員之之一，通通過位于于紐約的的380個個分支機機構為140多萬萬銀行客客戶提供供核算、、投資、、借貸和和其它金金融服務務。美國國匯豐銀銀行資產產為350億美美元。面臨問題題同一地區(qū)區(qū)可能有有多家銀銀行設有有分支機機構，從從而引起起持續(xù)的的競爭來來吸引和和保持附附近的潛潛在客戶戶。為保保持高水水平的客客戶獲取取和保持持率，并并維持可可贏利性性，銀行行經常要要實現以以下目標標：擴展和現現有客戶戶的關系系控制營銷銷費用以以維持利利潤用新的智智能快速速轉移市市場金融行業(yè)業(yè)應用———美國國匯豐銀銀行使用用SPSS成功功案例解決方案案——SPSS客戶細分分：采用用實時的的預測分分析技術術，分析析來自各各種不同同數據源源（ATM、交交易網站站、呼叫叫中心及及相關分分支機構構）的客客戶數據據,發(fā)現現潛在價價值客戶流失失：找出出最有價價值的客客戶，理理解他們們的行為為。在客客戶群中中找出盡盡可能多多的潛在在流失者者，進行行有效的的保留活活動并降降低成本本交叉銷售售:從客客戶的交交易數據據和客戶戶的自然然屬性中中尋找、、選擇最最有可能能捆綁在在一起銷銷售的產產品和服服務，發(fā)發(fā)現有價價值的產產品和服服務組合合，從而而有效地地向客戶戶提供額額外的服服務，提提高活期期收入并并提升客客戶的收收益率金融行業(yè)業(yè)應用———美國國匯豐銀銀行使用用SPSS成功功案例應用結果果揭示特定定客戶的的需求，，銷售增增加50%營銷費用用減少30%提高了建建立和開開展適時時營銷戰(zhàn)戰(zhàn)略的能能力Somma說，"OLAP對了解數數據特征征來說是是一個不不錯的工工具，但但我無法法從中發(fā)發(fā)現聯系系的力度度，也不不能做出出預測模模型，而而那正是是我最需需要的。?！癝omma說，"OLAP是好的報報告工具具，但沒沒有統計計引擎，，它只能能告訴過過去我在在哪里，，而不能能說出我我需要去去哪里。。BI在電電信行業(yè)業(yè)應用精細化營營銷客戶細分分，找準準客戶范范圍，全全面了解解客戶地市分公公司數據據集市建建設評估分析析套餐資費預演演功能套餐分析析資費營銷銷案活動動管理降低成本本重入網現現象日趨趨嚴重利用呼叫叫指紋和和IMEI技術術，架構構新的重重入網模模型BI在零零售業(yè)應應用-1零售業(yè)特特點顧客數量量龐大，，消費水水平層次次不齊銷售品種種多，銷銷售方式式多樣供應商信信息龐大大顧客已從“感覺覺消費””向“感感情消費費”邁進進企業(yè)經營營開始從降低成成本向提提高顧客客滿意度度邁進（（CRM）CRM（（客戶關關系管理理）指在在合適的的時間、、以合適適的價格格、將合合適的產產品或服服務提供供給合適適的客戶戶，以滿滿足他們們的需要要。BI在零零售業(yè)應應用-2BI在零零售業(yè)的的應用價價值了解銷售售全局商品分組組布局降低庫存存成本市場和趨趨勢分析析有效的商商品促銷銷BI在電電子商務務行業(yè)的的應用--1BI在電電子商務務行業(yè)的的應用--2Web挖挖掘就是利用用數據挖挖掘技術術，從Web文文檔以及及服務中中發(fā)現信信息、知知識的過過程數據來源源于Web文檔檔、Web服服務器日日志、用戶Cookies主要處理理文本、、圖形、、圖像等等半結構構化數據據主要應用用網站結構構優(yōu)化智能搜索索引擎?zhèn)€性化推推薦顧客分類類，交叉叉銷售垃圾郵件件過濾BI在電電子商務務行業(yè)的的應用--3Web挖挖掘分類類Web挖掘

Web結構挖掘

Web使用挖掘

Web內容挖掘

文本挖掘

多媒體挖掘

內、外部結構挖掘

URL挖掘

個性化訪問模式追蹤

一般訪問模式追蹤BI在電電子商務務行業(yè)的的應用--4Web文文本挖掘掘Web文文本挖掘掘應用搜索引擎擎優(yōu)化垃圾郵件件過濾BI在電電子商務務行業(yè)的的應用--4Web結結構挖掘掘通過分析析頁面鏈鏈接的數數量和對對象，從從而建立立Web的鏈接接結構模模式相關算法法PageRank算法法：網頁頁的質量量和重要要性可以以通過其其他網頁頁對其鏈鏈接的數數量進行行衡量HITS算法：：權威頁面面：表達達某一主主題的頁頁面Hub頁頁面：把把權威頁頁面鏈接接到一起起的頁面面應用信息檢索索：根據據Web重要性性進行排排名社區(qū)識別別：識別別基于某某個特定定主題的的相關Web頁頁面網站優(yōu)化化：重新新定位網網頁鏈接接BI在電電子商務務行業(yè)的的應用--5Web日日志挖掘掘指從用戶戶訪問日日志中獲獲取有價價值的信信息，，包括訪訪問者的的興趣愛愛好、訪訪問模式式、滿意意度應用顧客分類類：開展展有針對對性的營營銷活動動交叉銷售售：識別別商品間間的關聯聯程度個性化推推薦：在在適合的的時間，，以適合合的方式式，將適適合的產產品，推推薦到適適合的人人手中。。BI在電電子商務務行業(yè)的的應用--6《服裝電電子商務務個性化化推薦系系統關鍵鍵技術研研究》》課題虛擬與現現實存在在一定的的差距，，傳統的的服裝電電子商務務網站不不適合““一看二二摸三試試衣”的的購物流流程存在海量量的商品品信息查找困難難，失去去購物興興趣搜索結果果界面相相同缺乏個性性化（顏顏色、款款式）服裝個性性化搭配配問題服裝展示示：二維維圖片++文字說說明為主主用戶購衣衣后衣服服不合體體衣服質感感存在較較大差異異BI在電電子商務務行業(yè)的的應用--7服裝款式式個性化化推薦技技術用戶聚類類Web數數據挖掘掘協同過濾濾推薦