客戶關(guān)系管理PPT 第9章 數(shù)據(jù)倉庫技術(shù)

第九章數(shù)據(jù)倉庫技術(shù)2023.09本章內(nèi)容9.1CRM的客戶數(shù)據(jù)9.2數(shù)據(jù)倉庫概述9.3數(shù)據(jù)倉庫的執(zhí)行策略9.4CRM中的數(shù)據(jù)倉庫學(xué)習(xí)目標(biāo)掌握客戶數(shù)據(jù)的概念與分類了解數(shù)據(jù)倉庫的產(chǎn)生背景掌握數(shù)據(jù)倉庫的定義、特征以及與傳統(tǒng)數(shù)據(jù)庫的區(qū)別了解數(shù)據(jù)倉庫的體系結(jié)構(gòu)掌握數(shù)據(jù)倉庫中的兩個核心概念：數(shù)據(jù)集市和元數(shù)據(jù)本章內(nèi)容9.1CRM的客戶數(shù)據(jù)9.2數(shù)據(jù)倉庫概述9.3數(shù)據(jù)倉庫的執(zhí)行策略9.4CRM中的數(shù)據(jù)倉庫9.1CRM的客戶數(shù)據(jù)定義數(shù)據(jù)是為反映客觀世界中的某一事件而記錄的可以鑒別的數(shù)字或符號；CRM系統(tǒng)中的數(shù)據(jù)即為客戶數(shù)據(jù),可以通過諸如電話語音、網(wǎng)絡(luò)語音、電子郵件等多種途徑收集。CRM活動的核心價(jià)值在于通過CRM系統(tǒng)對數(shù)據(jù)進(jìn)行分析與合成，把這些離散的、單個存儲的數(shù)據(jù)轉(zhuǎn)化為企業(yè)可以理解和使用的信息和知識。9.1CRM的客戶數(shù)據(jù)客戶數(shù)據(jù)的分類（1）按照數(shù)據(jù)的來源分類：企業(yè)內(nèi)部數(shù)據(jù)、企業(yè)外部數(shù)據(jù)；（2）按照數(shù)據(jù)的采集渠道分類：電子郵件、電話語音、文字交談、多媒體數(shù)據(jù)；（3）按照數(shù)據(jù)的性質(zhì)分類：描述性數(shù)據(jù)、促銷性數(shù)據(jù)、交易性數(shù)據(jù)圖9.1按照數(shù)據(jù)的性質(zhì)分類從商業(yè)活動行為的需要來看，企業(yè)有一個定位客戶、針對性促銷、產(chǎn)生交易的過程，正是這些不同的行為過程產(chǎn)生了不同類型的數(shù)據(jù)。9.1CRM的客戶數(shù)據(jù)客戶數(shù)據(jù)的分類按照數(shù)據(jù)的來源分類企業(yè)內(nèi)部數(shù)據(jù)：企業(yè)在實(shí)際經(jīng)營過程中產(chǎn)生、記錄的數(shù)據(jù)。收集客戶數(shù)據(jù)的方法包括會員注冊登記、零售點(diǎn)收集、網(wǎng)站收集等。企業(yè)外部數(shù)據(jù)：本企業(yè)之外所產(chǎn)生的數(shù)據(jù)稱為企業(yè)外部數(shù)據(jù)。最重要的外部數(shù)據(jù)信息來源是政府的各種機(jī)構(gòu)、各類商務(wù)團(tuán)體和專業(yè)協(xié)會、眾多的行業(yè)期刊等。沃爾瑪通過記錄、整理、分析其全球各個賣場的銷售數(shù)據(jù)，構(gòu)建了舉世無雙的龐大信息系統(tǒng)。9.1CRM的客戶數(shù)據(jù)客戶數(shù)據(jù)的分類按照數(shù)據(jù)的采集渠道分類電子郵件：客戶既可以通過自己的免費(fèi)郵箱給呼叫中心發(fā)郵件，也可以通過網(wǎng)上留言的方式將信息發(fā)給呼叫中心。電話語音：電話語音既包括傳統(tǒng)的電話語音，也包括基于網(wǎng)絡(luò)的互聯(lián)網(wǎng)電話語音。文字交談：客戶可利用文字交談功能代替語音與業(yè)務(wù)代表進(jìn)行實(shí)時的文字交流。多媒體數(shù)據(jù)：多媒體呼叫中心將語音、文字和視頻集成，不再局限于語音和文字的傳輸，可以快速、準(zhǔn)確地傳輸圖像、視頻等豐富的多媒體信息。9.1CRM的客戶數(shù)據(jù)客戶數(shù)據(jù)的分類按照數(shù)據(jù)的性質(zhì)分類描述性數(shù)據(jù)：用來描述客戶的基本特征，通常是表格型的摘要數(shù)據(jù)，主要包括姓名、地址和聯(lián)系方式等基本數(shù)據(jù)，并具有一定的穩(wěn)定性，變動不是很快，可在一段較長時間內(nèi)使用。在CRM中，通常把客戶分為個人客戶和團(tuán)體客戶兩類。促銷性數(shù)據(jù)：用來描述對客戶進(jìn)行營銷或者促銷活動的信息，主要包括市場活動的類型、預(yù)算或描述等。其詳細(xì)設(shè)計(jì)取決于CRM數(shù)據(jù)庫系統(tǒng)的復(fù)雜程度。交易性數(shù)據(jù)：用來描述客戶與企業(yè)交易的信息，主要是過程信息與結(jié)果信息的結(jié)合，并往往按照時間進(jìn)行標(biāo)識。這類數(shù)據(jù)會隨時間迅速變化。9.1.2客戶數(shù)據(jù)在CRM中的作用客戶數(shù)據(jù)是企業(yè)經(jīng)營決策的基礎(chǔ)；客戶數(shù)據(jù)是進(jìn)行客戶分級的依據(jù)；客戶數(shù)據(jù)是引導(dǎo)客戶互動的指南；客戶數(shù)據(jù)是實(shí)現(xiàn)客戶滿意的前提。9.1.3客戶數(shù)據(jù)的預(yù)處理一般情況下，客戶數(shù)據(jù)庫只包括現(xiàn)有客戶、潛在客戶、流失客戶和分銷商四種客戶類型?？蛻魯?shù)據(jù)的一般分類（按數(shù)據(jù)來源）圖9.2客戶數(shù)據(jù)的分類9.1.3客戶數(shù)據(jù)的預(yù)處理客戶數(shù)據(jù)處理的一般步驟：（1）校驗(yàn)。（2）結(jié)構(gòu)化。（3）借助數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)使用和分析。數(shù)據(jù)處理基礎(chǔ)：ETL（Extract-Transform-Load，抽取—轉(zhuǎn)換—加載）技術(shù)從目標(biāo)客戶群收集的數(shù)據(jù)一般是離散的、非結(jié)構(gòu)化的、待驗(yàn)證的。數(shù)據(jù)處理就是一個不斷剔除無用信息、不斷聚合的過程，在這個過程中能夠逐漸凸顯隱藏在數(shù)據(jù)后面的具有規(guī)律性的東西。9.1.3客戶數(shù)據(jù)的預(yù)處理圖9.3客戶數(shù)據(jù)處理流程9.1.3客戶數(shù)據(jù)的預(yù)處理客戶數(shù)據(jù)的抽取數(shù)據(jù)抽取是從不同網(wǎng)絡(luò)、不同操作平臺、不同數(shù)據(jù)庫和數(shù)據(jù)格式中抽取數(shù)據(jù)的過程。數(shù)據(jù)抽取方式包括直接抽取、文件交換、采集上報(bào)、實(shí)時同步等四種。數(shù)據(jù)庫類型數(shù)據(jù)獲取方式傳統(tǒng)關(guān)系型數(shù)據(jù)庫采用SQL的export與load方式進(jìn)行簡單程序編譯非關(guān)系型的NoSQL數(shù)據(jù)庫運(yùn)用Hadoop大數(shù)據(jù)生態(tài)圈9.1.3客戶數(shù)據(jù)的預(yù)處理客戶數(shù)據(jù)的預(yù)處理這里的數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)標(biāo)準(zhǔn)化處理，去除重復(fù)、錯誤、非完整數(shù)據(jù)，對相同數(shù)據(jù)進(jìn)行整合或者增加時間標(biāo)識，可為后期數(shù)據(jù)比對校驗(yàn)提供數(shù)據(jù)溯源支持。其中，數(shù)據(jù)標(biāo)準(zhǔn)化處理主要是對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。非結(jié)構(gòu)化數(shù)據(jù)包括普通文本文件、JavaScript文件、CSS文件以及圖片、音樂、視頻等非文本的二進(jìn)制文件。9.1.3客戶數(shù)據(jù)的預(yù)處理客戶數(shù)據(jù)的存儲主要任務(wù)是將經(jīng)過預(yù)處理的數(shù)據(jù)集合按照物理數(shù)據(jù)模型定義的表結(jié)構(gòu)裝入目標(biāo)數(shù)據(jù)倉庫的數(shù)據(jù)表中，并允許人工干預(yù)，以及提供強(qiáng)大的錯誤報(bào)告、系統(tǒng)日志、數(shù)據(jù)備份與恢復(fù)功能。整個操作過程往往要跨網(wǎng)絡(luò)、跨操作平臺?？蛻魯?shù)據(jù)的表現(xiàn)包括數(shù)據(jù)挖掘、數(shù)據(jù)可視化等數(shù)據(jù)表現(xiàn)和應(yīng)用。數(shù)據(jù)挖掘是指從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取隱含的、未知的、不平凡的、有潛在應(yīng)用價(jià)值的信息或模式，例如客戶聚類分析、客戶分類等。數(shù)據(jù)可視化則是指通過圖表的形式直觀展示數(shù)據(jù)分析結(jié)果，以支持企業(yè)決策。本章內(nèi)容9.1CRM的客戶數(shù)據(jù)9.2數(shù)據(jù)倉庫概述9.3數(shù)據(jù)倉庫的執(zhí)行策略9.4CRM中的數(shù)據(jù)倉庫9.2

數(shù)據(jù)倉庫概述數(shù)據(jù)庫（DataBase，簡稱DB）技術(shù)長期應(yīng)用于數(shù)據(jù)采集管理、工作任務(wù)精簡與管理、生產(chǎn)管理，是一種應(yīng)用廣泛的信息技術(shù)。這些應(yīng)用場景都是聯(lián)機(jī)事務(wù)處理（OLTP），其目的是實(shí)現(xiàn)快速的事務(wù)響應(yīng)和高速的數(shù)據(jù)修改。隨著計(jì)算機(jī)技術(shù)的廣泛應(yīng)用和發(fā)展，人們已不再滿足于僅僅執(zhí)行簡單的數(shù)據(jù)事務(wù)操作，而要求對現(xiàn)有的數(shù)據(jù)進(jìn)行系統(tǒng)的組織、理解、分析和推理，從而迅速、準(zhǔn)確地獲取關(guān)聯(lián)信息，為戰(zhàn)略決策提供依據(jù)。數(shù)據(jù)倉庫就是針對上述問題而產(chǎn)生的一種技術(shù)方案，它是基于大規(guī)模數(shù)據(jù)庫的決策支持系統(tǒng)環(huán)境的核心。9.2

數(shù)據(jù)倉庫概述聯(lián)機(jī)事務(wù)處理—數(shù)據(jù)庫的應(yīng)用聯(lián)機(jī)分析處理—數(shù)據(jù)倉庫的應(yīng)用數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比9.2數(shù)據(jù)倉庫概述

數(shù)據(jù)庫數(shù)據(jù)倉庫特征操作處理，細(xì)節(jié)的信息處理，綜合或提煉的面向事務(wù)分析用戶DBA、開發(fā)人員經(jīng)理、主管、開發(fā)人員功能日常操作長期信息需求、決策支持DB設(shè)計(jì)基于ER模型，面向應(yīng)用星形/雪花模型，面向主題數(shù)據(jù)當(dāng)前的、最新的歷史的、跨時間維護(hù)訪問讀/寫大多為讀DB規(guī)模GB到TB≥TB優(yōu)先高性能、高可用性高靈活性操作主鍵索引操作大量的磁盤掃描工作單元短的、簡單事務(wù)復(fù)雜查詢舉例Oracle、MySQL、SQLServer、DB2、Access等OracleExadata、Teradata、RedBrick（IBM）、MicrosoftSQLServer等9.2

數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫是一個作為決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境，所要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息。數(shù)據(jù)倉庫的概念由“數(shù)據(jù)倉庫之父”WilliamH.Inmon提出。“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的（Subject

Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化的（TimeVariant）數(shù)據(jù)集合”，用于支持管理決策。定義9.2數(shù)據(jù)倉庫概述集成相對穩(wěn)定數(shù)據(jù)倉庫關(guān)鍵特征：數(shù)據(jù)倉庫分類：企業(yè)數(shù)據(jù)倉庫（EDW）操作型數(shù)據(jù)倉儲（ODS）數(shù)據(jù)集市（DataMart）數(shù)據(jù)倉庫的功能：數(shù)據(jù)的抽取數(shù)據(jù)的存儲和管理數(shù)據(jù)的表現(xiàn)9.2數(shù)據(jù)倉庫概述IBM、Oracle等廠商都提出了自己的數(shù)據(jù)倉庫結(jié)構(gòu)，但嚴(yán)格來說，任何一個數(shù)據(jù)倉庫結(jié)構(gòu)都是從一個基本框架發(fā)展而來的，實(shí)現(xiàn)時再根據(jù)分析處理的需要具體增加一些部件。為了能夠?qū)⒁延械臄?shù)據(jù)源提取出來，并組織成可用于決策分析的綜合數(shù)據(jù)形式，數(shù)據(jù)倉庫的基本體系結(jié)構(gòu)中應(yīng)有以下幾個基本組成部分。數(shù)據(jù)源（DB）：指為數(shù)據(jù)倉庫提供最底層數(shù)據(jù)的操作數(shù)據(jù)存儲系統(tǒng)及外部數(shù)據(jù)。監(jiān)視器：負(fù)責(zé)感知數(shù)據(jù)源發(fā)生的變化，并按數(shù)據(jù)倉庫的需求提取數(shù)據(jù)。集成器：將從底層數(shù)據(jù)源提取的數(shù)據(jù)經(jīng)過轉(zhuǎn)換、計(jì)算、綜合等操作，集成到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫（DW）：存儲已經(jīng)按企業(yè)級視圖轉(zhuǎn)換的數(shù)據(jù)，供分析處理用。根據(jù)不同的分析要求，數(shù)據(jù)按不同的綜合程度存儲。數(shù)據(jù)倉庫中還應(yīng)存儲元數(shù)據(jù)，其中記錄了數(shù)據(jù)的結(jié)構(gòu)和數(shù)據(jù)倉庫的任何變化，以支持?jǐn)?shù)據(jù)倉庫的開發(fā)和使用?？蛻魬?yīng)用：是供用戶對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行訪問查詢，并以直觀的方式表示分析結(jié)果的工具。9.2數(shù)據(jù)倉庫概述美國斯坦福大學(xué)“WHPS”課題組提出了數(shù)據(jù)倉庫的基本體系結(jié)構(gòu)：圖9.4數(shù)據(jù)倉庫的基本體系結(jié)構(gòu)本章內(nèi)容9.1CRM的客戶數(shù)據(jù)9.2數(shù)據(jù)倉庫概述9.3數(shù)據(jù)倉庫的執(zhí)行策略9.4CRM中的數(shù)據(jù)倉庫9.3

數(shù)據(jù)倉庫的執(zhí)行策略數(shù)據(jù)倉庫的構(gòu)建需要將不同來源的數(shù)據(jù)進(jìn)行集中、整合，然后為不同用戶提供數(shù)據(jù)支持，執(zhí)行策略指的就是這些數(shù)據(jù)的整合結(jié)構(gòu)和應(yīng)用結(jié)構(gòu)。數(shù)據(jù)集市是數(shù)據(jù)倉庫的一種類型，也可以是其子集。數(shù)據(jù)集市是一個針對某個主題的經(jīng)過預(yù)統(tǒng)計(jì)處理的部門級分析數(shù)據(jù)庫，如銷售數(shù)據(jù)集市、營銷數(shù)據(jù)集市、庫存集市和財(cái)務(wù)集市等。數(shù)據(jù)集市中數(shù)據(jù)的結(jié)構(gòu)通常被描述為星型模式或雪花模式。元數(shù)據(jù)是對數(shù)據(jù)倉庫中的資源數(shù)據(jù)的描述，是數(shù)據(jù)倉庫中的數(shù)據(jù)“藍(lán)圖”。元數(shù)據(jù)能夠協(xié)助用戶更好地了解數(shù)據(jù)倉庫中的數(shù)據(jù)，也能可以協(xié)助數(shù)據(jù)倉庫管理員更好地管理倉庫中的數(shù)據(jù)。9.3數(shù)據(jù)倉庫的執(zhí)行策略三種模式的聯(lián)系與區(qū)別？9.3數(shù)據(jù)倉庫的執(zhí)行策略自上而下模式是指將原來分散存儲在企業(yè)各處的OLTP（聯(lián)機(jī)交易處理）數(shù)據(jù)庫中的有用數(shù)據(jù)，通過篩選、過濾、轉(zhuǎn)換、聚集等處理步驟建立整體性的數(shù)據(jù)倉庫。圖9.9自上而下模式9.3數(shù)據(jù)倉庫的執(zhí)行策略自上而下模式的缺點(diǎn)：沒有考慮如何將用戶的反饋信息不斷反映到數(shù)據(jù)集市和數(shù)據(jù)倉庫的構(gòu)造中。因此在這里引入有反饋的自上而下模式。圖9.10有反饋的自上而下模式用戶的新需求的反饋分為兩個階段。第一階段：用戶的新需求不斷地被反饋給部門的數(shù)據(jù)集市，部門數(shù)據(jù)集市根據(jù)用戶的新需求，產(chǎn)生自身的需求變化；第二階段：部門數(shù)據(jù)集市把自身的需求變化反饋給整體性數(shù)據(jù)倉庫，整體性數(shù)據(jù)倉庫再做出相應(yīng)的變化。9.3數(shù)據(jù)倉庫的執(zhí)行策略自下而上模式是從構(gòu)造各個部門或特定的企業(yè)問題的數(shù)據(jù)集市開始的，整體性數(shù)據(jù)倉庫建立在這些數(shù)據(jù)集市的基礎(chǔ)上。該模式的特點(diǎn)是：初期投資少，見效快。圖9.11自下而上模式圖9.12有反饋的自下而上模式平行開發(fā)模式是指在一個整體性數(shù)據(jù)倉庫的數(shù)據(jù)模型的指導(dǎo)下，數(shù)據(jù)集市的建立和整體性數(shù)據(jù)倉庫的建立同步進(jìn)行。該模式可避免各部門在開發(fā)各自的數(shù)據(jù)集市時的盲目性，減少各個數(shù)據(jù)集市之間的數(shù)據(jù)冗余和不一致性。圖9.13平行開發(fā)模式9.3數(shù)據(jù)倉庫的執(zhí)行策略在這種平行開發(fā)模式中，整體性數(shù)據(jù)倉庫的數(shù)據(jù)模型應(yīng)在開始建立部門數(shù)據(jù)集市之前完成，因此開發(fā)人員需要在項(xiàng)目的起始階段迅速地開發(fā)建立整體性數(shù)據(jù)倉庫的數(shù)據(jù)模型，而數(shù)據(jù)集市的開發(fā)工作也不得不等待整體性數(shù)據(jù)倉庫的數(shù)據(jù)模型完成之后才開始。9.3數(shù)據(jù)倉庫的執(zhí)行策略圖9.14有反饋的平行開發(fā)模式9.3數(shù)據(jù)倉庫的執(zhí)行策略事實(shí)上，在平行模式的開發(fā)過程中，并不一定要求在開發(fā)部門數(shù)據(jù)集市之前完成整體性數(shù)據(jù)倉庫數(shù)據(jù)模型的開發(fā)。對平行開發(fā)模式而言，整體性數(shù)據(jù)倉庫數(shù)據(jù)模型的開發(fā)，可以在建立第一個部門數(shù)據(jù)集市的同時進(jìn)行。本章內(nèi)容9.1CRM的客戶數(shù)據(jù)9.2數(shù)據(jù)倉庫概述9.3數(shù)據(jù)倉庫的執(zhí)行策略9.4CRM中的數(shù)據(jù)倉庫9.4CRM中的數(shù)據(jù)倉庫CRM中數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)圖9.15

CRM系統(tǒng)中數(shù)據(jù)倉庫的邏輯結(jié)構(gòu)三個部分：數(shù)據(jù)源、數(shù)據(jù)倉庫系統(tǒng)和CRM分析系統(tǒng)9.4CRM中的數(shù)據(jù)倉庫數(shù)據(jù)倉庫在CRM中的應(yīng)用客戶維持銷售和客戶服務(wù)市場推銷風(fēng)險(xiǎn)評估和詐騙檢查1.數(shù)據(jù)源主要是客戶信息、客戶行為、生產(chǎn)系統(tǒng)和其他數(shù)據(jù)。2.圍繞著數(shù)據(jù)開展企業(yè)CRM活動，其核心價(jià)值在于通過CRM系統(tǒng)對數(shù)據(jù)進(jìn)行分析和合成，把這些離散的、單個存儲的數(shù)據(jù)轉(zhuǎn)化為企業(yè)可以理解和使用的信息和知識。支持客戶信息庫為企業(yè)管理決策服務(wù)的兩個核心技術(shù)是：數(shù)據(jù)倉庫（DataWarehouse）和數(shù)據(jù)挖掘（DataMining）。3.數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的（SubjectOriented）、集成的（Integrated）、相對穩(wěn)