數(shù)據(jù)與大數(shù)據(jù)分析PPT課件

1、.,1,.,2,Contents,我們可以做些什么,實(shí)操分享,大數(shù)據(jù)，你從哪來,你是誰,.,3,中國網(wǎng)民數(shù)量：7.51億 半年增長率：2.7%,中國注冊網(wǎng)站數(shù)量：344.3萬個(gè),手機(jī)網(wǎng)民：7.236億 占網(wǎng)民總數(shù)：96.3%,月均網(wǎng)絡(luò)交易： 16億筆,每日新發(fā)微 博數(shù)量： 1億+條,注冊微博用戶數(shù)： 2.9071億,發(fā)布的網(wǎng)頁數(shù)量：866億頁 年增速：40%,網(wǎng)絡(luò)直播用戶：3.43億 占網(wǎng)民總數(shù)：47.1%,.,4,很多人還沒搞清楚什么是PC互聯(lián)網(wǎng)，移動(dòng)互聯(lián)來了；我們還沒搞清楚移動(dòng)互聯(lián)的時(shí)候，大數(shù)據(jù)時(shí)代又來了！ 馬云,.,5,數(shù)據(jù)爆炸式的增長,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存

2、方式,需要不同的數(shù)據(jù)管理策略,01,你從哪里來？,.,6,數(shù)據(jù)爆炸式的增長,.,7,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),數(shù)據(jù)資產(chǎn),數(shù)據(jù)資產(chǎn)管理,傳統(tǒng)數(shù)據(jù)管理方式面臨挑戰(zhàn),.,8,需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式,計(jì)算更快 存儲(chǔ)更省,10萬 GB,10萬 TB,1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB

3、= 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,.,9,需要不同的數(shù)據(jù)管理策略,15% 結(jié)構(gòu)化的 DB/DW,殘缺

4、,當(dāng)我們想要擴(kuò)充時(shí)， 才發(fā)覺： 架構(gòu)只能 scale-up， scale-out 不易 處理時(shí)間過長， time-to-value 受限 成本過高， cost-efficiency 受限,.,10,概念（Concept） 特征（Features） 變革（Change） 技術(shù)（Technology）,數(shù)據(jù)庫（database）,大數(shù)據(jù)（bigdata）,你是什么？,02,.,11,大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來的新石油”。,全球信息咨詢機(jī)構(gòu)國際數(shù)據(jù)公司（IDC）對(duì)大數(shù)據(jù)的技術(shù)定義是：通過高速捕捉、發(fā)現(xiàn)或分析

5、，從大容量數(shù)據(jù)中獲取價(jià)值的一種新的技術(shù)架構(gòu)。,所謂“大數(shù)據(jù)”(big data) 指的是這樣一種現(xiàn)象：一個(gè)公司日常運(yùn)營所生成和積累用戶行為數(shù)據(jù)“增長如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難存在于數(shù)據(jù)的獲取、存儲(chǔ)、搜索、共享、分析和可視化等方面?！边@些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們所熟知的多少G和多少T為單位來衡量，而是以P(1000個(gè)T)， E(一百萬個(gè)T)或Z(10億個(gè)T)為計(jì)量單位，所以稱之為大數(shù)據(jù)。,概念,.,12,數(shù)據(jù)類型多 越來越多非結(jié)構(gòu)化數(shù)據(jù)；音頻、 食品，地理位置信息等多類型數(shù) 據(jù)對(duì)數(shù)據(jù)處理能力提出更高要求。,數(shù)據(jù)價(jià)值高 海量數(shù)據(jù)帶來了巨大的商業(yè)價(jià)值。數(shù)據(jù)之間關(guān)

6、聯(lián)性支持深層的數(shù)據(jù)挖掘。,大數(shù)據(jù)的特點(diǎn)-4V理論,數(shù)據(jù)處理速度快 對(duì)數(shù)據(jù)實(shí)時(shí)處理有著極高的要求， 通過傳統(tǒng)數(shù)據(jù)庫查詢方式得到的 “當(dāng)前結(jié)果”很可能已經(jīng)沒有價(jià)值。,數(shù)據(jù)規(guī)模大 從TB躍升到PB甚至EB。 一組公式：1024GB=1TB; 1024TB=1PB;1024PB=1EB。,.,13,。,大數(shù)據(jù)改變生活,.,14,IBM C&P Industry,需求 海量數(shù)據(jù)存儲(chǔ)技術(shù) 實(shí)時(shí)數(shù)據(jù)處理技術(shù) 數(shù)據(jù)高速傳輸技術(shù) 搜索技術(shù),描述 分布式文件系統(tǒng) 流計(jì)算引擎 服務(wù)器/存儲(chǔ)間高速通信 文本檢索、智能搜索、實(shí)時(shí)搜 索,技術(shù) Hadoop，x86/MPP Map Reduce Streaming Dat

7、a Infini Band Enterprise Search,數(shù)據(jù)分析技術(shù),大數(shù)據(jù)涉及的關(guān)鍵技術(shù),Text Analytics Engine 自然語言處理、文本情感分析、 Visual Data Modeling 機(jī)器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型,.,15,顧客一次購買商品 1面包、黃油、尿布、牛奶 2咖啡、糖、小甜餅、鮭魚 3面包、黃油、咖啡、尿布、牛奶、雞蛋 4面包、黃油、鮭魚、雞 5雞蛋、面包、黃油 6鮭魚、尿布、牛奶 7面包、茶葉、糖、雞蛋 8咖啡、糖、雞、雞蛋 9面包、尿布、牛奶、鹽 10茶葉、雞蛋、小甜餅、尿布、牛奶,顧客一次購買商品 1面包、黃油、尿布、牛奶 2咖啡、糖、小甜餅、鮭

8、魚 3面包、黃油、咖啡、尿布、牛奶、雞蛋 4面包、黃油、鮭魚、雞 5雞蛋、面包、黃油 6鮭魚、尿布、牛奶 7面包、茶葉、糖、雞蛋 8咖啡、糖、雞、雞蛋 9面包、尿布、牛奶、鹽 10茶葉、雞蛋、小甜餅、尿布、牛奶,.,16,概念（Concept） 分類（Features） 流程（Technological process）,03,我們可以做些什么？,.,17,大數(shù)據(jù)時(shí)代的核心價(jià)值數(shù)據(jù)分析,什么是數(shù)據(jù)分析,.,18,數(shù)據(jù)分析有哪些類型,初級(jí)數(shù)據(jù)分析,高級(jí)數(shù)據(jù)分析,.,19,數(shù)據(jù)分析的一般環(huán)節(jié),.,20,04,關(guān)于數(shù)據(jù)分析的分享與交流,理論模型 統(tǒng)計(jì)方法 可視化,.,21,數(shù)據(jù)分析方法論,.,22,

9、4P（product price place promotion）,.,23,5W2H,.,24,KANO模型,對(duì)顧客的不同需求進(jìn)行分區(qū)處理，幫助團(tuán)隊(duì)識(shí)別對(duì)產(chǎn)品來說較為關(guān)鍵的客戶需求層次，盡快完成規(guī)劃。,興奮型需求,期望型需求,基本型需求,.,25,數(shù)據(jù)分析統(tǒng)計(jì)方法,聚類分析,01,回歸分析,02,時(shí)間序列分析,03,因子分析 和主成分分析,04,數(shù)據(jù)分析軟件 MATLAB SAS Spss Stata Eviews Excel,.,26,可視化方法,ECHARTS,EASELY,PPT,附： 1、ECHARTS 2、EASELY https:/www.easel.ly/home,.,27,T

10、HE END,.,28,用戶行為理論,用戶行為理論的用途較單一，就是用于用戶行為研究分析用戶使用行為：認(rèn)知-熟悉-試用-使用-忠誠利用用戶行為理論，梳理網(wǎng)站分析的各關(guān)鍵指標(biāo)之間的邏輯關(guān)系，構(gòu)建符合公司實(shí)際業(yè)務(wù)的網(wǎng)站分析指標(biāo)體系：,.,29,ADD YOUR TITLE HERE,TEXT HERE,TEXT HERE,TEXT HERE,TEXT HERE,TEXT HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example t

11、ext. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,.,30,數(shù)據(jù)分析統(tǒng)計(jì)方法,01,02,04,03,聚類分析,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is a

12、n example text. Go ahead and replace it.,.,31,數(shù)據(jù)分析統(tǒng)計(jì)方法 聚類分析 回歸分析 因子分析和主成分分析 時(shí)間序列分析,數(shù)據(jù)分析軟件 MATLAB SAS Spss Stata Eviews Excel,.,32,1.績效指標(biāo)必須是具體的（Specific） 2. 績效指標(biāo)必須是可以衡量的（Measurable） 3. 績效指標(biāo)必須是可以達(dá)到的（Attainable） 4. 績效指標(biāo)是要與其他目標(biāo)具有一定的相關(guān)性(Relevant) 5.績效指標(biāo)必須具有明確的截止期限（Time-bound） 無論是制定團(tuán)隊(duì)的工作目標(biāo)還是員工的績效目標(biāo)都必須符合上述

13、原則，五個(gè)原則缺一不可,.,33,ADD YOUR TITLE HERE,MAIN IDEA This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,.,34,03,ADD YOUR TITLE HERE,This is an example text. Go ahead a

14、nd replace it.,.,35,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),.,36,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),.,37,.,38,.,39,軟件是大數(shù)據(jù)的引擎,和數(shù)據(jù)中心（Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力. 軟件改變世界!,.,40,中央政府對(duì)大數(shù)據(jù)的重視程度,.,41,零 售 業(yè),制 造 業(yè),信息產(chǎn)業(yè),移動(dòng)通信,金融證券,數(shù)據(jù)量大,挖掘潛力大,數(shù)據(jù)意識(shí)強(qiáng),IT基礎(chǔ)好,這些產(chǎn)業(yè)在大數(shù)據(jù)分析應(yīng)用方面具有如下優(yōu)勢：,數(shù)據(jù)化讓產(chǎn)業(yè)績效大幅提升,電子商務(wù),醫(yī)療服務(wù),.,42,ADD YOUR TITLE HERE,This is an example text. Go ahead and replac

15、e it. 01,This is an example text. Go ahead and replace it. 02,This is an example text. Go ahead and replace it. 03,This is an example text. Go ahead and replace it. 04,80%,47%,57%,67%,.,43,數(shù)據(jù)分析的一般環(huán)節(jié),.,44,數(shù)據(jù)分析的一般環(huán)節(jié),A ADD YOUR TEXE HERE,B ADD YOUR TEXE HERE,C ADD YOUR TEXE HERE,E ADD YOUR TEXE HERE,D

16、ADD YOUR TEXE HERE,.,45,.,46,.,47,在項(xiàng)目投資分析之外，數(shù)據(jù)分析的價(jià)值在企業(yè)經(jīng)營管理上起到更加舉足輕重的作用。各種量化的模型、量化分析方法的應(yīng)用，使數(shù)據(jù)下面隱藏的規(guī)律得以展現(xiàn)，讓企業(yè)在運(yùn)營管理上、市場營銷上、客戶服務(wù)體驗(yàn)上，越來越精細(xì)化，讓企業(yè)在激烈的競爭中取勝！,.,48,數(shù)據(jù)分析的營銷價(jià)值-預(yù)測消費(fèi)行為,數(shù)據(jù)分析的營銷價(jià)值-優(yōu)化營銷策略,數(shù)據(jù)分析的營銷價(jià)值-消費(fèi)者描述,數(shù)據(jù)分析的營銷價(jià)值-個(gè)性化營銷,數(shù)據(jù)分析的營銷價(jià)值-廣告精準(zhǔn)投放,通過分析以下幾個(gè)方面的關(guān)聯(lián)性，為消費(fèi)者推薦具體的產(chǎn)品和內(nèi)容： 產(chǎn)品本身的關(guān)聯(lián)性 客戶消費(fèi)習(xí)慣的關(guān)聯(lián)性 客戶喜好的關(guān)聯(lián)性 客戶品

17、牌的關(guān)聯(lián)性 產(chǎn)品價(jià)格和價(jià)值的關(guān)聯(lián)性 客戶習(xí)性的一致性等等,.,49,01,什么是大數(shù)據(jù),.,50,數(shù)據(jù)挖掘,1. 從數(shù)據(jù)中提取出隱含的過去未知的有價(jià)值的潛 在信息 2. 從大量數(shù)據(jù)或者數(shù)據(jù)庫中提取有用信息的科學(xué),典型事例：購物籃分析 顧客一次購買商品 1面包、黃油、尿布、牛奶 2咖啡、糖、小甜餅、鮭魚 3面包、黃油、咖啡、尿布、牛奶、雞蛋 4面包、黃油、鮭魚、雞 5雞蛋、面包、黃油 6鮭魚、尿布、牛奶 7面包、茶葉、糖、雞蛋 8咖啡、糖、雞、雞蛋 9面包、尿布、牛奶、鹽 10茶葉、雞蛋、小甜餅、尿布、牛奶,.,51,Social Media,Machine / Sensor,DOC / Med

18、ia,Web Clickstream,Apps,Call Log,Log,什么是數(shù)據(jù)？,半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),.,52,何為大？數(shù)據(jù)度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Byte

19、s 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,什么是大數(shù)據(jù)？,.,53,數(shù)據(jù)分析的流程,.,54,ADD YOUR TITLE HERE,THE TITLE ADD YOUR TITLE HERE ADD YOUR TITLE HERE ADD YOUR TITLE HERE,THE TITL

20、E ADD YOUR TITLE HERE ADD YOUR TITLE HERE ADD YOUR TITLE HERE,.,55,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,.,56,02,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace

21、 it.,.,57,ADD YOUR TITLE HERE,60% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,80% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,50% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,.,58,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE Thi

22、s is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,.,59,ADD YOUR TITLE HERE,19% This is an example text. Go ahead and replace it.,43% This is an example text. Go ah

23、ead and replace it.,25% This is an example text. Go ahead and replace it.,MAIN IDEA This is an example text. Go ahead and replace it.,.,60,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,ADD YOU