第一章 大數(shù)據(jù)開篇

第一章大數(shù)據(jù)開篇1分布式技術(shù)大數(shù)據(jù)課程導(dǎo)論2目錄數(shù)據(jù)是事實或觀察的結(jié)果是對客觀事物的邏輯歸納是用于表示客觀事物的未經(jīng)加工的原始素材數(shù)據(jù)的產(chǎn)生對客觀事物的計量和記錄產(chǎn)生數(shù)據(jù)數(shù)據(jù)存儲單位1Byte=8bit1K(千)=1024Byte1MB（兆)=1024K1G(吉)=1024M1T(太)=1024G1P(拍)=1024T1E(艾)=1024P1Z(澤)=1024E1Y(堯)=1024Z1B(布)=1024Y1N(諾)=1024B1D(刀)=1024N大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)概念大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)概念大數(shù)據(jù)（bigdata）是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)時代

最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，其稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。”央視《大數(shù)據(jù)時代》紀(jì)錄片

國內(nèi)首部大數(shù)據(jù)產(chǎn)業(yè)題材紀(jì)錄片，節(jié)目細(xì)致而生動地講述了大數(shù)據(jù)技術(shù)在政府治理、民生服務(wù)、數(shù)據(jù)安全、工業(yè)轉(zhuǎn)型、未來生活等方面給我們帶來的改變和影響。大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)概念大數(shù)據(jù)場景下海量數(shù)據(jù)如何存儲的問題海量數(shù)據(jù)如何計算的問題大數(shù)據(jù)課程導(dǎo)論數(shù)據(jù)是客觀事實或觀察的結(jié)果通過計量和記錄客觀事件而產(chǎn)生數(shù)據(jù)科技發(fā)展邁向了大數(shù)據(jù)時代大數(shù)據(jù)時代技術(shù)方面的挑戰(zhàn)：存儲、計算大數(shù)據(jù)概念大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)的特點（5V特征）VarietyValueVelocity低價值密度速度快采集數(shù)據(jù)量大存儲數(shù)據(jù)量大計算數(shù)據(jù)量大TB、PB級別起步信息海量但是價值密度低深度復(fù)雜的挖掘分析需要機器學(xué)習(xí)參與數(shù)據(jù)增長速度快獲取數(shù)據(jù)速度快數(shù)據(jù)處理速度快VolumeVeracity種類、來源多樣化數(shù)據(jù)體量大數(shù)據(jù)的質(zhì)量種類：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化來源：日志文本、圖片、音頻、視頻數(shù)據(jù)的準(zhǔn)確性數(shù)據(jù)的可信賴度電商領(lǐng)域精準(zhǔn)廣告位、個性化推薦、大數(shù)據(jù)殺熟傳媒領(lǐng)域精準(zhǔn)營銷、猜你喜歡、交互推薦金融領(lǐng)域信用評估、風(fēng)險管控、客戶細(xì)分、精細(xì)化營銷大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)應(yīng)用場景交通領(lǐng)域擁堵預(yù)測、智能紅綠燈、導(dǎo)航最優(yōu)規(guī)劃電信領(lǐng)域基站選址優(yōu)化、輿情監(jiān)控、客戶用戶畫像安防領(lǐng)域犯罪預(yù)防、天網(wǎng)監(jiān)控醫(yī)療領(lǐng)域智慧醫(yī)療、疾病預(yù)防、病源追蹤大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)應(yīng)用場景大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟數(shù)據(jù)展現(xiàn)明確分析目的和思路報告撰寫數(shù)據(jù)收集數(shù)據(jù)處理數(shù)據(jù)分析Step1：明確分析目的和思路目的是整個分析流程的起點：

為數(shù)據(jù)的收集、處理及分析提供清晰的指引方向思路是使分析框架體系化：

先分析什么，后分析什么，使各分析點之間具有邏輯聯(lián)系

保證分析維度的完整性，分析結(jié)果的有效性以及正確性數(shù)據(jù)分析方法論：營銷管理相關(guān)理論用戶行為理論、PEST分析法、5W2H分析法等大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step2：數(shù)據(jù)收集數(shù)據(jù)從無到有的過程

比如傳感器收集氣象數(shù)據(jù)、埋點收集用戶行為數(shù)據(jù)數(shù)據(jù)傳輸搬運的過程

比如采集數(shù)據(jù)庫數(shù)據(jù)到數(shù)據(jù)分析平臺大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟業(yè)務(wù)數(shù)據(jù)日志數(shù)據(jù)爬蟲數(shù)據(jù)RDBMS服務(wù)器、應(yīng)用日志爬蟲數(shù)據(jù)庫互聯(lián)網(wǎng)公開數(shù)據(jù)行業(yè)、政府網(wǎng)站Step3：數(shù)據(jù)處理對收集到的數(shù)據(jù)進行加工整理，形成適合數(shù)據(jù)分析的樣式

主要包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計算保證數(shù)據(jù)的一致性和有效性大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step4：數(shù)據(jù)分析用適當(dāng)?shù)姆治龇椒肮ぞ撸瑢μ幚磉^的數(shù)據(jù)進行分析，提取有價值的信息，形成有效結(jié)論的過程需要掌握各種數(shù)據(jù)分析方法，還要熟悉數(shù)據(jù)分析軟件的操作數(shù)據(jù)挖掘本質(zhì)是一種高級的數(shù)據(jù)分析方法

數(shù)據(jù)挖掘側(cè)重解決四類數(shù)據(jù)分析問題:分類、聚類、關(guān)聯(lián)和預(yù)測，重點在尋找模式和規(guī)律。大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step5：數(shù)據(jù)展現(xiàn)分析結(jié)果直觀展示，人類是視覺動物數(shù)據(jù)是通過表格和圖形的方式來呈現(xiàn)，用圖表說話大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟Step6：報告撰寫數(shù)據(jù)分析報告是對整個數(shù)據(jù)分析過程的一個總結(jié)與呈現(xiàn)把數(shù)據(jù)分析的起因、過程、結(jié)果及建議完整地呈現(xiàn)出來，供決策者參考需要有明確的結(jié)論，最好有建議或解決方案大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)業(yè)務(wù)分析基本步驟分析步驟的核心：一切圍繞著數(shù)據(jù)通俗描述：數(shù)據(jù)從哪里來、數(shù)據(jù)到哪里去核心步驟:采集、處理、分析、應(yīng)用大數(shù)據(jù)業(yè)務(wù)分析基本步驟大數(shù)據(jù)課程導(dǎo)論大數(shù)據(jù)部門組織架構(gòu)1分布式技術(shù)大數(shù)據(jù)課程導(dǎo)論2科學(xué)技術(shù)的發(fā)展推動下

應(yīng)用和系統(tǒng)架構(gòu)的變遷：單機單一架構(gòu)邁向多機分布式架構(gòu)

分布式技術(shù)為什么需要分布式技術(shù)數(shù)據(jù)大爆炸，海量數(shù)據(jù)處理場景面臨問題

分布式技術(shù)為什么需要分布式技術(shù)如何存儲?如何計算？單機存儲有瓶頸多臺機器分布式存儲單機計算能力有限多臺機器分布式計算分布式系統(tǒng)是一個硬件或軟件組件分布在不同的網(wǎng)絡(luò)計算機上彼此之間僅僅通過消息傳遞進行通信和協(xié)調(diào)的系統(tǒng)一群互相獨立計算機集合共同對外提供服務(wù)對于系統(tǒng)的用戶來說，就像是一臺計算機在提供服務(wù)樣分布式技術(shù)分布式系統(tǒng)概述分布式、集群是不同的概念口語中經(jīng)常混淆二者

分布式技術(shù)分布式（Distributed）、集群（Cluster）分布式集群多臺機器每臺機器上部署不同組件多臺機器每臺集群部署相同組件分布式、集群的共同點是：多臺機器因此口語中混淆兩者概念的時候都是相對于單機來說的

分布式技術(shù)分布式（Distributed）、集群（Cluster）將負(fù)載（工作任務(wù)）進行平衡、分?jǐn)偟蕉鄠€操作單元上進行運行解決了單個無法處理所有任務(wù)，多個一起處理的問題分布式技術(shù)負(fù)載均衡（LoadBalance）當(dāng)活動的服務(wù)或應(yīng)用意外終止時，快速啟用冗余或備用的服務(wù)器、系統(tǒng)、硬件或者網(wǎng)絡(luò)接替它們工作故障轉(zhuǎn)移系統(tǒng)也稱之為容錯系統(tǒng)，所謂容錯指的是可以容忍錯誤的發(fā)生故障轉(zhuǎn)移的核心是設(shè)置備份出現(xiàn)故障時主備切換主備切換的前提是數(shù)據(jù)狀態(tài)保持一致分布式技術(shù)故障轉(zhuǎn)移（FailOver