云計算與大數(shù)據(jù)技術(shù) 課件6.1大數(shù)據(jù)簡介

大數(shù)據(jù)概述6.1認知大數(shù)據(jù)互聯(lián)網(wǎng)上的電商平臺、移動互聯(lián)網(wǎng)上的微博、微信、自媒體、物聯(lián)網(wǎng)上的各種傳感器，醫(yī)療行業(yè)的醫(yī)療影像、公安系統(tǒng)的安全監(jiān)控、交通影像、車聯(lián)網(wǎng)等都是產(chǎn)生大量數(shù)據(jù)的地方，這些數(shù)據(jù)以文件、圖片、視頻等形式存在。大數(shù)據(jù)主要包含兩個層面的意思：一個層面是大數(shù)據(jù)來源多、體量大、類型多；另一個層面是大數(shù)據(jù)的技術(shù)，即從各種各樣類型的數(shù)據(jù)中，快速獲取有價值信息的技術(shù)。大數(shù)據(jù)的定義大數(shù)據(jù)（BigData）是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，它具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低的特點。大數(shù)據(jù)具有4V特點，即Volume（體量大）、Velocity（處理速度快）、Variety（數(shù)據(jù)類型多）、Value（價值密度低、商業(yè)價值高）。大數(shù)據(jù)特點大數(shù)據(jù)具有4V特點，即Volume（體量大）、Velocity（處理速度快）、Variety（數(shù)據(jù)類型多）、Value（價值密度低、商業(yè)價值高）。大數(shù)據(jù)系統(tǒng)架構(gòu)從大數(shù)據(jù)的兩層含義可以發(fā)現(xiàn)，需要一個非常規(guī)的大數(shù)據(jù)系統(tǒng)完成大數(shù)據(jù)的采集、存儲、處理分析和展示，從而快速獲取有價值的信息。大數(shù)據(jù)系統(tǒng)能夠支持海量的數(shù)據(jù)存儲和快速的大數(shù)據(jù)計算，其核心理念是實現(xiàn)并行化存儲和計算、規(guī)模經(jīng)濟和虛擬化。大數(shù)據(jù)系統(tǒng)架構(gòu)分布式系統(tǒng)可以滿足以上大數(shù)據(jù)系統(tǒng)的需求（1）并行化

在一個計算資源處理不了的情況，可以使用多個計算資源同時處理，實現(xiàn)海量的存儲和計算及快速的處理和計算的顯式需求。分布式存儲和計算是云計算的特點，決定了云計算是大數(shù)據(jù)系統(tǒng)的基礎(chǔ)。大數(shù)據(jù)系統(tǒng)架構(gòu)分布式系統(tǒng)可以滿足以上大數(shù)據(jù)系統(tǒng)的需求（2）規(guī)模經(jīng)濟

一次性投入成本高，可以通過大規(guī)模的應(yīng)用用戶分攤成本，總體平均成本低。規(guī)模經(jīng)濟是云服務(wù)本身的特點，也是它的終極目標。（3）虛擬化

多種多樣的軟硬件設(shè)備放在一起不好管理，可以通過虛擬化技術(shù)進行抽象，封裝復雜的實現(xiàn)和簡單易用的接口調(diào)用。大數(shù)據(jù)系統(tǒng)架構(gòu)隨著存儲成本的下降和云計算提供的彈性計算能力的增強，越來越多的大數(shù)據(jù)應(yīng)用場景需要采用基于云計算的大數(shù)據(jù)系統(tǒng)架構(gòu)大數(shù)據(jù)系統(tǒng)架構(gòu)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)技術(shù)起源于搜索引擎應(yīng)用，目前它的主要應(yīng)用場景依然是互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)領(lǐng)域。電商行業(yè)是最早將大數(shù)據(jù)應(yīng)用于商品推薦和營銷活動優(yōu)化或精準營銷（淘寶、拼多多）的，可以根據(jù)消費者的習慣提前生產(chǎn)物料并進行物流管理，這樣有利于社會的精細化生產(chǎn)。同時，大數(shù)據(jù)還有其他互聯(lián)網(wǎng)應(yīng)用，最常見的應(yīng)用包括計算廣告（依據(jù)用戶和內(nèi)容數(shù)據(jù)動態(tài)決定廣告投放策略和定價）、內(nèi)容