大數(shù)據(jù)與云計算-智能建造技術(shù)專47課件講解

主講人：徐文昭大數(shù)據(jù)與云計算智能建造技術(shù)專業(yè)資源庫知識點大數(shù)據(jù)概述3大數(shù)據(jù)應(yīng)用4大數(shù)據(jù)的定義1大數(shù)據(jù)的特點2大數(shù)據(jù)的發(fā)展大數(shù)據(jù)概述大數(shù)據(jù)概述一、大數(shù)據(jù)的定義大數(shù)據(jù)是一個不斷發(fā)展的概念,可以指任何體量或復(fù)雜性超出常規(guī)數(shù)據(jù)處理方法和處理能力的數(shù)據(jù)海量數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)本身可以是結(jié)構(gòu)化、半結(jié)構(gòu)化甚至是非結(jié)構(gòu)化的大數(shù)據(jù)概述狹義上講,大數(shù)據(jù)主要是指處理海量數(shù)據(jù)的關(guān)鍵技術(shù)及其在各個領(lǐng)域中的應(yīng)用廣義上講,大數(shù)據(jù)包括大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學和大數(shù)據(jù)應(yīng)用等與大數(shù)據(jù)相關(guān)的領(lǐng)域大數(shù)據(jù)的特點Volume(體量)。通過各種設(shè)備產(chǎn)生的海量數(shù)據(jù)體量巨大,遠大于目前互聯(lián)網(wǎng)上的信息流量Variety(多樣)。大數(shù)據(jù)類型繁多，在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等多個方面存在差異Velocity(速率)。數(shù)據(jù)以非常高的速率到達系統(tǒng)內(nèi)部，這就要求處理數(shù)據(jù)段的速度必須非常快二、大數(shù)據(jù)的特點大數(shù)據(jù)概述大數(shù)據(jù)概述大數(shù)據(jù)技術(shù)是一種新一代技術(shù)和構(gòu)架,它成本較低,以快速的采集、處理和分析技術(shù)從各種超大規(guī)模的數(shù)據(jù)中提取價值。

三、大數(shù)據(jù)的發(fā)展大數(shù)據(jù)概述三、大數(shù)據(jù)的發(fā)展A大數(shù)據(jù)采集與預(yù)處理方向——目前很多公司已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具(如IBM公司的DataStage)

C大數(shù)據(jù)計算模式方向——目前出現(xiàn)了多種典型的計算模式,包括大數(shù)據(jù)查詢分析計算(如Hive)、批處理計算(如Hadoop

MapReduce)等

E大數(shù)據(jù)可視化分析方向——通過可視化方式來幫助人們探索和解釋復(fù)雜的數(shù)據(jù),有利于決策者挖掘數(shù)據(jù)的商業(yè)價值,進而有助于大數(shù)據(jù)的發(fā)展

B大數(shù)據(jù)存儲與管理方向——這個方向最常見的挑戰(zhàn)是存儲規(guī)模大,存儲管理復(fù)雜,需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)

D大數(shù)據(jù)分析與挖掘方向——在數(shù)據(jù)量迅速增加的同時,還要進行深度的數(shù)據(jù)分析和挖掘,并且對自動化分析要求越來越高F大數(shù)據(jù)安全方向——文件訪問控制權(quán)限ACL、基礎(chǔ)設(shè)備加密、匿名化保護技術(shù)和加密保護等技術(shù)正在最大程度地保護數(shù)據(jù)安全大數(shù)據(jù)概述梅西百貨的實時定價機制根據(jù)需求和庫存的情況,該公司基于SAS的系統(tǒng)對多達7300萬種貨品進行實時調(diào)價四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述Tipp24AG針對歐洲博彩業(yè)構(gòu)建的下注和預(yù)測平臺該公司用KXEN軟件來分析數(shù)十億計的交易以及客戶的特性,然后通過預(yù)測模型對特定用戶進行動態(tài)的營銷活動

四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述沃爾瑪?shù)乃阉鬟@家零售業(yè)寡頭為其網(wǎng)站W(wǎng)自行設(shè)計了最新的搜索引擎Polaris，利用語義數(shù)據(jù)進行文本分析、機器學習和同義詞挖掘等

四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述

TescoPLC(特易購)和運營效率這家連鎖超市在其數(shù)據(jù)倉庫中收集了700萬部冰箱的數(shù)據(jù)。通過對這些數(shù)據(jù)的分析進行更全面的監(jiān)控,并進行主動的維修以降低整體能耗四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述2大數(shù)據(jù)