大數(shù)據(jù)定義和特征

大數(shù)據(jù)2018BigData2021/5/91

一.認(rèn)識大數(shù)據(jù)時代

二.大數(shù)據(jù)的定義三.大數(shù)據(jù)4V特性

大數(shù)據(jù)時代2021/5/92一.認(rèn)識大數(shù)據(jù)時代7：00，你被手機(jī)鬧鐘叫醒。昨晚你帶著一款小型可穿戴設(shè)備睡覺的。這個設(shè)備連接著你手機(jī)里的一款大數(shù)據(jù)的APP，你打開它就可以看到你昨晚睡覺時翻身次數(shù)、心跳和血壓狀況。根據(jù)測量結(jié)果，它建議你今天出門之前多喝點(diǎn)橙汁類的飲品來補(bǔ)充維生素。9：00，今天你要帶朋友到購物公園逛逛，你打開某互聯(lián)網(wǎng)公司的大數(shù)據(jù)產(chǎn)品“XX預(yù)測”，看看步行街今天預(yù)計會有多少人，再看看今天的交通預(yù)測。“XX預(yù)測”根據(jù)以往用戶定位請求信息建議你前往步行街。假如給你一天大數(shù)據(jù)的生活12：00，逛了一圈，你和朋友都累了，想找個地方吃飯。你打開大數(shù)據(jù)軟件，尋找附近的餐館。通過該軟件，你可以提前看到餐館的視頻環(huán)境，看看是否人多。大數(shù)據(jù)還可以把你臉的部分打成馬賽克，你不用擔(dān)心個人信息泄露。2XXX年的一個周末2021/5/93一.認(rèn)識大數(shù)據(jù)時代14:00,吃過午飯，你想去附近的公園玩玩，但你不知道應(yīng)該去十六潭公園還是去潛山森林公園。你又打開“XX預(yù)測”，希望它幫你分析一下，哪個公園相對不太擁擠。根據(jù)結(jié)果，你去了十六潭公園。16：00，你正在公園里休息，收到了催繳電話費(fèi)的短信。你很好奇自己過去三年每個月的消費(fèi)記錄。但過去運(yùn)營商只能讓你查到六個月以內(nèi)的消費(fèi)信息。因?yàn)橹袊苿又辽儆?億用戶，每天至少能產(chǎn)生10次計費(fèi)記錄。每天50億的計費(fèi)記錄，一年下來就是1800億條記錄。這是一個大數(shù)據(jù)的存儲和歸納技術(shù)難題。但在大數(shù)據(jù)時代，過去幾年的電話通訊信息都可以查到了。22：00，晚上睡覺的時候，你家的孩子哭鬧起來。你把孩子的哭聲錄入一個大數(shù)據(jù)軟件中。軟件能告訴你孩子為什么哭。是餓了，還是哪里不舒服，還是說只是想撒撒嬌……18：00，你回到了家，你的可穿戴設(shè)備告訴你，今天你在室內(nèi)和室外的時間分別都是多少，你一天內(nèi)吸入了多少霧霾。2021/5/94一.認(rèn)識大數(shù)據(jù)時代《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。亞馬遜前任首席科學(xué)家AndreasWeigend說：“數(shù)據(jù)是新的石油。”

哈佛大學(xué)社會學(xué)教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程?！?/p>

2021/5/95一.認(rèn)識大數(shù)據(jù)時代隨著一系列標(biāo)志性事件的發(fā)生和建立，人們越發(fā)感覺到大數(shù)據(jù)時代的力量。因此2013年被許多國外媒體和專家稱為“大數(shù)據(jù)元年”。當(dāng)今“大社會”，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。2021/5/96一.認(rèn)識大數(shù)據(jù)時代什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價值的信息而受到重視?！度A爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)、無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮發(fā)展的重大技術(shù)變革?！按蟆薄皵?shù)據(jù)”2021/5/97一.認(rèn)識大數(shù)據(jù)時代全球流量累計達(dá)到1EB（即10億GB）的時間一年（2001）一個月（2004）一周（2007）一天（2013）一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤全球網(wǎng)民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大數(shù)據(jù)有多“大”？根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍（大數(shù)據(jù)摩爾定律）人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量預(yù)計到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長近30倍2021/5/98數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨圖1-5數(shù)據(jù)產(chǎn)生方式的變革2021/5/99運(yùn)營式系統(tǒng)階段第一階段運(yùn)營式系統(tǒng)階段實(shí)例－超市購物，在數(shù)據(jù)庫系統(tǒng)中生成購物信息2021/5/910第二階段

用戶原創(chuàng)內(nèi)容階段

2021/5/91112一.認(rèn)識大數(shù)據(jù)時代智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用大數(shù)據(jù)的產(chǎn)生：2021/5/912第三階段感知式系統(tǒng)階段2021/5/913萬物互聯(lián)網(wǎng)的的時代已經(jīng)來臨2021/5/914物聯(lián)網(wǎng)底層是感知層，如RFID、攝像頭、傳感器2021/5/9152021/5/9162021/5/917一.認(rèn)識大數(shù)據(jù)時代維基百科給出的定義：大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集?！?V”定義規(guī)模性（Volume）多樣性（Variety）高速性（Velocity）“4V”定義價值性（Value）真實(shí)性（Veracity）（IDC）（IBM）2021/5/918 1.數(shù)據(jù)量大根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍（大數(shù)據(jù)摩爾定律）人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量預(yù)計到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長近30倍2021/5/9192數(shù)據(jù)類型繁多大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成的10%的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)科學(xué)研究–基因組–LHC加速器–地球與空間探測企業(yè)應(yīng)用–Email、文檔、文件–應(yīng)用日志–交易記錄Web1.0數(shù)據(jù)–文本–圖像–視頻Web2.0數(shù)據(jù)–查詢?nèi)罩?點(diǎn)擊流–Twitter/Blog/SNS–Wiki2021/5/9203 處理速度快從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于生成決策的時間非常少1秒定律：這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同2021/5/9214 價值密度低

價值密度低，商業(yè)價值高

以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒，但是具有很高的商業(yè)價值2021/5/922大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)無處不在，包括金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的社會各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡2021/5/923典型的大數(shù)據(jù)應(yīng)用實(shí)例KevinSpaceyDavidFinc