第章大數(shù)據(jù)綜述

——做中國(guó)領(lǐng)先的科研資源提供商第一章大數(shù)據(jù)綜述《大數(shù)據(jù)處理》配套課件總課時(shí)：1小時(shí)（實(shí)驗(yàn)：無(wú)）提綱大數(shù)據(jù)的產(chǎn)生背景什么是大數(shù)據(jù)對(duì)大數(shù)據(jù)的進(jìn)一步理解大數(shù)據(jù)為什么重要麥肯錫全球研究院的海量數(shù)據(jù)報(bào)告2011年5月，麥肯錫全球研究院發(fā)布了一份關(guān)注當(dāng)前社會(huì)數(shù)據(jù)洪流的報(bào)告“海量數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)率的下一個(gè)前沿”互聯(lián)網(wǎng)上的60秒會(huì)發(fā)生什么2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB，預(yù)測(cè)到2020年，全球?qū)碛?5ZB的數(shù)據(jù)（1ZB=1024EB=1024*1024*1024TB）奧巴馬的大數(shù)據(jù)戰(zhàn)略2012年3月29日，白宮發(fā)布美國(guó)政府的大數(shù)據(jù)計(jì)劃通過(guò)提高從大型復(fù)雜的數(shù)字?jǐn)?shù)據(jù)集中提取知識(shí)和觀點(diǎn)的能力，承諾幫助加快在科學(xué)與工程中的步伐，加強(qiáng)國(guó)家安全，并改變教學(xué)研究提綱前瞻來(lái)看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來(lái)越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對(duì)用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶的理解；通過(guò)精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣(mài)軟件拷貝賺錢(qián)的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來(lái)越智能Google精確掌握用戶行為、獲取需求微博為新浪帶來(lái)巨大價(jià)值馬云的判斷來(lái)自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺(tái)上整個(gè)買(mǎi)家詢(xún)盤(pán)數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣(mài)了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢(xún)盤(pán)上推斷出世界貿(mào)易發(fā)生變化了?！瘪R云對(duì)未來(lái)的預(yù)測(cè)，是建立在對(duì)用戶行文分析的基礎(chǔ)上。通常而言，買(mǎi)家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢(xún)點(diǎn)擊的數(shù)量和購(gòu)買(mǎi)點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢(xún)盤(pán)數(shù)據(jù)的下降，自然導(dǎo)致買(mǎi)盤(pán)的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)。Gartner2011年技術(shù)成熟度曲線,大數(shù)據(jù)處于高速發(fā)展期技術(shù)演進(jìn)歷史揭示未來(lái)是大數(shù)據(jù)驅(qū)動(dòng)的智慧型經(jīng)濟(jì)模式提綱大數(shù)據(jù)的產(chǎn)生背景什么是大數(shù)據(jù)對(duì)大數(shù)據(jù)的進(jìn)一步理解大數(shù)據(jù)為什么重要指數(shù)型增長(zhǎng)的海量數(shù)據(jù)海量數(shù)據(jù)就是大數(shù)據(jù)嗎?

大數(shù)據(jù)就是云計(jì)算嗎?

大數(shù)據(jù)的4V特性體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢(xún)、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效Value價(jià)值挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息。價(jià)值密度低，是大數(shù)據(jù)的一個(gè)典型特征。Va雅ri衛(wèi)et過(guò)y多樣檢性企業(yè)含內(nèi)部肌的經(jīng)何營(yíng)交廣易信息誼；物聯(lián)網(wǎng)寄世界苗中商品延、物槽流信造息；泰互聯(lián)遇網(wǎng)世界柏中人零與人滲交互信息歉、位墓置信渴息等是剛大數(shù)銷(xiāo)據(jù)的裳主要狡來(lái)源.能夠燥在不詳同的歇數(shù)據(jù)赤類(lèi)型中進(jìn)冠行交叉雷分析你的技術(shù)秩，是大數(shù)亞據(jù)的奴核心根技術(shù)之一凈。語(yǔ)義膊分析象技術(shù)心、圖文轉(zhuǎn)腦換技術(shù)、模式童識(shí)別業(yè)技術(shù)聯(lián)、地都理信息飯技術(shù)等都渾會(huì)在大階數(shù)據(jù)職分析旱時(shí)獲竊得應(yīng)用糊。Ve呀lo調(diào)ci您ty速度1s是臨界封點(diǎn)。對(duì)于鋼大數(shù)提據(jù)應(yīng)麻用而言服，必但須要在1秒鐘毯內(nèi)形洗成答案鍬，否陣則處理淺結(jié)果欠就是墨過(guò)時(shí)杠和無(wú)惜效的。實(shí)時(shí)塊處理抄的要求森，是區(qū)別秧大數(shù)揪據(jù)引恥用和螞傳統(tǒng)腦數(shù)據(jù)哥倉(cāng)庫(kù)技術(shù)臟、BI技術(shù)練的關(guān)聚鍵差糞別之一。Vo隱lu碎me數(shù)據(jù)量PB是大默數(shù)據(jù)杯層次墓的臨微界點(diǎn)。KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB提綱大數(shù)激據(jù)的皮產(chǎn)生寺背景什么慌是大訴數(shù)據(jù)對(duì)大耐數(shù)據(jù)傅的進(jìn)吩一步斤理解大數(shù)據(jù)僑為什凱么重坡要大數(shù)據(jù)成比云逢計(jì)算惑更為落地商業(yè)班模式促驅(qū)動(dòng)應(yīng)用券需求宗驅(qū)動(dòng)云計(jì)沸算本款身也妙是大膽數(shù)據(jù)貝的一襲種業(yè)禾務(wù)模座式大數(shù)貞據(jù)不僅帽僅是“大騾”多大揪？PB級(jí)比大更重偷要的或是數(shù)據(jù)淹的復(fù)擱雜性，有獸時(shí)甚驕至大寇數(shù)據(jù)候中的翁小數(shù)私據(jù)如給一條傍微博筋就具鐮有顛釣覆性五的價(jià)押值軟件食是大糖數(shù)據(jù)矩的引擎和數(shù)充據(jù)中心勺（Da藍(lán)ta父C痛en餅te涉r）一慈樣，軟心件是織大數(shù)售據(jù)的垃驅(qū)動(dòng)席力.軟件置改變忽世界!大數(shù)零據(jù)生態(tài)伐：軟滾件是引擎大數(shù)局據(jù)的蠟應(yīng)用吃不僅工僅是搶精準(zhǔn)營(yíng)銷(xiāo)通過(guò)鐘用戶票行為宣分析拿實(shí)現(xiàn)名精準(zhǔn)固營(yíng)銷(xiāo)孤是大蘭數(shù)據(jù)粥的典厘型應(yīng)義用，榮但是話大數(shù)尿據(jù)在慣各行榮各業(yè)膚特別著是公捐共服皂務(wù)領(lǐng)解域具柏有廣床闊的粉應(yīng)用葵前景消費(fèi)車(chē)行業(yè)金融穩(wěn)服務(wù)食品更安全醫(yī)療具衛(wèi)生軍事交通泳環(huán)保電子總商務(wù)氣象管理肝大數(shù)助據(jù)“易鞋”，拘理解大數(shù)索據(jù)“難拘”目前大數(shù)船據(jù)管恢理多恥從架窯構(gòu)和鎮(zhèn)并行膨等方膨面考賺慮，之解決鏡高并廉發(fā)數(shù)墻據(jù)存耍取的邁性能膛要求仙及數(shù)均據(jù)存挪儲(chǔ)的吼橫向監(jiān)擴(kuò)展字，但年對(duì)非窯結(jié)構(gòu)跪化數(shù)扮據(jù)的垂內(nèi)容免理解獸仍缺其乏實(shí)尿質(zhì)性怎的突積破和沃進(jìn)展?fàn)C，這扭是實(shí)斑現(xiàn)大哲數(shù)據(jù)隊(duì)資源鄰化、態(tài)知識(shí)鉛化、矩普適條化的核心愚。非結(jié)構(gòu)知化海甜量信才息的萄智能做化處虧理：餅自然給語(yǔ)言捆理解鼻、多惕媒體換內(nèi)容昂理解察、機(jī)幣器學(xué)肆習(xí)等。提綱大數(shù)冬據(jù)的陽(yáng)產(chǎn)生侍背景什么雞是大踏數(shù)據(jù)對(duì)大靠數(shù)據(jù)丑的進(jìn)晝一步攪?yán)斫獯髷?shù)據(jù)引為什繞么重痕要更高容數(shù)據(jù)塵層面整合云計(jì)玩算、物聲聯(lián)網(wǎng)勇從政撿績(jī)工蘋(píng)程變等成實(shí)焰用工程國(guó)內(nèi)傘各地肢制定喊云計(jì)枝算“臭十二件五”記規(guī)劃云計(jì)牲算、帝物聯(lián)穗網(wǎng)園犬區(qū)中國(guó)森各地店制定蛇或公替布了渾云計(jì)躍算、關(guān)物聯(lián)枯網(wǎng)等工產(chǎn)業(yè)陡規(guī)劃掩；這拘些工霉程的劍初始滴著眼淋點(diǎn)在虧房地驅(qū)產(chǎn)，稀政績(jī)槳工程有居多均，大引數(shù)據(jù)曾作為寒核心瓶?jī)?nèi)容靜端，筆使得灣政績(jī)堤工程喝變?yōu)檠澥褂煤９こ虄r(jià)。云計(jì)算限、物窩聯(lián)網(wǎng)卵、社泰交化際媒體模、GI辰S為大屯數(shù)據(jù)曉提供腥了豐漫富的蘋(píng)數(shù)據(jù)遇來(lái)源最。因政此大麗數(shù)據(jù)克中包繭括的由每個(gè)倚用戶求的身余份、虛地點(diǎn)椅、時(shí)腦間、暫喜好唐、厭戀惡、職社會(huì)臘關(guān)系忙等等控大量宋的信戴息。烈伴隨鉆數(shù)據(jù)陵挖掘辟和分搞析的怨技術(shù)夢(mèng)發(fā)展活，我虛們即五將步勉入基逼于大聽(tīng)數(shù)據(jù)李的智償能化兔時(shí)代害。國(guó)外深的大珍數(shù)據(jù)牙應(yīng)用美國(guó)冶國(guó)務(wù)匹院采爪用大敵數(shù)據(jù)群技術(shù)齊開(kāi)發(fā)迅新的特美國(guó)恭護(hù)照畏系統(tǒng)頸。IB抱M宣布憲投資1億美序元用詞于大非數(shù)據(jù)捐研究超；美國(guó)IT公司拘開(kāi)始賽意識(shí)漫到大穿數(shù)據(jù)棄技術(shù)鍛能夠值