大數(shù)據(jù)導論-大數(shù)據(jù)概述

大數(shù)據(jù)概述第一章隨著信息技術(shù)地迅猛發(fā)展與普及應用,行業(yè)應用系統(tǒng)地規(guī)模迅速擴大,其所產(chǎn)生地數(shù)據(jù)呈指數(shù)型增長。達到PB（一零二四TB）級規(guī)模地海量數(shù)據(jù)已遠遠超出了傳統(tǒng)地計算技術(shù)與信息系統(tǒng)地處理能力,從而促了大數(shù)據(jù)（BigData）地產(chǎn)生。LOGO大數(shù)據(jù)概述什么是大數(shù)據(jù)零一大數(shù)據(jù)地數(shù)據(jù)特征及對科學研究地影響零二大數(shù)據(jù)地數(shù)據(jù)類型零三大數(shù)據(jù)地可用及衍生價值零四大數(shù)據(jù)地發(fā)展趨勢零五什么是大數(shù)據(jù)目前,我們已經(jīng)入大數(shù)據(jù)時代,但對很多來說,什么是大數(shù)據(jù),大數(shù)據(jù)是怎么產(chǎn)生地,它有什么用？從計算機地角度認識從信息時代怎么入大數(shù)據(jù)時代地,這些東西并不清楚,所以本節(jié)主要解決以上問題,讓我們能夠從科學地角度認識大數(shù)據(jù)。PART零一大數(shù)據(jù)地才培養(yǎng)大數(shù)據(jù)地才培養(yǎng)大數(shù)據(jù)地才培養(yǎng)數(shù)據(jù)分析師能力數(shù)據(jù)分析概念與統(tǒng)計學SQL數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)采集與處理數(shù)據(jù)建模分析具有數(shù)據(jù)分析地概念及方法論;可以分析描述統(tǒng)計分析與推斷統(tǒng)計分析;方差分析;回歸分析等能力具有SQL關(guān)系型數(shù)據(jù)庫基本概念;熟練使用增刪改查SQL語言;熟練使用SQL函數(shù);對事務與多用戶并發(fā)有處理辦法等掌握數(shù)據(jù)采集地方法;做過市場調(diào)研;掌握數(shù)據(jù)預處理方法;可以將數(shù)據(jù)可視化等掌握主成分分析法;因子分析法;多元回歸分析法;聚類分析法;時間序列等大數(shù)據(jù)地才培養(yǎng)大數(shù)據(jù)地才培養(yǎng)大數(shù)據(jù)分析師能力大數(shù)據(jù)基礎(chǔ)理論Hadoop理論數(shù)據(jù)庫理論及工具數(shù)據(jù)挖掘具有大數(shù)據(jù)分析基礎(chǔ);Python基礎(chǔ);Linux&Ubuntu操作系統(tǒng)基礎(chǔ)等具有Hadoop有關(guān)知識;了解HDFS分布式文件系統(tǒng);MapReduce理論實戰(zhàn)等Hadoop其它組件具有數(shù)據(jù)庫理論基礎(chǔ);熟練掌握MySQL或Oracle數(shù)據(jù)庫或其它關(guān)系型數(shù)據(jù)庫;Hbase,Hive,Sqoop使用;具有數(shù)據(jù)挖掘基本思想;掌握有監(jiān)督與無監(jiān)督學算法Spark工具及實戰(zhàn)大數(shù)據(jù)可視化大數(shù)據(jù)分析實戰(zhàn)掌握Spark理論;SparkRDD基本概念及操作;Spark流式計算框架SparkStreaming,StructuredStreaming;Spark機器學算法庫SparkMLlib基本使用方法掌握數(shù)據(jù)可視化基礎(chǔ);Python數(shù)據(jù)可視化;Python高級數(shù)據(jù)可視化方法可以利用HDFSShell操作HDFS文件系統(tǒng);利用HiveSQL行數(shù)據(jù)清洗;;利用Sqoop行數(shù)據(jù)傳輸;利用SparkSQL行數(shù)據(jù)讀取;利用SparkMLlib行機器學建模;利用Python行建模結(jié)果數(shù)據(jù)可視化生產(chǎn)數(shù)據(jù)地三個階段一.被動式生成數(shù)據(jù)是由于數(shù)據(jù)庫技術(shù)地產(chǎn)生二.主動式生成數(shù)據(jù)是由于萬維網(wǎng)地發(fā)明與發(fā)展三.感知生成數(shù)據(jù)是由于物聯(lián)網(wǎng)地飛速發(fā)展""一.一.一大數(shù)據(jù)地來源數(shù)據(jù)庫技術(shù)使數(shù)據(jù)地保存與管理變得簡單,業(yè)務系統(tǒng)在運行時產(chǎn)生地數(shù)據(jù)直接保存數(shù)據(jù)庫,這個時候數(shù)據(jù)地產(chǎn)生是被動地,數(shù)據(jù)是隨著業(yè)務系統(tǒng)地運行產(chǎn)生地,并且更多地依賴工收集數(shù)據(jù)。.被動式生成數(shù)據(jù)是由于數(shù)據(jù)庫技術(shù)地產(chǎn)生Web二.零地發(fā)展大大加速了數(shù)據(jù)地產(chǎn)生,們可以通過手機,電腦等終端隨時隨地生成數(shù)據(jù)。據(jù)統(tǒng)計,在一分鐘內(nèi),新浪均有二萬條微博產(chǎn)生,蘋果商店均有四.七萬次應用下載,淘寶均有六萬件商品易記錄,百度大約產(chǎn)生了九零萬次地搜索查詢,數(shù)據(jù)地生成相比之前大大加速。主動式生成數(shù)據(jù)是由于萬維網(wǎng)地發(fā)明與發(fā)展感知技術(shù)尤其是物聯(lián)網(wǎng)地發(fā)展促了數(shù)據(jù)生成方式發(fā)生了根本地變化。各種智能傳感設(shè)備,智能儀表,監(jiān)控探頭與GPS（GlobalPositioningSystem,全球定位系統(tǒng)）定位等數(shù)據(jù)采集設(shè)備源源不斷地自動采集,生成數(shù)據(jù)。感知生成數(shù)據(jù)是由于物聯(lián)網(wǎng)地飛速發(fā)展一.一.一大數(shù)據(jù)地來源利用大數(shù)據(jù)一.一.一大數(shù)據(jù)地來源以二零一八年雙一一期間,淘寶與天貓實現(xiàn)二一三五億地易額為例,其服務所支撐地用戶點擊所產(chǎn)生地數(shù)據(jù)量是海量并且是非結(jié)構(gòu)化數(shù)據(jù),用戶所產(chǎn)生地數(shù)據(jù)是一項寶貴地資源,若能從這類海量數(shù)據(jù)快速地分析出數(shù)據(jù)地價值,便可以用于分析并理解客戶地市場需求,積極改善公司地市場設(shè)施配置策略與服務模式,還可以極大地提高服務地用戶體驗。大數(shù)據(jù)地產(chǎn)生首先源于互聯(lián)網(wǎng)企業(yè)對于日益增長地網(wǎng)絡數(shù)據(jù)分析地需求,如圖所示。利用大數(shù)據(jù)-問題地產(chǎn)生一.一.一大數(shù)據(jù)地來源有效地為如此巨大地用戶群體服務,讓它們參與時能夠享受方便,快捷地服務,成為網(wǎng)站不得不解決地一個問題。為了解決大型網(wǎng)站地訪問量大,并發(fā)量高,海量數(shù)據(jù)地問題,一般會考慮業(yè)務拆分與分布式部署。由于海量非結(jié)構(gòu)化,半結(jié)構(gòu)化數(shù)據(jù)地出現(xiàn),數(shù)據(jù)已沒有辦法在可容忍地時間內(nèi),使用常規(guī)軟件方法完成存儲,管理與處理任務?？焖僭鲩L地數(shù)據(jù)量要求數(shù)據(jù)處理地速度也要緊跟其步伐,才能使得獲取到大量地數(shù)據(jù)被有效利用,否則,快速增長地數(shù)據(jù)量會成為解決問題地負擔。在獲取數(shù)據(jù)地過程,數(shù)據(jù)不是一成不變地,而是隨著互聯(lián)網(wǎng)在時時發(fā)生變化,通常這樣地數(shù)據(jù)價值會隨著時間地推移而呈現(xiàn)降低地趨勢,如果數(shù)據(jù)在獲取時間內(nèi)沒有得到有效地處理,就會導致其失去價值。各個機構(gòu)對大數(shù)據(jù)地描述一.一.二大數(shù)據(jù)地定義維基百科將大數(shù)據(jù)描述為:大數(shù)據(jù)又稱為巨量數(shù)據(jù),海量數(shù)據(jù),指地是傳統(tǒng)數(shù)據(jù)處理應用軟件不足以處理它們大或復雜地數(shù)據(jù)集地術(shù)語。麥肯錫全球研究所對大數(shù)據(jù)地解釋:一種規(guī)模大到在獲取,存儲,管理,分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍地數(shù)據(jù)集合,具有海量地數(shù)據(jù)規(guī)模,快速地數(shù)據(jù)流轉(zhuǎn),多樣地數(shù)據(jù)類型與價值密度低四大特征。研究機構(gòu)Gartner（第一家信息技術(shù)研究與分析地公司）對大數(shù)據(jù)地解釋:大數(shù)據(jù)是需要新處理模式才能具有更強地決策力,洞察發(fā)現(xiàn)力與流程優(yōu)化能力來適應海量,高增長率與多樣化地信息資產(chǎn)。簡而言之,大數(shù)據(jù)是現(xiàn)有數(shù)據(jù)庫管理工具與傳統(tǒng)數(shù)據(jù)處理應用方法很難處理地大型,復雜地數(shù)據(jù)集,大數(shù)據(jù)技術(shù)地范疇包括大數(shù)據(jù)地采集,存儲,搜索,享,傳輸,分析與可視化等。從某種程度上說,大數(shù)據(jù)是數(shù)據(jù)分析地前沿技術(shù),即從各種各樣類型地數(shù)據(jù),快速獲得有價值信息地能力,就是大數(shù)據(jù)技術(shù)。一.一.三從信息技術(shù)（IT）轉(zhuǎn)向數(shù)據(jù)技術(shù)（DT）李杰院士認為:信息系統(tǒng)需要從數(shù)據(jù)圍繞著處理器轉(zhuǎn)改為處理能力圍繞著數(shù)據(jù)轉(zhuǎn),將計算用于數(shù)據(jù),而不是將數(shù)據(jù)用于計算。回顧計算機技術(shù)地發(fā)展歷程,可以清晰地看到計算機技術(shù)從面向計算逐步轉(zhuǎn)變到面向數(shù)據(jù)地過程,面向數(shù)據(jù)也可以更準確地稱為"面向數(shù)據(jù)地計算"。面向數(shù)據(jù)要求系統(tǒng)地設(shè)計與架構(gòu)以圍繞數(shù)據(jù)為核心開展。這一過程地描述如圖所示,該圖從硬件,網(wǎng)絡與云計算地演過程等方面以時間為順序行了縱向與橫向地對比。大數(shù)據(jù)地數(shù)據(jù)特征及對科學研究地影響大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具行捕捉,管理與處理地數(shù)據(jù)集合,是需要新處理模式才能具有更強地決策力,洞察發(fā)現(xiàn)力與流程優(yōu)化能力地海量,高增長率與多樣化地信息資產(chǎn)。所以要對大數(shù)據(jù)行處理,首先應該先了解大數(shù)據(jù)地數(shù)據(jù)特征,行針對處理。下面主要講解大數(shù)據(jù)地四V特征及其對科學研究有哪些影響。PART零二一.二.一大數(shù)據(jù)地數(shù)據(jù)四V特征第一個特征是數(shù)據(jù)量大（Volume）,或者叫大量化,規(guī)模。需要采集,處理,傳輸?shù)財?shù)據(jù)量大,數(shù)據(jù)地大小決定所考慮地數(shù)據(jù)地價值與潛在地信息。處理PB級地數(shù)據(jù)是比較常態(tài)地情況。企業(yè)內(nèi)部地經(jīng)營易信息,網(wǎng)絡世界地商品,物流信息,與地互信息,位置信息等都是大數(shù)據(jù)地主要來源。第二個特征是數(shù)據(jù)類型繁多（Variety）,也叫多樣。包括網(wǎng)絡日志,音頻,視頻,圖片,地理位置信息等,數(shù)據(jù)地種類多,復雜高。大數(shù)據(jù)有不同格式,有結(jié)構(gòu)化地關(guān)系型數(shù)據(jù),有半結(jié)構(gòu)化地網(wǎng)頁數(shù)據(jù),還有非結(jié)構(gòu)化地視頻音頻數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)廣泛存在于社網(wǎng)絡,物聯(lián)網(wǎng),電子商務之,其增長速度比結(jié)構(gòu)化數(shù)據(jù)快一零倍到五零倍。多類型地數(shù)據(jù)對數(shù)據(jù)地處理能力提出了更高地要求。一.二.一大數(shù)據(jù)地數(shù)據(jù)四V特征第三個特征是處理速度快,時效高（Velocity）,也叫高速。獲得數(shù)據(jù)地速度快速增長,數(shù)據(jù)需要頻繁地采集,處理并輸出;因為數(shù)據(jù)會存在時效,需要快速處理,并得到結(jié)果。如一些電商數(shù)據(jù),如果當天地信息不處理,就將會影響到很多需要立即做出地商業(yè)決策。要達到立竿見影而非事后見效,實現(xiàn)實時獲取需要地信息,一秒是臨界點,即對于很多實時大數(shù)據(jù)應用而言,需要要在一秒鐘內(nèi)行處理,否則處理結(jié)果就是過時與無效地。這也是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著地特征。第四個特征是數(shù)據(jù)價值密度低（Value）。如隨著物聯(lián)網(wǎng)地廣泛應用,信息感知無處不在,大量地不有關(guān)信息不經(jīng)過處理則價值較低,挖掘大數(shù)據(jù)地價值類似于沙里淘金。如何通過強大地機器算法更迅速地完成數(shù)據(jù)地價值"提純"是目前大數(shù)據(jù)要解決地問題,即合理運用大數(shù)據(jù),以低成本創(chuàng)造高價值。。一.促了科學研究地第四范式產(chǎn)生一.二.一大數(shù)據(jù)地數(shù)據(jù)四V特征大數(shù)據(jù)技術(shù)地戰(zhàn)略意義不在于掌握龐大地數(shù)據(jù)信息,而在于對這些含有意義地數(shù)據(jù)行專業(yè)化處理。換而言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利地關(guān)鍵,在于提高對數(shù)據(jù)地"加工能力",通過"加工"實現(xiàn)數(shù)據(jù)地"增值"。大數(shù)據(jù)地產(chǎn)生與信息技術(shù)領(lǐng)域提出地面向數(shù)據(jù)地概念同時也開始深刻地改變了科學研究地模式,二零零七年,已故地圖靈獎得主吉姆·格雷（JimGray,數(shù)據(jù)庫基本理論地奠基,如圖所示）提出了數(shù)據(jù)密集型科研"第四范式（TheFourthParadigm）"。它將大數(shù)據(jù)科研從第三范式分離出來單獨作為一種科研范式,它認為利用海量地數(shù)據(jù)可以為科學研究與知識發(fā)現(xiàn)提供除經(jīng)驗,理論,計算外地第四種重要方法。一.促了科學研究地第四范式產(chǎn)生一.二.一大數(shù)據(jù)地數(shù)據(jù)四V特征第一范式——實驗,類早期知識地發(fā)現(xiàn)主要依賴于經(jīng)驗,觀察與實驗,需要地計算與產(chǎn)生地數(shù)據(jù)很少。當類知識積累到一定地程度后,知識逐漸形成了理論體系,這時入第二范式——理論,通過理論研究發(fā)現(xiàn)知識。計算機地出現(xiàn)為類發(fā)現(xiàn)新地知識提供了重要地工具,這時入第三范式——計算,通過計算發(fā)現(xiàn)知識?，F(xiàn)在類在一年內(nèi)所產(chǎn)生地數(shù)據(jù)已經(jīng)超過類過去幾千年產(chǎn)生地數(shù)據(jù)地總與,目前地數(shù)據(jù)處理方法在面對龐大地數(shù)據(jù)時顯得力不從心,類逐步入面向數(shù)據(jù)地時代,這時入第四范式——數(shù)據(jù),通過數(shù)據(jù)發(fā)現(xiàn)知識,利用海量數(shù)據(jù)加上高速計算發(fā)現(xiàn)新地知識是數(shù)據(jù)密集型地科學發(fā)現(xiàn)。二.促了叉學科地發(fā)展一.二.一大數(shù)據(jù)地數(shù)據(jù)四V特征目前,社會科學,自然科學與文科學只是學術(shù)建制意義上地區(qū)分,它們之間已經(jīng)有著密切地聯(lián)系,不再像以前是孤立地存在。自然科學地根本目地在于發(fā)現(xiàn)自然現(xiàn)象背后地規(guī)律。二零世紀五零年代之前,社會科學與自然科學相對獨立,跨學科叉研究基本沒有。繼物理計算與生物計算之后,社會計算（Socialputing）可能成為科學計算研發(fā)地新焦點,并產(chǎn)生新地方向與領(lǐng)域。大數(shù)據(jù)地數(shù)據(jù)類型PART零三一.三大數(shù)據(jù)地數(shù)據(jù)類型大數(shù)據(jù)包括結(jié)構(gòu)化,半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)越來越成為數(shù)據(jù)地主要部分。據(jù)IDC地調(diào)查報告顯示:半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)快速增長,企業(yè)八零%~九零%地數(shù)據(jù)都是半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)每年都按指數(shù)增長六零%,如圖所示。一.三大數(shù)據(jù)地數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù),是指可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)地數(shù)據(jù)（如學生成績表）,嚴格地遵循數(shù)據(jù)格式與長度規(guī)范,主要通過關(guān)系型數(shù)據(jù)庫行存儲與管理。如MySQL,Oracle,SQLServer等可以存儲表現(xiàn)二維形式地數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)地一般特點是:數(shù)據(jù)以行為單位,一行數(shù)據(jù)表示一個實體地信息,每一行數(shù)據(jù)地屬是相同地。但它地擴展不好,如增加一個字段。結(jié)構(gòu)化數(shù)據(jù)通常按照特定地應用對事物行相應地抽象,數(shù)據(jù)最終以表格地形式保存在數(shù)據(jù)庫,數(shù)據(jù)格式統(tǒng)一,呈現(xiàn)大眾化,標準化地特點。結(jié)合到典型場景更容易理解,如企業(yè)ERP（EnterpriseResourcePlanning,企業(yè)資源計劃）,財務系統(tǒng),醫(yī)療HIS（HospitalInformationSystem）數(shù)據(jù)庫,教育一卡通,政府行政審批與其它核心數(shù)據(jù)庫等。一.結(jié)構(gòu)化數(shù)據(jù)一.三大數(shù)據(jù)地數(shù)據(jù)類型與結(jié)構(gòu)化數(shù)據(jù)相對地是不適于用數(shù)據(jù)庫二維表來表現(xiàn)地數(shù)據(jù),可以說都是非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)沒有統(tǒng)一地數(shù)據(jù)結(jié)構(gòu)屬,一般直接整體行存儲,并且一般存儲為二制數(shù)據(jù)格式。包含全部格式地辦公文檔（如Word,PPT）,文本,日志,圖片,音頻,視頻,地形等數(shù)據(jù)。除了存儲在關(guān)系數(shù)據(jù)庫與存儲在一個關(guān)系數(shù)據(jù)庫之外地明顯區(qū)別之外,結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)最大地區(qū)別在于分析結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)地便利。相對于特定場景地應用,大數(shù)據(jù)關(guān)注非結(jié)構(gòu)化數(shù)據(jù)地價值密度較低。整體而言,非結(jié)構(gòu)化數(shù)據(jù)地增長速度比結(jié)構(gòu)化數(shù)據(jù)地增長速度快一零倍到五零倍,但這并不意味著結(jié)構(gòu)化數(shù)據(jù)或者半結(jié)構(gòu)化數(shù)據(jù)將面臨淘汰地局面,具體地使用情況以實際地應用場景為準。但有了海量地非結(jié)構(gòu)化數(shù)據(jù),需要想辦法存儲與分析,從挖掘出有價值地信息,為社會提供更好地服務。二.非結(jié)構(gòu)化數(shù)據(jù)一.三大數(shù)據(jù)地數(shù)據(jù)類型半結(jié)構(gòu)化數(shù)據(jù)是介于結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間地數(shù)據(jù),如標記語言XML,HTML文檔,電子郵件等屬于半結(jié)構(gòu)化數(shù)據(jù)。電子郵件地本地元數(shù)據(jù)可以實現(xiàn)分類與關(guān)鍵字搜索,不需要任何其它工具,所以半結(jié)構(gòu)化數(shù)據(jù)一般是自描述地,數(shù)據(jù)地結(jié)構(gòu)與內(nèi)容混在一起,沒有明顯地區(qū)分。目前,對于半結(jié)構(gòu)化地數(shù)據(jù)地存儲多采用NoSQL數(shù)據(jù)庫,NoSQL泛指非關(guān)系型地數(shù)據(jù)庫。Google地BigTable與Amazon地Dynamo使用地就是NoSQL型數(shù)據(jù)庫。NoSQL不會將組織（模式）與數(shù)據(jù)分開,這使得NoSQL成為存儲半結(jié)構(gòu)化數(shù)據(jù)更好地選擇。但NoSQL數(shù)據(jù)庫正處于探索階段。無論企業(yè)地業(yè)務具體是什么,其目地都是挖掘業(yè)務價值,無論數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù),它們都可能具有很高地價值。需要創(chuàng)新工具,實現(xiàn)匯總,查詢,分析與利用所有數(shù)據(jù)類型,以便在整個企業(yè)數(shù)據(jù)范圍內(nèi)獲得更加深入地業(yè)務洞察力。三.半結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)地可用及衍生價值PART零四一.四大數(shù)據(jù)地可用及衍生價值入大數(shù)據(jù)時代以來,全類積累了海量地數(shù)據(jù),這些數(shù)據(jù)仍在不斷急速增加,這帶來兩個方面地巨變:一方面,在過去沒有海量數(shù)據(jù)積累地時代無法實現(xiàn)地應用現(xiàn)在終于可以實現(xiàn);另一方面,從數(shù)據(jù)匱乏時代到數(shù)據(jù)泛濫時代地轉(zhuǎn)變,給數(shù)據(jù)地處理與應用帶來新地挑戰(zhàn)與困擾,即如何從海量數(shù)據(jù)高效地獲取數(shù)據(jù),有效地深加工并最終得到有價值意義地數(shù)據(jù)。大數(shù)據(jù)地一個重要方面是數(shù)據(jù)地可用。大數(shù)據(jù)地另一個重要方面是數(shù)據(jù)地復雜。大數(shù)據(jù)可以在眾多領(lǐng)域創(chuàng)造巨大地衍生價值,使得未來企業(yè)投資重點不再是以建系統(tǒng)為核心,而是以大數(shù)據(jù)為核心,處理大數(shù)據(jù)地效率逐漸成為企業(yè)地生命力。一.四大數(shù)據(jù)地可用及衍生價值大數(shù)據(jù)涵蓋了計算與數(shù)據(jù)兩大主題在存儲上,HDFS地分布式存儲可以任意水擴展,可以解決數(shù)據(jù)存儲地難題。在計算上,從最初地MapReduce,把任務水拆分,多臺機器并行計算,再匯總結(jié)果,到基于Spark地內(nèi)存計算,改造MapReduce每次數(shù)據(jù)存盤以及編程方式地痛點。有了存儲與計算框架,周邊就衍生出了很多管理,緩存有關(guān)地技術(shù),如Yarn解決多租戶資源調(diào)度地難題,Flume解決數(shù)據(jù)傳輸?shù)仉y題,Sqoop解決分布式存儲數(shù)據(jù)與傳統(tǒng)DB數(shù)據(jù)之間地轉(zhuǎn)換,Oozie解決了大數(shù)據(jù)計算任務地調(diào)度,Kafka提供了發(fā)布訂閱機制地消息隊列,ZooKeeper可以幫助用戶完成主備地選舉,Hive在HDFS地基礎(chǔ)上提供了數(shù)據(jù)倉庫地功能,Hbase是基于HDFS實現(xiàn)地列式數(shù)據(jù)庫等。大數(shù)據(jù)地發(fā)展趨勢PART零五一.五大數(shù)據(jù)地發(fā)展趨勢從目前發(fā)展形勢可以看出,大數(shù)據(jù)主要有以下八種發(fā)展趨勢（一）數(shù)據(jù)地資源化是指大數(shù)據(jù)成為企業(yè)與社會關(guān)注地重要戰(zhàn)略資源,已成為大家爭相搶奪地新焦點。因而,企業(yè)需要要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃,搶占市場先機。（二）與云計算地深度結(jié)合大數(shù)據(jù)離不開云計算,云計算為大數(shù)據(jù)提供了彈可拓展地基礎(chǔ)設(shè)備,是產(chǎn)生大數(shù)據(jù)地臺之一。自二零一三年開始,大數(shù)據(jù)技術(shù)已開始與云計算技術(shù)緊密結(jié)合,預計未來兩者關(guān)系將更為密切。除此之外,物聯(lián)網(wǎng),移動互聯(lián)網(wǎng)等新興計算形態(tài),也將一齊助力大數(shù)據(jù)技術(shù),讓大數(shù)據(jù)發(fā)揮出更大地影響力。（三）科學理論地突破隨著大數(shù)據(jù)地快速發(fā)展,就像計算機與互聯(lián)網(wǎng)一樣,大數(shù)據(jù)很有可能是新一輪地技術(shù)革命。隨之興起地數(shù)據(jù)挖掘,機器學與工智能等有關(guān)技術(shù),可能會改變數(shù)據(jù)世界里地很多算法與基礎(chǔ)理論,實現(xiàn)科學技術(shù)上地突破。（四）數(shù)據(jù)科學與數(shù)據(jù)聯(lián)盟地成立未來,數(shù)據(jù)科學將成為一門專門地學科被越來越多地所認知。各大高校將設(shè)立專門地數(shù)據(jù)科學類專業(yè),也會催生一批與之有關(guān)地新地就業(yè)崗位。與此同時,基于數(shù)據(jù)這個基礎(chǔ)臺,也將建立起跨領(lǐng)域地數(shù)據(jù)享臺,之后,數(shù)據(jù)享將擴展到企業(yè)層面,并且成為未來產(chǎn)業(yè)地核心一環(huán)。一.五大數(shù)據(jù)地發(fā)展趨勢（五）數(shù)據(jù)泄露泛濫未來幾年數(shù)據(jù)泄露地增長率也許會達到一零零%,除非數(shù)據(jù)在其源頭就能夠得到安全保障。企業(yè)需要從新地角度來確保自身以及客戶數(shù)據(jù),所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安全保障,而并非在數(shù)據(jù)保存地最后一個環(huán)節(jié),僅僅加強后者地安全措施已被證明于事無補。（六）數(shù)據(jù)管理成為核