Chapter1 大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程-第1章-大數(shù)據(jù)技術(shù)概述

第1章大數(shù)據(jù)技術(shù)概述

提綱1.1大數(shù)據(jù)時(shí)代1.2大數(shù)據(jù)關(guān)鍵技術(shù)1.3大數(shù)據(jù)軟件1.4內(nèi)容安排1.1大數(shù)據(jù)時(shí)代1.2大數(shù)據(jù)關(guān)鍵技術(shù)表1-1大數(shù)據(jù)技術(shù)的不同層面及其功能技術(shù)層面功能數(shù)據(jù)采集利用ETL工具將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等，抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)；或者也可以把實(shí)時(shí)采集的數(shù)據(jù)作為流計(jì)算系統(tǒng)的輸入，進(jìn)行實(shí)時(shí)處理分析數(shù)據(jù)存儲和管理利用分布式文件系統(tǒng)、數(shù)據(jù)倉庫、關(guān)系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫等，實(shí)現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲和管理數(shù)據(jù)處理與分析利用分布式并行編程模型和計(jì)算框架，結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，實(shí)現(xiàn)對海量數(shù)據(jù)的處理和分析；對分析結(jié)果進(jìn)行可視化呈現(xiàn)，幫助人們更好地理解數(shù)據(jù)、分析數(shù)據(jù)數(shù)據(jù)隱私和安全在從大數(shù)據(jù)中挖掘潛在的巨大商業(yè)價(jià)值和學(xué)術(shù)價(jià)值的同時(shí)，構(gòu)建隱私數(shù)據(jù)保護(hù)體系和數(shù)據(jù)安全體系，有效保護(hù)個(gè)人隱私和數(shù)據(jù)安全1.2大數(shù)據(jù)關(guān)鍵技術(shù)分布式存儲分布式處理GFS\HDFSBigTable\HBaseNoSQL（鍵值、列族、圖形、文檔數(shù)據(jù)庫）NewSQL（如：SQLAzure）MapReduce大數(shù)據(jù)兩大核心技術(shù)1.2大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)計(jì)算模式解決問題代表產(chǎn)品批處理計(jì)算針對大規(guī)模數(shù)據(jù)的批量處理MapReduce、Spark等流計(jì)算針對流數(shù)據(jù)的實(shí)時(shí)計(jì)算Flink、Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺等圖計(jì)算針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲管理和查詢分析Dremel、Hive、Cassandra、Impala等表1-2大數(shù)據(jù)計(jì)算模式及其代表產(chǎn)品1.3大數(shù)據(jù)軟件大數(shù)據(jù)技術(shù)大數(shù)據(jù)軟件數(shù)據(jù)采集Kafka數(shù)據(jù)存儲與管理HDFS、HBase、Redis、MongoDB數(shù)據(jù)處理與分析MapReduce、Spark、Hive、Flink數(shù)據(jù)可視化D3、ECharts表1-3本教程所涉及的大數(shù)據(jù)軟件1.3.1Hadoop1.3.2Spark圖1-2BDAS架構(gòu)1.3.4NoSQL數(shù)據(jù)庫NoSQL數(shù)據(jù)庫是一種不同于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)，是對一大類非關(guān)系型數(shù)據(jù)庫的統(tǒng)稱，它所采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫的關(guān)系模型，而是類似鍵/值、列族、文檔等非關(guān)系模型。NoSQL數(shù)據(jù)庫沒有固定的表結(jié)構(gòu)，通常也不存在連接操作，也沒有嚴(yán)格遵守ACID約束，因此，與關(guān)系數(shù)據(jù)庫相比，NoSQL具有靈活的水平可擴(kuò)展性，可以支持海量數(shù)據(jù)存儲。此外，NoSQL數(shù)據(jù)庫支持MapReduce風(fēng)格的編程，可以較好地應(yīng)用于大數(shù)據(jù)時(shí)代的各種數(shù)據(jù)管理。NoSQL數(shù)據(jù)庫的出現(xiàn)，一方面彌補(bǔ)了關(guān)系數(shù)據(jù)庫在當(dāng)前商業(yè)應(yīng)用中存在的各種缺陷，另一方面也撼動(dòng)了關(guān)系數(shù)據(jù)庫的傳統(tǒng)壟斷地位。NoSQL數(shù)據(jù)庫雖然數(shù)量眾多，但是，歸結(jié)起來，典型的NoSQL數(shù)據(jù)庫通常包括鍵值數(shù)據(jù)庫、列族數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫。本教程將介紹兩種流行的NoSQL數(shù)據(jù)庫產(chǎn)品的安裝和使用方法，即鍵值數(shù)據(jù)庫Redis和文檔數(shù)據(jù)庫MongoDB。1.4內(nèi)容安排圖1-3本教程中涉及的相關(guān)大數(shù)據(jù)軟件1.4內(nèi)容安排圖1-4本教程中大數(shù)據(jù)軟件之間的相互關(guān)系1.5本章小結(jié)大數(shù)據(jù)技術(shù)是一個(gè)龐雜的知識體系，包含了大量相關(guān)技術(shù)和軟件。在具體學(xué)習(xí)相關(guān)技術(shù)及其軟件之前，非常有必要建立對大數(shù)據(jù)技術(shù)體系的整體性認(rèn)識。因此，本章首先從總體上介紹了大數(shù)據(jù)關(guān)鍵技術(shù)和各類大數(shù)據(jù)軟件。鑒于不同的大數(shù)據(jù)學(xué)習(xí)者有著不同的學(xué)習(xí)需求，為了方便讀者迅速找到對應(yīng)的學(xué)習(xí)章節(jié)，本章給出了本教程的整體