Spark大數(shù)據(jù)分析 課件 1.1 大數(shù)據(jù)簡介與相關(guān)技術(shù)

大數(shù)據(jù)簡介與相關(guān)技術(shù)目錄/Contents01大數(shù)據(jù)簡介02大數(shù)據(jù)相關(guān)技術(shù)大數(shù)據(jù)簡介01大數(shù)據(jù)簡介大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到獲取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。大數(shù)據(jù)簡介Volume（大量）：數(shù)據(jù)量大，截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類總共說過的話的數(shù)據(jù)量大約是5EB。Variety（多樣）：種類和來源多樣化。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。Value(低價值密度)：價值密度的高低與數(shù)據(jù)總量的大小成反比。Velocity（高速）：數(shù)據(jù)增長速度快，處理速度也快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。Veracity：信數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。大數(shù)據(jù)相關(guān)技術(shù)02大數(shù)據(jù)相關(guān)技術(shù)大數(shù)據(jù)技術(shù)的體系龐大且復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲、NoSQL數(shù)據(jù)庫、數(shù)據(jù)倉庫、機器學(xué)習(xí)、并行計算、可視化等各種技術(shù)范疇和不同的技術(shù)層面。首先科學(xué)的給出一個通用化的大數(shù)據(jù)處理技術(shù)框架，主要分為下面幾個方面：數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)查詢分析和數(shù)據(jù)可視化。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)采集與預(yù)處理對于各種來源的數(shù)據(jù)包括移動互聯(lián)網(wǎng)數(shù)據(jù)、社交網(wǎng)絡(luò)的數(shù)據(jù)等，這些結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)是零散的，也就是所謂的數(shù)據(jù)孤島，此時的這些數(shù)據(jù)并沒有什么意義，數(shù)據(jù)采集就是將這些數(shù)據(jù)寫入數(shù)據(jù)倉庫中，把零散的數(shù)據(jù)整合在一起，對這些數(shù)據(jù)綜合起來進(jìn)行分析。數(shù)據(jù)采集包括文件日志的采集、數(shù)據(jù)庫日志的采集、關(guān)系型數(shù)據(jù)庫的接入和應(yīng)用程序的接入等。在數(shù)據(jù)量比較小的時候，可以寫個定時的腳本將日志寫入存儲系統(tǒng)，但隨著數(shù)據(jù)量的增長，這些方法無法提供數(shù)據(jù)安全保障，并且運維困難，需要更強壯的解決方案。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)存儲Hadoop作為一個開源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計，HDFS作為其核心的存儲引擎，已被廣泛用于數(shù)據(jù)存儲。數(shù)據(jù)清洗MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計算，”Map（映射）”和”Reduce（歸約）”，是它的主要思想。它極大的方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)中。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)查詢分析Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQL(HiveSQL)查詢功能。Impala是對Hive的一個補充，可以實現(xiàn)高效的SQL查詢。使用Impala來實現(xiàn)SQLonHadoop，用來進(jìn)行大數(shù)據(jù)實時查詢分析。Spark擁有HadoopMapReduce所具有的特點，它將Job中間輸出結(jié)果保存在內(nèi)存中，從而不需要讀取HDFS。Nutch是一個開源Java實現(xiàn)的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。Solr用Java編寫、運行在Servlet容器（如ApacheTomcat或Jetty）的一個獨立的企業(yè)級搜索應(yīng)用的全文搜索服務(wù)器。Elasticsearch是一個開源的全文搜索引擎，基于Lucene的搜索服務(wù)器，可以快速的儲存、搜索和分析海量的數(shù)據(jù)。大數(shù)據(jù)相關(guān)技術(shù)數(shù)據(jù)可視化對接一些BI平臺，將分析得到的數(shù)據(jù)進(jìn)行可視化，用于指導(dǎo)決策服務(wù)。主流的BI平臺比如，國外的敏捷BITableau、Qlikview、PowrerBI等，國內(nèi)的SmallBI和新興的有數(shù)BI等?？刂茩?quán)限的ranger是一個Hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個集中的管理機制，管理基于yarn的Hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限?？梢詫adoop生態(tài)的組件如Hive，Hbase進(jìn)行細(xì)粒度的數(shù)據(jù)訪問控制。通過操作Ranger控