第1章-大數(shù)據(jù)概論

大數(shù)據(jù)技術(shù)與應(yīng)用

計算機中心第1章大數(shù)據(jù)概論導(dǎo)學(xué)

一、內(nèi)容與要求1.了解大數(shù)據(jù)的主要來源，掌握大數(shù)據(jù)的特點和大數(shù)據(jù)的處理流程。2.了解四層堆棧式技術(shù)架構(gòu)。3.了解大數(shù)據(jù)的整體技術(shù)。4.了解大數(shù)據(jù)分析四種典型工具。5.了解大數(shù)據(jù)未來發(fā)展趨勢。二、重點、難點本章重點是了解大數(shù)據(jù)的特點、特征和大數(shù)據(jù)未來發(fā)展趨勢。本章的難點是了解大數(shù)據(jù)技術(shù)架構(gòu)和整體技術(shù)。

大數(shù)據(jù)（BigData）指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。2014年，每天會有2.3ZB量的數(shù)據(jù)產(chǎn)生(IBM,2015)。1ZB=1024EB1EB=1024PB1PB=1024TB1TB=1024GB這是一個什么概念？1.1大數(shù)據(jù)技術(shù)簡介1.1.1IT產(chǎn)業(yè)的發(fā)展簡史IT產(chǎn)業(yè)的幾個發(fā)展階段如下：1、硬件時代（80年代）代表公司：IBM，HP，Apple,聯(lián)想，東芝，索尼；代表產(chǎn)品：服務(wù)器，臺式電腦，筆記本電腦2、軟件時代（90年代）代表公司：微軟，Oracle，Adobe，用友；代表產(chǎn)品：Windows，Oracle，Office，財務(wù)軟件3、互聯(lián)網(wǎng)時代（2000年代）代表公司：yahoo!亞馬遜，google，facebook,twitter,新浪，阿里，騰訊，百度；代表產(chǎn)品：三大門戶網(wǎng)站，百度搜索，QQ，人人網(wǎng)，淘寶，天貓，京東，4、移動互聯(lián)時代（2010年代）代表公司：騰訊，字節(jié)跳動，美圖科技；代表產(chǎn)品：微信，今日頭條，口袋購物，嘀嘀打車，美圖秀秀，墨跡天氣，高德地圖5、物聯(lián)網(wǎng)時代（現(xiàn)在）物聯(lián)網(wǎng)時代，智能硬件（智能手環(huán)，google眼鏡等）只是物聯(lián)網(wǎng)的一部分，電視，冰箱，洗衣機，汽車，實時路況，空的車位都能連上網(wǎng)，可以實時查看，遠程控制，互聯(lián)聯(lián)將真正實現(xiàn)連接人與信息，連接人與人（社交），連接人與商品（電商），連接人與服務(wù)（O2O），連接物與物（物聯(lián)網(wǎng)），互聯(lián)網(wǎng)將連接一切！1.1.2大數(shù)據(jù)的主要來源信息管理系統(tǒng)企業(yè)內(nèi)部使用的信息系統(tǒng)，如辦公自動化、業(yè)務(wù)管理系統(tǒng)等。主要是通過用戶輸入和系統(tǒng)的二次加工的方式生成的數(shù)據(jù)，多為結(jié)構(gòu)化數(shù)據(jù)。網(wǎng)絡(luò)信息系統(tǒng)如電子商務(wù)系統(tǒng)、社交網(wǎng)絡(luò)、社會媒體等。這類系統(tǒng)多為半結(jié)構(gòu)化或無結(jié)構(gòu)化數(shù)據(jù)，與前者的區(qū)別在于，內(nèi)部使用不接入外部公共網(wǎng)絡(luò)。物聯(lián)網(wǎng)系統(tǒng)通過傳感器獲取外界的物理、化學(xué)、生物等數(shù)據(jù)信息科學(xué)實驗系統(tǒng)主要用于學(xué)術(shù)科學(xué)研究，其環(huán)境是預(yù)先設(shè)定的，數(shù)據(jù)既可以是由真實實驗產(chǎn)生，也可以通過模擬方式獲取仿真的。1.1.3數(shù)據(jù)生成的三種主要方式從數(shù)據(jù)庫技術(shù)誕生以來，產(chǎn)生大數(shù)據(jù)的方式主要經(jīng)過了三個發(fā)展階段：被動式生成數(shù)據(jù)

采用數(shù)據(jù)庫技術(shù)階段數(shù)據(jù)的產(chǎn)生是被動的，數(shù)據(jù)時隨著業(yè)務(wù)系統(tǒng)的運行產(chǎn)生的。主動式生成數(shù)據(jù)

Web2.0、移動互聯(lián)網(wǎng)的發(fā)展使人們可以隨時隨地通過移動終端生成數(shù)據(jù)，人們開始主動地生成數(shù)據(jù)。感知式生成數(shù)據(jù)

感知技術(shù)的發(fā)展促進了數(shù)據(jù)生成方式發(fā)生了根本性的變化，如遍布城市各個角落的攝像頭等數(shù)據(jù)采集設(shè)備源源不斷地自動采集、生成數(shù)據(jù)。1.1.4大數(shù)據(jù)的特點

傳統(tǒng)數(shù)據(jù)大

數(shù)

據(jù)數(shù)據(jù)產(chǎn)生方式被動采集數(shù)據(jù)主動生成數(shù)據(jù)數(shù)據(jù)采集密度采樣密度較低，采樣數(shù)據(jù)有限利用大數(shù)據(jù)平臺，可對需要分析事件的數(shù)據(jù)進行密度采樣，精確獲取事件全局?jǐn)?shù)據(jù)數(shù)據(jù)源數(shù)據(jù)源獲取較為孤立，不同數(shù)據(jù)之間添加的數(shù)據(jù)整合難度較大利用大數(shù)據(jù)技術(shù)，通過分布式技術(shù)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫等技術(shù)對多個數(shù)據(jù)源獲取的數(shù)據(jù)進行整合處理數(shù)據(jù)處理方式大多采用離線處理方式，對生成的數(shù)據(jù)集中分析處理，不對實時產(chǎn)生的數(shù)據(jù)進行分析較大的數(shù)據(jù)源、響應(yīng)時間要求低的應(yīng)用可以采取批處理方式集中計算；響應(yīng)時間要求高的實時數(shù)據(jù)處理采用流處理的方式進行實時計算，并通過對歷史數(shù)據(jù)的分析進行預(yù)測分析1.1.5大數(shù)據(jù)的處理流程大數(shù)據(jù)處理的基本流程1.1.6大數(shù)據(jù)的數(shù)據(jù)格式結(jié)構(gòu)化信息：這種信息可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT應(yīng)用，是關(guān)鍵任務(wù)OLTP(聯(lián)機事務(wù)處理)系統(tǒng)業(yè)務(wù)所依賴的信息。另外，這種信息還可對結(jié)構(gòu)數(shù)據(jù)庫信息進行排序和查詢。半結(jié)構(gòu)化信息：包括電子郵件、文字處理文件及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。非結(jié)構(gòu)化信息：該信息在本質(zhì)形式上可認為主要是位映射數(shù)據(jù)。1.1.7大數(shù)據(jù)的特征大數(shù)據(jù)呈現(xiàn)出“4V+1O”的特征，具體如下：數(shù)據(jù)量大（Volume）多樣化（Variety）數(shù)據(jù)價值密度化（Value）速度快，時效高（Velocity）數(shù)據(jù)是在線的（On-Line）1.1.8大數(shù)據(jù)的應(yīng)用領(lǐng)域RFID傳感器軍事偵察社會網(wǎng)絡(luò)、數(shù)據(jù)天文學(xué)攝影檔案館視頻檔案醫(yī)療記錄互聯(lián)網(wǎng)搜索索引網(wǎng)絡(luò)日志生物、基因組學(xué)大規(guī)模的電子商務(wù)1.2大數(shù)據(jù)的技術(shù)架構(gòu)

大數(shù)據(jù)的四層堆棧式技術(shù)架構(gòu)1.3大數(shù)據(jù)的整體技術(shù)一般包括：數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預(yù)測和結(jié)果呈現(xiàn)等。1.4大數(shù)據(jù)分析的四種典型工具簡介

1．HadoopHadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，是一個能夠讓用戶輕松架構(gòu)和使用的分布式計算平臺。2．SparkSpark是一個基于內(nèi)存計算的開源集群計算系統(tǒng)，目的是更快速的進行數(shù)據(jù)分析。3．StormStorm是一種開源軟件，一個分布式、容錯的實時計算系統(tǒng)。4．ApacheDrill為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會發(fā)起了一項名為Drill的開源項目。ApacheDrill實現(xiàn)了Google’sDremel。1.5大數(shù)據(jù)未來發(fā)展趨勢

1.5.1數(shù)據(jù)資源化

資源化是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭搶的新焦點，數(shù)據(jù)將逐漸成為最有價值的資產(chǎn)。1.5.2數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立1．催生新的學(xué)科和行業(yè)數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認知。越來越多的高校開設(shè)了與大數(shù)據(jù)相關(guān)的學(xué)科課程，為市場和企業(yè)培養(yǎng)人才。2．?dāng)?shù)據(jù)共享數(shù)據(jù)可能成為一種共享的趨勢。1.5.3大數(shù)據(jù)隱私和安全問題1．大數(shù)據(jù)引發(fā)個人隱私、企業(yè)和國家安全問題大數(shù)據(jù)時代將引發(fā)個人隱私安全問題。大數(shù)據(jù)時代，企業(yè)將面臨信息安全的挑戰(zhàn)。大數(shù)據(jù)時代，大數(shù)據(jù)安全應(yīng)該上升為國家安全。2．正確合理利用大數(shù)據(jù)，促進大數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展大數(shù)據(jù)時代，必須對數(shù)據(jù)安全和隱私進行有效的保護1.5.4開源軟件成為推動大數(shù)據(jù)發(fā)展的動力大數(shù)據(jù)獲得動力的關(guān)鍵在于開放源代碼，幫助分解和分析數(shù)據(jù)。開源軟件的盛行不會抑制商業(yè)軟件的發(fā)展。相反，開源軟件將會給基礎(chǔ)架構(gòu)硬件、應(yīng)用程序開發(fā)工具、應(yīng)用服務(wù)等各個方面相關(guān)領(lǐng)域帶來更多的機會。1.5.5大數(shù)據(jù)在多方位改善我們的生活大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程