新一代信息技術(shù)教案 第1章 擁抱大數(shù)據(jù)時(shí)代

教案首頁(yè)課題名稱第1章?lián)肀Т髷?shù)據(jù)時(shí)代（1）——1.1~1.2課次1授課類型理論□實(shí)踐□理實(shí)一體□其他學(xué)時(shí)2授課日期授課班級(jí)授課地點(diǎn)教學(xué)目的與要求知識(shí)目標(biāo)：1.了解大數(shù)據(jù)的來(lái)源和基本概念；2.了解大數(shù)據(jù)的關(guān)鍵技術(shù)。能力目標(biāo)：1.理解數(shù)據(jù)的概念和意義，對(duì)數(shù)據(jù)具有敏感度；2.掌握數(shù)據(jù)的常用表達(dá)方式和處理方法，并將其與具體問(wèn)題相聯(lián)系；3.能進(jìn)行數(shù)字化信息資源的獲取、加工和處理。素質(zhì)目標(biāo)：1.了解大數(shù)據(jù)倫理道德準(zhǔn)則，規(guī)范日常信息行為；2.了解相關(guān)法律法規(guī)并自覺(jué)遵守；3.具備信息安全意識(shí)和相關(guān)防護(hù)能力。課程思政目標(biāo)：建立數(shù)據(jù)意識(shí)，了解國(guó)家大數(shù)據(jù)戰(zhàn)略，樹(shù)立科技報(bào)國(guó)思想。教學(xué)重點(diǎn)1.大數(shù)據(jù)的基本概念2.大數(shù)據(jù)的關(guān)鍵技術(shù)教學(xué)難點(diǎn)大數(shù)據(jù)的關(guān)鍵技術(shù)教學(xué)方法與手段教學(xué)方法：課件講解、舉例說(shuō)明、對(duì)比分析、啟發(fā)引導(dǎo)學(xué)生學(xué)法：預(yù)習(xí)—聽(tīng)講---討論---復(fù)習(xí)—自學(xué)擴(kuò)展設(shè)計(jì)意圖：激發(fā)學(xué)生學(xué)習(xí)興趣、提高課堂學(xué)習(xí)效率教學(xué)資源：課件、視頻資料課程思政要素要點(diǎn)在課程引入中，通過(guò)對(duì)國(guó)家大數(shù)據(jù)戰(zhàn)略的介紹，以及就業(yè)領(lǐng)域和技術(shù)發(fā)展趨勢(shì)的介紹，引起學(xué)生的學(xué)習(xí)興趣，堅(jiān)定學(xué)生的專業(yè)自信，樹(shù)立學(xué)生科技報(bào)國(guó)的思想情懷和家國(guó)意識(shí)。課外作業(yè)查閱大數(shù)據(jù)相關(guān)資料教學(xué)反思大量的教學(xué)實(shí)例能夠幫助學(xué)生理解相關(guān)概念，提高學(xué)生學(xué)習(xí)興趣。教案紙第1章?lián)肀Т髷?shù)據(jù)時(shí)代（1）——1.1-1.2一、整體設(shè)計(jì)1.課程簡(jiǎn)介（15分鐘）2.新課導(dǎo)入（5分鐘）3.新知識(shí)講解（75分鐘）（1）大數(shù)據(jù)技術(shù)概述（40分鐘）（2）大數(shù)據(jù)關(guān)鍵技術(shù)（35分鐘）4.總結(jié)與布置作業(yè)（5分鐘）二、新課導(dǎo)入大數(shù)據(jù)時(shí)代的到來(lái)：第三次信息化浪潮涌動(dòng)，大數(shù)據(jù)時(shí)代全面開(kāi)啟。人類社會(huì)信息科技的發(fā)展為大數(shù)據(jù)時(shí)代的到來(lái)提供了技術(shù)支撐，而數(shù)據(jù)產(chǎn)生方式的變革是促進(jìn)大數(shù)據(jù)時(shí)代到來(lái)至關(guān)重要的因素。三、新知識(shí)講解1.1大數(shù)據(jù)技術(shù)概述1.1.1數(shù)據(jù)基本概念1.數(shù)據(jù)(1)數(shù)據(jù)的概念數(shù)據(jù)是指對(duì)客觀事件進(jìn)行記錄并可以鑒別的符號(hào)，是對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號(hào)或這些物理符號(hào)的組合，是可識(shí)別的、抽象的符號(hào)。數(shù)據(jù)和信息是兩個(gè)不同的概念，信息是較為宏觀的概念，它由數(shù)據(jù)的有序排列組合而成，傳達(dá)給讀者某個(gè)概念方法等，而數(shù)據(jù)則是構(gòu)成信息的基本單位，離散的數(shù)據(jù)沒(méi)有任何實(shí)用價(jià)值。數(shù)據(jù)也被稱為“未來(lái)的石油”（2）數(shù)據(jù)類型（3）計(jì)算機(jī)系統(tǒng)中數(shù)據(jù)的組織形式：文件：一個(gè)Word文件，一個(gè)文本文件、一個(gè)網(wǎng)頁(yè)文件、一個(gè)圖片文件等。數(shù)據(jù)庫(kù)：層次數(shù)據(jù)庫(kù)、網(wǎng)狀數(shù)據(jù)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)2.大數(shù)據(jù)大數(shù)據(jù)是比較抽象的概念，通常認(rèn)為，大數(shù)據(jù)又稱巨量數(shù)據(jù)、海量數(shù)據(jù)，是指用傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理它們大或復(fù)雜的數(shù)據(jù)集的術(shù)語(yǔ)。大數(shù)據(jù)也可以定義為各種來(lái)源的大量非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，它通常包含的數(shù)據(jù)大小超出了傳統(tǒng)軟件在可接受的時(shí)間內(nèi)處理的能力。麥肯錫全球研究所對(duì)大數(shù)據(jù)的解釋是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有數(shù)據(jù)規(guī)模海量、數(shù)據(jù)流轉(zhuǎn)快速、數(shù)據(jù)類型多樣和價(jià)值密度低四個(gè)特征。簡(jiǎn)而言之，大數(shù)據(jù)是現(xiàn)有數(shù)據(jù)庫(kù)管理工具和傳統(tǒng)數(shù)據(jù)處理應(yīng)用方法都很難處理的大型、復(fù)雜的數(shù)據(jù)集。1.1.2大數(shù)據(jù)的來(lái)源人類進(jìn)入信息社會(huì)以后，數(shù)據(jù)以自然方式增長(zhǎng)，其產(chǎn)生不以人的意志為轉(zhuǎn)移。從1986年開(kāi)始到今天，全球數(shù)據(jù)的數(shù)量增長(zhǎng)了超過(guò)100倍，今后的數(shù)據(jù)量增長(zhǎng)速度將更快，我們正生活在一個(gè)“數(shù)據(jù)爆炸”的時(shí)代?；ヂ?lián)網(wǎng)公司更是要被數(shù)據(jù)淹沒(méi)了。谷歌公司每天要處理超過(guò)

24×2°字節(jié)的數(shù)據(jù)，這意味著其每天的數(shù)據(jù)處理量是美國(guó)國(guó)家圖書(shū)館所有紙質(zhì)出版物所含數(shù)據(jù)量的上千倍。Facebook

每天更新的照片量超過(guò)

3.5

億張，每天人們?cè)诰W(wǎng)站上點(diǎn)擊“喜歡”(Like)按鈕或者寫(xiě)評(píng)論大約有三十億次(見(jiàn)圖

1-2)，這就為

Facebook

公司挖掘用戶喜好提供了大量的數(shù)據(jù)線索。與此同時(shí)，谷歌子公司

YouTube

每月接待多達(dá)8

億的訪客，平均每一秒鐘就會(huì)有一段長(zhǎng)度在一小時(shí)以上的視頻上傳。Twitter

上的信息量幾乎每年翻番。2010

年全球數(shù)據(jù)量突破

1ZB(1ZB=10

億

TB)，而

2021

年全球數(shù)據(jù)量預(yù)計(jì)將超過(guò)

40ZB?；ヂ?lián)網(wǎng)數(shù)據(jù)中心預(yù)計(jì)，到2025年，全球數(shù)據(jù)總量將達(dá)到175ZB。在計(jì)算機(jī)中，最小的存儲(chǔ)單位是位bit：8個(gè)二進(jìn)制位為一個(gè)字節(jié)(B)，最常用的單位。計(jì)算機(jī)存儲(chǔ)單位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB來(lái)表示，它們之間的關(guān)系是：1B（Byte字節(jié)）=8bit1KB(Kilobyte千字節(jié))=1024B，1MB(Megabyte兆字節(jié)簡(jiǎn)稱“兆”)=1024KB，1GB(Gigabyte吉字節(jié)又稱“千兆”)=1024MB，1TB

(Terabyte萬(wàn)億字節(jié)太字節(jié))=1024GB，其中1024=2^10(2的10次方)，1PB（Petabyte千萬(wàn)億字節(jié)拍字節(jié)）=1024TB，1EB（Exabyte百億億字節(jié)艾字節(jié)）=1024PB，1ZB(Zettabyte十萬(wàn)億億字節(jié)澤字節(jié))=1024EB,1YB(Yottabyte一億億億字節(jié)堯字節(jié))=1024ZB,1BB(Brontobyte一千億億億字節(jié))=1024YB1NB(Nonabyte)=1024BB1DB(Doggabyte)=1024NB毫無(wú)疑問(wèn)，全地球所有的硬盤(pán)總?cè)萘考悠饋?lái)也可能不到1BB。1BB是什么概念？。我這樣說(shuō)：地球上有60億人，每人要有16萬(wàn)個(gè)1TB容量的硬盤(pán)，則全球硬盤(pán)總?cè)萘坎拍苓_(dá)到1BB。換個(gè)方法說(shuō)：假設(shè)地球上有100個(gè)硬盤(pán)廠家，那么每個(gè)廠家要生產(chǎn)10萬(wàn)億個(gè)1TB的硬盤(pán)，地球硬盤(pán)總?cè)萘坎拍苓_(dá)到1BB。產(chǎn)生數(shù)據(jù)的3個(gè)發(fā)展階段被動(dòng)式生成數(shù)據(jù)：由于數(shù)據(jù)庫(kù)技術(shù)的產(chǎn)生而產(chǎn)生的。主動(dòng)式生成數(shù)據(jù)：由于萬(wàn)維網(wǎng)的發(fā)明與發(fā)展而產(chǎn)生的。感知生成數(shù)據(jù)：由于物聯(lián)網(wǎng)的飛速發(fā)展而產(chǎn)生的。2.信息技術(shù)轉(zhuǎn)向數(shù)據(jù)技術(shù)根據(jù)IBM前首席執(zhí)行官郭士納的觀點(diǎn)，IT領(lǐng)域每隔十五年就會(huì)迎來(lái)一次重大變革大數(shù)據(jù)是第三次浪潮的華彩樂(lè)章。1.1.3大數(shù)據(jù)時(shí)代的來(lái)臨1.技術(shù)瓶頸的突破或緩解近年來(lái)，信息技術(shù)瓶頸的突破或緩解、大量人群的參與、大量傳感器的使用，以及行業(yè)信息化建設(shè)的不斷深入，為行業(yè)應(yīng)用平臺(tái)積累了龐大的流量(用戶),進(jìn)有積累了龐大的歷史數(shù)據(jù)。政府、研究機(jī)構(gòu)、企事業(yè)單位紛紛挖掘大量數(shù)據(jù)背后隱藏的價(jià)值，用于政府治理、科學(xué)研究和企業(yè)轉(zhuǎn)型，成效顯著，價(jià)值巨大，引起了社會(huì)各界的高度重視。首先，云計(jì)算作為一種新的技術(shù)已經(jīng)得到了快速的發(fā)展，云計(jì)算已經(jīng)徹底改變了人們的工作方式，也改變了傳統(tǒng)軟件企業(yè)，給企業(yè)帶來(lái)了更多的商業(yè)機(jī)會(huì)。其次，云存儲(chǔ)是將存儲(chǔ)資源放到“云”上供人們存取的一種新興方案。再次，網(wǎng)絡(luò)技術(shù)從

IPv4

過(guò)渡到

IPv6，通信技術(shù)從

2G、

3G、4G

升級(jí)到

5G，促使現(xiàn)代網(wǎng)絡(luò)通信技術(shù)朝著網(wǎng)絡(luò)全球化、寬帶化、智能化、個(gè)人化、綜合化方向發(fā)展。最后，NoSQL

非關(guān)系型數(shù)據(jù)庫(kù)的興起，用于管理圖片、視頻、音頻等多樣化的數(shù)據(jù)。海量數(shù)據(jù)的產(chǎn)生IDC

的研究報(bào)告顯示，未來(lái)幾年全球數(shù)據(jù)量每年的增長(zhǎng)速度將超過(guò)

40%，2025全球數(shù)據(jù)量將達(dá)到

175

ZB，而且每過(guò)一分鐘，全世界僅互聯(lián)網(wǎng)就

7.5PB

的數(shù)據(jù)量產(chǎn)生，各類信息數(shù)據(jù)產(chǎn)生了爆炸式的膨脹。根據(jù)相關(guān)數(shù)據(jù)統(tǒng)計(jì),淘寶網(wǎng)每天有數(shù)千萬(wàn)筆交易,單日數(shù)據(jù)產(chǎn)生量超過(guò)50000GB,數(shù)據(jù)存儲(chǔ)量達(dá)

40PB。百度公司目前的數(shù)據(jù)量接近

10000

PB，每天大約要處理超過(guò)60

億次搜索請(qǐng)求。2017

年春節(jié)期間微信全球月活用戶首次突破

10

億人大關(guān)，音視通話總時(shí)長(zhǎng)達(dá)到

175

億分鐘；微信公眾號(hào)數(shù)量超過(guò)

2000

萬(wàn)個(gè)，社交微信紅包月活用戶已經(jīng)超

8

億人。Facebook(臉書(shū))一天新增

32

億條評(píng)論、3

億張照片，信息量達(dá)

10TB。Twitter(推特)一天新增

2

億條推文，約有

50

億個(gè)單詞，比《紐約時(shí)報(bào)》60

年的詞匯總量還多一倍，信息量達(dá)

7

TB。由此可見(jiàn)，每個(gè)行業(yè)領(lǐng)域每天都在不斷地產(chǎn)生海量的數(shù)據(jù)，而這些數(shù)據(jù)則成為重要的生產(chǎn)要素，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。在信息技術(shù)的推動(dòng)下，我們的工作、生活已經(jīng)完全離不開(kāi)互聯(lián)網(wǎng)，我們已經(jīng)變成“互聯(lián)網(wǎng)動(dòng)物”，在互聯(lián)網(wǎng)上創(chuàng)造了屬于自己的“第二人生”。技術(shù)瓶頸也在不斷地被緩解和突破，處理龐大的數(shù)據(jù)已成為可能。同時(shí)，大流量產(chǎn)生的數(shù)據(jù)正在迅速膨脹，它決定著企業(yè)未來(lái)的發(fā)展方向。越來(lái)越多的政府、企事業(yè)單位等機(jī)構(gòu)開(kāi)始意識(shí)到數(shù)據(jù)正在成為最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為核心競(jìng)爭(zhēng)力。基于事實(shí)與數(shù)據(jù)做出決策或者以數(shù)據(jù)驅(qū)動(dòng)的思維方式布局，將推動(dòng)社會(huì)產(chǎn)生巨大的變革。1.2大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)產(chǎn)業(yè)是指以數(shù)據(jù)生產(chǎn)、采集、存儲(chǔ)、加工、分析、服務(wù)為主的相關(guān)經(jīng)濟(jì)活動(dòng)，包括數(shù)據(jù)資源建設(shè)，數(shù)據(jù)軟硬件產(chǎn)品的開(kāi)發(fā)、銷售和租賃活動(dòng)，以及相關(guān)的信息技術(shù)服務(wù)。大數(shù)據(jù)產(chǎn)業(yè)所需要的技術(shù)支持有哪些呢？對(duì)大數(shù)據(jù)的處理主要包括數(shù)據(jù)生成(也稱為數(shù)據(jù)采集、數(shù)據(jù)獲取)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用(也稱為數(shù)據(jù)分析與挖掘)。為了完成對(duì)大數(shù)據(jù)的處理，需要計(jì)算機(jī)從硬件到軟件以及信息服務(wù)方面的支持。硬件方面要有采集設(shè)備、存儲(chǔ)設(shè)備和服務(wù)器等支持；軟件方面要有數(shù)據(jù)庫(kù)軟件、分布式文件系統(tǒng)、智能搜索與分析軟件、采集與監(jiān)測(cè)軟件等各類軟件技術(shù)支持；在信息服務(wù)方面要有系統(tǒng)集成、IT

基礎(chǔ)設(shè)施服務(wù)、咨詢服務(wù)等支持，并且要保證信息安全。1.2.1大數(shù)據(jù)采集技術(shù)數(shù)據(jù)采集，又稱“數(shù)據(jù)獲取”，是數(shù)據(jù)分析的入口，也是數(shù)據(jù)分析過(guò)程中相當(dāng)重要的一個(gè)環(huán)節(jié)，它通過(guò)各種技術(shù)手段把外部各種數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)實(shí)時(shí)或非實(shí)時(shí)地采集并加以利用。數(shù)據(jù)采集數(shù)據(jù)源：1.2.2大數(shù)據(jù)預(yù)處理大數(shù)據(jù)的預(yù)處理過(guò)程主要是對(duì)不能采用或者采用后與實(shí)際可能產(chǎn)生較大偏差的數(shù)據(jù)進(jìn)行替換和刪除。大數(shù)據(jù)預(yù)處理主要過(guò)程：1．?dāng)?shù)據(jù)的分類和預(yù)處理2．?dāng)?shù)據(jù)清洗3．?dāng)?shù)據(jù)集成4．?dāng)?shù)據(jù)歸約5．?dāng)?shù)據(jù)變換6．?dāng)?shù)據(jù)的離散化處理1.2.3大數(shù)據(jù)的存儲(chǔ)和處理數(shù)據(jù)存儲(chǔ)和處理是大數(shù)據(jù)分析流程中的重要一環(huán)。通過(guò)數(shù)據(jù)采集得到的數(shù)據(jù)，必須進(jìn)行有效的存儲(chǔ)和管理，才能用于高效的處理和分析。數(shù)據(jù)存儲(chǔ)與管理是利用計(jì)算機(jī)硬件和軟件技術(shù)對(duì)數(shù)據(jù)進(jìn)行有效的存儲(chǔ)和應(yīng)用的過(guò)程，其目的在于充分有效地發(fā)揮數(shù)據(jù)的作用。Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，并且是以一種可靠、高效、可伸縮的方式進(jìn)行處理的，它具有以下幾個(gè)方面的特性：高可靠性高效性高可擴(kuò)展性高容錯(cuò)性成本低運(yùn)行在Linux平臺(tái)上支持多種編程語(yǔ)言經(jīng)過(guò)多年的發(fā)展，Hadoop生態(tài)系統(tǒng)不斷完善和成熟，目前已經(jīng)包含了多個(gè)子項(xiàng)目。除了核心的HDFS和MapReduce以外，Hadoop生態(tài)系統(tǒng)還包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能組件。1.2.4大數(shù)據(jù)分析大數(shù)據(jù)分析是大數(shù)據(jù)技術(shù)的核心，是提取隱含在數(shù)據(jù)中、人們事先不知道、但又存在潛在價(jià)值的信息和知識(shí)的過(guò)程。大數(shù)據(jù)分析技術(shù)包括對(duì)已知數(shù)據(jù)信息進(jìn)行分析的分布式統(tǒng)計(jì)分析技術(shù)，以及對(duì)未知數(shù)據(jù)信息進(jìn)行分析的分布式挖掘和深度學(xué)習(xí)技術(shù)。數(shù)據(jù)分析可以分為廣義的數(shù)據(jù)分析和狹義的數(shù)據(jù)分析，廣義的數(shù)據(jù)分析就包括狹義的數(shù)據(jù)分析和數(shù)據(jù)挖掘。廣義的數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒ǎ▉?lái)自統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等領(lǐng)域），對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論的過(guò)程。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法及工具，對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用。分布式統(tǒng)計(jì)分析技術(shù)基本可由數(shù)據(jù)處理技術(shù)直接完成，而分布式挖掘和深度學(xué)習(xí)技術(shù)則可以進(jìn)一步細(xì)分為關(guān)聯(lián)分析、聚類、分類和深度學(xué)習(xí)。1.2.5大數(shù)據(jù)可視化數(shù)據(jù)可視化是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的處理過(guò)程。數(shù)據(jù)可視化技術(shù)的基本思想是將數(shù)據(jù)庫(kù)中每一個(gè)數(shù)據(jù)項(xiàng)作為單個(gè)圖元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時(shí)將數(shù)據(jù)的各個(gè)屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對(duì)數(shù)據(jù)進(jìn)行更深入的觀察和分析。數(shù)據(jù)可視化運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像并在屏幕上顯示出來(lái)，同時(shí)進(jìn)行交互處理。清晰而有效地在數(shù)據(jù)與用戶之間傳遞和溝通信息是數(shù)據(jù)可視化的重要目標(biāo)。數(shù)據(jù)可視化可以增強(qiáng)數(shù)據(jù)的呈現(xiàn)效果，方便用戶以更加直觀的方式觀察數(shù)據(jù)，進(jìn)而發(fā)現(xiàn)數(shù)據(jù)中隱藏的信息。數(shù)據(jù)可視化過(guò)程分為數(shù)據(jù)預(yù)處理、繪制、顯示和交互四個(gè)階段。未來(lái)大數(shù)據(jù)可視化技術(shù)的發(fā)展方向主要有以下三個(gè)：可視化技術(shù)與數(shù)據(jù)挖掘相結(jié)合?？梢暬夹g(shù)與人機(jī)交互相結(jié)合?？梢暬c大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)相結(jié)