1.5數(shù)據(jù)與大數(shù)據(jù)教學(xué)課件

必修1《數(shù)據(jù)與計(jì)算》制作者：XXXXXX第一章數(shù)據(jù)與信息1.5數(shù)據(jù)與大數(shù)據(jù)教學(xué)目標(biāo)：

●了解大數(shù)據(jù)的概念，理解大數(shù)據(jù)的特征?！窳私獯髷?shù)據(jù)對(duì)人類(lèi)思維方式的影響，能正確面對(duì)大數(shù)據(jù)。●能描述大數(shù)據(jù)在生活中的具體應(yīng)用，認(rèn)識(shí)大數(shù)據(jù)的意義以及對(duì)社會(huì)的影響。情境引入基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊(duì)；打破傳統(tǒng)思維，通過(guò)分析比賽數(shù)據(jù)，尋找“性?xún)r(jià)比”最高球員，運(yùn)用數(shù)據(jù)取得成功；布拉德?皮特主演的《點(diǎn)球成金》是一部美國(guó)奧斯卡獲獎(jiǎng)影片，所講述的是皮特扮演的棒球隊(duì)總經(jīng)理利用計(jì)算機(jī)數(shù)據(jù)分析，對(duì)球隊(duì)進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊(duì)能夠取得巨大的成功。情境引入互聯(lián)網(wǎng)、移動(dòng)網(wǎng)絡(luò)、物聯(lián)網(wǎng)等每天都產(chǎn)生著大量數(shù)據(jù)，這些數(shù)據(jù)規(guī)模巨大、格式多樣，已經(jīng)很難用傳統(tǒng)的方式進(jìn)行處理。于是，大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生，通過(guò)分析、挖掘這些數(shù)據(jù)，發(fā)現(xiàn)其蘊(yùn)藏的價(jià)值。討論交流話(huà)題：

天氣預(yù)報(bào)越來(lái)越準(zhǔn)確了，準(zhǔn)確率可以達(dá)100%嗎？從天氣預(yù)報(bào)的發(fā)展、設(shè)備、技術(shù)、數(shù)據(jù)方面進(jìn)行描述1.大氣系統(tǒng)為非線(xiàn)性系統(tǒng)2.地面氣象觀測(cè)臺(tái)站空間間隔較大且分布不均3.數(shù)值天氣預(yù)報(bào)的不確定性。4.全球氣候變化增加了天氣預(yù)報(bào)的難度。討論交流話(huà)題：

天氣預(yù)報(bào)越來(lái)越準(zhǔn)確了，準(zhǔn)確率可以達(dá)100%嗎？從天氣預(yù)報(bào)的發(fā)展、設(shè)備、技術(shù)、數(shù)據(jù)方面進(jìn)行描述從“憑經(jīng)驗(yàn)”到“算數(shù)值”天氣能預(yù)報(bào)，氣候也能嗎？曾慶存回答：能。知識(shí)講解什么是大數(shù)據(jù)？了解數(shù)據(jù)的采集和來(lái)源有哪些？數(shù)據(jù)的方式有哪些？是不是數(shù)據(jù)量大就是大數(shù)據(jù)？《2分鐘讓你認(rèn)識(shí)什么是大數(shù)據(jù)》視頻知識(shí)講解什么是大數(shù)據(jù)？其實(shí)很簡(jiǎn)單，大數(shù)據(jù)其實(shí)就是海量資料巨量資料，這些巨量資料來(lái)源于世界各地隨時(shí)產(chǎn)生的數(shù)據(jù)，在大數(shù)據(jù)時(shí)代，任何微小的數(shù)據(jù)都可能產(chǎn)生不可思議的價(jià)值。大數(shù)據(jù)代表著信息量大、速度快、種類(lèi)繁多的信息資產(chǎn)，需要特定的技術(shù)和分析方法將其轉(zhuǎn)化為價(jià)值。知識(shí)講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價(jià)值（Value）。數(shù)量（volume）:TB\PB\EB\ZB僅供開(kāi)采162年僅供開(kāi)采45年僅供開(kāi)采60年不可再生資源VS數(shù)據(jù)過(guò)去3年數(shù)據(jù)總量比以往4萬(wàn)年還多2013年,10分鐘的信息總量將達(dá)1.8ZB2010年全球數(shù)據(jù)總量1.2ZB，年增長(zhǎng)50%數(shù)據(jù)不再是社會(huì)生產(chǎn)的“副產(chǎn)物”，而是可被二次乃至多次加工的原料，從中可以探索更大價(jià)值，它變成了生產(chǎn)資料。問(wèn)題思考大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價(jià)值（Value）。1Byte1KB1MB1GB1TB1PB1EB1ZB1YB1PB相當(dāng)于50%的全美學(xué)術(shù)研究圖書(shū)館藏書(shū)信息內(nèi)容5EB相當(dāng)于至今全世界人類(lèi)所講過(guò)的話(huà)語(yǔ)1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當(dāng)于7000位人類(lèi)體內(nèi)的微細(xì)胞總和一般情況下，大數(shù)據(jù)是以PB、EB、ZB為單位進(jìn)行計(jì)量的問(wèn)題1：現(xiàn)在為什么現(xiàn)在闖紅燈等違規(guī)行為越來(lái)越少了？問(wèn)題2：請(qǐng)你估算一下一天產(chǎn)生的數(shù)據(jù)量有多少？知識(shí)講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價(jià)值（Value）。速度（Velocity）:數(shù)據(jù)產(chǎn)生的速度快，數(shù)據(jù)處理的速度快知識(shí)講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價(jià)值（Value）。多樣（Variety）：人工產(chǎn)生的，機(jī)器自動(dòng)產(chǎn)生知識(shí)講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價(jià)值（Value）。多樣（Variety）：人工產(chǎn)生的，機(jī)器自動(dòng)產(chǎn)生行業(yè)/企業(yè)內(nèi)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)數(shù)據(jù)來(lái)源多企業(yè)內(nèi)部多個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來(lái)了微博、社交網(wǎng)站、傳感器等多種來(lái)源。數(shù)據(jù)類(lèi)型多保存在關(guān)系數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)聯(lián)性強(qiáng)數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強(qiáng)的關(guān)聯(lián)性。知識(shí)講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價(jià)值（Value）。價(jià)值（Value）：價(jià)值密度低，大量的視頻記錄下來(lái)，有許多冗余挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價(jià)值密度低，是大數(shù)據(jù)的一個(gè)典型特征；大數(shù)據(jù)不僅僅是技術(shù)，關(guān)鍵是產(chǎn)生價(jià)值可以從各個(gè)層面進(jìn)行優(yōu)化，更要考慮整體討論交流

在疫情期間，文山人民對(duì)武漢支援的三七，同學(xué)們?nèi)绾瘟私馊叩竭_(dá)的位置，去向。知識(shí)講解更好不是因果關(guān)系而是相關(guān)關(guān)系更多不是隨機(jī)樣本而是全部數(shù)據(jù)更雜不是精確性而是混雜性大數(shù)據(jù)的思維變革知識(shí)講解大數(shù)據(jù)的思維變革人口大普查全數(shù)據(jù)模式隨機(jī)采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式是指在國(guó)家統(tǒng)一規(guī)定的時(shí)間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項(xiàng)目、統(tǒng)一的調(diào)查表和統(tǒng)一的標(biāo)準(zhǔn)時(shí)點(diǎn)，對(duì)全國(guó)人口普遍地、逐戶(hù)逐人地進(jìn)行的一次性調(diào)查登記；主要特點(diǎn)是調(diào)查組織高度集中性，普查對(duì)象的全面完整性；人口大普查耗時(shí)耗費(fèi)，一般來(lái)講是十年一次，新中國(guó)成立以來(lái)共進(jìn)行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；大數(shù)據(jù)時(shí)代小數(shù)據(jù)時(shí)代知識(shí)講解大數(shù)據(jù)的思維變革人口大普查全數(shù)據(jù)模式隨機(jī)采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式人口大普查是一種耗時(shí)耗費(fèi)的工程，一般是以十年為單位；各國(guó)每年需要進(jìn)行幾百次的小規(guī)模人口調(diào)查，采取隨機(jī)采樣分析的方式，這是一種樣本模式；源于實(shí)用并且很好的創(chuàng)新！隨機(jī)采樣分析是小數(shù)據(jù)時(shí)代的產(chǎn)物；大數(shù)據(jù)時(shí)代小數(shù)據(jù)時(shí)代知識(shí)講解大數(shù)據(jù)的思維變革人口大普查全數(shù)據(jù)模式隨機(jī)采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式我們已具備了大數(shù)據(jù)的各種技術(shù)能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機(jī)分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法；這里的“大”是相對(duì)的——相撲比賽所有數(shù)據(jù)存儲(chǔ)還不需要一個(gè)TB，但是是所有的數(shù)據(jù)！在大數(shù)據(jù)時(shí)代采用隨機(jī)采樣法，就像在汽車(chē)時(shí)代騎馬一樣，雖然特定情況下仍可采樣隨機(jī)采樣法，但是慢慢地我們會(huì)放棄它；大數(shù)據(jù)時(shí)代小數(shù)據(jù)時(shí)代案例分析出行大數(shù)據(jù)繪制的“城市星云圖”是這樣的！案例分析出行大數(shù)據(jù)繪制的“城市星云圖”是這樣的！案例分析阿里釘釘大數(shù)據(jù)案例分析如何在大數(shù)據(jù)里掘金？視頻討論交流馬云說(shuō)數(shù)據(jù)重要、李彥宏說(shuō)算法重要、馬化騰說(shuō)場(chǎng)景重要，大家說(shuō)的矛盾嗎？你是怎么理解的？大數(shù)據(jù)給社會(huì)帶來(lái)了哪些影響？馬化騰專(zhuān)訪(fǎng)視頻討論交流大數(shù)據(jù)時(shí)代揭秘廣告為何總能找到你討論交流討論交流大數(shù)據(jù)為生活帶來(lái)便利的同時(shí)也帶來(lái)了安全隱患。我們應(yīng)該如何在大數(shù)據(jù)時(shí)代預(yù)防信息泄露？討論交流大數(shù)據(jù)的安全威脅大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅大數(shù)據(jù)存儲(chǔ)安全威脅隱私泄露問(wèn)題數(shù)據(jù)訪(fǎng)問(wèn)安全威脅針對(duì)大數(shù)據(jù)的高級(jí)持續(xù)性攻擊其他安全威脅思考與練習(xí)1、道路路口監(jiān)控?cái)z像頭24小時(shí)不間斷記錄著視頻，根據(jù)圖像計(jì)算公式計(jì)算一天的數(shù)據(jù)量。（720P的高清攝像頭1280x720像素、24位，按25幀記錄）1280*720*24*86400*25/8/1024/1024/1024=5561.82GB/1024=5.43TB思考與練習(xí)2、學(xué)生學(xué)籍系統(tǒng)中存放著大量的學(xué)生數(shù)據(jù)，這些數(shù)據(jù)是否屬于大數(shù)據(jù)？為什么？這些數(shù)據(jù)不屬于大數(shù)據(jù)，可以從大數(shù)據(jù)的4個(gè)特征入手分析，這些數(shù)據(jù)從個(gè)人角度來(lái)看視乎很“大”，但實(shí)際上遠(yuǎn)遠(yuǎn)達(dá)不到大數(shù)據(jù)的量級(jí)，且這些數(shù)據(jù)更新緩慢、變化少，每個(gè)數(shù)據(jù)都有較大的價(jià)值。思考與練習(xí)“抽樣數(shù)據(jù)”為傳統(tǒng)的數(shù)據(jù)分析方法。在以前，人們無(wú)法對(duì)數(shù)據(jù)進(jìn)行分析，只能從中抽取隨機(jī)樣本，通過(guò)對(duì)這些樣本數(shù)據(jù)的分析，從而評(píng)估出整體數(shù)據(jù)結(jié)論。這種方法高效、便捷、技術(shù)門(mén)檻低，在很多領(lǐng)域中得到廣泛的應(yīng)用。但個(gè)別數(shù)據(jù)畢竟不能代表全體數(shù)據(jù)，隨機(jī)樣本的選擇方法也會(huì)影響其客觀性，人們熟知的“以偏概全”、“管中窺豹”等成語(yǔ)用來(lái)形容分析失敗的情形。隨著大數(shù)據(jù)技術(shù)的發(fā)展，“全樣本數(shù)據(jù)”分析方法變成了可能，人們可以全面了解每個(gè)數(shù)據(jù)的信息，從而更加科學(xué)地做出各種結(jié)論。盡管這種數(shù)據(jù)分析方法精準(zhǔn)、全面、但也面臨許多問(wèn)題。首先，它的技術(shù)門(mén)檻高，大數(shù)據(jù)分析需要專(zhuān)門(mén)的數(shù)據(jù)分析人員，利用專(zhuān)門(mén)的數(shù)據(jù)分析工具（軟件）。其次，數(shù)據(jù)的獲取也需要較高的要求，大數(shù)據(jù)的獲取已經(jīng)不是單純依靠人力能完成的，需要依賴(lài)專(zhuān)用設(shè)備進(jìn)行采集。盡管人類(lèi)社會(huì)進(jìn)入大數(shù)據(jù)時(shí)代，“全樣本數(shù)據(jù)”分析方法將在更多領(lǐng)域得到應(yīng)用，但傳統(tǒng)的“抽樣數(shù)據(jù)”分析方法還會(huì)繼續(xù)存在。3、在處理數(shù)據(jù)時(shí)。往往會(huì)選擇“抽樣數(shù)據(jù)”或“全樣本數(shù)據(jù)”進(jìn)行分析，請(qǐng)比較這樣種分析方式的特點(diǎn)，并舉例說(shuō)明？學(xué)習(xí)評(píng)價(jià)對(duì)自己和同伴的表現(xiàn)進(jìn)行客觀的評(píng)價(jià)，并思考后續(xù)完善的方向