模塊五 大數(shù)據(jù)（36）

1、感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！工業(yè)和信息化精品系列教材信息技術(shù)（拓展模塊）大數(shù)據(jù)模塊五感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！目錄認(rèn)識(shí)大數(shù)據(jù)了解大數(shù)據(jù)技術(shù)了解大數(shù)據(jù)工具任務(wù)一任務(wù)二任務(wù)三熟悉大數(shù)據(jù)安全任務(wù)四感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)

2、任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！我們身處飛速發(fā)展的社會(huì)之中，整個(gè)社會(huì)每時(shí)每刻都在產(chǎn)生并使用海量的數(shù)據(jù)，大到工程施工、環(huán)保監(jiān)測(cè)，小到外賣(mài)點(diǎn)餐、網(wǎng)絡(luò)購(gòu)物等，在大數(shù)據(jù)技術(shù)的幫助下，產(chǎn)生的這些數(shù)據(jù)都能夠被我們高效地利用起來(lái)。本任務(wù)將對(duì)大數(shù)據(jù)的基本知識(shí)進(jìn)行介紹，讓大家對(duì)大數(shù)據(jù)有更深入的體會(huì)，再通過(guò)體驗(yàn)大數(shù)據(jù)帶來(lái)的便利進(jìn)行實(shí)踐操作。任務(wù)描述任務(wù)描述認(rèn)識(shí)大數(shù)據(jù)任務(wù)一感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！相關(guān)知識(shí)（一）大數(shù)據(jù)的概念和特征（二）

3、大數(shù)據(jù)的結(jié)構(gòu)類型（三）大數(shù)據(jù)的時(shí)代背景相關(guān)知識(shí)認(rèn)識(shí)大數(shù)據(jù)任務(wù)一（四）大數(shù)據(jù)的應(yīng)用場(chǎng)景（五）大數(shù)據(jù)的發(fā)展趨勢(shì)感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！5 （一）大數(shù)據(jù)的概念和特征在合理時(shí)間內(nèi)無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具或傳統(tǒng)流程對(duì)其內(nèi)容進(jìn)行抓取、管理、處理和分析，能有效支持決策制訂的復(fù)雜數(shù)據(jù)集合。要想更透徹地理解這個(gè)定義，我們還需要知道大數(shù)據(jù)的獨(dú)有特征。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！

4、包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！6 （二）大數(shù)據(jù)的結(jié)構(gòu)類型預(yù)定義數(shù)據(jù)類型、格式和結(jié)構(gòu)的數(shù)據(jù)，可以簡(jiǎn)單地理解為數(shù)據(jù)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)具有不規(guī)則數(shù)據(jù)格式的文本數(shù)據(jù)，可使用工具將其格式化處理準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)具有可識(shí)別的模式并可以解析的文本數(shù)據(jù)，如自描述和具有定義模式的XML數(shù)據(jù)等半結(jié)構(gòu)化數(shù)據(jù)沒(méi)有固定結(jié)構(gòu)的數(shù)據(jù)，通常保存為不同類型的文件，如文本文檔、PDF 文檔、圖像和視頻文件等非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)的結(jié)構(gòu)類型感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠

5、償！7 （三）大數(shù)據(jù)的時(shí)代背景隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)相繼出現(xiàn)并應(yīng)用到我們的生活、學(xué)習(xí)和工作中，各種新型的信息交流不斷涌現(xiàn)，全球數(shù)據(jù)信息量呈指數(shù)式增長(zhǎng)。僅2011年，全球數(shù)據(jù)總量就達(dá)到了1.8 ZB（1 ZB 相當(dāng)于1 萬(wàn)億GB）。而現(xiàn)在，全球數(shù)據(jù)總量已經(jīng)超過(guò)了40 ZB，數(shù)據(jù)已經(jīng)發(fā)展成為全社會(huì)的資源，各個(gè)行業(yè)既是數(shù)據(jù)的創(chuàng)造者，也是數(shù)據(jù)的消費(fèi)者。在這樣的背景下，如何處理這樣龐大的數(shù)據(jù)，如何在這些數(shù)據(jù)中快速找到實(shí)用的信息，如何將這些有價(jià)值的數(shù)據(jù)信息服務(wù)于社會(huì)，就是我們迫切需要解決的問(wèn)題。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利

6、益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！8 （四）大數(shù)據(jù)的應(yīng)用場(chǎng)景大數(shù)據(jù)的應(yīng)用場(chǎng)景包括各行各業(yè)對(duì)大數(shù)據(jù)的處理和分析，而實(shí)際上大數(shù)據(jù)的應(yīng)用遠(yuǎn)不僅限于這些行業(yè)。01零售業(yè)02金融業(yè)03醫(yī)療業(yè)04教育業(yè)05農(nóng)業(yè)06交通業(yè)感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！9 （五）大數(shù)據(jù)的發(fā)展趨勢(shì)與大數(shù)據(jù)相關(guān)的配套政策和實(shí)施細(xì)則，以及管理機(jī)制都將逐步完善，這些措施將促進(jìn)大數(shù)據(jù)加快落地，為大數(shù)據(jù)實(shí)現(xiàn)政用、商用、民用

7、提供幫助和指導(dǎo)。人工智能將成為大數(shù)據(jù)生態(tài)中的重要組成部分，相關(guān)方面將得到廣泛應(yīng)用，包括醫(yī)療、電商、交通、金融、教育等領(lǐng)域都將取得突破性發(fā)展。工業(yè)大數(shù)據(jù)在自身基礎(chǔ)設(shè)施建設(shè)及同其他產(chǎn)業(yè)平臺(tái)的融合方面將更加完善，將探索出制造業(yè)網(wǎng)絡(luò)化、數(shù)字化和智能化發(fā)展的新模式。大數(shù)據(jù)安全法律體系建設(shè)將進(jìn)一步完善，安全技術(shù)、產(chǎn)品和服務(wù)等方面的創(chuàng)新應(yīng)用將不斷增多。伴隨市場(chǎng)對(duì)數(shù)據(jù)交易需求的增大，以及相關(guān)機(jī)制的完善，未來(lái)有望出現(xiàn)立體化的數(shù)據(jù)市場(chǎng)交易格局。大數(shù)據(jù)學(xué)科自身的理論體系將得以建立，并有望在豐富完善過(guò)程中對(duì)學(xué)科理論基礎(chǔ)的探索發(fā)揮更大作用。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)

8、制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！任務(wù)實(shí)踐實(shí)際生活中你感受或體驗(yàn)過(guò)大數(shù)據(jù)帶來(lái)的便利嗎？請(qǐng)按照表所示的書(shū)寫(xiě)方式將具體內(nèi)容填寫(xiě)到表格中。認(rèn)識(shí)大數(shù)據(jù)任務(wù)一事項(xiàng)主要工作網(wǎng)絡(luò)購(gòu)物通過(guò)大數(shù)據(jù)向自己推送喜愛(ài)的商品品牌和類型，節(jié)省了購(gòu)物時(shí)間任感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！目錄認(rèn)識(shí)大數(shù)據(jù)了解大數(shù)據(jù)技術(shù)了解大數(shù)據(jù)工具任務(wù)一任務(wù)二任務(wù)三熟悉大數(shù)據(jù)安全任務(wù)四感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以

9、及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！大數(shù)據(jù)技術(shù)是指人們?cè)谑褂么髷?shù)據(jù)時(shí)，為了實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行采集、處理、存儲(chǔ)、分析、可視化等操作而用到的各種技術(shù)。本任務(wù)將對(duì)大數(shù)據(jù)的基本知識(shí)進(jìn)行介紹，讓大家對(duì)大數(shù)據(jù)有更深入的體會(huì)，再通過(guò)體驗(yàn)大數(shù)據(jù)帶來(lái)的便利進(jìn)行實(shí)踐操作。任務(wù)描述任務(wù)描述了解大數(shù)據(jù)技術(shù)任務(wù)二感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！相關(guān)知識(shí)（一）大數(shù)據(jù)采集（二）大數(shù)據(jù)預(yù)處理（三）大數(shù)據(jù)存

10、儲(chǔ)與管理相關(guān)知識(shí)（四）大數(shù)據(jù)分析與挖掘（五）大數(shù)據(jù)可視化了解大數(shù)據(jù)技術(shù)任務(wù)二感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！14 （一）大數(shù)據(jù)采集n 采集內(nèi)容數(shù)據(jù)采集這類數(shù)據(jù)可以使用Hadoop、Spark、Cloudera 等專門(mén)的海量數(shù)據(jù)采集工具，能滿足每秒數(shù)百M(fèi)B 的數(shù)據(jù)采集和傳輸需求。n 采集網(wǎng)絡(luò)數(shù)據(jù)采集這類數(shù)據(jù)可以通過(guò)網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)站公開(kāi)的應(yīng)用程序接口等方式從網(wǎng)站上獲取數(shù)據(jù)信息。n 采集其他企業(yè)或組織機(jī)構(gòu)的內(nèi)部數(shù)據(jù)對(duì)于需要采集某些企業(yè)的生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)或研究機(jī)構(gòu)的

11、學(xué)科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過(guò)與該企業(yè)或研究機(jī)構(gòu)開(kāi)展合作，使用特定系統(tǒng)接口等相關(guān)方式進(jìn)行采集感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！15 （一）大數(shù)據(jù)采集數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是企業(yè)較常選擇的一種采集技術(shù)，可以輕松采集企業(yè)內(nèi)部的大量數(shù)據(jù)，其作用是將企業(yè)中分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，

12、按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！16 （二）大數(shù)據(jù)預(yù)處理通過(guò)大數(shù)據(jù)預(yù)處理可以將結(jié)構(gòu)復(fù)雜的數(shù)據(jù)轉(zhuǎn)換為單一的或便于處理的數(shù)據(jù)，同時(shí)可以清除數(shù)據(jù)中的干擾項(xiàng)，保證數(shù)據(jù)的質(zhì)量和可靠性，最終為數(shù)據(jù)分析打下基礎(chǔ)。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！17 （二）大數(shù)據(jù)預(yù)處理更正、修復(fù)一些錯(cuò)誤數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行歸納整理，并將其存儲(chǔ)數(shù)據(jù)清洗采用線性或非線性的數(shù)學(xué)變換方法，將多維數(shù)據(jù)壓縮成較少維數(shù)的數(shù)據(jù)數(shù)據(jù)交換將數(shù)據(jù)源中的數(shù)據(jù)集成到一個(gè)統(tǒng)一的數(shù)據(jù)集合中數(shù)據(jù)集成從數(shù)據(jù)庫(kù)或數(shù)

13、據(jù)倉(cāng)庫(kù)中選取并建立使用者感興趣的數(shù)據(jù)集合數(shù)據(jù)規(guī)約大數(shù)據(jù)預(yù)處理感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！18 （三）大數(shù)據(jù)存儲(chǔ)與管理大數(shù)據(jù)場(chǎng)景下，數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)，而數(shù)據(jù)存儲(chǔ)能力的增長(zhǎng)遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長(zhǎng)，因此選擇合適的大數(shù)據(jù)存儲(chǔ)與管理技術(shù)十分重要。直接附加存儲(chǔ)網(wǎng)絡(luò)附加存儲(chǔ)存儲(chǔ)區(qū)域網(wǎng)絡(luò)iSCSI 網(wǎng)絡(luò)存儲(chǔ)01020403感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照

14、傳播下載次數(shù)進(jìn)行十倍的索取賠償！19 （四）大數(shù)據(jù)分析與挖掘大數(shù)據(jù)分析是指利用正確的分析方法和分析工具對(duì)經(jīng)過(guò)預(yù)處理的大數(shù)據(jù)進(jìn)行分析，從中提取出具有價(jià)值的信息，為大數(shù)據(jù)可視化環(huán)節(jié)提供關(guān)鍵的數(shù)據(jù)結(jié)果。1大數(shù)據(jù)分析01多維聚類分析02因子分析03相關(guān)分析04對(duì)應(yīng)分析05回歸分析06方差分析感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！20 （四）大數(shù)據(jù)分析與挖掘大數(shù)據(jù)挖掘是一個(gè)發(fā)現(xiàn)數(shù)據(jù)特征和模式的過(guò)程，一般來(lái)說(shuō)，大數(shù)據(jù)挖掘的過(guò)程包含6 個(gè)環(huán)節(jié)。2大數(shù)據(jù)挖掘感謝您下載包圖網(wǎng)

15、平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！21 （四）大數(shù)據(jù)分析與挖掘?qū)τ诖髷?shù)據(jù)挖掘的方法而言，常用的主要方法包括以下幾種。神經(jīng)網(wǎng)絡(luò)算法決策樹(shù)方法覆蓋正例排斥反例方法模糊集方法遺傳算法粗糙集方法統(tǒng)計(jì)分析方法感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！22 （五）大數(shù)據(jù)可視化大數(shù)據(jù)可視化的呈現(xiàn)形式也比一般的數(shù)據(jù)可視化的呈現(xiàn)形式更加多樣，具體有以下3

16、種。數(shù)據(jù)可視化指標(biāo)可視化數(shù)據(jù)關(guān)系可視化感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！任務(wù)實(shí)踐本次任務(wù)實(shí)踐將利用八爪魚(yú)采集器采集58 同城網(wǎng)站中成都地區(qū)招聘程序員的數(shù)據(jù)，然后在Excel 中對(duì)數(shù)據(jù)進(jìn)行預(yù)處理、分析和可視化操作，挖掘出該地區(qū)在招聘程序員時(shí)對(duì)學(xué)歷要求的情況。了解大數(shù)據(jù)技術(shù)任務(wù)二（一）采集招聘數(shù)據(jù)（二）處理并分析數(shù)據(jù)感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照

17、傳播下載次數(shù)進(jìn)行十倍的索取賠償！目錄認(rèn)識(shí)大數(shù)據(jù)了解大數(shù)據(jù)技術(shù)了解大數(shù)據(jù)工具任務(wù)一任務(wù)二任務(wù)三熟悉大數(shù)據(jù)安全任務(wù)四感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！2020 年4 月9 日發(fā)布的關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)將數(shù)據(jù)與土地、勞動(dòng)力、資本、技術(shù)并稱為5 種要素，數(shù)據(jù)對(duì)社會(huì)生活方式和國(guó)家治理能力產(chǎn)生的重要影響可見(jiàn)一斑。對(duì)大數(shù)據(jù)工具而言，從海量的數(shù)據(jù)背后挖掘到隱含的價(jià)值，便是其使命所在。本任務(wù)將介紹Hadoop 和Spark 這兩種常用的大數(shù)據(jù)工具

18、，然后通過(guò)搜索大數(shù)據(jù)工具相關(guān)的問(wèn)題進(jìn)行實(shí)踐操作。任務(wù)描述任務(wù)描述了解大數(shù)據(jù)工具任務(wù)三感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！相關(guān)知識(shí)（一）Hadoop（二）Spark相關(guān)知識(shí)了解大數(shù)據(jù)工具任務(wù)三感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！27 （一）HadoopHadoop 是基于Java 開(kāi)發(fā)的大數(shù)據(jù)工具，它具有很好的跨平臺(tái)特性

19、，其核心是分布式文件系統(tǒng)和MapReduce。Hadoop 作為分布式計(jì)算平臺(tái)，不僅能夠處理海量數(shù)據(jù)，還具備其他一些優(yōu)勢(shì)。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！28 （二）SparkSpark 源于美國(guó)加州大學(xué)伯克利分校AMPLab 的集群計(jì)算平臺(tái)，于2010 年開(kāi)放源碼，在2013年進(jìn)入Apache 孵化器項(xiàng)目，并于2014 年成為Apache 三個(gè)頂級(jí)項(xiàng)目之一。Spark 被稱為下一代計(jì)算平臺(tái)，它立足于內(nèi)存計(jì)算，從多迭代批量處理出發(fā)，兼容數(shù)據(jù)倉(cāng)庫(kù)、流處理

20、和圖計(jì)算等多種計(jì)算方式，其設(shè)計(jì)目標(biāo)是讓數(shù)據(jù)分析更加快速，提供比Hadoop 更上層的應(yīng)用程序接口，支持交互查詢和迭代計(jì)算。感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！任務(wù)實(shí)踐根據(jù)表中的搜索關(guān)鍵詞搜索相關(guān)內(nèi)容，了解與大數(shù)據(jù)工具相關(guān)的知識(shí)，并回答問(wèn)題。了解大數(shù)據(jù)工具任務(wù)三搜索關(guān)鍵詞HadoopMapReduceSpark大數(shù)據(jù)工具問(wèn)題 Hadoop 大數(shù)據(jù)工具在未來(lái)還會(huì)流行嗎？為什么？ MapReduce 到底有什么缺陷？該搜索引擎技術(shù)會(huì)過(guò)時(shí)嗎？ 與Hadoop 相比

21、，Spark 強(qiáng)大在哪些地方？ 通過(guò)互聯(lián)網(wǎng)了解了大數(shù)據(jù)工具后，你還知道哪些目前較為熱門(mén)的大數(shù)據(jù)工具，它們的優(yōu)勢(shì)各是什么？感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！目錄認(rèn)識(shí)大數(shù)據(jù)了解大數(shù)據(jù)技術(shù)了解大數(shù)據(jù)工具任務(wù)一任務(wù)二任務(wù)三熟悉大數(shù)據(jù)安全任務(wù)四感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！目前，我國(guó)正處于建立健全與大數(shù)據(jù)采集、分析等環(huán)節(jié)

22、相關(guān)的監(jiān)管制度中，在沒(méi)有標(biāo)準(zhǔn)和相應(yīng)監(jiān)管措施的情況下，大數(shù)據(jù)泄露事件多有發(fā)生，這已經(jīng)暴露出大數(shù)據(jù)時(shí)代用戶隱私安全的尖銳問(wèn)題。人們?cè)诟咝Ю么髷?shù)據(jù)技術(shù)的同時(shí)，也需要增強(qiáng)安全隱私意識(shí)，加強(qiáng)全方位的安全隱私防護(hù)，明確數(shù)據(jù)歸屬及訪問(wèn)權(quán)限，讓大數(shù)據(jù)更好地為人們的生活和工作服務(wù)。本任務(wù)將介紹大數(shù)據(jù)相關(guān)的安全問(wèn)題和安全防護(hù)方法，然后通過(guò)案例分析進(jìn)行實(shí)踐操作。任務(wù)描述任務(wù)描述熟悉大數(shù)據(jù)安全任務(wù)四感謝您下載包圖網(wǎng)平臺(tái)上提供的PPT作品，為了您和包圖網(wǎng)以及原創(chuàng)作者的利益，請(qǐng)勿復(fù)制、傳播、銷售，否則將承擔(dān)法律責(zé)任！包圖網(wǎng)將對(duì)作品進(jìn)行維權(quán)，按照傳播下載次數(shù)進(jìn)行十倍的索取賠償！相關(guān)知識(shí)（一）大數(shù)據(jù)應(yīng)用中面臨的安全問(wèn)題（二）大數(shù)據(jù)的安全防護(hù)方法相關(guān)知識(shí)熟悉大數(shù)據(jù)安全任務(wù)