信息技術(shù)基礎(chǔ)（拓展模塊） 課件 學習單元5大數(shù)據(jù) 5.3

學習單元五大數(shù)據(jù)5.3熟悉大數(shù)據(jù)的相關(guān)技術(shù)線上課前導學課前自測推課前學習資源包頭腦風暴任務(wù)調(diào)研今天，各種大數(shù)據(jù)工具和技術(shù)如Hadoop、Spark、NoSQL等不斷涌現(xiàn)，為企業(yè)提供了更多的選擇。不僅如此，大數(shù)據(jù)分析也被越來越多的企業(yè)采用，以支持數(shù)據(jù)驅(qū)動的決策和提高業(yè)務(wù)效率。

例如，通過對客戶行為的大數(shù)據(jù)分析，一些網(wǎng)絡(luò)安全公司可以更好地了解客戶需求，提供更精準的客戶服務(wù)。大數(shù)據(jù)相關(guān)技術(shù)是一系列為解決大規(guī)模數(shù)據(jù)處理和管理問題而涌現(xiàn)的技術(shù)，包括體系架構(gòu)和數(shù)據(jù)分析兩方面。在體系架構(gòu)方面，包括分布式文件系統(tǒng)、分布式計算框架、數(shù)據(jù)庫技術(shù)等；在數(shù)據(jù)分析方面，包括機器學習技術(shù)。小思考

請談?wù)勀阏J為大數(shù)據(jù)技術(shù)在未來發(fā)展中可能面臨的一些安全和隱私問題，并提出你的看法和建議。線上課前導學頭腦風暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時代》《Python大數(shù)據(jù)處理與分析》線上課前導學任務(wù)調(diào)研課前自測頭腦風暴1大數(shù)據(jù)相關(guān)技術(shù)包括哪兩個方面？2大數(shù)據(jù)技術(shù)如何幫助實現(xiàn)智能城市、物聯(lián)網(wǎng)、金融風險控制等應(yīng)用？3你了解哪些大數(shù)據(jù)技術(shù)工具和技術(shù)平臺？它們有什么特點和優(yōu)勢？線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)熟悉大數(shù)據(jù)的相關(guān)技術(shù)是當今不可忽視的重要課題，對于企業(yè)和社會發(fā)展都具有重要意義。學習大數(shù)據(jù)技術(shù)需要掌握大數(shù)據(jù)的相關(guān)技術(shù)，包括大數(shù)據(jù)處理和管理的基礎(chǔ)架構(gòu)、分布式文件系統(tǒng)、分布式計算框架、數(shù)據(jù)庫技術(shù)等，以及機器學習技術(shù)和數(shù)據(jù)分析技術(shù)等。

在學習大數(shù)據(jù)技術(shù)的同時，需要了解大數(shù)據(jù)安全的基本概念和防護措施，以及大數(shù)據(jù)隱私保護的方法和標準。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.了解數(shù)據(jù)分析與挖掘；2.熟悉大數(shù)據(jù)體系架構(gòu)。1.數(shù)據(jù)分析和數(shù)據(jù)挖掘的概念數(shù)據(jù)分析和數(shù)據(jù)挖掘的目的是通過對數(shù)據(jù)進行深入研究來發(fā)現(xiàn)新的見解、識別趨勢、提高效率和減少成本。2.數(shù)據(jù)分析的優(yōu)勢根據(jù)研究機構(gòu)AlliedMarketResearch公司發(fā)布的一份調(diào)查報告，到2027年，全球大數(shù)據(jù)和商業(yè)分析市場規(guī)模預(yù)計將達到4209.8億美元，從2020年到2027年的復合年增長率為10.9%。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘3.數(shù)據(jù)分析和挖掘的工作流程大數(shù)據(jù)分析主要利用了4個關(guān)鍵流程。這些工作包括數(shù)據(jù)的收集、處理、清理和分析。以下了解這些關(guān)鍵流程。(1)收集數(shù)據(jù)移動記錄、客戶反饋表、從客戶那里收到的郵件、調(diào)查報告、社交媒體平臺和移動應(yīng)用程序是數(shù)據(jù)分析師可以收集特定信息的來源(2)處理數(shù)據(jù)在收集數(shù)據(jù)之后，下一步要使用它將數(shù)據(jù)存儲在數(shù)據(jù)池或數(shù)據(jù)倉庫中，將允許分析師組織、配置和分組大數(shù)據(jù)，以便為每個請求繪制清晰的圖表，這對于最終結(jié)果也將更加準確。(3)清理數(shù)據(jù)為確保處理過的數(shù)據(jù)分析師的工作是完整和可行的，它必須清除重復數(shù)據(jù)、不真實輸入、系統(tǒng)錯誤和其他類型的偏差。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘(4)分析數(shù)據(jù)這是最后一個步驟，可以分析收集、處理和清理的原始數(shù)據(jù)，并有可能提取急需的結(jié)果。在這里可以使用：1)數(shù)據(jù)挖掘2)人工智能3)文本挖掘4)機器學習5)預(yù)測分析6)深度學習線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘大數(shù)據(jù)架構(gòu)設(shè)計用來處理對傳統(tǒng)數(shù)據(jù)庫系統(tǒng)而言太大或太復雜的數(shù)據(jù)的引入、處理和分析。組織進入大數(shù)據(jù)領(lǐng)域的門檻各不相同，具體取決于用戶的權(quán)限及其工具的功能。1.Hadoop體系架構(gòu)Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，如圖所示。為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)2.

Lambda體系架構(gòu)隨著大數(shù)據(jù)應(yīng)用的發(fā)展，人們逐漸對系統(tǒng)的實時性提出了要求，為了計算一些實時指標，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個實時計算的鏈路，并對數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊列），實時計算去訂閱消息隊列，直接完成指標增量的計算，推送到下游的數(shù)據(jù)服務(wù)中去，由數(shù)據(jù)服務(wù)層完成離線與實時結(jié)果的合并。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)3.Kappa體系架構(gòu)Lambda架構(gòu)雖然滿足了實時的需求，但帶來了更多的開發(fā)與運維工作，其架構(gòu)背景是流處理引擎還不完善，流處理的結(jié)果只作為臨時的、近似的值提供參考。后來隨著Flink

等流處理引擎的出現(xiàn)，流處理技術(shù)很成熟了，這時為了解決兩套代碼的問題，LickedIn

的JayKreps提出了Kappa架構(gòu)。Kappa架構(gòu)在Lambda的基礎(chǔ)上進行了優(yōu)化，將實時和流部分進行了合并，將數(shù)據(jù)通道以消息隊列進行替代。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)4.Unifield體系架構(gòu)以上的種種架構(gòu)都圍繞海量數(shù)據(jù)處理為主，Unifield架構(gòu)則更激進，將機器學習和數(shù)據(jù)處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對其進行了改造，在流處理層新增了機器學習層。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)相關(guān)技術(shù)主要包括以下兩方面：A.數(shù)據(jù)庫技術(shù)和數(shù)據(jù)可視化技術(shù)B.數(shù)