第1章-Hadoop 概述 20230404（已加入思政文化）

第1章Hadoop概述1.Hadoop起源-LOGONutchGFS分布式存儲系統(tǒng)論文MapReduce分布式處理技術論文200420031.Hadoop起源-發(fā)展歷程1.Hadoop起源-發(fā)展歷程1.Hadoop起源–設計思想1.使用普通機器高性能，低成本2.數(shù)據(jù)冗余（HDFS）3.并行化處理（MR）4.移動計算海量數(shù)據(jù)的情況下移動計算比移動數(shù)據(jù)更高效2.Hadoop體系架構–基本組件2.Hadoop體系架構–生態(tài)3.Hadoop與分布式開發(fā)C/SB/S3.Hadoop與分布式開發(fā)hadoop應用開發(fā)MapperReducer實現(xiàn)實現(xiàn)4.Hadoop應用案例1、Hadoop在中國傳統(tǒng)文化的應用2、Hadoop在搜索引擎中的應用3、Hadoop在電商平臺中的應用4.Hadoop應用案例1、Hadoop在中國傳統(tǒng)文化的應用文化遺產(chǎn)保護：Hadoop可以用于存儲和管理大量的文化遺產(chǎn)數(shù)據(jù)，例如歷史建筑、文物和藝術品等。這些數(shù)據(jù)可以被組織、分析和可視化，以幫助文化機構和研究人員更好地了解和保護中國傳統(tǒng)文化。古籍數(shù)字化：Hadoop可以用于處理大規(guī)模的古籍數(shù)據(jù)，包括掃描、OCR、文字識別和文本分析等。這有助于加快古籍數(shù)字化的進程，使得更多的人能夠方便地訪問和研究中國傳統(tǒng)文化。民俗文化研究：Hadoop可以用于分析大規(guī)模的民俗文化數(shù)據(jù)，例如節(jié)日慶典、民間傳說和習俗等。這可以幫助研究人員更好地了解和保護中國傳統(tǒng)的民俗文化，促進文化多樣性的發(fā)展。語言文化保護：Hadoop可以用于處理大規(guī)模的語言數(shù)據(jù)，例如語音、文本和圖像等。這可以幫助保護和傳承中國傳統(tǒng)的語言文化，例如方言和少數(shù)民族語言等?？偟膩碚f，Hadoop可以為中國傳統(tǒng)文化的保護、研究和傳承提供支持，幫助我們更好地了解和珍惜這些文化遺產(chǎn)。4.Hadoop應用案例2、Hadoop在搜索引擎中的應用

百度作為全球最大的中文搜索引擎公司，提供基于搜索引擎的各種產(chǎn)品，包括以網(wǎng)絡搜索為主的功能性搜索，以貼吧為主的社區(qū)搜索，針對區(qū)域、行業(yè)的垂直搜索、MP3音樂搜索以及百科等，幾乎覆蓋了中文網(wǎng)絡世界中所有的搜索需求。百度對海量數(shù)據(jù)處理的要求是比較高的，要在線下對數(shù)據(jù)進行分析，還要在規(guī)定的時間內(nèi)處理完并反饋到平臺上。百度在互聯(lián)網(wǎng)領域的平臺需求要通過性能較好的云平臺進行處理，Hadoop就是很好的選擇。在百度，Hadoop主要應用于日志的存儲和統(tǒng)計；網(wǎng)頁數(shù)據(jù)的分析和挖掘；商業(yè)分析，如用戶的行為和廣告關注度等；在線數(shù)據(jù)的反饋，及時得到在線廣告的點擊情況；用戶網(wǎng)頁的聚類，分析用戶的推薦度及用戶之間的關聯(lián)度。4.Hadoop應用案例3、Hadoop在電商平臺中的應用

在eBay上存儲著上億種商品的信息，而且每天有數(shù)百萬種的新商品在增加，因此需要用云系統(tǒng)來存儲和處理PB級別的數(shù)據(jù)，而Hadoop則是個很好的選擇。Hadoop是建立在商業(yè)硬件上的