大數據平臺工作原理

大數據平臺hadoop工作原理hadoop工作原理Hadoop無非就是：HDFS(文件系統(tǒng))，yarn(資源管理，任務調配)，mapReduce(編程模型，大數據并行運算)，我們安裝完hadoop就已經包括了以上；Hadoop集群其實就是HDFS集群，說到HDFS,下面來談談什么是HDFS。HDFS：其實就是個文件系統(tǒng)，和fastDFS類似，像百度云，阿里云等就是個文件存儲系統(tǒng)，當然一般如果僅僅是為了用來存儲文件的話直接fastDFS這個就已經夠了，HDFS目的不單單是用來存儲文件這么簡單，它還涉及分布式計算等。HDFS工作原理，用文字有點難以表達，那么我就直接畫個圖吧:hdfs工作原理hadoop工作原理HDFS分有NameNode和DataNode，NameNode是整個文件系統(tǒng)目錄，基于內存存儲，存儲的是一些文件的詳細信息，比如文件名、文件大小、創(chuàng)建時間、文件位置等。Datanode是文件的數據信息，也就是文件本身，不過是分割后的小文件。上面圖已經有做了介紹了，這里就不再贅述了。Yarn：是一種新的Hadoop資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應用提供統(tǒng)一的資源管理和調度，它的引入為集群在利用率、資源統(tǒng)一管理和數據共享等方面帶來了巨大好處。MapReduce：MapReduce是一種編程模型，用于大規(guī)模數據集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當前的軟件實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（歸約）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。hadoop工作原理hadoop工作原理MapReduce所編寫好的程序將跑在各個DataNode上，這里有個概念就是計算向數據移動，也就是DataNode的數據文件存儲在這里，我的程序發(fā)送到DataNode節(jié)點上去讀取數據和分析數據就好了。期間會有出現各個DataNode之間進行數據發(fā)送，比如說節(jié)點DataNode1進行這臺機讀取數據時進行shuffle時需要把相同的key作為一組調用一次reduce，那么如果這時當然會有一些同key的在其他節(jié)點DataNode上的，所以就需要進行數據傳送。Input這里的wordcount.txt就是DataNode上的文件數據。Split階段是MapReduce一定會執(zhí)行的，這是它的規(guī)則，而map階段就是我們必須進行手動干預的，也就是編碼對數據進行分析，分析成map文件，然后再shuffle階段中自發(fā)進行數據派送，規(guī)則是以同樣的key為一組調用reduce階段進行數據壓縮，reduce也是進行手動干預的，我們編碼進行數據計算，計算同key的個數，統(tǒng)計完后就可以輸出一個文件出來了，這整個過程數據的傳輸都是放在co