2023學年完整公開課版HadoopStreaming

孟繁興目錄0102HadoopStreaming如何工作HadoopStreaming和Java類HadoopStreaming如何工作1HadoopStreaming如何工作無論使用MapReduce程序還是Hive或Pig腳本，本質(zhì)上都是使用基于Java的MapReduce。但是，Java并不是在集群中創(chuàng)建map和reduce作業(yè)的唯一方法。還可以使用HadoopStreaming，它是一個工具，可以將任何可執(zhí)行文件或腳本用作mapper或reducer。以下是一個簡單的示例，演示如何使用常見的Linux實用程序，如cat（列出文件的內(nèi)容）和wc（計算文件中的單詞）來執(zhí)行MapReduce任務。HadoopStreaming如何工作$HADOOPHOME/bin/hadoopjar$HADOOPHOME/hadoop-streaming.jar\-inputmyInputDirs\-outputmyOutputDir\-mapper/bin/cat\-reducer/bin/wcHadoopStreaming如何工作可以看到,mapper和reducer都以操作系統(tǒng)可執(zhí)行文件表示,而不是任何自定義代碼。兩個可執(zhí)行文件cat和wc讀取輸入文件并在終端上顯示輸出(stdout)。在這個簡單的HadoopStreaming示例中，該作業(yè)與任何基于Java的MapReduce完全一樣，具有類似的工作進度和輸出。事實上，根本沒有操作上的差異。下面是mapper和reducer任務的做法:HadoopStreaming如何工作mapper將輸入轉(zhuǎn)換為行，并從標準輸出(stdout）收集輸出，并將每個行轉(zhuǎn)換為key/value對。這個key/value對是mapper進程的輸出，就像在本章前面看到的WordCount程序的情況一樣。reduce任務將key/value對轉(zhuǎn)換為行，并將它們發(fā)送到reduce進程的標準輸入(stdin)。然后，它們從進程的標準輸出中收集輸出并將其轉(zhuǎn)換為key/value對，并將它們變?yōu)閞educer的輸出。HadoopStreaming和Java類2HadoopStreaming和Java類當mapper使用HadoopStreaming時，并不是必須要在mapper和reducer上同時使用非Java可執(zhí)行文件或代碼?？梢曰旌虾推ヅ?以下示例顯示了如何為mapper程序提供Java類,并在reducer中使用操作系統(tǒng)可執(zhí)行文件（wc)。HadoopStreaming和Java類$HADOOPHOME/bin/hadoopjar$HADOOP_HOME/hadoop-streaming.jar\-inputmyInputDirs\-outputmyOutputDir\-mapperorg.apache.hadoop.mapred.lib.IdentityMappe\-reducer/bin/wcHadoopStreaming和Java類可以使用用Python編寫的mapper輕松替換Javamapper，方法是指定-mappermyPythonscript.py。還可以使用用其他編程語言(如Ruby和PHP）編寫的mapper和reducer，這就像我們使用OS可執(zhí)行文件一樣簡單。例如，以下兩行使用基于PHP的mapper和reducer。-mapper/usr/l