MapReduce作業(yè)配置與提交

MapReduce作業(yè)配置與提交1、hadoop配置文件介紹

2、MapReduce作業(yè)配置與提交

3、舊API作業(yè)提交

4、新API作業(yè)提交

在Hadoop中，Common、HDFS和MapReduce各有對應的配置文件，用于保存對應模塊中可配置的參數(shù)。這些配置文件均為XML格式且由兩部分構(gòu)成：系統(tǒng)默認配置文件和管理員自定義配置文件。其中，系統(tǒng)默認配置文件分別是core-default.xml、hdfs-default.xml和mapred-default.xml，它們包含了所有可配置屬性的默認值。而管理員自定義配置文件分別是core-site.xml、hdfs-site.xml和mapred-site.xml。它們由管理員設置，主要用于定義一些新的配置屬性或者覆蓋系統(tǒng)默認配置文件中的默認值。通常這些配置一旦確定，便不能被修改（如果想修改，需重新啟動Hadoop）。需要注意的是，core-default.xml和core-site.xml屬于公共基礎庫的配置文件，默認情況下，Hadoop總會優(yōu)先加載它們。hadoop配置文件介紹在Hadoop中，每個配置屬性主要包括三個配置參數(shù)：name、value和description，分別表示屬性名、屬性值和屬性描述。其中，屬性描述僅僅用來幫助用戶理解屬性的含義，Hadoop內(nèi)部并不會使用它的值。此外，Hadoop為配置文件添加了兩個新的特性：final參數(shù)和變量擴展。?final參數(shù)：如果管理員不想讓用戶程序修改某些屬性的屬性值，可將該屬性的final參數(shù)置為true，比如：<property><name>mapred.map.tasks.speculative.execution</name><value>true</value><final>true</final></property>hadoop配置文件介紹

管理員一般在XXX-site.xml配置文件中為某些屬性添加final參數(shù)，以防止用戶在應用程序中修改這些屬性的屬性值。1、變量擴展：當讀取配置文件時，如果某個屬性存在對其他屬性的引用，則Hadoop 首先會查找引用的屬性是否為下列兩種屬性之一。如果是，則進行擴展。2、其他已經(jīng)定義的屬性。3、Java中System.getProperties()函數(shù)可獲取屬性。當用戶想要獲取屬性mapred.temp.dir的值時，Hadoop會將Hadoop.tmp.dir解析成該配置文件中另外一個屬性的值，而則被替換成系統(tǒng)屬性的值。hadoop配置文件介紹

在MapReduce中，每個作業(yè)由兩部分組成：應用程序和作業(yè)配置。其中，作業(yè)配置內(nèi)容包括環(huán)境配置和用戶自定義配置兩部分。環(huán)境配置由Hadoop自動添加，主要由mapred-default.xml和mapred-site.xml兩個文件中的配置選項組合而成；用戶自定義配置則由用戶自己根據(jù)作業(yè)特點個性化定制而成，比如用戶可設置作業(yè)名稱，以及Mapper/Reducer、ReduceTask個數(shù)等。在新舊兩套API中，作業(yè)配置接口發(fā)生了變化，首先通過一個例子感受一下使用上的不同。MapReduce作業(yè)配置與提交舊API作業(yè)配置實例：JobConfjob=newJobConf(newConfiguration(),MyJob.class);job.setJobName("myjob");job.setMapperClass(MyJob.MyMapper.class);job.setReducerClass(MyJob.MyReducer.class);JobClient.runJob(job);MapReduce作業(yè)配置與提交

MapReduce配置模塊代碼結(jié)構(gòu)如圖所示。其中，org.apache.Hadoop.conf中的Configuration類是配置模塊最底層的類。從圖中可以看出，該類支持以下兩種基本操作。?序列化：序列化是將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成字節(jié)流，以便于傳輸或存儲。Java實現(xiàn)了 自己的一套序列化框架。凡是需要支持序列化的類，均需要實現(xiàn)Writable接口。?迭代：為了方便遍歷所有屬性，它實現(xiàn)了Java開發(fā)包中的Iterator接口。舊API的作業(yè)配置舊API的作業(yè)配置新API作業(yè)配置實例：Configurationconf=newConfiguration();Jobjob=newJob(conf,"myjob");job.setJarByClass(MyJob.class);job.setMapperClass(MyJob.MyMapper.class);job.setReducerClass(MyJob.MyReducer.class);System.exit(job.waitForCompletion(true)?0:1);MapReduce作業(yè)配置與提交

前面提到，與新API中的作業(yè)配置相關的類是Job。該類同時具有作業(yè)配置和作業(yè)提交的功能，其中，作業(yè)提交將在后面中介紹，這里只關注作業(yè)配置部分。作業(yè)配置部分的類圖如下圖所示。Job類繼承了一個新類JobContext，而Context自身則包含一個JobConf類型的成員。注意，JobContext類僅提供了一些gette