版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領
文檔簡介
MapReduce作業(yè)配置與提交1、hadoop配置文件介紹
2、MapReduce作業(yè)配置與提交
3、舊API作業(yè)提交
4、新API作業(yè)提交
在Hadoop中,Common、HDFS和MapReduce各有對應的配置文件,用于保存對應模塊中可配置的參數(shù)。這些配置文件均為XML格式且由兩部分構(gòu)成:系統(tǒng)默認配置文件和管理員自定義配置文件。其中,系統(tǒng)默認配置文件分別是core-default.xml、hdfs-default.xml和mapred-default.xml,它們包含了所有可配置屬性的默認值。而管理員自定義配置文件分別是core-site.xml、hdfs-site.xml和mapred-site.xml。它們由管理員設置,主要用于定義一些新的配置屬性或者覆蓋系統(tǒng)默認配置文件中的默認值。通常這些配置一旦確定,便不能被修改(如果想修改,需重新啟動Hadoop)。需要注意的是,core-default.xml和core-site.xml屬于公共基礎庫的配置文件,默認情況下,Hadoop總會優(yōu)先加載它們。hadoop配置文件介紹在Hadoop中,每個配置屬性主要包括三個配置參數(shù):name、value和description,分別表示屬性名、屬性值和屬性描述。其中,屬性描述僅僅用來幫助用戶理解屬性的含義,Hadoop內(nèi)部并不會使用它的值。此外,Hadoop為配置文件添加了兩個新的特性:final參數(shù)和變量擴展。?final參數(shù):如果管理員不想讓用戶程序修改某些屬性的屬性值,可將該屬性的final參數(shù)置為true,比如:<property><name>mapred.map.tasks.speculative.execution</name><value>true</value><final>true</final></property>hadoop配置文件介紹
管理員一般在XXX-site.xml配置文件中為某些屬性添加final參數(shù),以防止用戶在應用程序中修改這些屬性的屬性值。1、變量擴展:當讀取配置文件時,如果某個屬性存在對其他屬性的引用,則Hadoop 首先會查找引用的屬性是否為下列兩種屬性之一。如果是,則進行擴展。2、其他已經(jīng)定義的屬性。3、Java中System.getProperties()函數(shù)可獲取屬性。當用戶想要獲取屬性mapred.temp.dir的值時,Hadoop會將Hadoop.tmp.dir解析成該配置文件中另外一個屬性的值,而則被替換成系統(tǒng)屬性的值。hadoop配置文件介紹
在MapReduce中,每個作業(yè)由兩部分組成:應用程序和作業(yè)配置。其中,作業(yè)配置內(nèi)容包括環(huán)境配置和用戶自定義配置兩部分。環(huán)境配置由Hadoop自動添加,主要由mapred-default.xml和mapred-site.xml兩個文件中的配置選項組合而成;用戶自定義配置則由用戶自己根據(jù)作業(yè)特點個性化定制而成,比如用戶可設置作業(yè)名稱,以及Mapper/Reducer、ReduceTask個數(shù)等。在新舊兩套API中,作業(yè)配置接口發(fā)生了變化,首先通過一個例子感受一下使用上的不同。MapReduce作業(yè)配置與提交舊API作業(yè)配置實例:JobConfjob=newJobConf(newConfiguration(),MyJob.class);job.setJobName("myjob");job.setMapperClass(MyJob.MyMapper.class);job.setReducerClass(MyJob.MyReducer.class);JobClient.runJob(job);MapReduce作業(yè)配置與提交
MapReduce配置模塊代碼結(jié)構(gòu)如圖所示。其中,org.apache.Hadoop.conf中的Configuration類是配置模塊最底層的類。從圖中可以看出,該類支持以下兩種基本操作。?序列化:序列化是將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成字節(jié)流,以便于傳輸或存儲。Java實現(xiàn)了 自己的一套序列化框架。凡是需要支持序列化的類,均需要實現(xiàn)Writable接口。?迭代:為了方便遍歷所有屬性,它實現(xiàn)了Java開發(fā)包中的Iterator接口。舊API的作業(yè)配置舊API的作業(yè)配置新API作業(yè)配置實例:Configurationconf=newConfiguration();Jobjob=newJob(conf,"myjob");job.setJarByClass(MyJob.class);job.setMapperClass(MyJob.MyMapper.class);job.setReducerClass(MyJob.MyReducer.class);System.exit(job.waitForCompletion(true)?0:1);MapReduce作業(yè)配置與提交
前面提到,與新API中的作業(yè)配置相關的類是Job。該類同時具有作業(yè)配置和作業(yè)提交的功能,其中,作業(yè)提交將在后面中介紹,這里只關注作業(yè)配置部分。作業(yè)配置部分的類圖如下圖所示。Job類繼承了一個新類JobContext,而Context自身則包含一個JobConf類型的成員。注意,JobContext類僅提供了一些gette
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 傳感器課件教學
- 大班古詩畫(幼兒園課件)
- 擺渡人讀書心得
- 承包建材廠合同(3篇)
- 標準租房合同(32篇)
- 愛崗敬業(yè)演講稿(范例11篇)
- 財務會計的實習報告
- 《松鼠》教學設計
- 車庫租賃簡單的合同(35篇)
- 遼寧省撫順市(2024年-2025年小學四年級語文)人教版綜合練習(上學期)試卷及答案
- 新版 六安市城鎮(zhèn)職工生育保險生育登記表
- 存貨管理及流程
- 區(qū)間——優(yōu)質(zhì)公開課
- 金庫施工方案
- 中國黑石材檢測報告
- 項目投資意向書范文3篇
- 排水箱涵工程施工設計方案(終稿)
- 鋼筋直螺紋連接專項施工方案.doc
- (完整word版)建筑勞務公司項目部工作管理制度
- 一年級安全教育PPT經(jīng)典實用
- 信息化項目建設管理難點分析與對策
評論
0/150
提交評論