大數(shù)據(jù)試驗(yàn)報(bào)告

1、Guizhou University of Finance and Economics課程實(shí)驗(yàn)報(bào)告專業(yè)年級(jí)14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教帥李均濤學(xué)生姓名吳勇學(xué)號(hào) 20142205042026實(shí)驗(yàn)日期 2017.05.04實(shí)驗(yàn)地點(diǎn)篤行樓B棟301實(shí)驗(yàn)成績教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)?zāi)康募耙驦iunx基本操作.了解Liunx操作系統(tǒng)發(fā)展歷史。學(xué)習(xí)Liunx操作系統(tǒng)基本概念及操作。學(xué)習(xí)Liunx操作系統(tǒng)用戶及文件權(quán)限管理 Linux目錄結(jié)構(gòu)及文件基本操作。實(shí)驗(yàn)1.實(shí)驗(yàn)樓環(huán)境介紹，常用Shell命令及快捷鍵，Linux使用小技巧。內(nèi)容 2.Linux

2、中創(chuàng)建、刪除用戶，及用戶組等操作。Linux中的文件權(quán)限設(shè)谿。3. Linux的文件組織目錄結(jié)構(gòu)，相對路徑和絕對路徑，對文件的移動(dòng)、復(fù)制、 重命名、編輯等操作。1. Liunx輸入輸出命令實(shí)驗(yàn)步驟2.ihtjrAfllaid :-r/ $ tMCh ftle EbtyanloM:"/ $ cd Cade &hLjrn* Cod</ $ pud/hwie/shtyanlou/Code shiytnlau"Cod*/ S |9：42：39如仙；59J53：439：43：叫=示工JUU-使用touch命令創(chuàng)建文件夾，后綴都為txt。3.學(xué)會(huì)在命令行中獲取幫助。jEf

3、ll-iEl * 齒I «|B¥iWijb «W手冊分頁顯示二只NAH(l)NMEzn 在坎考手Ji的株口蔻述5 (-C 迪 趾,】3*【=四】I-* 駐】f-L 心5一 .一.一一一_ 丁展t-l-I »-r»9«<|-wUdr>rd-* -vl勺z -P 分空程庠-r 擔(dān);Jij -7-E 二''-<Tft L-HiMttJt-i >3IJ K :. J5 4【com lit里】, rMil -K HI bS Ult -11-11 Lzrsm【心】詞匿 a r j. > *! >

4、rdL. 帕也 -M'hnkaMtlM) ('-o-justflc*tiflo，孕/出 1 -tNn whatis 選地.也.MU -I -C iLftJ 瑚】EfM皿LIr郵】p分頁我序L r-r 勤rd -71 -e !&B卜p ¥ssmi i-tI'XimiJ >11 5jSl I'H -C ±kl g 頃頁 w -c -C Ml r-d J。】頁&1| 牌jinui.l p.Si* pw>C1)i Itin. 1 (pr.：»i h for Mlp w q to4.輸出圖形字符。Xfl'i

5、E mLQi夜用3 喑*工|有蓄辿 附期HJsysvbanner升級(jí)了日個(gè)段件色、新安裝了 1個(gè)軟件包.要卸莪0個(gè)軟件悒.有151個(gè)軟件包未被升常要下軾們5淖&的牧件包博壓精后龕消轉(zhuǎn)掉73,7 kB的筋外空間.荻取:1 http:/mtrrors.aliyuncs.ccn/utuntu/ trustyuniverse sysvtanner 丹時(shí)64 1.0 ,15 6,599 B下栽6.595 B .耗時(shí)應(yīng)秘CO &0正在逸中未庖擇的軾件包釗找說mwr“(正在該取數(shù)據(jù)摩.系統(tǒng)當(dāng)前共安裝有Z7579個(gè)文件和目或.)jF準(zhǔn)fi藉包./sysvbanner_1.0L15_aftdG.

6、deb 正在桐庖sytvbanMr (1.6土)正在屈閔用于nan - db (. - lubuntu 1)的觸發(fā)器.正在設(shè)擔(dān) 即如baM河£1*0.15) .shiy-anlou: -/$ 8抓"wuyonq* a a 酋# 甘漱 弁# *# #* 。#sn*#林尊 w *#ssMgliauT S5.查看用戶。*Ai0：eeii4mm；*】ie：95:50：iBnrinal ttk| wyonB2617-05-M 09:57 Bcm likes2«17-B5-M 09:57 (:1-O)shtjranloii:-/ $ who w I whL歸Mo

7、u Dts/O shl“nlg：-/ $ who hlyahlo-LJ 口 shtyanlou:-/ $ I直州9 miEJ MM；yi 心 TOifci6.創(chuàng)建新用戶。shiyanlcu:-/ $ sudo ddduser wuyang10:09:21正在海加用戶-wuycng".正在德加籟蛆"wuyongH正在添加麻用戶'wuyongri (1000)到螭偵yon礦 鋼建圭自" /hone fMyong ' 正在從"/etc/skel-復(fù)制文件.，.輸入斯的UNIX滂媽:市航渣入新的UNIX昭碼：pMSwd : 口成功更新雷碼正在改安

8、m叩wig律用戶信息請WJ入新值.或直援他回車供以使用歇認(rèn)值全名；房間號(hào)碼，工作電話J：家庭電話【：真它 :這些信息是否正福？ Y/n Ysilly an Lou:*/ $ Is /hone &hiyanlcu wuyong10:16:53s+iiyanlcu:*/ $ su -1 lilet 沒有用戶wUlei,h的密碼項(xiàng)10:11:12shiysnlcu:-*/ $ su -1 wu/ang 密碼:wu yonflf9ed98cblfflS10:1133a|ifinB 9Mi£i格KMD 林魯伯1 tflhm)7.刪除用戶。D >ma mmil. ,句也 WiL節(jié)臨

9、血&hiyjinliaiu:»/ $group | sor t|1B: 17:13皿 沒有那個(gè)文件成目錄! cat/etc/groupthiyanlou$ sudo deluser 正土尋找要備份殘州琮的文件. 止在刪除文件.，shiyanlou:*/ 總用 8 drwxrwxr- drwxrwxr' -rw-rw-r- -rw-rw-r* -rwrwr- -rw-rw-r- -rw-rw-r* -rw-rw-F" -rw-rw-r- -rw-rw-r- -rirf-rw-r- -rw-rw-r- -rw-rwr- -rw-rw-r- -rw-rw-r- s

10、hiyanlou-$ Is -1shiyanlGu shiyanlou shianlou shiyanlou shiyanlou shiyanIou shiyanLou shlanloiu shtyanlou shiyanLou shtanUu shiyanIou shiyanlou shtanlu shiyanlowshtyanlou shiyanlou shtyanlou shiyanlou shiyanloii shtyanloij shtyanlDU shlywnlQUi shiyanloij shiyanlou shiyanUu shtyanlow shiyanloLi shtyan

11、lou shiyanlou4096Uij.月月月月月月月月月月月月月月月 8 855555 5 5 55 5 555201609:42 09:52 09:S2 39： 52 Q9:52 09:52 B9；52 09:52 09:52 99： S2 09:5299；se 99：seCode Desktop file love love love love love love love love love love10:20:4510_linux . txt l_linux.txt 2=Hnijx +txt linux txt linux-txt ltnux.txt linux.txt.67_lt

12、nu»+txt 8_ltiwx* txt 9 linuK.txtw.txt yong.txt10:21:16ihlyftfilau:*/ $ $udp CltluSer ItMi -rtraawe-hciH10:17:45/uir/ibln/dilmtr:用戶"lUet-不祥在.wuyong - -rmDve-hme10:19:11i!L在刪象用戶uyon”，警缶:蛆值有其他成員了.芫成ihlyanlou:*/ $ |IG:19:518.查看文件權(quán)限。xms 演胃正i ftffiivi胃殖D 幃霍滴i用Viirb9.用 ls "A/Al/dl/AsSh 查看文件。

13、10.變更文件所有者。11.修改文件權(quán)限。T«rmln*l 牌端-«hlyvilDuPfC4iil9Dcbl91!5: -/fiUii-r/ion/g.rinaiiMiIffCD 尊*芯I 蛔娜峰糊If鞠等冷助1娜shiyanlou :*/ $ touch testme2：iashiyanlou:/ $ mkdtr nydir11:&2:27)shiyamlQu:*/ $ rnkdir -p father/son/grancIsoiT!11:02:47shtyanlou:*/ $ cd father/son/g rahdsonshtyanlou:grandson./

14、 $ ped zsh: command not fouindl: ped11:04:&5shiyanlou:grandson/ $ shiyamlou!: grandson/ $ pwdl/ home/shiyanlou/fathe/son/grand號(hào) on shiyanlou:g rdndson/ $ |11:04:1512.目錄路徑。InflI 晚端 ihhrinojQni4 Ep I爵中-匡在讀取軟忤包列表，完成 shiyainlou："/ $ sudo apt-get install tree 正在讀取牧件包列表完成 正在分所故件包的依賴關(guān)系樹正在域取，狀態(tài)信息一.

15、完成tree已經(jīng)是最新的版本升級(jí)了 0個(gè)軟件包.斯安裝了 G個(gè)軟件包要卸載0個(gè)軟件包.有1S1khtyanlou$ cd -'not found: E, S pednot found: ped$ pwdlittp:/Hirrors naliyuncs neon http:/mtrrors .aliuncs Pcon http:/ntrrors.aliyuncs.con httpt/ntrrors.altyuncs.eon http:/nirrorsTaliyunc5 rcon httpi/Znirrors aliyuncs neontruty/ijniverse Sources tru

16、sty/multiverse Sources trusty/nain Pid64 Packages truisty/restrtcted and64 Packages trusty/wniverse Packages truty/nultverse and64ie：58：ja個(gè)軟件包未械升13.z&h; connnd shiyanlcu:*/ zstii connand shtyanlou: /hoHefshtynlOu shiyanlou:$ cd - shiyanlou5 pwd /hoMe/shtyanlou shlyanlou:-7 $ |16:58:5010:59:1918:

17、59:29IB:59:3316:59:51rii：ee：23i新建空白文件。14.文件的復(fù)制、刪除、移動(dòng)、重命名。"1*1 M4iL *|Jlliy> MH 如 MJiyi-w/ S H text11:08:36111無法訪IHtwt：沒有那個(gè)文件st目塊hlyaAlmj：-/ $ wu 4 txtii：B8h54zshcomand not fcNjnidwu-txtshlyanl&u:-/ $ cat -n passed11:0912acat; pnsswd:沒有那個(gè)文件世目錄KhtyiHlci):<-/ $ cp /c«t/p4»wd11:

18、11：46|CP' */cet/pa55Mdu后缺少了要整作曲耳標(biāo)女皓Try "up -help for More triforrtation,sklyaqlmj：/ $cp/c«t/p«s£Hd ,ll:12:GS|cp：無ilil /cet/passkic '設(shè)后那個(gè)交件戢.甘審$mwteit RfUe(11:12:14lKymlmj：-/ Sr«-f testil】：l4：8<jj，|hlyaHlou:"/ 5|tl：14：35|實(shí)驗(yàn)環(huán)境Liunx操作系統(tǒng)實(shí)驗(yàn)結(jié)果與分析通擋習(xí)Liunx操作系統(tǒng)的發(fā)展歷史、基

19、本操作、用戶及文件權(quán)限管理以及Linux目錄結(jié)構(gòu)及文件基本操作。是得我大致了解Liunx操作系統(tǒng)的使用，并且能夠完成相應(yīng)的練習(xí)。教師評語注：可根據(jù)實(shí)際情況加頁Guizhou University of Finance and Economics課程實(shí)驗(yàn)報(bào)告專業(yè)年級(jí)14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教帥李均濤學(xué)生姓名吳勇學(xué)號(hào) 20142205042026實(shí)驗(yàn)日期 2017.05.04實(shí)驗(yàn)地點(diǎn)篤行樓B棟301實(shí)驗(yàn)成績教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)?zāi)康募耙髮?shí)驗(yàn)內(nèi)容實(shí)驗(yàn)步驟4.測試驗(yàn)證.5.6.7.LUf U3I r LUkaiJIldiUlJUp； P1U WUI I

20、L I? Ul ULI LUIludoofi河酬a仙4%a$ 皿mH，港htbdsh: source J. bahre: No such file or directoryh利唧。eU8洶朗供：+$ source V-ihrcbash: export： '*f,: not a valid identifierbash; /ho.ie/hadoOp/,bishrc： line 睫；syntax error near unexpected token 'STARTbsh: /hofie/hadoop/.bashrc: line 58: 'esadMAOOOP ST"

21、;hahcp&l潮硼洞如*$ vin /hone/hadoDp/.lnshrch對卿福嫩位h利唧眥搦舛朗版irtfl /hoRt/hadoop/.ba&hrc浦bop胸制5e;*$ s&urce -/lashrcbash: export: *': not a valid identifierbash: /hofle/hadoop/.bashre: line 58: syntax error near unexpected token LSTARIM加 /h»ie/hadODp/.bashrci line 眺蠢cfHAMOP START1hMocp|d2

22、86麗制克 Thadocpel294a48d45e>$hddoni偷124麗位:云I相關(guān)配置文件修改：修改core-site.xml:格式化HDFS文件系統(tǒng).Hadoop集群啟動(dòng).Hadoop的基本操作1. Hadoop單機(jī)模式安裝.2. Hadoop偽分布模式配谿部署.3. Hadoop介紹及1.X偽分布式安裝.4. adoop2.X 64 位編譯.5. Hadoop2.X 64位環(huán)境搭建.1. hadoop三種安裝模式介紹,hadoop單機(jī)模式安裝，測試安裝2. hadoop配谿文件介紹及修改,hdfs格式化，啟動(dòng)hadoop進(jìn)程，驗(yàn)證安裝.3. Hadoopl.X偽分布安裝,Had

23、oop介紹,Hadoop變量配谿.4. Hadoop2.X 64 位編譯,編譯 Hadoop2.X 64 位，編譯 Hadoop.5. 搭建環(huán)境，部署Hadooop2.X,啟動(dòng)Hadoop.1. 用戶及用戶組，添加用戶及用戶組，添加sudo權(quán)限.2. 安裝及配谿依賴的軟件包，安裝openssh-server、java、rsync等，配置ssh 免密碼登錄.3. 下載并安裝 Hadoop,下載Hadoop 2.6.0，解壓并安裝，配置Hadoop.hadoop - 2.61S/ sha re / hadoop/mapred uce/ souces / hadoop - mapreduce-cli

24、ent -hs- plugins -2.6.9- sou rces >. Jar hadoop - 2 u G u B/ sha re / hadooip/napred uce/ces / hadoop - maprediiEe - cl tent - jobcltent-2.6-S-scnirces - jar h adcop - 2,6, B/ ri /wc-r/ssf h«dicip = cl ttnt - corwipn * 2,6. fl * sou rc<s .jarhadoopsha re / hadcop/Fiap<r#d uce/souces /

25、hadoop - mapreduce-client -hs- 2,6,9-test - SGHirce&- jarhadap-2.E.B/LICENSE . txthidcop z.«. B/ README B t;K thadoop-2i6.S/bin/hadoopZ.E,B/btn/hdfs.cHdhihddp-B/btri /t -crr史utirhadoop-2.6.9/bin/container-executorhddoop-Z,6：6/bin/hadoop.endh2 $，日 / b In /hadoop - 2.6.9/bin/hdfs.hadoop - L 6

26、 ； B/bln/nap redh4d<?i>p-2,6,/bln/h*dti5fhaidoop 2.6.9/btn/dh adoop -2.6. B/bin Map red - endMdgp ".西網(wǎng)JBlnjyxnhadoop2.6.6/include/h adoop -2,6.0/tnt"l ude / T enplateFac tory u b hh -26.0/lncl ude/Str IngUti Ls.hhhadoop-2.S/include/hdfs.hhadoop-2.6.B/include/Pipes.hhhdo&p-2.fi.0/

27、Include/SerlalutiIs-hhh ad<go>pe 128>a4S45«:$ sudo 叫 Ih sdoo'p - 2. £. /uk r /1« a l/tidd»ph adDopie 12fla48a4Se:sudo chmd 7T? /r /1 oc al/hadooph 用日8.測試驗(yàn)證.ff00:0 ip6-mcastprefixff02：:1 ip6-allnodesff02:2 ip6-all route rs33assets-cdn * github- com115.159,

28、216.235gems.ruby-china.o rgIO.252,136,123git-13github com"Labf ile .ossaliyuncs a com10 “143.34 + 200mirro rs allyun cam10 r143-34,200m i r ro rs,151r101,IS,162regist ry npmj s. o rg09repel maveno rg69repo2 B maven * a- rg192.30.255,113www B githu

29、b 土 com10.252,136,123www - shiyanlou .co-mi192.168,40.65e2f6a9b704b485e2f6a9b704b弓號(hào)尋句弓99"7不千1 LhaHccn9.設(shè)置Host映射文件.10. 下載并解壓hadoop安裝包11. 在Hadoop-1.1.2目錄下創(chuàng)建子目錄shi/anlou®5e2f£a9b704b shiyanlou5e2f6a9b7D4b shianlou®5e2f6a9b704b shiyanl ou(a5e 2f6 a9b704b shi/anlou5e2f6a9b70

30、4b shiyanlcu5e2f6a 9b 7 94b bin build,xml C+ CHANGES,txt conf cant ribinstall-pack$ hadoop-1.1.2$ hadoop-1.L.2$ hadoop-1.1,2$ hadoop-1.L.2 hadoop-1.1,2$cd /app/hadaop-1.1.2 nikdir mkdir nikdir mkdir Istmp hafs hafs/narie hafs/datahadoop-client -1.1.2.j ar hadoop-co re-1,1,2.j arhadoop-examples -1.1.

31、2.ja r hadoop-miniclusterU . 1 r 2, jar hadcop-test -1.1.2.j ar hadoop-tools -1.1r 2,ja rhadoop-ant -1.1.2.ja r hafsivyivy.xmlliblibexecLlCENSE.txtNOTICE.txtREADME.txtsbin share s rc tmp12. 啟動(dòng) hadoop.13. 編譯 Hadoop2.X 64 位.shiyanlou6c422836e38f install-pack$ source /etc/profile shiyanlou8c422836e38f

32、install-pack$ java -version java version "1.5.0"gi (GNU libgcj) version 4.4.7 20120313 (Red Hat 4.4.7-11)Copyright (C) 2007 Free Software Foundation, Inc.實(shí)驗(yàn)環(huán)境實(shí)驗(yàn)結(jié)果與分析14. 使用yum安裝sun.15. 部署 Hadooop2.X.與 Hadoop1.X 類似。hadoopXfce 終端通過本次實(shí)驗(yàn)，讓我對Hadoop有所了解，但是在實(shí)驗(yàn)過程中出現(xiàn)許多問題。 例如，不知道該如何下載java jdk,甚至如何創(chuàng)建文

33、件夾目錄下的文件，以 及Hadoop的環(huán)境配谿原理以及編譯原理和方法。這些都是實(shí)驗(yàn)中出現(xiàn)的問 題，但是通過自己查詢，問同學(xué)，部分問題已經(jīng)得到解決，但是還存在一部 分就只能通過課后自學(xué)進(jìn)行解決！ ！ ！通過上述的學(xué)習(xí)，讓我對Hadoop的基 本操作有了基礎(chǔ)的掌握，包括Hadoop介紹及1.X偽分布式安裝，adoop2.X 64 位編譯,Hadoop2.X 64位環(huán)境搭建等。教師評語注：可根據(jù)實(shí)際情況加頁Guizhou University of Finance and Economics課程實(shí)驗(yàn)報(bào)告專業(yè)年級(jí)14級(jí)軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教帥李均濤學(xué)生姓名吳勇學(xué)號(hào) 20142205

34、042026實(shí)驗(yàn)日期 2017.06.01實(shí)驗(yàn)地點(diǎn)篤行樓B棟301實(shí)驗(yàn)成績教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目 名稱HDF潴 MapReduce實(shí)驗(yàn)?zāi)康募耙?. HDFSM理及操作。2. MapReduc源理及操作。實(shí)驗(yàn)內(nèi)容1. HDFSM理及操作。環(huán)境說明，HDF靜理，HDF跳構(gòu)，HDFS賣操作，HDFST操作，測試?yán)?. MapReduc源理及操作。環(huán)境說明，Map Reduce®理，Map過程，Reduce過程，測試?yán)訉?shí)驗(yàn)步驟1.HDFS原理及操作。1.1環(huán)境說明。虛擬機(jī)操作系統(tǒng)：CentOS6.6 64位，單核，1G內(nèi)存JDK 1.7.0_55 64 位Hadoop：

35、 HDFSM理。HDFS( Hadoop Distributed File System )是一個(gè)分布式文件系統(tǒng)，是谷歌的GFS山寨版本。它具有高容錯(cuò)性并提供了高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，它提供了一個(gè)高度容錯(cuò)性和高 吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案。1.3 HDF/構(gòu)。HDF理 Master 和 Slave 的結(jié)構(gòu)，分為 NameNodeSecondary NameNod 和DataNode三種角色。1.4 HDF就操作?？蛻舳送ㄟ^調(diào)用FileSystem對象的open()方法來打開布望讀取的文 件。1.5 HDFSf操作。客戶端通過調(diào)用 Distribut

36、edFileSystem 的create()方法創(chuàng)建新文 件。1.6測試?yán)?。1.創(chuàng)建代碼目錄bin$ cd hdoop-1sb xyanl-OLJ7S5d f c 8t e03b sh iyanl-oi-J7S5d f c 8f eO3b sh iyanl-oi-J7S5d f c 8f eO3b sh iyanl-oi-J7S5d f c 8f eO3b sh iy anT-oui7B5d f c 8f e03b sh iy anT»ou7 85d f c 8f e03b binbu iXd,xmlC+CHANGES B t mtccn fcan't ribhadoop

37、-ant -1,1.2.jar hadoop-cT ientjarhdoop-1 hadoop - hadopp - hadopp - hadopp - hadoop- hd f sinpLit2.建立例子文件上傳到 HDFSmy inputmy c input：r2. j 5ir .1,2 , j a r ra rivy H xml libI i,bex ibc LICENSE.txt logs my c "Lass NOTICE.txt README t Kt|shi/anlou7S5dfcBfe93b input$ hadoop fs -ricdir /clas94Ishi/a

38、nlou785dfcSte93b inputJ hadoap fs -Is / :ound 2 itetts irwxr-xrx" shiyanlou supergroup0 2017*06-01 02:54 /app1 rwtrxf*x- shiyanlou supergroup0 2017-0601 02:57 /classJ耳hL/miLQU即SSdftB十eC3h input$ '3. 配谿本地環(huán)境4. 編寫代碼5. 編譯代碼shiyanlcu735dfc3fe03b myclass)$ javac -classpath r /hadoop-core-L1,2.jar

39、 FileS/stemCat Java(shiyanlcu785dfc8f03b$ 11total 8*rw*rwr-* 1 shiyanlou shiyanlou 122S Jun 1 03:01 FileSystemCat.class-rw-rw-r- 1 shiyanlou shiyanlou 62& Jun 1 03:0G FileSystemCat.java6.使用編譯代碼讀取HDF&C件/ iyanlou3b393ddi554el corf4 hadoop VileSystenCat /clss/quangle.txt On the ton of the Crump

40、ttty Tree The Quanglc tangle sat,But his race you could not seet On account of his Beaver Hat. shiyanl0ubM93aO4554wl con切2. MapReduce原理及操作。2.1 環(huán)境說明。虛擬機(jī)操作系統(tǒng)：CentOS6.6 64位，單核，1G內(nèi)存JDK 1.7.0_55 64 位Hadoop MapReduce®理。Map和Reduce當(dāng)你向MapReduce框架提交一個(gè)計(jì)算作業(yè)時(shí)，它會(huì) 首先把計(jì)算作業(yè)拆分成若干個(gè) Map任務(wù)，然后分配到不同的節(jié)點(diǎn)上 去執(zhí)行，

41、每一個(gè)Map任務(wù)處理輸入數(shù)據(jù)中的一部分，當(dāng) Map任務(wù)完 成后，它會(huì)生成一些中間文件，這些中間文件將會(huì)作為 Reduce任務(wù) 的輸入數(shù)據(jù)。Reduce任務(wù)的主要目標(biāo)就是把前面若干個(gè) Map的輸出 匯總到一起并輸出。2.3 Map過程。每個(gè)輸入分片會(huì)讓一個(gè) mapff務(wù)來處理，默認(rèn)情況下，以 HDFS勺一 個(gè)塊的大?。J(rèn)為64M為一個(gè)分片，當(dāng)然我們也可以設(shè)谿塊的大 小。map輸出的結(jié)果會(huì)暫且放在一個(gè)環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認(rèn)為100M由io.sort.mb 屆性控制），當(dāng)該緩沖區(qū)快要溢出 時(shí)（默認(rèn)為緩沖區(qū)大小的80%由io.sort.spill.percent屆性控制），會(huì)在本地文件

42、系統(tǒng)中創(chuàng)建一個(gè)溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫入這 個(gè)文件。2.4 Reduce過程。Reduce會(huì)接收到不同mapff務(wù)傳來的數(shù)據(jù)，并且每個(gè) map專來的數(shù) 據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當(dāng)小，則直接存儲(chǔ)在 內(nèi)存中（緩沖區(qū)大小由 mapred.job.shuffle.input.buffer.percent 屆性控制，表示用作此用途的堆空間的白分比），如果數(shù)據(jù)量超過了 該緩7中區(qū)大/、的一定比例（由 mapred.job.shuffle.merge.percent決定），則對數(shù)據(jù)合并后溢寫到磁盤中 2.5測試?yán)印?.編寫代碼。shiyanloub9b774d5aab6 n)y

43、class$ Is HinTemperture.javaMinTempe ratu reReduce r H javaHinTemperatu reMappe r.j ava2.編譯代碼、JdVdC -CS 113.打包編譯文件asspath. ./Iiddoopcore-lF ii 1 eSys tomcat+ Filesy&temcat* ja HdfsJLocalfile.c Mdfs21ocalFilej LocalF i1c2Hdf5 $1 LocalFile2Hdfs.c4 06:5 MinTemperature.c* j MinTemperature.Mi rTemperatureciJ vi ji Tempera tu rprt m iuTpinperdtureRe itjr整女?！? 。6：484 06:504 06:494 06:50咨 Q6 :% 0 V i n T mmX fass5* 57%)4.解壓氣象數(shù)據(jù)并上傳到HDFStsriyanioyw)393