阿里云E-MapReduce-常見問題指南-D

1、E-MapReduce常見問題E-MapReduce/常見問題E-MapReduce/常見問題 PAGE 17 PAGE 17常見問題常見問題作業(yè)和執(zhí)行計劃的區(qū)別在Aliyun E-MapReduce中，要運行作業(yè)，需要有分成兩個步驟，分別是：創(chuàng)建作業(yè)在E-MapReduce產品中，說創(chuàng)建一個作業(yè)，實際上是創(chuàng)建一個作業(yè)運行配置，它并不能被直接運行。既如 果在E-MapReduce中創(chuàng)建了一個作業(yè)，實際上只是創(chuàng)建了一個作業(yè)如何運行的配置，這份配置中包括該作 業(yè)要運行的jar包，數據的輸入輸出地址，以及一些運行參數。這樣的一份配置創(chuàng)建好后，給它命一個名，既定 義了一個作業(yè)。當你需要調試運行作業(yè)的時

2、候就需要執(zhí)行計劃了。創(chuàng)建執(zhí)行計劃執(zhí)行計劃，是將作業(yè)與集群關聯(lián)起來的一個紐帶。通過它，我們可以把多個作業(yè)組合成一個作業(yè)序列，通過它 我們可以為作業(yè)準備一個運行集群（或者自動創(chuàng)建出一個臨時集群或者關聯(lián)一個已存在的集群），通過它我們 可以為這個作業(yè)序列設置周期執(zhí)行計劃，并在完成任務后自動釋放集群。我們也可以在他的執(zhí)行記錄列表上查 看每一次執(zhí)行的執(zhí)行成功情況與日志。如何查看作業(yè)日志在E-MapReduce系統(tǒng)里，系統(tǒng)已經將作業(yè)運行日志按照jobid的規(guī)劃上傳到OSS中（路徑由用戶在創(chuàng)建集群時 設置），用戶可以直接在網頁上點擊查看作業(yè)日志。如果用戶是登錄到master機器進行作業(yè)提交和腳本運行等，則日志

3、根據用戶自己的腳本而定，用戶可以自行規(guī)劃。直接在OSS上查看日志用戶也可以直接從OSS上直接查找所有的日志文件，并下載。但是因為OSS不能直接查看，使用起來會比較麻 煩一些。 如果用戶打開了日志，并且指定了一個OSS的日志位置，那么作業(yè)的日志要如何找到呢？ 例如對下面這個保存位置OSS:/mybucket/emr/spark首先來到執(zhí)行計劃的頁面，找到對應的執(zhí)行計劃，點擊運行記錄進入運行記錄頁面在運行記錄頁面找到具體的哪一條執(zhí)行記錄，比如最后的一條執(zhí)行記錄。然后點擊它對應的執(zhí)行集 群查看這個執(zhí)行集群的ID然后再OSS:/mybucket/emr/spark目錄下尋找OSS:/mybucket/

4、emr/spark/集群ID在OSS:/mybucket/emr/spark/集群ID/jobs 目錄下會按照作業(yè)的執(zhí)行ID存放多個目錄，每一個目錄下存放了這個作業(yè)的運行日志文件。集群、執(zhí)行計劃以及運行作業(yè)的計時策略集群的計時策略在集群列表里可以看到每個集群的運行時間，該運行時間的計算策略為 運行時間 = 集群釋放時刻 - 集群開始構建時刻。即集群一旦開始構建就開始計時，直到集群的生命周期結束。執(zhí)行計劃的計時策略：在執(zhí)行計劃的運行記錄列表，可以看到每次執(zhí)行記錄運行的時間，該時間的計時策略總結為兩種情況：1.如果執(zhí)行計劃是按需執(zhí)行的，每次執(zhí)行記錄的運行過程涉及到創(chuàng)建集群、提交作業(yè)運行、釋放集群。

5、所以按需執(zhí)行計劃的運行時間計算策略為，運行時間 = 構建集群的時間 + 執(zhí)行計劃包含所有作業(yè)全部運行結束的總耗時 + 集群釋放的時間。2.如果執(zhí)行計劃是關聯(lián)已有集群運行的，整個運行周期不涉及到創(chuàng)建集群和釋放集群，所以其運行時 間 = 執(zhí)行計劃包含所有作業(yè)全部運行結束的總耗時。作業(yè)的計時策略：這里的作業(yè)指的是被掛載到執(zhí)行計劃里面的作業(yè)。在每條執(zhí)行計劃運行記錄右側的查看作業(yè)列表點擊 進去可以看到該作業(yè)。這里每個作業(yè)的運行時間的計算策略為，運行時間 = 作業(yè)運行結束的實際時間- 作業(yè)開始運行的實際時間。作業(yè)運行開始（結束)的實際時間指的是作業(yè)被Spark或hadoop集群實際開始調度運行或運行結束的

6、時間點。讀寫ODPS時，拋出java.lang.RuntimeException.Parse responsed failed: .。檢查odps tunnel endpoint是否正確，如果寫錯會出現這個錯誤。多個ConsumerID消費同一個Topic時出現TPS不一致問題。有可能這個Topic在公測或其他環(huán)境創(chuàng)建過，導致某些Consumer組消費數據不一致。請在工單系統(tǒng)中將對應的Topic和ConsumerID提交到ONS處理。E-MapReduce中能否查看作業(yè)的Worker上日志？可以。前置條件：是創(chuàng)建集群時發(fā)開保存日志選項。查看日志位置：執(zhí)行計劃列表-點擊運行記錄-執(zhí)行 記錄-點擊

7、查看作業(yè)列表-作業(yè)列表-點擊查看作業(yè)Worker實例。例如：CREATE例如：CREATEEXTERNALTABLEstorage_log(contentSTRING)PARTITIONEDBY(dsSTRING) ROW FORMATDELIMITEDFIELDS TERMINATED BY tSTORED AS TEXTFILELOCATION oss:/xxx:xxxx/biz-logs/airtake/pro/storage;hive select * from storage_log; OKTime taken: 0.3 seconds創(chuàng)建完外部表后沒有數據實際上Hive并不會自動關

8、聯(lián)指定目錄的partitions目錄，您需要手動操作，例如：alter table storage_log add partition(ds=123); OKalter table storage_log add partition(ds=123); OKTime taken: 0.137 seconds hive select * from storage_log; OKabcd 123efgh 123Spark Streaming作業(yè)運行一段時間后無故結束。首先檢查Spark版本是否是1.6之前版本。Spark1.6修復了一個內存泄漏的BUG，這個BUG會導致container內 存超用然

9、后被kill掉（當然，這只是可能的原因之一，不能說明Spark1.6不存在任何問題）。此外，檢查自己的 代碼在使用內存上有沒有做好優(yōu)化。Spark Streaming作業(yè)已經結束，但是E-MapReduce控制臺顯示作業(yè)還處于運行中狀態(tài)檢查Spark Streaming作業(yè)的運行模式是否是yarn-client，若是建議改成yarn-cluster模式。E- MapReduce對yarn-client模式的Spark Streaming作業(yè)的狀態(tài)監(jiān)控存在問題，會盡快修復。Exception in thread main java.lang.RuntimeException: java.lang

10、.ClassNotFoundException: Class com.aliyun.fs.oss.nat.NativeOssFileSystem not found在Spark作業(yè)中讀寫OSS數據時，需要將E-MapReduce提供的SDK打進作業(yè)Jar包中，具體操作請參考：開發(fā)手 冊-Spark-開發(fā)準備。作業(yè)讀寫OSS數據怎么傳AccessKeyId和AccessKeySecret參數最簡單的辦法就是使用完整OSS URI，請查看：開發(fā)手冊-開發(fā)準備。Error: Could not find or load main class檢查作業(yè)配置中作業(yè)jar包的路徑協(xié)議頭是否是ossref，若

11、不是請改為ossref。集群機器分工使用說明Slave（或者Worker）節(jié)點。其中Master節(jié)點不參與數據存儲和 計算任務，Slave節(jié)點用來存儲數據和計算任務。例如3臺4核8G機型的集群，其中一臺機器用來作為Master節(jié) 點，另外兩臺用來作為Slave節(jié)點，也就是集群的可用計算資源為2臺4核8G機器。Spark接Flume時出現內存超用問題檢查是否是以Push-based方式接收數據，若不是，請嘗試改成Push-based方式接收數據。參考文檔。Causedby:java.io.IOException:Inputstreamcannotberesetas 5242880byteshav

12、ebeenwritten,exceedingtheavailablebuffer size of524288（OSS）網絡連接重試時緩存不足的BUG請，使用1.1.0版本以上的emr-sdk。Failed to access metastore. This class should not accessed in .apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiv

13、eMetaStoreClient首先，Spark處理Hives數據需要作業(yè)的執(zhí)行模式為yarn-client（local也行），不能為yarn-cluster，否則會報 上述異常。其次，作業(yè)jar中引入一些第三方的包也有可能導致Spark運行期間報上述異常。如何在MR作業(yè)中使用本地共享庫mapred.child.java.optsmapred.child.java.opts-Xmx1024m -Djava.library.path=/usr/local/share/mapreduce.admin.user.envLD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/n

14、ative:/usr/local/lib只要加上你所需的庫文件即可。如何在MR/Spark作業(yè)中指定OSS數據源文件路徑OSS URL： oss:/accessKeyId:accessKeySecretbucket.endpoint/object/path用戶在作業(yè)中指定輸入輸出數據源時使用這種URI，可以類比hdfs:/。 用戶操作OSS數據時，可以將accessKeyId，accessKeySecret以及endpoint配置到Configuration中，也可以在URI中直接指定accessKeyId，accessKeySecret以及endpoint。具體請參考開發(fā)準備一節(jié)。EMR S

15、DK的使用問題基于1.0.x版本的sdk打包的作業(yè)Jar包在1.1.0版本集群上運行時，可能會出現org.apache.httpcomponents:httpcore包的版本沖突問題。這個是由于OSS依賴的高版本org.apache.httpcomponents:httpcore與Spark的org.apache.httpcomponents:httpcore存 在版本沖突問題。請將sdk的版本升級到1.1.x，重新編譯打包。工程的pom文件請參考樣例進行修改?；?.x.0版本的sdk打包的作業(yè)Jar包在1.0.0版本集群上運行是，可能會出現Cannotfindosssdk dependen

16、cy, please set fs.oss.sdk.dependency.path first.的報錯信息，請更新Hadoop的配置文件，添加以下配置項：fs.oss.sdk.dependency.path/path/to/lib/dependency.jar依賴Jar下載地址Spark SQL 拋 出 Exception in thread main java.sql.SQLException: No suitable driver found for jdbc:mysql:xxx報錯低版本mysql-connector-java有可能出現類似問題，更新到最新版本。作業(yè)參數中使用-drive

17、r-class-pathossref:/bucket/./mysql-connector-java-version.jar來加載mysql-connector-java包，直接將mysql-connector-java打進作業(yè)jar包也會出現上述問題。Spark SQL連RDS出現ConnectionException檢查RDS數據庫地址是否為內網地址，如不是請在RDS控制臺將相應的數據庫地址切換成內網地址Spark SQL連RDS出現Invalid authorization specification, message from server: ip not in whitelist檢查R

18、DS的白名單設置，將集群機器的內網地址加到RDS的白名單中。Spark程序中使用OSS SDK出現java.lang.NoSuchMethodError:org.apache.http.conn.ssl.S SLConnetionSocketFactory.init(Ljavax/net/ssl/SSLContext; Ljavax/net/ssl/HostnameVerifier)OSS SDK依賴的http-core和http-client包與Spark和Hadoop的運行環(huán)境存在版本依賴沖突，不建議在代碼中使用OSS SDK，否則需要手動解決依賴沖突問題，比較麻煩。如果有需要對OSS中的

19、文件做一些基礎操作例如list等等，可以參照這里的用法進行操作。SSH登陸集群我是否可以登錄到集群內部用戶如果覺得在網頁上的作業(yè)和執(zhí)行計劃滿足不了更加復雜的應用需求，可以登錄到E-MapReduce集群的主機 上去。用戶可以找到集群的詳情頁，其中就有集群master機器的公網IP地址（如果你開啟了公網的話），用戶 可以直接SSH登錄到這臺機器上，查看各種設置與狀態(tài)。JAVA_HOMEHADOOP_HOMEJAVA_HOMEHADOOP_HOMEHADOOP_CONF_DIRHADOOP_LOG_DIRYARN_LOG_DIRHIVE_HOMEHIVE_CONF_DIRPIG_HOMEPIG_C

20、ONF_DIR等。用戶在腳本中可以直接引用這些變量。但請不要去修改這些變量的值，以免造成E-MapReduce的意外錯誤。如何登錄到master主機要登錄集群的master主機，有一個前提是用戶申請的集群需要開通公網ip，如果沒有開通公網ip，用戶就只能 在E-MapReduce管理頁面上使用集群，無法登錄到集群master機器。要開通集群的公網ip，需要用戶在申請 集群的過程中，點選公網狀態(tài)以打開，并且設置好您的密碼，如果采用隨機密碼將導致不能登錄。申請集群 linkssh HYPERLINK mailto:rootip.of.master rootip.of.masterssh HYPER

21、LINK mailto:rootip.of.master rootip.of.master并輸入之前創(chuàng)建時設定的密碼。獲取集群master機器公網ip的方式請見這里：link如何打通本地機器于集群master機器的ssh無密碼登錄如果開通了集群master機器的公網ip，用戶通常需要經常登錄到該機器進行一些管理和操作，甚至開發(fā)工作，此時，如果打通于master的ssh無密碼登錄，會是一件非常方便的事情。要做到這點，可以通過如下步驟：通過上面提到的root+密碼的方式登錄到master主機無密碼登錄時希望使用的用戶（也可以直接用root，如果 是hadoop用戶或者hdfs用戶，則無需下面的ss

22、h-keygen的步驟）運行ssh-keygen，一路回車，即可完成本地共有和私有秘鑰的生成（如果是hadoop或者hdfs用戶，則無需這一步）將您本地機器的/.ssh/id_xxx.pub文件中的內容進行拷貝，并追加到master機器的/.ssh/authorized_keys文件中 以下假設使用的是rsa密鑰cat /.ssh/id_rsa.pub /.ssh/authorized_keys chmod 600 /.ssh/authorized_keyscat /.ssh/id_rsa.pub /.ssh/authorized_keys chmod 600 /.ssh/authorized

23、_keysLinux的SSH方式rz /.ssh/id_rsa復制私鑰到本地rz /.ssh/id_rsassh -i 私鑰存放路徑/id_rsa HYPERLINK mailto:hadoop30 ssh -i 私鑰存放路徑/id_rsa HYPERLINK mailto:hadoop30 hadoop30當然如果你只有這一個私鑰，也可以直接放到你的/.ssh/下，默認使用這個私鑰，就不需要-i指定了Windows的SSH方式在Windows下你可以有多種方式來使用SSH免密碼登錄master使用PuTTY首先在這里下載PuTTY在同樣的位置下載PuTTYgen打開PuTTYgen，并Loa

24、d你的私鑰使用默認的配置，并Saveprivatekey。會保存出一個后綴為ppk的PuTTY使用的密鑰文件。運行PuTTY，并在配置頁面選擇Session輸入你的要連接的目標機器公網IP地址，要加上登錄使用的用戶名，類似hadoopMasterNodeIP在配置頁面選擇ConnetionSSHAuth選擇之前生成好的ppk文件最后點擊Open，就會自動登錄到master節(jié)點了。使用Cygwin | MinGW 這是在Windows上模擬Linux的非常方便的工具。使用起來也非常的簡單。如果采用這種方式，那么連接的過程就可以參考上面的Linux的SSH方式了。推薦采用MinGW的方式，這個是最

25、小巧的一種方式。如果官網打不開，可以下載git的客戶端。默認帶的GitBash就可以滿足。無論如何，請妥善保管這個私鑰，保證該私鑰的安全如何查看Hadoop，Spark，Ganglia等系統(tǒng)的webui由于安全的緣故，E-MapReduce集群的Hadoop，Spark和Ganglia等系統(tǒng)的webui監(jiān)控系統(tǒng)的端口都沒有對 外開放。如果用戶想要訪問這些webui，需要建立一個SSH隧道，通過端口轉發(fā)的方式來達到目的。 在進行本步驟前，請確認你已經完成了上面的ssh無密碼登錄流程有如下2種方式（請注意：下面的操作是在您本地機器上完成的，不是集群內部機器）：端口動態(tài)轉發(fā)創(chuàng)建一個SSH隧道，該隧道

26、打通您本地機器跟E-MapReduce集群的master機器的某個動態(tài)端口的連接。ssh -i /path/id_xxx -ND 8157 hadoopmasterNodeIPssh -i /path/id_xxx -ND 8157 hadoopmasterNodeIP8157是您本地機器沒有被使用過的任何一個端口，用戶可以自定定義。完成動態(tài)轉發(fā)以后，可以選擇如下2種方式來查看Chrome瀏覽器（推薦）chrome-proxy-server=socks5:/localhost:8157chrome-proxy-server=socks5:/localhost:8157-host-resolve

27、r-rules=MAP*,EXCLUDElocalhost-user- data-dir=/tmppath/操作系統(tǒng)Chrome位置Mac OS X/Applications/Google Chrome.app/Contents/MacOS/Google ChromeLinux/usr/bin/google-chromeWindowsC:Program Files e這里的tmppath如果是windows可以寫類似d:/tmppath,如果是linux或者OSX可以直接寫/tmp/ chrome根據不同的系統(tǒng)有不同的位置，參考下表其他瀏覽器此時，您本地機器跟E-MapReduce集群的mas

28、ter主機的ssh通道已經打通，要在瀏覽器中查看的webui，您還需要配置一個本地代理。假設您使用的是chrome或者firefox瀏覽器，請到這里下載FoxyProxy Standard代理軟件。安裝完成并重啟瀏覽器后，打開一個文本編輯器，編輯如下內容：其中，Port 8157是您本地用來建立于集群master機器ssh連接的端口，這個需要跟您之前執(zhí)行的在終端中執(zhí)行的ssh命令中使用的端口匹配120.*這個匹配是用來匹配master主機的ip地址，請根據master的ip地址的情況來定。然后:在瀏覽器中點擊foxyproxy按鈕，選擇Options選擇Import/Export選擇剛才您編輯

29、的xml文件，點擊Open在ImportFoxyProxySetting對話框中，點擊Add點擊瀏覽器中的foxyproxy按鈕，選擇UseProxyaliyun-emr-socks-proxyforallURLs在瀏覽器中輸入localhost:8088,就可以打開遠端的Hadoop界面了。ssh -i /path/id_rsa -N -L 8157:masterNodeIP:8088 hadoopmasterNodeIP本地端口轉發(fā)ssh -i /path/id_rsa -N -L 8157:masterNodeIP:8088 hadoopmasterNodeIPpath是私鑰存放路徑ma

30、sterNodeIP是要連接的master節(jié)點ip8088是master節(jié)點上ResourceManager，一旦要看詳細的作業(yè)信息，就會出錯。更好的解決方案參加下面這個。使用RAM來隔離不同子賬號的數據首先在RAM中創(chuàng)建子賬號具體流程參考如何在RAM中創(chuàng)建子賬號自定義授權策略點擊如下位置選擇自定義授權策略在其中創(chuàng)建授權策略需要多少套不同的權限控制，就創(chuàng)建多少個策略。這里我們假設我們需要有2套數據控制策略：一個是測試環(huán)境， bucketname：test-bucket 一個是生產環(huán)境， bucketname：prod-bucketVersion: 1, Statement: Version:

31、1, Statement: Effect: Allow, Action: oss:ListBuckets,Effect: Allow, Action: oss:ListBuckets,Resource: acs:oss:*:*:*,Effect: Allow, Action: oss:Listobjects, oss:GetObject, oss:PutObject, oss:DeleteObject,Resource: acs:oss:*:*:test-bucket, acs:oss:*:*:test-bucket/*Version: 1, Statement: Version: 1, St

32、atement: Effect: Allow, Action: oss:ListBuckets,Resource: acs:oss:*:*:*,Effect: Allow, Action: oss:Listobjects, oss:GetObject, oss:PutObject,Resource: acs:oss:*:*:prod-bucket, acs:oss:*:*:prod-bucket/*將策略賦給子賬號點擊子賬號，進入詳情頁面，選擇用戶授權策略。點擊右上角的編輯授權策略選擇之前創(chuàng)建的策略，添加后保存。打開子賬號的控制臺登錄點擊子賬號進入詳情，在這里打開子賬號的控制臺登錄完成并使用完

33、成以上的所有步驟以后，使用對應的子賬號登錄E-MapReduce，會有以下的限制在創(chuàng)建集群，創(chuàng)建作業(yè)，和創(chuàng)建執(zhí)行計劃的OSS選擇界面，可以看到所有的bucket，但是只能進入被 授權的bucket只能看到被授權的bucket下的內容，無法看到其他bucket內的內容作業(yè)中只能讀寫被授權的bucket，讀寫未被授權的bucket會報錯附錄系統(tǒng)錯誤碼常見錯誤碼錯誤碼說明4001請求參數不符合要求,如參數缺少,參數格式不滿足要求4005沒有權限訪問其他用戶的資源4006該集群處于異常狀態(tài)，不能提交job,請您檢查執(zhí)行計劃關聯(lián)的集群是否已經釋放4007安全組名稱不能為空4009請檢查您的賬戶是否欠費或

34、者被凍結4011該集群處于異常狀態(tài)，不能恢復調度,請您檢查執(zhí)行計劃關聯(lián)的集群是否已經釋放5012用戶創(chuàng)建的安全組數量超過上限,您可以前往安全組頁面刪除一些無用的安全組5038作業(yè)在運行或待運行的執(zhí)行計劃中,暫不能修改,需等待相關聯(lián)的執(zhí)行計劃運行完成才能修改,您可以克隆一個新的作業(yè)進行修改使用5039集群角色鎖定失敗，E-MapReduce的運行需要一些權限，關于EMR的角色說明,請前往進行創(chuàng)建5050訪問數據庫錯誤,請稍后重試6002更新集群狀態(tài)失敗8002沒有操作的權限,請使用RAM授權8003沒有PassRole操作的權限,請使用RAM授權9006集群ID不存在,請確認9007創(chuàng)建集群時設

35、置master節(jié)點的登陸密碼,必須包含大小寫字母以及數字,長度為830ECS相關錯誤錯誤碼說明指定的 InstanceType 未授權使用創(chuàng)建集群使用的機型尚未申請。請在ECS的購買頁面提交申請開通高配。zone 或者 Cluster 的庫存不夠了ECS在該區(qū)域的庫存不足狀態(tài)表集群狀態(tài)表備注：在集群列表和集群詳情頁面會查看到集群狀態(tài)狀態(tài)名狀態(tài)代碼狀態(tài)說明創(chuàng)建中CREATING集群正在構建，包括兩個階段：一是物理ECS機器的創(chuàng)建，二是Spark集群的啟動，稍等片刻即可達到運行中狀態(tài)創(chuàng)建失敗CREATE_FAILED創(chuàng)建過程中遇到異常，已經創(chuàng)建的ECS機器會自動回滾，在集群列表頁面點擊狀態(tài)右邊的問號，可查看異常明細運行中RUNNING計算集群處于正常運行狀態(tài)空閑IDLE集群目前沒有運行執(zhí)行計劃釋放中RELEASING點擊集群狀態(tài)列表的釋放按鈕可達到此狀態(tài)，此狀態(tài)