hadoop配置注意事項以及常見錯誤處理辦法V1.1

HADOOP配置注意事項以及常見錯誤處理方法無線網(wǎng)優(yōu)數(shù)據(jù)組目錄一、安裝操作系統(tǒng)以及注意事項二、hadoop安裝的注意事項三、hadoop參數(shù)的配置四、TDMRO以及LTEMRO采集配置五、常見錯誤以及處理辦法安裝操作系統(tǒng)以及注意事項安裝介質(zhì)，必須采用centos6.3或者是centos6.4。其他的版本不行，fedora，ubuntu，RHEL，各種BSD，suse等版本不行。硬盤分區(qū)。按照如下的分區(qū)：/boot分區(qū)1G其余磁盤空間做邏輯卷組（VG）（如果該機器有多個硬盤，把多個硬盤都加入到VG中）/分區(qū)50G/var分區(qū)（主節(jié)點100G，輔節(jié)點30G）swap分區(qū)30G/home分區(qū)將系統(tǒng)剩余分區(qū)掛載到該目錄下。安裝軟件選擇安裝模式選擇Desktop，存儲庫選擇現(xiàn)在自定義。在自定義庫中選擇數(shù)據(jù)庫，將MYSQL和postgreSQL的服務端和客戶端全部安裝。選擇開發(fā)，將開發(fā)選項中所有的東西全部安裝。選擇服務器，將FTP服務器安裝。安裝操作系統(tǒng)以及注意事項安裝操作系統(tǒng)以及注意事項創(chuàng)建用戶用戶boco,路徑/home/boco密碼集群內(nèi)保持密碼一致。關(guān)閉SELINUXvi/etc/selinux/config將SELINUX改為disabled配置主機名vi/etc/sysconfig/network建議將集群內(nèi)主機名修改為cloud0~254請不要將主節(jié)點主機名設置為bogon，會導致安裝報錯。主要是采用vmvare虛機的時候，會自己設置。配置字符集vi/etc/sysconfig/i18n修改LANG="en_US.UTF-8"避免出現(xiàn)各種亂碼同時禁止修改boco用戶的字符集，禁止LANG=C,zh_CN.GBK等。關(guān)閉防火墻等操作chkconfigiptablesoff;禁止防火墻開機啟動chkconfig--level345vsftpdon;開機啟動ftp服務。配置子節(jié)點互通。vi/etc/hosts將所有的集群的地址寫入到該文件中安裝操作系統(tǒng)以及注意事項配置sudo功能vi/etc/sudoers加入如下的內(nèi)容：boco ALL=(ALL)NOPASSWD:ALL配置ssh免key不僅僅要配置boco帳號，還要配置root帳號。ssh-keygen-trsa-P''-f~/.ssh/id_rsa(只需要執(zhí)行一次)ssh-copy-id(拷貝到集群的每個輔節(jié)點)配置時鐘同步如果網(wǎng)絡內(nèi)有NTP，則將集群內(nèi)所有節(jié)點與NTP同步。ntpdate

3（網(wǎng)絡內(nèi)NTPSERVER的地址）如果無NTP，則需要安裝PDSH。pdsh-wssh:172.16.140.[3,4,5,6,7,8,9]date-s07:00:00將時鐘同步的命令配置到crontab中。安裝操作系統(tǒng)以及注意事項配置ulimit。vi/etc/security/limits.confmapred-nofile32768mapredsoftnproc65535mapredhardnproc65535boco-nofile32768bocosoftnproc65535bocohardnproc65535hdfs-nofile32768hdfssoftnproc65535注意：原安裝文檔此處存在一處筆誤，應該在softnproc中間存在一處空格。配置完畢這些之后，重啟集群內(nèi)的每一臺機器，讓參數(shù)生效。hadoop安裝的注意事項配置集群中每臺機器的repo參數(shù)刪除集群中每一臺機器上原有的repo文件，rm-rf/etc/yum.repos.d/*然后修改cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件，將文件中的地址換成主節(jié)點的地址。將cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件上傳到集群中每一臺機器的/etc/yum.repos.d/目錄下。在主節(jié)點上安裝軟件createrepo-0.9.8-5.el6.noarch.rpmdeltarpm-3.5-0.5.20090913git.el6.x86_64.rpmftp-0.17-51.1.el6.x86_64.rpmpython-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpmvsftpd-2.2.2-11.el6.x86_64.rpm執(zhí)行：rpm-ivh--force--nodeps*.rpm安裝5個rpm包在主節(jié)點上建立cdh4的yum源將cdh4.3.0目錄上傳到主節(jié)點的/var/www/html目錄下。在cdh4.3、impala1.0.1、cm4.6.1、solr子目錄下分別執(zhí)行：“createrepo.”命令啟動httpd服務。chkconfig--level345httpdon;servicehttpdrestart.打開http://主節(jié)點IP/cdh4.3.0/測試。hadoop安裝的注意事項主節(jié)點安裝clouderamanager將cloudera-manager-installer.bin文件復制到/home/boco目錄下。以boco用戶執(zhí)行安裝。sudochmod755cloudera-manager-installer.binsudo./cloudera-manager-installer.bin用空格鍵或者回車鍵，點擊NEXT或者YES操作。在之下的操作，請使用火狐或者谷歌瀏覽器。因為CM并不支持IE瀏覽器。主節(jié)點安裝REDIS.解壓并編譯：tar-zxvfredis-2.8.2.tar.gz;cdredis-2.8.2;make;將編譯好的程序放到指定目錄：mkdir/usr/local/redis;cp/opt/redis-2.8.2/src/redis-benchmark/usr/local/redis/;cp/opt/redis-2.8.2/src/redis-check-dump/usr/local/redis/;cp/opt/redis-2.8.2/src/redis-cli/usr/local/redis/;cp/opt/redis-2.8.2/src/redis-server/usr/local/redis/;cp/opt/redis-2.8.2/redis.conf/usr/local/redis/修改/usr/local/redis/redis.conf將daemonize由no改為yes將啟動語句加入到/etc/rc.local中，系統(tǒng)開啟自動啟動REDIS。vi/etc/rc.local加入：/usr/local/redis/redis-server/usr/local/redis/redis.confhadoop安裝的注意事項安裝clouderamanager過程(安裝截圖如下)hadoop安裝的注意事項安裝CDH過程(安裝截圖如下)hadoop安裝的注意事項安裝CDH過程(安裝截圖如下)hadoop安裝的注意事項安裝CDH過程(安裝截圖如下)hadoop安裝的注意事項安裝CDH注意事項初次登錄CM的帳號和密碼為(admin/admin)，可以登錄進去修改密碼。在安裝CDH，選擇資源包的時候，選擇自定義存儲庫，指定到此前在主節(jié)點上建立的yum源。http://主節(jié)點IP/cdh4.3.0/在安裝CDH的過程中，如果前面的安裝過程有遺漏，這里有可能會出錯。當出錯時，根據(jù)出錯提示進行調(diào)整根據(jù)需要進行選擇。HDFS、MapReduce、ZooKeeper、Hive、Oozie、impala、HBase。如果以后需要添加新的服務，可以在服務界面進行添加。請注意：在“繼續(xù)”下一步之前，必須先設置角色分配。主節(jié)點包含的角色： 服務器 NameNode SecondaryNameNode Master RegionServer JobTracker Gateway HiveMetastore服務器 Oozie服務器 ImpalaDaemon ImpalaStateStoreDaemon ServiceMonitor ActivityMonitor HostMonitor ReportsManager EventServer AlertPublisher ClouderaNavigator服務器子節(jié)點包含的角色： 服務器 DataNode RegionServer TaskTracker Gateway HiveServer2（只需要有一臺機器有即可）ImpalaDaemon我們安裝的分區(qū)/home下地址空間最大。安裝的時候要改hdfs，mapreduce的默認數(shù)據(jù)目錄。設為/home/dfs/dn和/home/dfs/nn、/home/dfs/snn、/home/mapred/jt、/home/mapred/localhadoop安裝的注意事項刪除輔節(jié)點 需要先刪除服務，后刪機器。增加輔節(jié)點hadoop參數(shù)的配置--HDFSHDFS參數(shù)配置建立工作目錄建立boco用戶目錄并設置權(quán)限，輸入下面命令：sudo-uhdfshadoopfs-mkdir/user/bocosudo-uhdfshadoopfs-chownboco:boco/user/bocoHDFS參數(shù)配置服務范圍-》replication-》復制因子選擇三副本。服務范圍-》HDFS塊大小設置為256Mnamenode-》資源管理-》Namenode的Java堆棧大小（字節(jié)）設置為：6GB。secondnamenode保持和namenode一致。DataNode-》資源管理-》DataNode的Java堆棧大?。ㄗ止?jié)）設置為：4GB。DataNode->性能-》最大傳輸線程數(shù)設置為8192namenode-》文件系統(tǒng)垃圾間隔設置為：10分鐘Balancer-》Balancer的Java堆棧大小（字節(jié)）設置為：4GB重啟HDFS生效hadoop參數(shù)的配置--MAPREDUCEmapreduce設置--gateway和jobtracker在gateway/性能下修改：MapReduce子Java基礎選項、Map任務Java選項庫、Reduce任務Java選項庫全部配置成-Xmx4294967296在gateway/性能下修改：I/O排序內(nèi)存緩沖(MiB)配置成1G字節(jié)。在gateway/資源管理下修改：MapReduce子Java最大堆棧、Map任務最大堆棧、Reduce任務最大堆棧配置為4GB在gateway/資源管理下修改：MapReduce最大虛擬內(nèi)存(KiB)、Map任務最大虛擬內(nèi)存(KiB)、Reduce任務最大虛擬內(nèi)存(KiB)配置為8GBjobtracker-》資源管理-》Jobtracker的Java堆棧大?。ㄗ止?jié)）設置為：4GBhadoop參數(shù)的配置--MAPREDUCEmapreduce設置--tasktracker在TASKTRACKER/性能下修改:MapReduce子Java基礎選項、Map任務Java選項庫、Reduce任務Java選項庫全部配置成-Xmx4294967296tasktracker-》高級-》為mapred-site.xml配置的安全閥TaskTracker添加如下的內(nèi)容：<property><name>mapred.task.timeout</name><value>1800000</value></property>tasktracker-》性能-》同時運行Map任務的最大數(shù)量修改為CPU核數(shù)-2；同時運行Reduce任務的最大數(shù)量修改為CPU核數(shù)/2取整。如果集群內(nèi)的機器不相同的話，TASKTRACKER可能會分為很多的組。在修改的時候，必須將每個組的參數(shù)都要對應的修改。jobtracker-》資源管理-》Jobtracker的Java堆棧大小（字節(jié)）設置為：4GBtasktracker-》資源管理-》MapReduce子Java最大堆棧（客戶端覆蓋）設置為：4GBtasktracker-》資源管理-》Map任務最大堆棧（客戶端覆蓋）:4GBtasktracker-》資源管理-》Reduce任務最大堆棧（客戶端覆蓋）:4GBtasktracker-》資源管理-》TaskTracker的Java堆棧大?。ㄗ止?jié)）:4GBtasktracker-》作業(yè)-》每個JVM運行的任務數(shù)量（客戶端覆蓋）:-1hadoop參數(shù)的配置--TASKTRACKER組目前發(fā)現(xiàn)很多地方的mapreduce配置錯誤都是這個問題。如果確認所有集群內(nèi)的機器都是同樣配置的，可以將所有的機器都移動到同一個組。如果不是，就需要每個組都要對應的配置響應的參數(shù)。hadoop參數(shù)的配置--HIVEHIVE設置HIVE的數(shù)據(jù)庫配置MYSQL的版本必須是5.1版本，其他的太新的或者太舊的版本不行。在mysql中建立hive用戶（在主節(jié)點上操作）將mysql的jdbc驅(qū)動包要放在/usr/lib/hive/lib下面。在MYLSQ中建立HIVE的庫：mysql>createdatabasehive;mysql>grantallprivilegesonhive.*to'hive'@'localhost'identifiedby'hive';mysql>grantallprivilegesonhive.*to‘hive’@‘[許可的ip地址]'identifiedby'hive';mysql>flushprivileges;HIVE的數(shù)據(jù)庫配置。HIVE的參數(shù)配置服務范圍-》Hive倉庫目錄必須是：/user/hive/warehouse此處不能修改，這個路徑是HDFS中存放HIVE元數(shù)據(jù)的地方。此處是因為HIVE出錯的最多的地方。Hive倉庫目錄必須是：/user/hive/warehouse此處不能修改。如果配置錯了，請重新初始化HIVE。hadoop參數(shù)的配置--oozieOOZIE設置OOZIE的數(shù)據(jù)庫配置將ext2.2放入/usr/lib/oozie/libext。在mysql中建立oozie用戶（在主節(jié)點上操作）將mysql的jdbc驅(qū)動包要放在/usr/lib/oozie/libserver下。mysql>createdatabaseoozie;mysql>grantallprivilegesonoozie.*to'oozie'@'localhost'identifiedby'oozie';mysql>grantallprivilegesonoozie.*to'oozie'@'[許可的ip地址]'identifiedby'oozie';mysql>flushprivileges;OOZIE的數(shù)據(jù)庫配置。OOZIE的參數(shù)調(diào)整oozie服務器-》資源管理-》OozieServer的Java堆棧大小（字節(jié)）調(diào)整為4G。OOZIE的監(jiān)控界面如下:http://主節(jié)點:11000/oozie/hadoop參數(shù)的配置--zookeeperzookeeper設置服務器默認->最大客戶端連接數(shù)設置為3600或者直接設置為0（不限制）。資源管理->ZooKeeperServer的Java堆棧大?。ㄗ止?jié)）:1吉字節(jié)mgmt1設置ActivityMonitor(默認)：12小時HostMonitor(默認)：12小時ServiceMonitor(默認)：12小時TDMRO以及LTEMRO采集配置程序部署將程序包解壓開，分別放到/home/boco/oozie_wy路徑下。在oozie_wy路徑下有如下的幾個目錄：upload，lib，config，wangyou.jar在hdfs創(chuàng)建oozie工程路徑，執(zhí)行以下命令：hadoopdfs-mkdiroozie_wy在oozie_wy/config目錄下，修改所有配置文件文件a)hadoop_perties MASTER_HOST：修改成Hadoop主節(jié)點的域名 OOZIE_HOST：修改成oozie服務所在節(jié)點的域名，默認使用主節(jié)點的域名b)perties hive.url：將IP地址替換成Hadoop主節(jié)點的IP THRIFT_HOST：將域名替換成主節(jié)點的域名c)perties impala.url：將IP地址替換成任意一個配置了ImpalaDaemon服務的子節(jié)點對應的IP，一般所有子節(jié)點都會配置ImpalaDaemon服務TDMRO以及LTEMRO采集配置配置文件更改d)informix_perties如果數(shù)據(jù)庫是informix，修改本文件） informix_jdbc：將數(shù)據(jù)庫IP地址和數(shù)據(jù)庫連接端口替換成現(xiàn)場的數(shù)據(jù)庫配置 ip：將IP地址替換成數(shù)據(jù)庫的IP informix_server：替換成數(shù)據(jù)庫的服務名 database：替換成數(shù)據(jù)庫名 db_user：替換成用戶名 db_password：替換成加密后的數(shù)據(jù)庫密碼，加密方式見下面的（密碼加密） dbload_path：數(shù)據(jù)庫服務器上部署mro_load服務的地址，對應程序在Dbload部署\mro_load目錄下。 db_charset：數(shù)據(jù)庫的編碼格式，一般為gbke)oracle_perties如果數(shù)據(jù)庫是oracle，修改本文件） oracle_jdbc：將數(shù)據(jù)庫IP地址替換成現(xiàn)場的數(shù)據(jù)庫配置（端口一般不用改，除非在建庫時有過特殊操作） ip：將IP地址替換成數(shù)據(jù)庫的IP oracle_sid：修改成目錄服務器SERVICE_NAME db_user：替換成用戶名 db_password：替換成加密后的數(shù)據(jù)庫密碼，加密方式見下面的（密碼加密） dbload_path：數(shù)據(jù)庫服務器上部署mro_load服務的地址，對應程序在Dbload部署\mro_load目錄下。 db_charset：數(shù)據(jù)庫的編碼格式，一般為gbkTDMRO以及LTEMRO采集配置TDMRO配置文件更改vi/home/boco/oozie_wy/config/td/tdmro_pertiesDB_TYPE=informix數(shù)據(jù)庫類型（目前只能支持informix和oracle）REDIS.HOST：redis服務所在的主機IP，一般配置在Hadoop主節(jié)點上.omcs：所有OMC的ID，以“,”分隔delay_hour：數(shù)據(jù)采集延遲時間。例如：1:00到2:00的數(shù)據(jù)，廠家要3:00才能全部上傳到FTP，然么這個位置就要改成2（3-1=2）,如果有延遲比較大的，根據(jù)具體情況延長。BASE_TABLE_COLLECTION=0。是否采集base表，一般設置為0。LTEMRO配置文件更改DB_TYPE：數(shù)據(jù)庫類型（目前只能支持informix和oracle）REDIS.HOST：redis服務所在的主機IP，一般配置在Hadoop主節(jié)點上。omcs：所有OMC的ID，以“,”分隔delay_hour：數(shù)據(jù)采集延遲時間。例如：1:00到2:00的數(shù)據(jù)，廠家要3:00才能全部上傳到FTP，然么這個位置就要改成2（3-1=2）,如果有延遲比較大的，根據(jù)具體情況延長。BASE_TABLE_COLLECTION=0。是否采集BASE表，一般設置為0不采集。MRO_GRID_COLLECTION=1是否采集深度覆蓋PROVENCE_MAX_LONGITUDE=108.5329本省最大的經(jīng)度PROVENCE_MAX_LATITUDE=34.3203本省最大的緯度PROVENCE_MIN_LONGITUDE=97.3661本省最小的經(jīng)度PROVENCE_MIN_LATITUDE=26.0661本省最小的緯度VENDOR_LIST=1,4,7,8本省LTE的廠家列表TDMRO以及LTEMRO采集配置TDMRO的FTP的XML文件更改td\mro\ftp此文件夾下面對應于廠家文件的FTP，有幾個FTP就建幾個文件，文件名以OMC命名，如果一個OMC在多個FTP下，則分別命名OMCID_1，OMCID_2…… 每個FTP的配置如下： <ip>FTP對應的IP地址 <user>登錄FTP的用戶名 <password>登錄FTP的密碼，加密方式見下面的（密碼加密） <port>FTP端口，一般都是21,如果配置為SFTP，則端口為22 <dir>廠家文件在FTP上對應的路徑，其中時間為$TIME$,網(wǎng)元為$RNCID$，如廠家的路徑為/LCMCCMR/20140520/2997則配置為：/LCMCCMR/$TIME$/$RNCID$ <omc>omc的ID <date_path_format>時間格式,如廠家格式為201405210615，則配置為yymmddhhmi。其中用yy表示年份，mm表示月份，dd表示天，hh表示小時，mi表示分鐘 <ftp_protocol>ftp</ftp_protocol>FTP的協(xié)議，可以配置為ftp或者是sftp。TDMRO以及LTEMRO采集配置LTEMRO的FTP的XML文件更改lte\mro\ftp此文件夾下面對應于廠家文件的FTP，有幾個FTP就建幾個文件，文件名以OMC命名，如果一個OMC在多個FTP下，則分別命名OMCID_1，OMCID_2…… 每個FTP的配置如下： <ip>FTP對應的IP地址 <user>登錄FTP的用戶名 <password>登錄FTP的密碼，加密方式見下面的（密碼加密） <port>FTP端口，一般都是21,如果配置為SFTP，則端口為22 <dir>廠家文件在FTP上對應的路徑，其中時間為$TIME$,網(wǎng)元為$ENODEB$，如廠家的路徑為/LCMCCMR/20140520/299739則配置為：/LCMCCMR/$TIME$/$ENODEB$ <omc>omc的ID <date_path_format>時間格式,如廠家格式為201405210615，則配置為yymmddhhmi。其中用yy表示年份，mm表示月份，dd表示天，hh表示小時，mi表示分鐘 <max_thread>可以用幾個線程同時去廠家下載文件，默認為3個現(xiàn)場。在現(xiàn)場建議最少修改為6，華為的建議開到20~30個線程。如果出現(xiàn)報錯的情況，建議聯(lián)系廠家修改。 <ftp_protocol>ftp</ftp_protocol>FTP的協(xié)議，可以配置為ftp或者是sftp。TDMRO以及LTEMRO采集配置LTEMRS的注意事項如果本省用hadoop采集了LTEMRS，則需要配置lte\mrs\ftp下的配置文件。LTEMRS和LTEMRO的配置文件一模一樣。只是大唐等部分廠家LTEMRS和LTEMRO的存儲路徑不一樣。故分開LTEMRS和LTEMRO的配置文件LTEMRO以及TDMRO的注意事項、在配置XML的時候，OMC_ID不具有任何的實際意義。后臺在處理的時候，根據(jù)小區(qū)的EnodebID和Cellid去更新小區(qū)的int_id。/home/boco/oozie_wy/config/td/tdmro_perties例如A省共有華為OMC3個：801（IP地址1），802（IP地址1），803（IP地址1）中興OMC1個：701（IP地址7）諾西OMC1個：401（IP地址2，3，4）則ltemro_perties中omcs應配置如下：omcs=801,701,4011,4012,4013XML文件配置如下：801.xml:如果多個OMC對應一個地址，則只保留一個。<ip>1</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/LCMCCMR/$TIME$/$ENODEB$</dir><omc>801</omc><date_path_format>yymmdd</date_path_format><max_thread>30</max_thread>如果網(wǎng)元的數(shù)量比較多，則考慮配置線程數(shù)到30，40，50，60…………<ftp_protocol>ftp</ftp_protocol>701.xml:<ip>7</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/opt/MR/data/northbound/mrfiles/$TIME$</dir><omc>701</omc><date_path_format>yymmddhhmi</date_path_format><max_thread>6</max_thread>中興的如果沒有協(xié)調(diào)廠家多開線程數(shù)的話，默認是6個。<ftp_protocol>ftp</ftp_protocol>TDMRO以及LTEMRO采集配置4011.xml<ip>2</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/$TIME$</dir><omc>4011</omc><date_path_format>yymmddhhmi</date_path_format><max_thread>6</max_thread><ftp_protocol>ftp</ftp_protocol>4012.xml<ip>3</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/$TIME$</dir><omc>4012</omc><date_path_format>yymmdd</date_path_format><max_thread>6</max_thread><ftp_protocol>ftp</ftp_protocol>TDMRO以及LTEMRO采集配置4013.xml<ip>4</ip><user>ftpuser</user><password>U2NAMjAxMw==</password><port>21</port><dir>/$TIME$</dir><omc>4013</omc><date_path_format>yymmdd</date_path_format><max_thread>6</max_thread><ftp_protocol>ftp</ftp_protocol>如果廠家一個OMC對應多個地址，則需要配置多個XML文件，這些XML文件中的<omc>配置成對應的OMC_ID。如果廠家OMC的文件在一個機器的多個獨立的路徑下，則視為不同機器，按照如上的這種配置來配。必須保證，ltemro_perties中的OMC列表和XML文件保持一致。XML文件的名字，在處理的過程中不具有任何的意義。在采集的過程中，程序讀取的是ltemro_perties中的OMC列表和XML文件中的<omc>相匹配。XML文件的名字可以隨便取，不影響采集的結(jié)果。TDMRO以及LTEMRO采集配置密碼加密在主節(jié)點的/home/boco/oozie_wy目錄下， 執(zhí)行：java-jarwangyou.jarbase64[密碼]，生成就是加密后的密碼。前文件中所有密碼的位置，都需要進行這樣的加密。 驗證密碼是否可以正確解密： java-jarwangyou.jarbase64_decode[加密密碼]，看是否可以還原為加密前的密碼。將程序上傳HDFShadoopdfs-rm-roozie_wy/*hadoopdfs-putupload/*oozie_wy/hadoopdfs-putwangyou.jaroozie_wy/lib/hadoopdfs-putconfigoozie_wy/hadoopdfs-lsoozie_wyTDMRO以及LTEMRO以及LTEMRS采集配置MRO/MRS的采集邏輯LTEMRO和LTEMRS的：采集的INI文件會在采集06點數(shù)據(jù)或者INI文件不存在的情況下生成。天匯總,在每天的2點匯總前一天的數(shù)據(jù)周匯總,在每周1的3點匯總前一周的數(shù)據(jù)月匯總,在每月1號4點匯總前一個月的數(shù)據(jù)java-jarwangyou.jarltemro2014-11-01_04TDMRO的：天匯總在每天采集0點的數(shù)據(jù)觸發(fā)；周匯總在每周一采集1點的數(shù)據(jù)觸發(fā)；月匯總在每月1號采集2點的數(shù)據(jù)觸發(fā)；采集方式如下： 在主節(jié)點oozie_wy目錄下執(zhí)行： java-jarwangyou.jarltemro[omc列表，以“,”分隔][時間列表，以“,”分隔] 例如：java-jarwangyou.jarltemro4444,55552013-11-29_00,2013-11-29_01建議一次采集所有的OMC，可以采集多個時間點。TDMRO以及LTEMRO采集配置MRO_LAOD的部署該程序可以部署在數(shù)據(jù)庫上，也可以部署在其他的機器上。如果是informix省份且部署LTEMRS采集，則必須將該程序放在數(shù)據(jù)庫主機上。必須有perl的環(huán)境，必須可以執(zhí)行DBLOAD或者SQLLDR。在mro_load/bin目錄下執(zhí)行perlmro_load.pl。將會有一個perlmro_load.pl的程序在后臺執(zhí)行，持續(xù)地監(jiān)視著是否有新的數(shù)據(jù)文件上傳。當發(fā)現(xiàn)新文件時，將會自動將其導入到數(shù)據(jù)庫內(nèi)。入庫的核查如果發(fā)現(xiàn)有表入庫不全。將mro_load程序殺掉，然后手動將程序包解壓開，手動執(zhí)行dbload或者是sqlldr，查看是否有報錯。如果有報錯，則查看dbload或者是sqlldr的日志。處理完畢之后，將mro_load進程啟動。自動采集程序java-jarwangyou.jarloopltemro&java-jarwangyou.jarlooptdmro&java-jarwangyou.jarloopltemrs&注意：必須執(zhí)行這個之后，敲入exit退出。不能直接關(guān)閉secureCRT,直接關(guān)閉secureCRT會導致該進程無法啟動。之前幾個省份的無法調(diào)度，就是因為這個原因。TDMRO和LTEMRO都是每個小時的00分啟動采集任務，為避免LTEMRS和LTEMRO任務沖突,LTEMRS每個小時31分啟動LTEMRS任務TDMRO以及LTEMRO采集配置補采數(shù)據(jù)采集指令如下：java-jarwangyou.jarltemro801,701,702,703,1201,401,104,1052014-09-13_00要求，必須所有的OMC一起采集。采集一個OMC需要的時間和采集所有的OMC花費的時間基本一樣；而所有的OMC一起采集會節(jié)約很多的時間。如果本省采集速度比較快，可以所有的OMC，多個時間點一起采集java-jarwangyou.jarltemro801,701,1201,4012014-09-13_00,2014-09-13_01,2014-09-13_02,2014-09-13_03TDMRO以及LTEMRO采集配置入庫的核查小時粒度selectomc_id,count(*)fromtdl_mro_maxrsrp_eutrwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_rsrpdiff_eutrwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_overlapwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_numofadj_eutrwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_hourwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_diffwherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtdl_mro_max_uewherescan_start_time='2014-09-1620:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_hourwherescan_start_time='2014-09-1620:00:00';天粒度selectomc_id,count(*)fromtpl_mro_maxrsrp_eutr_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_numofadj_eutr_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_overlap_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_rsrpdiff_eutr_oth_newherescan_start_time='2014-09-1600:00:00'andsum_level=1;selectomc_id,count(*)fromtpl_mro_diff_daywherescan_start_time='2014-09-1600:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_daywherescan_start_time='2014-09-1600:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_daywherescan_start_time='2014-09-1600:00:00';TDMRO以及LTEMRO采集配置周粒度selectomc_id,count(*)fromtpl_mro_maxrsrp_eutr_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_numofadj_eutr_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_overlap_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_rsrpdiff_eutr_oth_newherescan_start_time='2014-09-1500:00:00'andsum_level=2;selectomc_id,count(*)fromtpl_mro_diff_weekwherescan_start_time='2014-09-1500:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_weekwherescan_start_time='2014-09-1500:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_weekwherescan_start_time='2014-09-1500:00:00';月粒度selectomc_id,count(*)fromtpl_mro_maxrsrp_eutr_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_numofadj_eutr_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_overlap_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_rsrpdiff_eutr_oth_newherescan_start_time='2014-09-0100:00:00'andsum_level=3;selectomc_id,count(*)fromtpl_mro_diff_monwherescan_start_time='2014-09-0100:00:00';selectomc_id,count(*)fromtpl_mro_adjtdl_monwherescan_start_time='2014-09-0100:00:00';selectomc_id,count(*)fromtpl_mro_pol_adj_monwherescan_start_time='2014-09-0100:00:00';TDMRO以及LTEMRO采集配置采集監(jiān)控TDMRO以及LTEMRO采集配置--hadoop操作指令清理HDFS空間（建議每周清理一次）hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemro/xml/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/tpd/*hadoopfs-rmr-skipTrash/user/boco/cache/wy/tdmro/*hadoopfs-rmr-skipTrash/user/boco/cache/wy/ltemro/*hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemro/hoursql/*hadoopfs-rmr-skipTrash/user/boco/.staging/*sudo-uhdfshadoopfs-rmr-skipTrash/tmp/hive-mapred/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/tmp/out1/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/tmp/out21/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/gz/bmr/*hadoopfs-rmr-skipTrash/user/boco/wangyou/tdmro/gz/xml/*hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemrs/xml/*hadoopfs-rmr-skipTrash/user/boco/cache/wy/ltemrs/*hadoopfs-rmr-skipTrash/user/boco/wangyou/ltemrs/hoursql/*HDFS進入安全模式操作（需要退出安全模式才能跑采集）安全模式的檢查：hadoopdfsadmin-safemodeget退出安全模式：sudo-uhdfshadoopdfsadmin-safemodeleaveTDMRO以及LTEMRO采集配置--hadoop操作指令刪除歷史的數(shù)據(jù)（建議每月清理一次，刪除三個月之前的數(shù)據(jù)，如果空間很緊張的話，刪除一個月之前的數(shù)據(jù)）如果本地空間比較足的話，建議保留3個月甚至更長。如果空間比較緊張，最少也要保留一個月。例如刪除2014年6月份的數(shù)據(jù)sudo-uhdfshadoopfs-rmr-skipTrash/user/hive/warehouse/*/*/datepart=2014-06*sudo-uhdfshadoopfs-rmr-skipTrash/user/hive/warehouse/*/datepart=2014-06*sudo-uhdfshadoopfs-rmr-skipTrash/user/hive/.Trash/*定期清理HIVE中臨時表定期清理hive中臨時表在命令行下敲hive，然后showtables;可以查到所有hive中的表。只要是表名后面帶一串數(shù)字的，都是臨時表。建議把這些表全部清理掉。建議每周清理一次。刪除的命令：droptablehour_ltemro_1422270014675;droptablehour_ltemro_1422270661479;droptablehour_ltemro_1422489612105;droptablehour_ltemro_1422493233005;droptablehour_ltemro_1422621984029;droptablehour_ltemro_1422766806138;droptablehour_ltemro_1423724432451;droptablemro_adjtdl_hour_temp_1422270014675;droptablemro_adjtdl_hour_temp_1422270661479;droptablemro_adjtdl_hour_temp_1422489612105;droptablemro_adjtdl_hour_temp_1422621984029;droptablemro_adjtdl_hour_temp_1422766806138;TDMRO以及LTEMRO采集配置--hadoop操作指令hadoop的任務管理#查詢正在執(zhí)行的任務：hadoopjob-list#殺掉正在執(zhí)行的任務hadoopjob-killjob_201310301049_0974hadoopjob-killjob_201310301049_0977hadoop時鐘同步問題pdsh-wssh:10.32.22.[2,3,4,5]date-s10:55:20pdsh-wssh:10.110.180.[233,234,235]date-s11:50:00pdsh-wssh:10.32.22.[2,3,4,5]date-s11:50:00TDMRO以及LTEMRO采集配置--LTEMRO數(shù)據(jù)流向廠家FTP數(shù)據(jù)NIOS_RES數(shù)據(jù)廠家數(shù)據(jù)入HDFSINI文件存入REDIS數(shù)據(jù)解析，生成ori表tdl_mro_basetable_oritdl_mro_maxrsrp_eutr_oritdl_mro_max_ue_oritdl_mro_numofadj_eutr_oritdl_mro_rsrpdiff_eutr_oritpl_mro_adjtdl_hour_oritdl_mro_overlap_oritdl_mro_diff_oritpl_mro_pol_adj_hour_oritdl_mro_maxrsrp_eutrtdl_mro_max_uetdl_mro_numofadj_eutrtdl_mro_rsrpdiff_eutrtpl_mro_adjtdl_hourtdl_mro_overlaptdl_mro_difftpl_mro_pol_adj_hour析解據(jù)數(shù)小時匯總tpl_mro_maxrsrp_eutr_oth_netpl_mro_numofadj_eutr_oth_netpl_mro_rsrpdiff_eutr_oth_netpl_mro_adjtdl_daytpl_mro_overlap_oth_netpl_mro_diff_daytpl_mro_pol_adj_day大粒度匯總數(shù)據(jù)解析NIOSDB數(shù)據(jù)入庫TDMRO以及LTEMRO采集配置--LTEMRO解析流程資源工參數(shù)據(jù)入內(nèi)存數(shù)據(jù)庫NIOSDB數(shù)據(jù)入庫數(shù)據(jù)預處理JAVA生成INI文件OMC1入HDFS下載MRO原始文件MAPER（THREAD）download（FTP/SFTP）OMC2OMCn合并原始文件大量原始小XML文件MAPER(THREAD)merge_xml_file合并后大XML文件XML文件解析合并后文件MAPERfileInputStream壓縮字符流OriMapMAPERXmlPaserinputstreambaseOriMAPERoutputStreamdiff/adjtdl/pol/numofadj/overlap/maxue/rsrporiTableMAPERfileoutput建立外部表externaltableHIVEcreateexternaloriTable小時匯總externaltableHIVEsum/avg/maxhiveTable天周月匯總HIVEtableHIVEsum/avg/maxHIVESUMtable導入到數(shù)據(jù)庫HIVEALLtableHDFSgetMergetable.txt/ctl/cmdPERLdbloadTDMRO以及LTEMRO采集配置--日志查看方法1、查看oozie，看看是否有報錯信息。注意：查看ERROR的才是報錯的，KILL的不是報錯。kill的任務是因為其他報錯而被調(diào)度進程殺掉的。TDMRO以及LTEMRO采集配置--日志查看方法2、查看50030，查看對應時間點的日志。注意：FTP，XML_PARSE，HIVE等的節(jié)點一般是有兩個：一個是調(diào)度任務，一個執(zhí)行的任務本身。注意要找任務本身。TDMRO以及LTEMRO采集配置--日志查看方法3、查看50030，追查日志詳情。注意：需要一步一步的點擊進去。TDMRO以及LTEMRO采集配置--日志查看方法3、查看50030，追查日志詳情。注意：查看報錯信息。TDMRO以及LTEMRO采集配置--日志查看方法3、查看50030，追查日志詳情。注意：找到報錯原因，并解決。TDMRO以及LTEMRO采集配置--日志查看方法4、目前經(jīng)常需要查看的地方。注意：必須經(jīng)常查看FTP_DOWNLOAD的日志。登錄幾個省份，發(fā)現(xiàn)這個地方都存在報錯的信息。需要重點查看。一般報錯主要是常見錯誤中的問題4和問題10，還有帳號密碼配置錯誤的，配置成SFTP但是無法登錄的，還有IP地址根本連接不上的。常見錯誤以及處理辦法1、mysql版本，必須是MYSQL5.1。 查詢辦法mysqladminversion 在建立hive數(shù)據(jù)庫的時候，最好是:createdatabasehivedefaultcharset='utf8'; oozie的數(shù)據(jù)庫，同樣：createdatabaseooziedefaultcharset='utf8';2、hadoop采集的字符集問題。修改/etc/sysconfig/i18n更改字符集為en_US.UTF-8重啟機器生效。重啟機器的指令為：在root下敲入如下指令：sync;sync;init63、修改mapreduce。 在gateway/性能下修改：MapReduce子Java基礎選項、Map任務Java選項庫、Reduce任務Java選項庫全部配置成-Xmx4294967296 在TASKTRACKER/性能下修改:MapReduce子Java基礎選項、Map任務Java選項庫、Reduce任務Java選項庫全部配置成-Xmx4294967296常見錯誤以及處理辦法4、必須關(guān)注各個任務的詳細情況當出現(xiàn)如下的錯誤的時候，請及時的將下載的進程數(shù)調(diào)小。vi/home/boco/oozie_wy/config/lte/mro/ftp/807101.xml將max_thread由原來的6個調(diào)整為3個,或者協(xié)調(diào)廠家加大FTP的最大線程數(shù)。 stderrlogs： .ftp.FTPConnectionClosedException:FTPresponse421received.Serverclosedconnection. at.ftp.FTP.__getReply(FTP.java:363) at.ftp.FTP.__getReply(FTP.java:290) at.ftp.FTP._connectAction_(FTP.java:396) at.ftp.FTPClient._connectAction_(FTPClient.java:796) at.SocketClient.connect(SocketClient.java:172) at.SocketClient.connect(SocketClient.java:192) at.SocketClient.connect(SocketClient.java:285) atcom.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550) atcom.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67) 登錄ftp服務器【49】失敗，F(xiàn)TP服務器無法打開！ .ftp.FTPConnectionClosedException:FTPresponse421received.Serverclosedconnection. at.ftp.FTP.__getReply(FTP.java:363) at.ftp.FTP.__getReply(FTP.java:290) at.ftp.FTP._connectAction_(FTP.java:396) at.ftp.FTPClient._connectAction_(FTPClient.java:796) at.SocketClient.connect(SocketClient.java:172) at.SocketClient.connect(SocketClient.java:192) at.SocketClient.connect(SocketClient.java:285) atcom.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550) atcom.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67) 登錄ftp服務器【49】失敗，F(xiàn)TP服務器無法打開！ .ftp.FTPConnectionClosedException:FTPresponse421received.Serverclosedconnection. at.ftp.FTP.__getReply(FTP.java:363) at.ftp.FTP.__getReply(FTP.java:290) at.ftp.FTP._connectAction_(FTP.java:396) at.ftp.FTPClient._connectAction_(FTPClient.java:796) at.SocketClient.connect(SocketClient.java:172) at.SocketClient.connect(SocketClient.java:192)常見錯誤以及處理辦法5、TASKTRACKER和HDFS組的問題發(fā)現(xiàn)部分地方在安裝的時候，將所有的機器分組的問題。如果分組，需要將每個組的參數(shù)都要修改。目前發(fā)現(xiàn)很多的地方，TASKTRACKER和HDFS都分了組，但是只修改一組的參數(shù)，造成系統(tǒng)大量出問題。javaheapsize以及tasktracker被拉黑名單的問題。6、namenode和datanode的內(nèi)存配置問題。 建議將使用的內(nèi)存修改為4G左右。7、建議將HIVE2服務放到一個輔節(jié)點上。 hive2放到輔節(jié)點上，經(jīng)常出現(xiàn)add_partation掛起報錯。8、解決HIVE經(jīng)常掛死的問題 修改zookeeper的最大客戶端連接數(shù)，maxClientCnxns修改為3600或者修改成0不限制 自動清空時間間隔，autopurge.purgeInterval修改為1小時9、廠家XML配置的問題。 如果廠家是這樣的：/data/dataservice/mr/ltemro/huawei/20140815/01/362323/TD-LTE_MRO_HUAWEI_010133150144_362323_20140815011500.xml.gz 建議配置成這樣的： 路徑：/data/dataservice/mr/ltemro/huawei/$TIME$/$ENODEB$ 時間格式：yymmdd/hh常見錯誤以及處理辦法10、在/home/boco/oozie_wy/config/lte/mro/ftp下禁止存放.bak文件 有一個省份的mapper數(shù)超多，導致解析很長時間沒有完成。 進一步發(fā)現(xiàn)FTP在合并文件的時候報錯，再進一步發(fā)現(xiàn)同一個IP地址，同一個OMC啟動了三個mapper進程去下載數(shù)據(jù)導致文件合并失敗。 發(fā)現(xiàn)是修改了ftp.xml文件，沒有刪除原來的文件，而是以一個bak文件存放。 刪除這些bak文件，mapper數(shù)量正常。 原mapper數(shù)1731個，刪除之后mapper數(shù)41個,采集正常。 打開50030看FTP的日志，存在如下的報錯： java.io.FileNotFoundException:Filedoesnotexist:/user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_303024_20140918111500.xml.zip atnode.INodeFile.valueOf(INodeFile.java:39) atnode.FSNamesystem.getBlockLocationsUpdateTimes(FSNamesystem.java:1341) atnode.FSNamesystem.getBlockLocationsInt(FSNamesystem.java:1293) atnode.FSNamesystem.getBlockLocations(FSNamesystem.java:1269) atnode.FSNamesystem.getBlockLocations(FSNamesystem.java:1242) atnode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:392) attocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:172)常見錯誤以及處理辦法atto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44938)atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701)atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697)atjava.security.AccessController.doPrivileged(NativeMethod) 或者： org.apache.hadoop.ipc.RemoteException(node.LeaseExpiredException):Leasemismatchon/user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_3030_20140918.xmlownedbyDFSClient_NONMAPREDUCE_-1274827212_1butisaccessedbyDFSClient_NONMAPREDUCE_-216613905_1 atnode.FSNamesystem.checkLease(FSNamesystem.java:2459) atnode.FSNamesystem.checkLease(FSNamesystem.java:2437) atnode.FSNpleteFileInternal(FSNamesystem.java:2503) atnode.FSNpleteFile(FSNamesystem.java:2480) atnode.NameNodeRpcSplete(NameNodeRpcServer.java:535) attocolPB.ClientNamenodeProtocolServerSideTranslatorPB.complete(ClientNamenodeProtocolServerSideTranslatorPB.java:337) atto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44958) atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)常見錯誤以及處理辦法11、REDIS故障 解析時候報錯，錯誤如下： redis.clients.jedis.exceptions.JedisConnectionException:Couldnotgetaresourcefromthepool atredis.clients.util.Pool.getResource(Pool.java:22) atcom.boco.wangyou.utils.JedisUtils.getJedis(JedisUtils.java:47) atcom.boco.wangyou.utils.JedisUtils.getTableValues(JedisUtils.java:119) atcom.boco.wangyou.lte.mro.tdl.tools.LteMroXMLParser.<init>(LteMroXMLParser.java:82) atcom.boco.wangyou.lte.mro.tdl.XMLParseMapper.map(XMLParseMapper.java:44) atcom.boco.wangyou.lte.mro.tdl.XMLParseMapper.map(XMLParseMapper.java:18) atorg.apache.hadoop.mapreduce.Mapper.run(Mapper.java:140) 此問題一般是因為REDIS沒有啟動導致。12、克隆機器安裝的問題 把一個節(jié)點的第二步都裝好了，把它克隆到其它主機上，再把克隆到的主機的IP （注意在修改IP配置文件的時候，將HWaddr也改了，一般是這種格式：00:50:56:80:4E:D6， 否則在連接時會找不到硬盤）和主機名改下。 此種情況主要出現(xiàn)在使用vmvarevsphere克隆導致的。 注意： 克