任務8實訓：Hive的安裝部署

任務八實訓：Hive的安裝部署一、實驗目的1.1掌握Hive的搭建與配置二、實驗內容2.1Hive的安裝部署Hive是一個客戶端工具并沒有集群的概念，所以Hive的安裝部署相對簡單。一般情況下，由于Hive的元數據信息存儲在第三方數據庫中（如MySQL），所以在安裝Hive之前需要首先安裝MySQL數據庫。由于硬件資源有限，我們從Hadoop集群中選擇hadoop1節(jié)點來安裝部署Hive客戶端以及MySQL元數據庫即可。進入root用戶：[hadoop@hadoop1hadoop]$su-root下載wget[root@hadoop1~]#yuminstallwget-y由于CentOS7的yum源中沒有正常安裝mysql時的mysql-sever文件，所以我們直接使用yum安裝的時候并不能成功，這也是CentOS7所不一樣的一個地方，所以我們需要去官網上下載：[root@hadoop1~]#wget/get/mysql-community-release-el7-5.noarch.rpm[root@hadoop1~]#rpm-ivhmysql-community-release-el7-5.noarch.rpm2.1.1安裝MySQLMySQL數據庫的安裝有離線和在線安裝兩種方式，為了方便起見，我們選擇在線安裝方式。（1）在線安裝MySQL在hadoop1節(jié)點上，使用yum命令在線安裝MySQL數據庫，具體操作如下所示。[root@hadoop1~]#yuminstallmysql-server（2）啟動mysql服務MySQL數據庫安裝成功之后，通過命令行啟動MySQL服務，具體操作如下所示。[root@hadoop1~]#servicemysqldstart（3）設置MySQLroot用戶密碼MySQL剛剛安裝完成，默認root用戶是沒有密碼的，需要登錄MySQL設置root用戶密碼，具體步驟如下。無密碼登錄MySQL因為MySQL默認沒有密碼，所以使用root用戶可直接登錄MySQL，輸入密碼時可按Enter鍵回車即可，具體操作如下所示。[root@hadoop1~]#mysql-uroot-pEnterpassword:......mysql>設置root用戶密碼在MySQL客戶端設置root用戶密碼，具體操作如下所示。mysql>setpasswordforroot@localhost=password('root');有密碼登錄MySQL設置完MySQLroot用戶密碼之后，退出并重新登錄MySQL，用戶名為：root，密碼為：root。[root@hadoop1~]#mysql-uroot–pEnterpassword:mysql>如果能成功登錄MySQL，就說明MySQL的root用戶密碼設置成功。（4）創(chuàng)建Hive賬戶1）首先輸入如下命令創(chuàng)建Hive賬戶，操作命令如下。mysql>createuser'hive'identifiedby'hive';2）將MySQL所有權限授予Hive賬戶，操作命令如下所示。mysql>grantallon*.*to'hive'@'hadoop1'identifiedby'hive';3）將MySQL所有權限授予Hive賬戶，并允許所有ip訪問。mysql>grantallon*.*to'hive'@'%'identifiedby'hive';4）通過命令使上述授權生效，操作命令如下所示。mysql>flushprivileges;如果上述操作成功，就可以使用Hive賬戶登錄MySQL數據庫，具體命令如下。mysql>mysql-hhadoop1-uhive-p創(chuàng)建hive數據庫mysql>createdatabasehive;2.2安裝HiveHive的安裝比較簡單，因為Hive底層存儲依賴HDFS，底層計算默認依賴MapReduce，所以我們選擇一個節(jié)點部署Hive客戶端，通過Hive客戶端能將Hive查詢任務提交到Hadoop集群運行即可。2.2.1下載Hive到官網（/down/oads.html）下載Hive安裝包apache-hive-2.3.7-bin.tar.gz，然后上傳至hadoop1節(jié)點的/home/hadoop/app目錄下。2.2.2解壓Hive在hadoop1節(jié)點上，使用解壓命令解壓Hive安裝包，具體操作如下所示。[hadoop@hadoop1app]$tar-zxvfapache-hive-2.3.7-bin.tar.gz然后創(chuàng)建hive軟連接，具體操作如下所示。[hadoop@hadoop1app]$ln-sapache-hive-2.3.7-binhive2.2.3修改hive-site.xml配置文件進入hive的conf目錄下發(fā)現hive-site.xml文件不存在，需要從默認配置文件復制一份，具體操作如下所示。[hadoop@hadoop1conf]$cphive-default.xml.templatehive-site.xml然后在hive-site.xml配置文件中，修改元數據庫相關配置，修改內容如下所示。[hadoop@hadoop1conf]$vihive-site.xml#配置連接驅動名為com.mysql.jdbc.Driver<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property>#修改連接MySQL的URL<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop1:3306/hive?characterEncoding=UTF-8</value></property>#修改連接數據庫的用戶名和密碼<property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value></property>2.2.4配置Hive環(huán)境變量打開.bashrc文件，配置Hive環(huán)境變量，具體操作如下所示。[hadoop@hadoop1conf]$vi~/.bashrcJAVA_HOME=/home/hadoop/app/jdkHADOOP_HOME=/home/hadoop/app/hadoopHIVE_HOME=/home/hadoop/app/hiveCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:/home/hadoop/tools:$HIVE_HOME/bin:$PATHexportJAVA_HOMECLASSPATHPATHHADOOP_HOMEHIVE_HOME保存并退出，并用命令source~/.bashrc使配置文件生效。2.2.5添加MySQL驅動包下載mysql-connector-java-5.1.38.jar（地址：/maven2/mysql/）驅動包，然后上傳至Hive的lib目錄下即可。2.2.6修改Hive相關數據目錄修改hive-site.xml配置文件，更改相關數據目錄，具體配置如下所示。[hadoop@hadoop1conf]$vihive-site.xml<property><name>hive.querylog.location</name><value>/home/hadoop/app/hive/iotmp</value></property><property><name>hive.exec.local.scratchdir</name><value>/home/hadoop/app/hive/iotmp</value></property><property><name>hive.downloaded.resources.dir</name><value>/home/hadoop/app/hive/iotmp</value></property>2.2.7啟動Hive服務第一次啟動Hive