實訓9 Hive的安裝與部署

實訓5.1Hive的安裝與部署1.實訓目的通過本實訓，理解Hive安裝操作及配置，完成Hive以及MySQL的安裝，理解Hive三種部署方式中的其中兩種，了解操作流程上有哪些區(qū)別。2.實訓內(nèi)容該實訓內(nèi)容主要介紹Hive的原理，包含Hive的內(nèi)嵌模式以及本地MySQL方式的部署，接著還手把手帶著操作了Hive的內(nèi)嵌模式。安裝了MySQL環(huán)境，最后配置將Hive元數(shù)據(jù)保存到本地MySQL中。3.實訓要求以小組為單元進行實訓，每小組5人，小組自主協(xié)商選一位組長，由組長安排和分配實訓任務，安裝MySQL時要求能聯(lián)網(wǎng)，但本實訓平臺是可以聯(lián)網(wǎng)的。4.準備知識（1）MySQL簡介MySQL是一個開源的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，目前屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應用方面，MySQL是最好的RDBMS（RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng)）應用軟件。5.實訓步驟（1）部署方式一：內(nèi)嵌模式①安裝包準備將apache-hive-3.1.3-bin.tar.gz壓縮包上傳至master節(jié)點的/root/package目錄下。查詢Hive的安裝包是否上傳成功，查詢結(jié)果如圖5-4所示。圖5-4查詢安裝包②Hive的安裝及配置解壓apache-hive-3.1.3-bin.tar.gz，這里解壓在/opt/software目錄下：tar-zxvfapache-hive-3.1.3-bin.tar.gz-C/opt/software/設置Hive的配置文件（hive-env.sh），添加上HADOOP_HOME，添加結(jié)果如圖5-5所示。cd/opt/software/apache-hive-3.1.3-bin/confcphive-env.sh.templatehive-env.shvimhive-env.sh添加Hadoop安裝路徑：HADOOP_HOME=/opt/software/hadoop-3.3.4圖5-5添加HADOOP_HOME環(huán)境③替換jar包并解決jar包沖突替換yarn/lib下的jline的jar包為Hive安裝目錄下的（操作的時候注意選擇性替換）cd../libmvguava-19.0.jarguava-19.0.jar.bakcp/opt/software/hadoop-3.3.4/share/hadoop/common/lib/guava-27.0-jre.jar/opt/software/apache-hive-3.1.3-bin/lib/guava-27.0.jar解決日志jar包沖突，此處修改lib目錄下的log4j-slf4j-impl-2.17.1.jar的名稱即可：mvlog4j-slf4j-impl-2.17.1.jarlog4j-slf4j-impl-2.17.1.jar.bak④配置環(huán)境變量：vim/etc/profile添加以下內(nèi)容：exportHIVE_HOME=/opt/software/apache-hive-3.1.3-binexportPATH=$PATH:$HIVE_HOME/bin使配置生效：source/etc/profile⑤初始化元數(shù)據(jù)庫內(nèi)嵌模式時Hive使用的是自帶的Derby數(shù)據(jù)庫，此時可以使用bin目錄下的schematool初始化元數(shù)據(jù)。cd../bin./schematool-dbTypederby-initSchema初始化成功后，會提示以下內(nèi)容：InitializationscriptcompletedschemaToolcompleted同時，查看bin目錄下，會新生成了一個metastore_db文件夾和一個derby.log文件。⑥執(zhí)行hive命令進入Hive操作頁面，如圖5-6所示。說明：因為Hive依賴HDFS，所以需要先啟動HDFS。hive圖5-6Hive操作頁面⑦測試Hive是否能正常執(zhí)行操作，查詢一下Hive里邊的表。結(jié)果如圖5-7。showtables;圖5-7查看Hive表結(jié)果查詢一下Hive的內(nèi)置函數(shù)。結(jié)果如圖5-8所示showfunctions;圖5-8查看Hive的函數(shù)結(jié)果（2）部署方式二：本地MySQL模式在本地MySQL模式中，Hive的元數(shù)據(jù)將會存儲在MySQL中，所以首先需要先安裝好MySQL。本次實訓安裝的MySQL版本為：MySQL8.0.30版本。①上傳安裝MySQL所需的Rpm包并安裝。所需要的Rpm包一共有以下六個：mysql-community-common-8.0.30-1.el7.x86_64.rpmmysql-community-client-plugins-8.0.30-1.el7.x86_64.rpmmysql-community-libs-8.0.30-1.el7.x86_64.rpmmysql-community-client-8.0.30-1.el7.x86_64.rpmmysql-community-icu-data-files-8.0.30-1.el7.x86_64.rpmmysql-community-server-8.0.30-1.el7.x86_64.rpm將其上傳到master節(jié)點。然后依次執(zhí)行安裝命令即可（注意有順序要求）。按照以下操作執(zhí)行：rpm-ivhmysql-community-common-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-client-plugins-8.0.30-1.el7.x86_64.rpm安裝libs之前，需要已經(jīng)存在的卸載mysql-libsyumremove-ymysql-libs執(zhí)行完后，繼續(xù)安裝：rpm-ivhmysql-community-libs-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-client-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-icu-data-files-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-server-8.0.30-1.el7.x86_64.rpm如果安裝mysql-community-server-8.0.30-1.el7.x86_64.rpm時報錯，提示需要先安裝net-tools，則先使用以下命令安裝net-tools再繼續(xù)安裝：yuminstall-ynet-tools②配置并啟動MySQL完成安裝后，需要設置一下MySQL數(shù)據(jù)庫編碼格式，在/etc文件夾新建my.conf文件。vim/etc/my.conf在下面添加以下內(nèi)容：[client]default-character-set=utf8[mysql]default-character-set=utf8[mysqld]character_set_server=utf8啟動MySQL服務：systemctlstartmysqld啟動之后，可以在master的/var/log/mysqld.log文件查找到初始的隨機密碼，如本次實訓的密碼為：“wkqrodxEN7,N”。如圖5-9所示。圖5-9查找初始隨機密碼使用初始密碼登錄MySQL，如圖5-10所示。mysql-uroot-p'wkqrodxEN7,N'圖5-10登錄MySQL③修改MySQL登錄密碼先重置初始化密碼為符合復雜度規(guī)則的新密碼：alteruserroot@localhostidentifiedby"@Hadoop_123456";設置新密碼的驗證策略為0，表示最低setglobalvalidate_password.policy=0;設置新密碼的長度最小值為6位setglobalvalidate_password.length=6;設置新密碼為123456alteruserroot@localhostidentifiedby'123456';修改好后，使用quit退出MySQL終端，重新使用密碼（123456）登錄進來。給root用戶設置遠程登錄權(quán)限createuserroot@'%'identifiedby'123456';grantallprivilegeson*.*toroot@'%'withgrantoption;重新刷新權(quán)限表flushprivileges;重新登錄：exit;退出再重新啟動MySQL服務servicemysqldrestart設置MySQL開機啟動chkconfigmysqldon④配置Hive元數(shù)據(jù)存儲在MySQL在hive-site.xml中配置MySQL相關(guān)信息，因為Hive中沒有hive-site.xml文件，所以是直接創(chuàng)建。cd/opt/software/apache-hive-3.1.3-bin/confvimhive-site.xml添加下面內(nèi)容：<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value><description>MySQL的連接協(xié)議</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value><description>MySQL數(shù)據(jù)庫連接驅(qū)動</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>MySQL數(shù)據(jù)庫的用戶名</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>MySQL數(shù)據(jù)庫的密碼</description></property></configuration>⑤上傳MySQL驅(qū)動包到$HIVE_HOME/lib/驅(qū)動包上傳到/root/package目錄，然后復制到$HIVE_HOME/lib/目錄cp/root/package/mysql-connector-java-8.0.30.jar/opt/software/apache-hive-3.1.3-bin/lib/⑥初始化元數(shù)據(jù)庫cd/opt/software/apache-hive-3.1.3-bin/bin./schematool-dbTypemysql-initSchema執(zhí)行后，出現(xiàn)以下字眼則表示成功：InitializationscriptcompletedschemaToolcompleted并且也可以在MySQL中新生成了一個名稱為hive的數(shù)據(jù)庫。⑦啟動Hive（啟動之前，