2023學(xué)年完整公開課版Hive安裝部署

Hive安裝部署課程目標(biāo)本課程的目的是能夠使學(xué)員了解Hive的作用、工作原理、工作場景，掌握Hive數(shù)據(jù)倉庫的HQL使用方法，能夠進(jìn)行UDF編程、Hive模式設(shè)計(jì)及優(yōu)化。課程內(nèi)容Hive安裝配置Hive概述HiveQL--數(shù)據(jù)定義HiveQL—數(shù)據(jù)操作hive視圖、索引hive文件操作及UDFHive模式設(shè)計(jì)及優(yōu)化實(shí)驗(yàn)說明實(shí)驗(yàn)的操作系統(tǒng)是Linux的開源發(fā)行版Ubuntu16.04，采用VM虛擬機(jī)進(jìn)行安裝創(chuàng)建JDK版本1.8Hadoop版本2.7.2Hive版本1.2.1安裝前準(zhǔn)備完成JDK安裝配置完成hadoop安裝配置下載文件apache-hive-1.2.1-bin.tar.gzmysql-connector-java-5.1.39.zip集群的規(guī)劃設(shè)計(jì)集群中部署3個(gè)節(jié)點(diǎn)：IP

hostname 充當(dāng)?shù)慕巧?/p>

Master nn/RM/Hive/metastore/mysql

Slave1 dn/NM/Hive Slave2 dn/NM/hive Hive的安裝步驟--本地模式安裝Mysql，并進(jìn)行配置創(chuàng)建hive用戶，并分配權(quán)限下載hive包，并解壓到工作目錄配置hive文件，設(shè)置環(huán)境變量、指出使用本地Mysql數(shù)據(jù)庫，以及連接協(xié)議、賬號、口令等把mysql-connector-java-x.x.x.jar復(fù)制到hive的lib目錄下初始化mysql數(shù)據(jù)庫啟動(dòng)hive驗(yàn)證hive是否安裝成功安裝mysql安裝服務(wù)器sudoapt-getinstallmysql-server安裝客戶端sudoapt-getinstallmysql-clientsudoapt-getinstalllibmysqlclient-dev修改配置文件/etc/mysql/mysql.conf.d/f#bind-address=安裝mysql創(chuàng)建用戶并設(shè)置遠(yuǎn)程登錄權(quán)限grantALLPRIVILEGESon*.*to‘hive'@'%'identifiedby'123456';grantALLPRIVILEGESON*.*TO‘hive'@'localhost'IDENTIFIEDBY'123456';

FLUSHPRIVILEGES;Hive安裝上傳包將下載的hive安裝包上傳到/home/hadoop上解壓 tar–zxvfapache-hive-1.2.1-bin.tar.gz重命名包mvapache-hive-1.2.1-binhive-1.2.1下載MySQL的驅(qū)動(dòng)包mysql-connector-java-5.1.39.zip，將解壓出來的jar放入hive的lib目錄下配置hive環(huán)境變量$file

注意CLASSPATH、PATH在原有配置上增加hive包路徑exportHIVE_HOME=/home/hadoop/hive-1.2.1exportPATH=$HIVE_HOME/bin:$PATHexportCLASSPATH=$CLASSPATH:$HIVE_HOME/lib$file配置hive-env.shcphive-env.sh.templatehive-env.sh編輯hive-env.sh文件HADOOP_HOME=/home/hadoop/hadoop-2.7.2exportHIVE_CONF_DIR=/home/hadoop/hive-1.2.1/confHDFS存儲位置配置Hive配置文件里要用到HDFS的一些路徑，需要手動(dòng)創(chuàng)建如下路徑：hdfsdfs-mkdir-p/hive/warehousehdfsdfs-mkdir-p/hive/logshdfsdfs-mkdir-p/hive/tmphdfsdfs-chmod733/hive/warehousehdfsdfs-chmod733/hive/logshdfsdfs-chmod733/hive/tmp創(chuàng)建本地的目錄mkdir-p/home/hadoop/hive-1.2.1/hivedata/logs配置hive-site.xmlcphive-default.xml.templatehive-site.xml編輯hive-site.xml文件<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property>配置hive-site.xml<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.warehouse.dir</name><value>/hive/warehouse</value></property><property><name>hive.exec.scratchdir</name><value>/hive/tmp</value></property>配置log4j創(chuàng)建配置文件：perties修改上面兩個(gè)文件中的配置:hive.log.dir=/home/hadoop/hive-1.2.1/logslog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter啟動(dòng)hive初始化mysql數(shù)據(jù)庫schematool--dbTypemysql-initSchema如果出現(xiàn)如下警告：WARN:EstablishingSSLconnectionwithoutserver‘sidentityverificationisnotrecommended.AccordingtoMySQL5.5.45+,5.6.26+and5.7.6+requirementsSSLconnectionmustbeestablishedbydefaultifexplicitoptionisn’tset.。。。修改hive-site.xml配置文件：<name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>啟動(dòng)hive啟動(dòng)hivehive啟動(dòng)hive時(shí)，可能會遇到下面的問題：Exceptioninthread"main"java.lang.RuntimeException:java.lang.IllegalArgumentException:.URISyntaxException:RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:%7D解決方法：查看hive-site.xml配置，會看到配置值含有"system:java.io.tmpdir"的配置項(xiàng)新建文件夾mkdir-p/home/hadoop/hive-1.2.1/hivedata/tmp將含有"system:java.io.tmpdir"的配置項(xiàng)的值修改為如上地址啟動(dòng)hive啟動(dòng)hivehive啟動(dòng)hive時(shí)，可能會遇到下面的問題：[ERROR]Terminalinitializationfailed;fallingbacktounsupportedjava.lang.IncompatibleClassChangeError:Foundclassjline.Terminal,butinterfacewasexpectedatjline.TerminalFactory.create(TerminalFactory.java:101)Foundclassjline.Terminal：原因是hadoop目錄下存在老版本jline解決方法：進(jìn)入hive的lib目錄，把新版本的jline復(fù)制到hadoop的以下目錄cpjline-2.12.jar/home/hadoop/hadoop-2.7.2/share/hadoop/yarn/lib/把hadoop舊版本的jline刪掉Hive的安裝--遠(yuǎn)程模式安裝部署將master上的hive-1.2.1目錄復(fù)制到其他節(jié)點(diǎn)上按照master上的配置修改其他節(jié)點(diǎn)上的.profile文件，添加hive的配置修改hive-size.xml文件，刪除如下的配置：javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamejavax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword修改hive-size.xml文件，添加如下的配置：<property>

<