Hadoop大數(shù)據(jù)平臺(tái)構(gòu)建與應(yīng)用(工作手冊(cè)式)（微課版） 課件 7.1 Sqoop安裝與配置

Sqoop安裝與配置主講：李強(qiáng)任務(wù)描述因?yàn)镾qoop是一個(gè)用于在關(guān)系數(shù)據(jù)庫服務(wù)器和Hadoop系統(tǒng)之間傳輸數(shù)據(jù)的工具，其中Hadoop系統(tǒng)主要是HDFS、Hive和HBase等，所以Sqoop安裝后的配置主要就是針對(duì)這幾個(gè)的環(huán)境變量的配置工作以及更新所需的Hive和HBase的程序包。任務(wù)分析由于Sqoop2偏向服務(wù)化，特別是架構(gòu)稍復(fù)雜，配置部署很繁瑣，Sqoop1在功能上完全可以滿足基本的需求，所以本項(xiàng)目使用Sqoop1中的Sqoop1.4.7版本。本任務(wù)只在master節(jié)點(diǎn)上進(jìn)行安裝配置和應(yīng)用即可。7.1.1安裝Sqoop組件1．解壓安裝文件本手冊(cè)所使用的版本是Sqoop1.4.7，可以從Sqoop官網(wǎng)下載。下載好的安裝包都需上傳到指定目錄下，本手冊(cè)指定為/root/目錄，使用ls命令可以查看上傳的安裝包（具體上傳方式請(qǐng)參考項(xiàng)目1），如圖7-1所示。使用tar命令解壓Sqoop到/usr/local/src文件夾，并切換到安裝目錄下查看，可以使用ls查看解壓后的效果，如代碼7-1所示，效果如圖7-2所示。代碼7-1解壓安裝包圖7-1查看安裝包tar-zxfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src/cd/usr/local/src/ls圖7-2查看解壓好的安裝包2．修改文件夾名稱由于解壓后的文件夾名稱帶有比較復(fù)雜的版本號(hào)，為了簡化后續(xù)配置，此處修改文件夾名稱。使用mv命令將解壓的sqoop-1.4.7.bin__hadoop-2.6.0目錄重命名為sqoop，如代碼7-2所示，效果如圖7-3所示。代碼7-2重命名文件夾圖7-2查看解壓好的安裝包tar-zxfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src/cd/usr/local/src/ls3．修改環(huán)境變量文件為了可以在任何目錄下直接執(zhí)行Sqoop的相關(guān)命令，可以在環(huán)境變量文件中添加Sqoop的環(huán)境變量。參考項(xiàng)目2，使用“vi/root/.bash_profile”將如表7-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。表7-1環(huán)境變量文件的添加內(nèi)容#setsqoopenvironmentexportSQOOP_HOME=/usr/local/src/sqoopexportPATH=$PATH:$SQOOP_HOME/binexportCLASSPATH=$CLASSPATH:$SQOOP_HOME/lib4．生效環(huán)境變量文件為了刷新環(huán)境變量文件的配置，需要在master節(jié)點(diǎn)執(zhí)行下面的命令使得環(huán)境變量文件生效，如代碼7-3所示。代碼7-3生效環(huán)境配置文件source/root/.bash_profile7.1.2修改Sqoop配置文件1．修改sqoop-env.sh文件sqoop-env.sh是Sqoop命令執(zhí)行時(shí)去加載HadoopHDFS環(huán)境變量，Hive和HBase環(huán)境變量的核心配置文件。由于/usr/local/src/sqoop/conf目錄里的是配置模板文件，需要復(fù)制為sqoop-env.sh，使用代碼7-4的代碼復(fù)制并修改文件內(nèi)容。代碼7-4修改sqoop-env.sh圖7-4Sqoop配置文件修改項(xiàng)cd/usr/local/src/sqoop/confcpsqoop-env-template.shsqoop-env.shvisqoop-env.sh打開這個(gè)配置文件后，需要修改的環(huán)境變量配置項(xiàng)如圖7-4所示。1．修改sqoop-env.sh文件該文件中需要修改的圖上的四處設(shè)置：首先將每個(gè)配置項(xiàng)前面的#去掉；HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME均為Hadoop的安裝目錄；HBASE_HOME為HBase安裝目錄；HIVE_HOME為Hive安裝目錄，具體設(shè)置參考內(nèi)容如表7-2所示。表7-2文件的添加內(nèi)容exportHADOOP_COMMON_HOME=/usr/local/src/hadoopexportHADOOP_MAPRED_HOME=/usr/local/src/hadoopexportHBASE_HOME=/usr/local/src/hbaseexportHIVE_HOME=/usr/local/src/hiveexportHCAT_HOME=/usr/local/src/hive/hcatalog#此項(xiàng)為新增的配置項(xiàng)2．復(fù)制MySQL和Hive的驅(qū)動(dòng)程序包為了使Sqoop能夠連接MySQL數(shù)據(jù)庫，需要將mysql-connector-java-8.0.21.jar文件放入Sqoop的lib目錄中，該Jar文件的版本需要與MySQL數(shù)據(jù)庫的版本相對(duì)應(yīng)，否則Sqoop導(dǎo)入數(shù)據(jù)時(shí)會(huì)報(bào)錯(cuò)。（MySQL8.0.21對(duì)應(yīng)的是mysql-connector-java-8.0.21.jar版本）。為了使Sqoop能夠連接Hive，需要將Hive組件/usr/local/src/hive/lib目錄下的hive-common-3.1.2.jar也放入Sqoop安裝路徑的lib目錄中。使用代碼7-5進(jìn)行復(fù)制到/usr/local/src/sqoop/lib/，另外復(fù)制之前需要先查看讀者本地的驅(qū)動(dòng)包版本，不要照抄本手冊(cè)。代碼7-5復(fù)制程序包c(diǎn)p/root/mysql-connector-java-8.0.21.jar/usr/local/src/sqoop/lib/cp/usr/local/src/hive/lib/hive-common-3.1.2.jar/usr/local/src/sqoop/lib/cp/usr/local/src/hive/lib/hive-exec-3.1.2.jar/usr/local/src/sqoop/lib/7.1.3測(cè)試安裝1．啟動(dòng)Hadoop集群執(zhí)行Sqoop前需要先啟動(dòng)Hadoop集群，參考項(xiàng)目2在master節(jié)點(diǎn)執(zhí)行start-all.sh啟動(dòng)，并使用jps查看Java進(jìn)程是否正常，此處不再詳述。2．測(cè)試連接使用代碼7-6中的Sqoop命令連接MySQL，該命令的幾個(gè)參數(shù)說明如下。（1）list-databases：表示顯示連接上的MySQL服務(wù)器的數(shù)據(jù)庫名稱。（2）--connect：MySQL數(shù)據(jù)庫連接URL，此處為：“jdbc:mysql://master:3306/sqoop_db”。（3）--username：MySQL數(shù)據(jù)庫的用戶名，此處為“root”。（4）-P：root用戶的密碼，在交互中輸入“Password123$”。（MySQL數(shù)據(jù)庫root用戶的密碼，請(qǐng)讀者根據(jù)實(shí)際情況修