11.hadoop入門進階課程_第周sqoop介紹、安裝與操作

1、Sqoop 介紹、安裝與操作本文歸作者和博客園共有，歡迎，但作者同意必須保留此段，且在文章頁面明顯位置給出原文連接，博主為石山園，博客地址為 /shishanyuan 。該系列課程是應(yīng)邀實驗樓整理編寫的，這里需要贊一下實驗樓提供了學習的新方式，可以邊看博客邊上機實驗，課程地址為 https:/courses/237【注】該系列所使用到安裝包、測試數(shù)據(jù)和代碼均可在網(wǎng)盤，具體地址為ht/s/10PnDs，該PDF 文件1 搭建環(huán)境部署節(jié)點操作系統(tǒng)為CentOS，和 SElinu用，創(chuàng)建了一個shiyanlou 用戶并在系統(tǒng)根目錄下創(chuàng)建/app 目錄，用于存放 Hadoop 等組件運行包。因為該目錄

2、用于安裝 hadoop等組件程序，用戶對 shiyanlou 必須賦予rwx 權(quán)限（一般做法是 root 用戶在根目錄下創(chuàng)建/app目錄，并修改該目錄擁有者為shiyanlou(Hadoop 搭建環(huán)境：n R shiyanlou:shiyanlou /app）。虛擬機操作系統(tǒng)： CentOS6.664 位，單核，1G 內(nèi)存JDK：1.7.0_55 64 位Hadoop：1.1.2Sqoop 介紹Sqoop 簡介Sqoop 即 SQL to Hadoop ，是一款方便的在傳統(tǒng)型數(shù)據(jù)庫與 Hadoop 之間進行數(shù)據(jù)遷移的工具，充分利用 MapReduce 并行特點以批處理的方式加快數(shù)據(jù)傳輸，發(fā)展至

3、今主要演化了二大版本，Sqoop1 和 Sqoop2。Sqoop 工具是hadoop 下連接關(guān)系型數(shù)據(jù)庫和Hadoop 的橋梁，支持關(guān)系型數(shù)據(jù)庫和 hive、 hdfs，hbase 之間數(shù)據(jù)的相互導入，可以使用全表導入和增量導入。那么為什么選擇 Sqoop 呢？高效可控的利用資源，任務(wù)并行度，超時時間。數(shù)據(jù)類型與轉(zhuǎn)化，可自動進行，用戶也可自定義支持多種主流數(shù)據(jù)庫，,Oracle，SQL Server，DB2 等等2.2 Sqoop1 和 Sqoop2 比較2.2.1 Sqoop1 和 Sqoop2 異同兩個不同的版本，完全不兼容版本號劃分區(qū)別，Apache 版本：1.4.x(Sqoop1);

4、1.99.x(Sqoop2) Sqoop-1.4.3-cdh4(Sqoop1) ; Sqoop2-1.99.2-cdh4.5.0 (Sqoop2)Sqoop2 比 Sqoop1 的改進（1） 引入 Sqoop server，集中化管理 connector 等CD本:（2） 多種方式：CLI,Web UI，REST API（3） 引入基于角色的安全機制2.2.2 Sqoop1 與 Sqoop2 的架構(gòu)圖Sqoop 架構(gòu)圖 1Sqoop 架構(gòu)圖 22.2.3 Sqoop1 與 Sqoop2 的優(yōu)缺點比較Sqoop1Sqoop2架構(gòu)僅僅使用一個 Sqoop 客戶端引入了 Sqoop server 集

5、中化管理 connector，以及 rest api，web，UI，并引入權(quán)限安全機制部署部署簡單，安裝需要root 權(quán)限，connector 必須符合JDBC 模型架構(gòu)稍復雜，配置部署更繁瑣使用命令行方式容易出錯，格式緊耦合，無法支持所有數(shù)據(jù)類型，安全機制不夠完善，例如暴漏多種交互方式，命令行，web UI，rest API， conncetor 集中化管理，所有的安裝在 Sqoop server 上，完善權(quán)限管理機制， connector 規(guī)范化，僅僅負責數(shù)據(jù)的讀寫3 安裝部署 Sqoop3.1Sqoop可以到 apache 基金 sqoop 官網(wǎng)， 選擇鏡像 個 穩(wěn) 定 版 本 ， 如

6、下 圖 所 示地址：支 持 HYPERLINK http:/m/ http:/m/apache/sqoop/Hadoop1.X 的 1.4.5 版本gz 包：也可以在/home/shiyanlou/install-pack 目錄中找到該安裝包，解壓該安裝包并把該安裝包復制到/app 目錄中cd /home/shiyanlou/install-packtar -xzf sqoop-1.4.5.bin hadoop-1.0.0.tar.gzmv sqoop-1.4.5.bin hadoop-1.0.0 /app/sqoop-1.4.5ll /app3.2 設(shè)置/etc/profile 參數(shù)編輯/e

7、tc/profile 文件，加入 sqoop 的Home 路徑和在PATH 加入bin 的路徑：export SQOOP_HOME=/app/sqoop-1.4.5 export PATH=$PATH:$SQOOP_HOME/bin編譯配置文件/etc/profile，并確認生效source /etc/profile echo $PATH3.3 設(shè)置bin/configure-sqoop 配置文件修改bin/configure-sqoop 配置文件cd /app/sqoop-1.4.5/bin sudo vi configure-sqoop注釋掉HBase 和Zookeeper 等檢查（除非使

8、用 HBase 和Zookeeper 等HADOOP 上的組件）3.4 設(shè)置conf/sqoop-env.sh 配置文件如果不存在 sqoop-env.sh 文件， sqoop-env.sh 配置文件cd /app/sqoop-1.4.5/confcp sqoop-env-template.sh sqoop-env.shsudo vi sqoop-env.shsqoop-env-template.sh 文件，然后修改 設(shè)置hadoop 運行程序所在路徑和hadoop-*-core.jar 路徑（Hadoop1.X 需要配置）#Set path to where bin/hadoop is av

9、ailableexportON_HOME=/app/hadoop-1.1.2#Set path to where hadoop-*-core.jar is availableexpoDOOP_MAPRED_HOME=/app/hadoop-1.1.2編譯配置文件sqoop-env.sh 使之生效3.5 驗證安裝完成輸入如下命令驗證是否正確安裝sqoop，如果正確安裝則出現(xiàn)sqoop 提示sqoop help4 文件導入/導出4.1數(shù)據(jù)導入到 HDFS 中如果沒有安裝，請參照第 8 課 3.1 進行安裝4.1.1到驅(qū)動官網(wǎng)進入頁面：ht/downloads/connector/j/ ，選擇所需要

10、的版本進行，這里的zip 格式的文件，然后在本地解壓：也可以在/home/shiyanlou/install-pack 目錄中找到該安裝包，把放到 Sqoop 的lib 目錄下cd /home/shiyanlou/install-pack驅(qū)動包使用如下命令cp-connector-java-5.1.22-bin.jar /app/sqoop-1.4.5/lib4.1.2 啟動服務(wù)查看服務(wù)并查看狀態(tài)，如果沒有啟動則啟動服務(wù)sudo servicesudo serviceusstart4.1.3 查看中的數(shù)據(jù)表進入數(shù)據(jù)庫，選擇有數(shù)據(jù)的一張表查看內(nèi)容，比較導出結(jié)果是否正確，輸入如下命令：-uhive

11、 -phiveshow databases;use hive;show tables;select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;4.1.4 把使用如下命令列出數(shù)據(jù)導入到 HDFS 中中所有數(shù)據(jù)庫：sqoop list-databases -connect jdbc-password hive:/hadoop:3306/ -username hive使用如下命令把hive 數(shù)據(jù)庫TBLS 表數(shù)據(jù)導入到HDFS 中：sqoop import -connect jdbc hive -table TBLS

12、 -m 1-username 數(shù)據(jù)庫用戶名-password 連接數(shù)據(jù)庫-table 表名-m 1 表示map 數(shù):/hadoop:3306/hive -username hive -password4.1.5 查看導出結(jié)果使用如下命令查看導出到 HDFS 結(jié)果，文件路徑在當前用戶 hadoop 目錄下增加了 TBLS 表目錄，查看part-m-00000 文件：hadoop fs -ls /user/shiyanlou/TBLShadoop fs -cat /user/shiyanlou/TBLS/part-m-000004.2數(shù)據(jù)導入到 Hive 中4.2.1 啟動 metastore 和

13、 hiveserver在使用hive 之前需要啟動metastore 和hiveserver 服務(wù)，通過如下命令啟用：hive -service metastore & hive -service hiveserver &啟動用通過jps 命令可以看到兩個進行運行在4.2.2 從使用如下命令到把導入表數(shù)據(jù)到 Hive 中中TBLS 表數(shù)據(jù)導入到Hive 中：sqoop import -connect jdbchive -table TBLS -hive-table:/hadoop:3306/hive -username hive -password2Hive -hive-import -m 1- username 為中的數(shù)據(jù)庫連接用戶名-passw