《Hadoop技術(shù)原理》課件-12.Sqoop

Hadoop技術(shù)原理數(shù)據(jù)遷移SqoopSqoop簡介01Sqoop簡介01Sqoop產(chǎn)生背景Sqoop簡介02Sqoop是一款開源的工具，主要用于在Hadoop（HDFS,Hbase，HIVE）與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(Mysql、Oracle、Postgresql......)間進行數(shù)據(jù)的傳遞。它可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)進到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。Sqoop專為大數(shù)據(jù)批量傳輸設(shè)計，能夠分割數(shù)據(jù)集并創(chuàng)建Hadoop任務(wù)來處理每個區(qū)塊Sqoop簡介03Sqoop在生態(tài)圈的位置Sqoop基本原理04Sqoop基本原理05從關(guān)系數(shù)據(jù)庫到Hadoop用戶的Sqoop腳本最終會變成提交到Y(jié)ARN上的一個個map任務(wù)。通過Sqoop用戶可以將數(shù)據(jù)從RDB抽取至HDFS。輸入端是關(guān)系型數(shù)據(jù)庫中的某張表，Sqoop會去一行一行的把數(shù)據(jù)從這張表里讀出來寫入到HDFS；輸出端是HDFS上關(guān)于這個表的文件的集合。Sqoop基本原理06從Hadoop到關(guān)系數(shù)據(jù)庫Sqoop安裝02Sqoop的安裝01Sqoop安裝步驟1、下載sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz。2、解壓到安裝目錄。tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C~3、這里要使用到mysql，故需把驅(qū)動程序mysql-connector-java-5.1.46-bin.jar拷貝到Sqoop的依賴庫lib下。4、添加環(huán)境變量，編輯~/.bashrcexportSQOOP_HOME=/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0exportPATH=$PATH:$SQOOP_HOME/bin5、使環(huán)境變量生效source~/.bashrcSqoop的安裝02Sqoop安裝步驟6、配置Sqoop環(huán)境變量，修改sqoop-env.sh(可選，一般安裝了Hadoop、HBase、Hive后可不配置此文件）#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME=/home/hadoop/Hadoop#Setpathtowherehadoop-*-core.jarisavailableexportHADOOP_MAPRED_HOME=/home/hadoop/Hadoop#setthepathtowherebin/hbaseisavailableexportHBASE_HOME=/home/hadoop/hbase#Setthepathtowherebin/hiveisavailableexportHIVE_HOME=/home/hadoop/hive#SetthepathforwherezookeperconfigdirisavailableexportZOOCFGDIR=/home/hadoop/zookeeperSqoop的安裝03Sqoop安裝步驟7、驗證Sqoop是否安裝成功。命令：sqoophelp命令：sqoopversionSqoop的常用命令04Sqoop基本使用05Sqoop與MySQLsqooplist-databases\--connectjdbc:mysql://hadoop001:3306/\--usernameroot\--passwordroot查詢MySQL所有數(shù)據(jù)庫查詢指定數(shù)據(jù)庫中所有數(shù)據(jù)表sqooplist-tables\--connectjdbc:mysql://hadoop001:3306/mysql\--usernameroot\--passwordrootSqoop基本使用06Mysql與Hadoop數(shù)據(jù)遷移Sqoop基本使用07Sqoop與HDFSMySQL數(shù)據(jù)導(dǎo)入到HDFS示例：導(dǎo)出MySQL數(shù)據(jù)庫中的help_keyword表到HDFS的/sqoop目錄下，如果導(dǎo)入目錄存在則先刪除再導(dǎo)入，使用3個maptasks并行導(dǎo)入。sqoopimport\--connectjdbc:mysql://hadoop001:3306/mysql\--usernameroot\--passwordroot\--tablehelp_keyword\#待導(dǎo)入的表--delete-target-dir\#目標目錄存在則先刪除--target-dir/sqoop\#導(dǎo)入的目標目錄--fields-terminated-by'\t'\#指定導(dǎo)出數(shù)據(jù)的分隔符-m3#指定并行執(zhí)行的maptasks數(shù)量Sqoop基本使用08Sqoop與HDFSHDFS數(shù)據(jù)導(dǎo)出到MySQL示例：導(dǎo)出HDFS數(shù)據(jù)/sqoop到MySQL的help_keyword_from_hdf的表中mysql>CREATETABLEhelp_keyword_from_hdfsLIKEhelp_keyword;sqoopexport\--connectjdbc:mysql://hadoop001:3306/mysql\--usernameroot\