sqoop導(dǎo)出數(shù)據(jù)的原理【省一等獎(jiǎng)】

sqoop的導(dǎo)出1、了解sqoop導(dǎo)出數(shù)據(jù)的原理目錄sqoop的導(dǎo)出原理01sqoop的導(dǎo)出原理1sqoop的導(dǎo)出原理sqoop的導(dǎo)出原理連接數(shù)據(jù)庫的常用參數(shù)：參數(shù)描述--connect<jdbc-uri>jdbc連接地址--connection-manager<class-name>連接管理類--driver<class-name>數(shù)據(jù)庫驅(qū)動(dòng)類--hadoop-mapred-home<dir>$HADOOP_MAPRED_HOME--helphelp信息--password-file為包含身份驗(yàn)證密碼的文件設(shè)置路徑-P從命令行輸入密碼--password<password>密碼--username<username>用戶名--verbose打印流程信息--connection-param-file<filename>可選參數(shù)--relaxed-isolation將連接事務(wù)隔離設(shè)置為讀取未提交的映射程序sqoop的導(dǎo)出原理常用參數(shù)說明：參數(shù)描述--columns<col,col,col…>Columnstoexporttotable--direct快速模式，利用了數(shù)據(jù)庫的導(dǎo)入工具，如mysql的mysqlimport，可以比jdbc連接的方式更為高效的將數(shù)據(jù)導(dǎo)入到關(guān)系數(shù)據(jù)庫中。--export-dir<dir>存放數(shù)據(jù)的HDFS的源目錄-m,--num-mappers<n>啟動(dòng)N個(gè)map來并行導(dǎo)入數(shù)據(jù)，默認(rèn)是4個(gè)，最好不要將數(shù)字設(shè)置為高于集群的最大Map數(shù)--table<table-name>要導(dǎo)入到的關(guān)系數(shù)據(jù)庫表--call<stored-proc-name>要調(diào)用的存儲(chǔ)過程--update-key<col-name>后面接條件列名，通過該參數(shù)，可以將關(guān)系數(shù)據(jù)庫中已經(jīng)存在的數(shù)據(jù)進(jìn)行更新操作，類似于關(guān)系數(shù)據(jù)庫中的update操作--update-mode<mode>更新模式，有兩個(gè)值updateonly和默認(rèn)的allowinsert，該參數(shù)只能是在關(guān)系數(shù)據(jù)表里不存在要導(dǎo)入的記錄時(shí)才能使用，比如要導(dǎo)入的hdfs中有一條id=1的記錄，如果在表里已經(jīng)有一條記錄id=2，那么更新會(huì)失敗。--batch使用批處理模式執(zhí)行底層語句。sqoop的導(dǎo)出原理sqoop的插入和更新：默認(rèn)情況下，sqoop-export向表追加新行;將每個(gè)輸入記錄轉(zhuǎn)換為INSERT語句，該語句向目標(biāo)數(shù)據(jù)庫表添加一行。如果表有約束(例如，主鍵列的值必須是唯一的)，并且已經(jīng)包含數(shù)據(jù)，則必須小心避免插入違反這些約束的記錄。如果INSERT語句失敗，導(dǎo)出過程將失敗。這種模式主要是針對(duì)導(dǎo)出記錄到一個(gè)新表或空表。如果指定--update-key參數(shù)，Sqoop將修改數(shù)據(jù)庫中的現(xiàn)有數(shù)據(jù)集。每個(gè)輸入記錄都被視為更新語句，修改一個(gè)現(xiàn)有的行。sqoop的導(dǎo)出原理輸入解析參數(shù)：參數(shù)描述--input-enclosed-by<char>設(shè)置一個(gè)必用的字段關(guān)閉符--input-escaped-by<char>設(shè)置輸入轉(zhuǎn)義符--input-fields-terminated-bychar>設(shè)置輸入字段分隔符--input-lines-terminated-by<char>設(shè)置輸入的行結(jié)束符--input-optionally-enclosed-by<char>設(shè)置一個(gè)可選的閉合符sqoop的導(dǎo)出原理輸出解析參數(shù)：參數(shù)說明設(shè)置一個(gè)必用的字段閉合符--escaped-by<char>設(shè)置轉(zhuǎn)義符--fields-terminated-by<char>設(shè)置字段分隔符--lines-terminated-by<char>設(shè)置行結(jié)束符--mysql-delimiters使用mysql默認(rèn)的一組分割符設(shè)置：字段：,分割符：/可選閉合符：'