2022銀河麒麟服務(wù)器操作系統(tǒng)sqoop適配手冊

V4Sqoop軟件適配手冊銀河麒麟服務(wù)器操作系統(tǒng)V4銀河麒麟服務(wù)器操作系統(tǒng)V4sqoop軟件適配手冊目錄TOC\o"1-2"\h\z\u目 概 系統(tǒng)概 環(huán)境概 SQOOP軟件簡 SQOOP軟件適 安 服務(wù)端安 安裝客戶 使用示 從S3導(dǎo)入至 銀河麒麟服務(wù)器操作系統(tǒng)V4銀河麒麟服務(wù)器操作系統(tǒng)V4sqoop軟件適配手冊概述系統(tǒng)概述銀河麒麟服務(wù)器操作系統(tǒng)主要面向軍隊綜合電子信息系統(tǒng)、金融系統(tǒng)以及電力系統(tǒng)等國家關(guān)鍵行業(yè)的服務(wù)器應(yīng)用領(lǐng)域，突出高安全性、高可用性、高效數(shù)據(jù)處理、虛擬化等關(guān)鍵技術(shù)優(yōu)勢，針對關(guān)鍵業(yè)務(wù)構(gòu)建的豐富高效、安全可靠的功能特性，兼容適配長城、聯(lián)想、浪潮、華為、曙光等國內(nèi)主流廠商的服務(wù)器整機(jī)產(chǎn)品，以及達(dá)夢、金倉、神通、南大通用等主要國產(chǎn)數(shù)據(jù)庫和中創(chuàng)、金蝶、東方通等國產(chǎn)中間件，滿足虛擬化、云計算和大數(shù)據(jù)時代，服務(wù)器業(yè)務(wù)對操作系統(tǒng)在性能、安全性及可擴(kuò)展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主可控服務(wù)器操作系統(tǒng)。環(huán)境概述服務(wù)器型號長城信安擎天DF720服務(wù)器CPU類型飛騰2000+處理器操作系統(tǒng)版本Kylin-4.0.2-server-sp2-2000-內(nèi)核版本sqoop版本Sqoop軟件簡介ApacheSqoop是一種用于在ApacheHadoop和結(jié)構(gòu)化數(shù)據(jù)存儲（如關(guān)系數(shù)據(jù)庫）之間高效傳輸批量數(shù)據(jù)的工具?？梢允褂肧qoop將數(shù)據(jù)從外部結(jié)構(gòu)化數(shù)據(jù)存儲導(dǎo)入Hadoop分布式文件系統(tǒng)或Hive和HBase等相關(guān)系統(tǒng)，或者用于從Hadoop中提取數(shù)據(jù)并將其導(dǎo)出到外部結(jié)構(gòu)化數(shù)據(jù)存儲區(qū)，例如關(guān)系數(shù)據(jù)庫和企業(yè)數(shù)據(jù)倉庫。Sqoop自動執(zhí)行此過程的大部分過程，依靠數(shù)據(jù)庫來描述要導(dǎo)入的數(shù)據(jù)的模式。Sqoop使用MapReduce導(dǎo)入和導(dǎo)出數(shù)據(jù)，提供并行操作以及容錯。Sqoop軟件適配安裝Sqoop作為一個二進(jìn)制包發(fā)布，包含兩個獨(dú)立的部分-客戶端和服務(wù)服務(wù)端。服務(wù)端：需要在群集中的單個節(jié)點(diǎn)上安裝服務(wù)端，此節(jié)點(diǎn)將用作所有Sqoop客戶端的入口點(diǎn)客戶端：客戶端可以安裝在任意數(shù)量的計算機(jī)上。服務(wù)端安裝Sqoop工件復(fù)制到要運(yùn)行Sqoop服務(wù)端的計算機(jī)。Sqoop服務(wù)端充當(dāng)Hadoop客戶端，因此必須在此節(jié)點(diǎn)上提供Hadoop庫（Yarn，MapreduceHDFSjar文件）和配置文件（core-site.xml，mapreduce-site.xml，...）。您不需要運(yùn)行任何Hadoop相關(guān)服務(wù)。$hadoop$hadoopdfs-Sqoop目前支持Hadoop2.6.0或更高版本。要安裝Sqoop服務(wù)器，請解壓縮tarball（在您選擇的位置）并將新創(chuàng)建的目錄設(shè)置為工作目錄。##tar-xvfsqoop-<version>-bin-hadoop<hadoop-version>.tar.gz#將解壓后的目錄移動到要安裝的目錄mvsqoop-<version>-bin-hadoop<hadoopversion>#sqoop的安裝目錄cdHadoop依賴Sqoop服務(wù)端需要以下指向Hadoop庫的環(huán)境變量：您必須確保定義了這些變量并指向有效的Hadoop安裝路徑。如果找不到Hadoop庫，Sqoop服務(wù)端將無法啟動。Sqoop服務(wù)端依靠環(huán)境變量尋找Hadoop$HADDOOP_HOME環(huán)境變量被設(shè)置，Sqoop會在以下位置尋找jar包：您可以使用$HADOOP_COMMON_HOME$HADOOP_HDFS_HOME$HADOOP_MAPRED_HOME和$HADOOP_YARN_HOME環(huán)境變量獨(dú)立指定Sqoop服務(wù)器應(yīng)查找common，hdfs，mapreduceyarnjars的位置。Hadoop配置Sqoop服務(wù)器需要模擬用戶訪問群集內(nèi)外的HDFS和其他資源，作為開始給予作業(yè)的用戶而不是運(yùn)行服務(wù)器的用戶。您需要配置Hadoop以通過所謂的代理用戶系統(tǒng)明確允許此模擬。您需要在core-site.xml文件中創(chuàng)建兩個屬性:其中$SERVER_USER是將運(yùn)行Sqoop2服務(wù)器的用戶。在大多數(shù)情況下，這兩個配置*就足夠了。有關(guān)如何使用這些屬性的詳細(xì)信息，請參閱Hadoop文檔。如果您在所謂的系統(tǒng)用戶（IDmin.user.id-默認(rèn)為1000）下運(yùn)行Sqoop2服務(wù)器，則YARN默認(rèn)拒絕運(yùn)行Sqoop2作業(yè)。您需要將運(yùn)行Sqoop2服務(wù)器（sqoop2）container-executor.cfg的allowed.system.users屬性中。有關(guān)更多詳細(xì)信息，請參閱YARN文檔。服務(wù)器在sqoop2用戶下運(yùn)行時需要出現(xiàn)在container-executor.cfg文件中的示例片段：jar#Createdirectoryforextrajarsmkdir-p/var/lib/sqoop2/#CopyallyourJDBC#Createdirectoryforextrajarsmkdir-p/var/lib/sqoop2/#CopyallyourJDBCdriverstothisdirectorycpmysql-jdbc*.jar/var/lib/sqoop2/cppostgresql-jdbc*.jar#Andfinallyexportthisdirectorytoexportexport配置所有用戶或者管理員用到的命令都存儲于安裝目錄的bin目錄下，將該目錄添加至“PATH”環(huán)境變量中。配置服務(wù)端服務(wù)端配置文件存儲在conf目錄中。文件sqoop_perties指定應(yīng)該使用哪個配置提供程序來加載其余Sqoop服務(wù)器的配置。默認(rèn)值為名為perties的第二個配置文件包含可能影響Sqoop服務(wù)器的其余配置屬性。配置文件已有詳細(xì)記錄，因此請檢查所有配置屬性是否適合您的環(huán)境。在大多數(shù)常見情況下，默認(rèn)或非常小的調(diào)整應(yīng)該足夠了。倉庫初始化sqoop2-tool首次啟動Sqoop2服務(wù)器之前，需要初始化元數(shù)據(jù)存儲庫。使用upgradesqoop2-toolsqoop2-toolVerificationsqoop2-toolVerificationwasToolclassorg.apache.sqoop.tools.tool.VerifyToolhasfinished啟動和關(guān)閉服務(wù)端sqoop2-server安裝和配置完成后，可以使用以下命令啟動sqoopsqoop2-server以下命令可以停止服務(wù)端：sqoop2-serversqoop2-serverSqoop服務(wù)端默認(rèn)使用12000端口，可以在配置文件conf/perties中設(shè)置org.apache.sqoop.jetty.port為其它端口。安裝客戶端sqoop2-只需在目標(biāo)計算機(jī)上復(fù)制Sqoop分發(fā)工件并將其解壓縮到所需位置即可?？蓅qoop2-客戶端不充當(dāng)Hadoop客戶端，因此無需在客戶端上安裝Hadoop庫和配置文件等。使用示例S3本節(jié)包含將數(shù)據(jù)從S3HDFS的用例的詳細(xì)說明。用例假設(shè)您在S3上有一個目錄，一些外部進(jìn)程正在創(chuàng)建新的文本文件。新文件將添加到此目錄中，但不會更改現(xiàn)有文件。它們只能在一段時間后被移除。需要將所有新文件中的數(shù)據(jù)傳輸?shù)絾蝹€HDFS目錄。不需要保留文件名，并且可以將多個源文件合并到HDFS上的單個文件。配置sqoop:000>createlink-chdfs-我們將使用HDFS連接器連接進(jìn)行數(shù)據(jù)傳輸?shù)腇romToS3創(chuàng)建鏈S3存儲桶名稱和S3訪問權(quán)限以及密鑰。如果您還沒有S3sqoop:000>createlink-chdfs-我們的示例使用s3link作為鏈接名稱s3a：//$BUCKET_NAME的形式指定HDFSURI，其中$S3存儲桶的名稱使用“覆蓋”配置選項(xiàng)，分別使用S3訪問密鑰和私鑰指定fs.s3a.access.keyfs.s3a.secret.keysqoop:000>createlinksqoop:000>createlink-chdfs-我們的示例使用hdfslink作為鏈接名稱。如果您的Sqoop服務(wù)器在部署了HDFSmapreduce客戶端配置的節(jié)點(diǎn)上，則可以安全地將所有選項(xiàng)保留為空白，使用默認(rèn)值。sqoop:000>createjob-fs3link-tsqoop:000>createjob-fs3link-t我們的示例使用s3import作為作業(yè)名稱輸入目