2023學(xué)年完整公開課版Sqoop

邵思思01目錄SqoopSqoop1SqoopSqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如：MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。Sqoop項(xiàng)目開始于2009年，最早是作為Hadoop的一個(gè)第三方模塊存在，后來(lái)為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨(dú)立成為一個(gè)Apache項(xiàng)目。Sqoop2的最新版本是1.99.7。2與1不兼容，且特征不完整，它并不打算用于生產(chǎn)部署。Sqoop-架構(gòu)Sqoop1架構(gòu)Sqoop架構(gòu)主要有Sqoop1架構(gòu)和Sqoop2的架構(gòu)，在架構(gòu)上，Sqoop1僅僅使用一個(gè)Sqoop客戶端；Sqoop2引入了SqoopServer，對(duì)Connector實(shí)現(xiàn)了集中的管理，其訪問(wèn)方式也變得多樣化了，其可以通過(guò)RESTAPI、JAVAAPI、WEBUI以及CLI控制臺(tái)方式進(jìn)行訪問(wèn)。Sqoop1架構(gòu)中我們經(jīng)常用腳本的方式將HDFS中的數(shù)據(jù)導(dǎo)入到MySQL中，或者反過(guò)來(lái)將MySQL數(shù)據(jù)導(dǎo)入到HDFS中，需要在腳本顯示指定MySQL數(shù)據(jù)庫(kù)的用戶名和密碼，導(dǎo)致Sqoop1架構(gòu)安全性做的不是太完善。Sqoop-架構(gòu)Sqoop2架構(gòu)在Sqoop2中，如果是通過(guò)CLI方式訪問(wèn)的話，會(huì)有一個(gè)交互過(guò)程界面，輸入的密碼信息不會(huì)被看到，同時(shí)Sqoop2引入基于角色的安全機(jī)制，有較高的安全性。另外，Sqoop1雖然具有架構(gòu)部署簡(jiǎn)單的優(yōu)點(diǎn)，其缺點(diǎn)是命令行方式容易出錯(cuò)，格式緊耦合，無(wú)法支持所有數(shù)據(jù)類型，安全機(jī)制不夠完善，例如密碼暴漏，安裝需要root權(quán)限，connector必須符合JDBC模型；Sqoop2具有的優(yōu)點(diǎn)是多種交互方式，命令行，WebUI，RESTAPI，Conncetor集中化管理，所有的鏈接安裝在SqoopServer上，完善權(quán)限管理機(jī)制，Connector規(guī)范化，僅僅負(fù)責(zé)數(shù)據(jù)的讀寫，缺點(diǎn)是架構(gòu)復(fù)雜、配置部署繁瑣。Sqoop-導(dǎo)入工作流程Sqoop2架構(gòu)在Sqoop2中，如果是通過(guò)CLI方式訪問(wèn)的話，會(huì)有一個(gè)交互過(guò)程界面，輸入的密碼信息不會(huì)被看到，同時(shí)Sqoop2引入基于角色的安全機(jī)制，有較高的安全性。1.sqoop會(huì)通過(guò)jdbc來(lái)獲取需要的數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息，例如：導(dǎo)入的表的列名，數(shù)據(jù)類型。2.這些數(shù)據(jù)庫(kù)的數(shù)據(jù)類型會(huì)被映射成為java的數(shù)據(jù)類型，根據(jù)這些信息，sqoop會(huì)生成一個(gè)與表名相同的類用來(lái)完成序列化工作，保存表中的每一行記錄。3.sqoop開啟MapReduce作業(yè)4.啟動(dòng)的作業(yè)在input的過(guò)程中，會(huì)通過(guò)jdbc讀取數(shù)據(jù)表中的內(nèi)容，這時(shí)，會(huì)使用sqoop生成的類進(jìn)行序列化。5.最后將這些記錄寫到hdfs上，在寫入hdfs的過(guò)程中，同樣會(huì)使用sqoop生成的類進(jìn)行反序列化。Sqoop-導(dǎo)出工作流程Sqoop2架構(gòu)在Sqoop2中，如果是通過(guò)CLI方式訪問(wèn)的話，會(huì)有一個(gè)交互過(guò)程界面，輸入的密碼信息不會(huì)被看到，同時(shí)Sqoop2引入基于角色的安全機(jī)制，有較高的安全性。1.首先sqoop通過(guò)jdbc訪問(wèn)關(guān)系型數(shù)據(jù)庫(kù)，得到需要導(dǎo)出的數(shù)據(jù)的元數(shù)據(jù)信息。2.根據(jù)獲取的元數(shù)據(jù)信息，sqoop生成一個(gè)java類，用來(lái)進(jìn)行數(shù)據(jù)的傳輸載體，該類必須實(shí)現(xiàn)序列化。3.啟動(dòng)MapReduce程序4.sqoop利用生成的這個(gè)java類，并行的從hdfs中讀取數(shù)據(jù)5