原始數(shù)據(jù)的入庫(kù)方式

負(fù)責(zé)人：鄭美容01目錄Python編寫數(shù)據(jù)入庫(kù)02Sqoop數(shù)據(jù)入庫(kù)03Mysqldump數(shù)據(jù)入庫(kù)原始數(shù)據(jù)的入庫(kù)方式1Python編寫數(shù)據(jù)入庫(kù)Python編寫數(shù)據(jù)入庫(kù)有兩種方式，分別是PyMySQL和Redis。1.PyMySQLPyMySQL是在Python3.x版本中用于連接MySQL服務(wù)器的一個(gè)庫(kù)，Python2中則使用mysqldb。PyMySQL遵循Python數(shù)據(jù)庫(kù)APIv2.0規(guī)范，并包含了pure-PythonMySQL客戶端庫(kù)。2.RedisRedis是一個(gè)開源、支持網(wǎng)絡(luò)、基于內(nèi)存、鍵值對(duì)存儲(chǔ)數(shù)據(jù)庫(kù)，使用ANSIC編寫。從2015年6月開始，Redis的開發(fā)由RedisLabs贊助，在2013年5月至2015年6月期間，其開發(fā)由Pivotal贊助。在2013年5月之前，其開發(fā)由VMware贊助。根據(jù)月度排行網(wǎng)站DB-E的數(shù)據(jù)顯示，Redis是最流行的鍵值對(duì)存儲(chǔ)數(shù)據(jù)庫(kù)。Python編寫數(shù)據(jù)入庫(kù)Redis主從同步：Redis支持主從同步。數(shù)據(jù)可以從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步，從服務(wù)器可以是關(guān)聯(lián)其他從服務(wù)器的主服務(wù)器。這使得Redis可執(zhí)行單層樹復(fù)制。從盤可以有意無(wú)意的對(duì)數(shù)據(jù)進(jìn)行寫操作。由于完全實(shí)現(xiàn)了發(fā)布/訂閱機(jī)制，使得從數(shù)據(jù)庫(kù)在任何地方同步樹時(shí)，可訂閱一個(gè)頻道并接收主服務(wù)器完整的消息發(fā)布記錄。同步對(duì)讀取操作的可擴(kuò)展性和數(shù)據(jù)冗余很有幫助。Sqoop數(shù)據(jù)入庫(kù)在導(dǎo)入開始之前，Sqoop使用JDBC來(lái)檢查將要導(dǎo)入的表。他檢索出表中所有的列以及列的SQL數(shù)據(jù)類型。這些SQL類型（varchar、integer）被映射到Java數(shù)據(jù)類型（String、Integer等），在MapReduce應(yīng)用中將使用這些對(duì)應(yīng)的Java類型來(lái)保存字段的值。Sqoop的代碼生成器使用這些信息來(lái)創(chuàng)建對(duì)應(yīng)表的類，用于保存從表中抽取的記錄。Sqoop啟動(dòng)的MapReduce作業(yè)用到一個(gè)InputFormat，他可以通過JDBC從一個(gè)數(shù)據(jù)庫(kù)表中讀取部分內(nèi)容。Sqoop數(shù)據(jù)入庫(kù)Hadoop提供的DataDriverDBInputFormat能為查詢結(jié)果進(jìn)行劃分傳給指定個(gè)數(shù)的map任務(wù)。為了獲取更好的導(dǎo)入性能，查詢會(huì)根據(jù)一個(gè)“劃分列”來(lái)進(jìn)行劃分。Sqoop會(huì)選擇一個(gè)合適的列作為劃分列（通常是表的主鍵）。在生成反序列化代碼和配置InputFormat之后，Sqoop將作業(yè)發(fā)送到MapReduce集群。Map任務(wù)將執(zhí)行查詢并將ResultSet中的數(shù)據(jù)反序列化到生成類的實(shí)例，這些數(shù)據(jù)要么直接保存在SequenceFile文件中，要么在寫到HDFS之前被轉(zhuǎn)換成分割的文本。Sqoop不需要每次都導(dǎo)入整張表，用戶也可以在查詢中加入到where子句，以此來(lái)限定需要導(dǎo)入的記錄。Mysqldump數(shù)據(jù)入庫(kù)mysqldump工具很多方面類似相反作用的工具mysqlimport。它們有一些同樣的選項(xiàng)。但mysqldump能夠做更多的事情。它可以把整個(gè)數(shù)據(jù)庫(kù)裝載到一個(gè)單獨(dú)的文本文件中。這個(gè)文件包含有所有重建您的數(shù)據(jù)庫(kù)所需要的SQL命令。這個(gè)命令取得所有的模式（Schema，后面有解釋）并且將其轉(zhuǎn)換成DDL語(yǔ)法（CREATE語(yǔ)句，即數(shù)據(jù)庫(kù)定義語(yǔ)句），取得所有的數(shù)據(jù)，并且從這些數(shù)據(jù)中創(chuàng)建INSERT語(yǔ)句。這