HADOOP二次開發(fā)代碼說明

1、HADOOP 二次開發(fā)代碼說明Eclipse 建立maven工程：MaoReduce讀寫HDFS的Demo數(shù)據(jù)準(zhǔn)備：準(zhǔn)備兩個(gè)測(cè)試文件 1.txt 2.txt 內(nèi)容格式：按照空格分割 放入hdfs 的/data/input 目錄命令： hadoop dfs -put 本地目錄 hdfs目錄程序編寫：運(yùn)行命令 ：Hadoop jar *.jar /輸入路徑 /輸出路徑輸出結(jié)果 ：查看命令 hadoop dfs -text /output/*MaoReduce讀寫HBase的Demo數(shù)據(jù)準(zhǔn)備：準(zhǔn)備測(cè)試文件 內(nèi)容格式：rowkey:列族:列名:值 例如：r1:cf:c1:value1 放入hdfs 的

2、/data/inputhbase 目錄命令： hadoop dfs -put 本地目錄 hdfs目錄程序編寫：運(yùn)行命令：Hadoop jar *.jar /輸入路徑 表名輸出結(jié)果 ：Hbase shell 連接hbase Scan mytable 查詢表名HIVE 的使用連接hive 切換用戶su - hdfs 連接 ： hive Hive  命令行常用命令 加載數(shù)據(jù)到普通表load data local inpath '/home/IVR_CSR_MENU_MAP.txt' into table ivr_csr_menu_map;加載數(shù)據(jù)帶分區(qū)的表load

3、 data local inpath '/home/lftest/lf1.txt' overwrite into table lf_test partition(dt=20150927);加overwrite會(huì)覆蓋原數(shù)據(jù)（已有的話）若不加，又有原數(shù)據(jù)，則會(huì)生成一個(gè)copy文件load data local inpath  '/home/lftest/lf1.txt' overwrite into table lf_test partition(dt=20150927); Hive 命令行里面可以使用dfs來執(zhí)行一些hadoop命令查看目錄df

4、s -ls /apps/hive/warehouse/lf_test;查看文件內(nèi)容hive> dfs -text /apps/hive/warehouse/lf_test/dt=20150928/lf.txt;  刪除文件dfs -rm /apps/hive/warehouse/lf_test/dt=20150927/lf1_copy_2.txt;刪除目錄dfs -rm -r  /apps/hive/warehouse/lf_test; 顯示表分區(qū)show partitions lf_test;添加分區(qū)alter table lf_test add part

5、ition(dt=20150928);刪除分區(qū)alter table lf_test drop partition(dt=20150928);顯示詳細(xì)的表結(jié)構(gòu)：（包括字段、分區(qū)等信息）desc  formatted  ivr_calldata;顯示建表語句show create table sas_ambs;刪除表drop table lf_test;重命名表ALTER TABLE employee RENAME TO emp;創(chuàng)建表（內(nèi)部表）：hive> create table lf_test(id int,name string,age int,tel stri

6、ng)      > partitioned by (dt string)      > ROW FORMAT DELIMITED      > FIELDS TERMINATED BY '|'      > STORED AS TEXTFILE;外部表create EXTERNAL table IVR_CSR_MENU_MAP(CSR_REASON_ID string,CSR_REASON_NAME string,IVR_NODE_ID string,IVR_NODE_NAME string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '|'STORED AS TEXTFILEloc