2012年8月1日 星期三

How to create output in gzip files in Hadoop Hive

set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
INSERT OVERWRITE DIRECTORY 'hive_out' select * from tables limit 10000;"

source

2012年7月27日 星期五

HADOOP Command

hadoop dfsadmin -report
hadoop fs -dus [directory]

Hive使用LEFT OUTER JOIN 實現not in 子句

source


查詢在key字段在a表中,但不在b表中的數據
select a.key from a left outer join b on a.key=b.key where b.key1 is null

2012年6月21日 星期四

Hive UDF

https://github.com/livingsocial/HiveSwarm/blob/master/README.markdown