Daemonizing the Apache Hive Thrift server on CentOS
2011年5月26日 星期四
2011年3月4日 星期五
2011年3月3日 星期四
Hadoop Compress 測試
Local File:2.4G
local -> hdfs：0:35
Mapreduce Compress time：5:31
Try to adjust reducer number is no-work !!
All result will combine in the first file.
--
Linux Compress
Local File:2.4G
Compress time：15:00
local -> hdfs：0:35
Mapreduce Compress time：5:31
Try to adjust reducer number is no-work !!
All result will combine in the first file.
--
Linux Compress
Local File:2.4G
Compress time：15:00
mapreduce & compress
mapreduce 壓縮檔
我針對Hive是否能在Laod Data時順便壓縮搜尋了一下
目前只看到他只能設定在"Output"時壓縮
hive.exec.compress.output 和hive.exec.compress.intermediate 這兩個參數可以調整
reference
因此假如我們需要將hive資料搬到Hbase時，就可以設定資料壓縮再傳過去
set hfile.compression=gz; reference
另外MapReduce可以設定在Output時做壓縮 Reference
我剛剛測試covire的資料是可以成功的
壓縮比也約在75%左右
未來也可以嘗試把壓縮包在Oozie
就可以節省許多時間
我針對Hive是否能在Laod Data時順便壓縮搜尋了一下
目前只看到他只能設定在"Output"時壓縮
hive.exec.compress.output 和hive.exec.compress.intermediate 這兩個參數可以調整
reference
因此假如我們需要將hive資料搬到Hbase時，就可以設定資料壓縮再傳過去
set hfile.compression=gz; reference
另外MapReduce可以設定在Output時做壓縮 Reference
我剛剛測試covire的資料是可以成功的
壓縮比也約在75%左右
未來也可以嘗試把壓縮包在Oozie
就可以節省許多時間
2011年1月28日 星期五
hdfs over ftp
hdfs-over-ftp
[root@Tmaster tl800]# curlftpfs -o allow_other -o nonempty ftp://localhost:2222/user/tl800 /home/tl800/mnt
[root@Tmaster tl800]# curlftpfs -o allow_other -o nonempty ftp://localhost:2222/user/tl800 /home/tl800/mnt
2010年11月29日 星期一
2010年11月18日 星期四
2010年11月16日 星期二
Hadoop & Eclipse
Hadoop & Eclipse
hadoop 0.20 程式開發
編譯 hadoop 0.20.1 的 eclipse plugin
------------------------------------
Eclipse call hadoop Error
------------------------------------
Problem:
Permission denied: user=DrWho, access=WRITE, inode="Administrator":Administrator:supergroup:rwxr-xr-x
Solution:
Hadoop run程式的時候出現問題
Hadoop學習-7 Eclipse運行hadoop（解決錯誤）
hadoop 0.20 程式開發
編譯 hadoop 0.20.1 的 eclipse plugin
------------------------------------
Eclipse call hadoop Error
------------------------------------
Problem:
Permission denied: user=DrWho, access=WRITE, inode="Administrator":Administrator:supergroup:rwxr-xr-x
Solution:
Hadoop run程式的時候出現問題
Hadoop學習-7 Eclipse運行hadoop（解決錯誤）
2010年11月15日 星期一
2010年10月11日 星期一
2010年7月28日 星期三
訂閱：
文章 (Atom)