2011年3月4日 星期五

Oozie小掰咖

delete path /user/hadoop/test/coreview/*02.110112
刪不了~~~~~~~~~~~~~~~~~~~~~~~~~~

2011年3月3日 星期四

Hadoop Compress 測試

Local File:2.4G
local -> hdfs:0:35
Mapreduce Compress time:5:31

Try to adjust reducer number is no-work !!
All result will combine in the first file.

--

Linux Compress
Local File:2.4G
Compress time:15:00

mapreduce & compress

mapreduce 壓縮檔


我針對Hive是否能在Laod Data時順便壓縮搜尋了一下
目前只看到他只能設定在"Output"時壓縮

hive.exec.compress.output 和hive.exec.compress.intermediate 這兩個參數可以調整
reference

因此假如我們需要將hive資料搬到Hbase時,就可以設定資料壓縮再傳過去
set hfile.compression=gz; reference

另外MapReduce可以設定在Output時做壓縮 Reference

我剛剛測試covire的資料是可以成功的
壓縮比也約在75%左右
未來也可以嘗試把壓縮包在Oozie
就可以節省許多時間

2011年3月2日 星期三

Tomcat + SSL

The Apache Tomcat 5.5 Servlet/JSP Container
1.%JAVA_HOME%\bin\keytool -genkey -alias tomcat -keyalg RSA
and specify a password value of "changeit".

2.您的名字與姓氏為何?[Unknown]:localhost
不能真的打自己的名字,其餘可以亂打

3.改server.xml,把註解取消
maxThreads="150" scheme="https" secure="true"
SSLEnabled="true"
keystoreFile="/usr/local/apache-tomcat-5.5.27/conf/.keystore" keystorePass="changeit"
clientAuth="false" sslProtocol="TLS" />

4.開啟Tomcat,測試https://localhost:8443/

5.假如失敗了,看log,看他到底讀哪個.keystore檔案,讀不到在靠么。把產生的.keystore(我是產生在我的資料夾底下)放置對應的位置