2010-02-27

環境の違う複数台でのhadoopの構築方法のメモ

4台構成のhadoopに成功してうれしいので書く

研究室のサーバーを(勝手に)利用した．
4台の構成は以下の通り
Mac Pro(intel Xeon * 2 , memory 12G)
ワークステーション１(Xeon * 2 , memory 8G)
ワークステーション２(Xeon * 2 , memory 32G )
自作PC（Core i7 , memory 24G）

hadoopのサイトからデータをダウンロード
http://hadoop.apache.org/common/releases.html

最新版の0.20.1をダウンロード！
さてはて，ここから戦いが．．．．

とりあえず，hadoopユーザーを作成
お互いからパスワードなしでもsshアクセスできるようにする．
rsyncとか使うと楽らしい？，俺はsftpでやった

んでもってconfの中のファイルを設定をするだけ．
hadoopのディレクトリは/usr/local/hadoop/に設置

conf/core-site.xmlの書き換え

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://ホスト名:8050</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/data/tmp</value>
  </property>

  <property>
    <name>mapred.job.tracker</name>
    <value>ホスト名:8051</value>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>

  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>2</value>
  </property>

  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>2</value>
  </property>

</configuration>

ファイルを置く場所はいろいろ考えるのが面倒くさかったので
/usr/local/hadoop/data/tmp
にしました．
なので，/usr/local/hadoop/dataを作成しましょう．
tmpは勝手に作られるので問題ないです(もしかしたらdataも勝手に作られる？)

masters,slavesの変更

自分の構成では，以下の様に記述した．
mastersは１ホストのみ記述
slavesは4ホストすべて記述

コピー

rsyncとかftpをつかって他のホストにhadoop ディレクトリごと転送しましょう

hadoop-env.shの設定

各ホストで書き換える
export JAVA_HOME=〜〜を変更する

Mac(Snow Leopard Server)の場合
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Home

Ubuntu(9.10)の場合
（apt-getでsun-java6-jdkとsun-java6-jreをインストールしておくこと）
export JAVA_HOME=/usr/lib/jvm/java-6-sun

Cent OS(5.3?)の場合
export JAVA_HOME=/usr/java/default

はまったところ

ポート50010番と指定した8050,8051をあけましょう

あとの動かし方

ここを参考にしましょう．
http://codezine.jp/article/detail/2699

とりあえず，rsyncはうまく使えなかったです．

PS:途中で書くのがいやになった

2010-02-27

Ruby1.9で長い文字列を比較的早く作成する方法

UTF-8を使って100MBのクエリーを作成したら激遅だったので，いろいろ調べてみた．

あんまり調べてないけど

UTF-8の文字列を使用せず，バイナリ（ASCII-8BIT）を使用するというのが1番早いんではなかろうかと予想

なので比較してみる

クエリー作成時は範囲での入れ替えをよくやるので範囲オブジェクト使うために2文字にした

比較用コード

#-*- encoding:UTF-8 -*-

times = ARGV[0].to_i
puts times.to_s + "回"

#文字列を＋でつなげる
a = ""
b = "aa"

start_time = Time.now
(0...times).each do |i|
  a += b
end
end_time = Time.now
puts "その1：＋でつなげる"
puts "全体の時間:"+(end_time - start_time).to_s
puts "1回あたり:"+((end_time - start_time)/times).to_s,""


#文字列を入れ替える(UTF-8で)
a = (" " * times * 2).force_encoding("UTF-8")
b = "aa".force_encoding("UTF-8")

start_time = Time.now
(0...times).each do |i|
  a[(i*2)..(i*2+1)] = b
end
end_time = Time.now
puts "その2：UTF-8で入れ替え"
puts "全体の時間:"+(end_time - start_time).to_s
puts "1回あたり:"+((end_time - start_time)/times).to_s,""


#文字列を入れ替える(バイナリで)
a = (" " * times * 2).force_encoding("ASCII-8BIT")
b = "aa".force_encoding("ASCII-8BIT")

start_time = Time.now
(0...times).each do |i|
  a[(i*2)..(i*2+1)] = b
end
end_time = Time.now
puts "その3：バイナリで入れ替え"
puts "全体の時間:"+(end_time - start_time).to_s
puts "1回あたり:"+((end_time - start_time)/times).to_s,""

結果

1000回

その1：＋でつなげる
全体の時間:0.002042
1回あたり:2.042e-06

その2：UTF-8で入れ替え
全体の時間:0.001439
1回あたり:1.439e-06

その3：バイナリで入れ替え
全体の時間:0.001121
1回あたり:1.121e-06

10000回

その1：＋でつなげる
全体の時間:0.078724
1回あたり:7.8724e-06

その2：UTF-8で入れ替え
全体の時間:0.039332
1回あたり:3.9332e-06

その3：バイナリで入れ替え
全体の時間:0.01164
1回あたり:1.164e-06

100000回

その1：＋でつなげる
全体の時間:10.125697
1回あたり:0.00010125697

その2：UTF-8で入れ替え
全体の時間:2.943017
1回あたり:2.943017e-05

その3：バイナリで入れ替え
全体の時間:0.113457
1回あたり:1.13457e-06

＋でつなげたのとUTF-8で入れ替えしたのは1回あたりの時間が順調に伸びた

それに比べて，バイナリでいれかえたのは1回あたりの入れ替えがほぼ変わらない

やっぱりバイナリが最速か・・・

面倒くさいけどRuby1.9.1で巨大な文字列を作成するときは

force_encoding("ASCII-8BIT")

をつけた方がいいみたい