CentOS6.4でまずは一台構成のHadoopをセットアップしてみた cd /etc/yum.repos.d/ wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cloudera-cdh3.repo rpm --import http://archive.cloudera.com/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera yum -y install hadoop-0.20 yum -y install hadoop-0.20-conf-pseudo あとはサービス起動 /etc/init.d/hadoop-0.20-namenode start /etc/init.d/hadoop-0.20-jobtracker start /etc/init.d/hadoop-0.20-datanode start /etc/init.d/hadoop-0.20-tasktracker start このとき/etc/hosts でノード名が解決できなくていくつかのサービスが起動できなかったので、注意。 ブラウザでアクセスしてみる http://[ノード名]:50070/ へアクセス。HDFSの様子を見ることができます。 つぎに http://[ノード名]:50030/ へアクセス。MapReduce?の様子を見ることができます。 HDFSの画面から「Browse the filesystem」をクリックすると、ファイルシステム上のコンテンツを閲覧できます。*1 HDFS上でディレクトリやファイルの操作 †bin/hadoop fs -mkdir fugaDirectory <- HDFS上にディレクトリを作った cat /var/tmp/hoge <-なんかファイルががあるとする bin/hadoop fs -put /var/tmp/hoge fugaDirectory <-さっきのディレクトリにアップした bin/hadoop fs -cat fugaDirectory/hoge <-参照するとき。 MapReduce?ジョブを動かしてみる †[hadoop-0.20]# pwd /usr/lib/hadoop-0.20 [hadoop-0.20]# bin/hadoop jar /usr/lib/hadoop-0.20/hadoop-examples.jar pi 10 2000 Number of Maps = 10 Samples per Map = 2000 Wrote input for Map #0 Wrote input for Map #1 Wrote input for Map #2 Wrote input for Map #3 Wrote input for Map #4 Wrote input for Map #5 Wrote input for Map #6 Wrote input for Map #7 Wrote input for Map #8 Wrote input for Map #9 Starting Job ... 割愛 Job Finished in 20.352 seconds Estimated value of Pi is 3.14280000000000000000 [hadoop-0.20]# |