Hadoop大規模サーバの構築

Hadoop大規模サーバの構築:

Windowsも構築できる、今回はLinux環境のHadoop構築です。

仮想環境はVMwareまたはAWSで簡単構築できます。

ご利用ください。

１．HOST設定

vim /etc/hosts

サーバネームを追加する

（例）

192.168.1.2 Hadoop1

192.168.1.3 Hadoop2

192.168.1.4 Hadoop3

2.Hadoopのインストールと設定

※管理やすいように、同じネームのディレクトリを作成する。

Hadoop、javaのダウンロード

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/hadoop-2.7.1.tar.gz

wget http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz

ll（ls）でダウンロードファイルを確認する。

そのあと、下記を実行する。

tar -zxvf hadoop-2.7.1.tar.gz

tar -zxvf jdk-8u101-linux-x64.tar.gz

JAVAの設定

mkdir /usr/java

chown hadoop:hadoop /usr/java/

ll /usr で権限を確認する。

（必ずhadoopで！権限がhadoopではない場合、問題があるかもしれない）

vim /etc/profile

ファイルの設定は下記です。

export JAVA_HOME=/usr/java/jdk1.8.0_73

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

cp -r jdk1.8.0_73 /usr/java/

java -version　

以上、javaの設定が終わる。

hadoopの設定

mkdir /usr/hadoop

cp -r hadoop-2.7.1 /usr/hadoop

chown hadoop:hadoop /usr/hadoop/

ll /usr/

hadoopフォルダの権限を確認する。

cd /usr/hadoop/hadoop-2.7.1/

mkdir tmp //下記core-site.xmlに使用のため

hadoopの設定フォルダは/etc/hadoopです。

Hadoopにjdkを指定する。

hadoop-env.sh、yarn-env.shに下記を追加する。

export JAVA_HOME=/usr/java/jdk1.8.0_73

core-site.xmlの設定

vim etc/hadoop/core-site.xml



<!-- HDFS file path -->


fs.defaultFS

hdfs://192.168.1.2:9000



io.file.buffer.size

131072



hadoop.tmp.dir

file:/usr/hadoop/hadoop-2.7.1/tmp

Abasefor other temporary directories.


hdfs-site.xmlの設定

vim etc/hadoop/hdfs-site.xml



dfs.namenode.secondary.http-address

192.168.1.2:9001



dfs.namenode.name.dir

file:/usr/hadoop/hadoop-2.7.1/dfs/name



dfs.datanode.data.dir

file:/usr/hadoop/hadoop-2.7.1/dfs/data



dfs.replication

1



dfs.webhdfs.enabled

true

※dfs.namenode.name.dirなどは環境によって指定ください。

mkdir dfs

mkdir dfs/name

mkdir dfs/data

・mapred-site.xmlの設定

テンプレートをコピーして作成する。

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vim etc/hadoop/mapred-site.xml




mapreduce.framework.name

yarn ⇒yarnを指定する（sparkなども設定できる）


　　　　　　　　⇒JOB履歴サーバ

mapreduce.jobhistory.address

192.168.1.2:10020


　　　　　　　　⇒履歴Webサーバ

mapreduce.jobhistory.webapp.address

192.168.1.2:19888

・yarn-site.xmlの設定

vim etc/hadoop/yarn-site.xml



yarn.nodemanager.aux-services

mapreduce_shuffle



yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler



yarn.resourcemanager.address

192.168.1.2:8032



yarn.resourcemanager.scheduler.address

192.168.1.2:8030



yarn.resourcemanager.resource-tracker.address

192.168.1.2:8035



yarn.resourcemanager.admin.address

192.168.1.2:8033



yarn.resourcemanager.webapp.address

192.168.1.2:8088

hadoopの権限設定（重要！）

chown -R hadoop:hadoop /usr/hadoop/hadoop-2.7.1/

bin/hadoop namenode -format

「xxx/name has been successfully formated.」メッセージが出す、

フォーマットが正常終了。

動作確認

HDFS起動！

sbin/start-dfs.sh

下記で状態を確認する。

bin/hadoop dfsadmin -report

またはURLで確認できる！
http://192.168.1.2:50070/dfshealth.html#tab-overview

yarnの起動

sbin/start-yarn.sh
http://192.168.1.2:8080/cluster

Congradulations !

Welcome to send mail to me.

技術交流：erica_lyz@yahoo.co.jp

-以上-