Hadoop 配置

配置hadoop之前做好準(zhǔn)備工作

1.修改主機名稱，我這里創(chuàng)建了三個虛擬主機，分別命名node-1，node-2，node-3，進入 network 文件刪掉里面的內(nèi)容直接寫上主機名就可以了

vi /etc/sysconfig/network

2.映射 IP 和主機名，之后 reboot 重啟主機

[root@node-1 redis-cluster]# vim /etc/hosts
192.168.0.1 node-1
192.168.0.2 node-2
192.168.0.3 node-3

3.檢測防火墻（要關(guān)閉防火墻），不同系統(tǒng)的防火墻關(guān)閉方式不一樣，以下做個參考即可

1.service iptables stop  關(guān)閉
2.chkconfig iptables off  強制關(guān)閉  除非手動開啟不然不會自動開啟
3.chkconfig iptanles  查看
4.service  iptables status 查看防火墻狀態(tài)

4.ssh 免密碼登錄

輸入命令：ssh-keygen -t rsa  然后點擊四個回車鍵，如下圖所示：

然后通過 ssh-copy-id  對應(yīng)主機 IP，之后通過“ssh 主機名/IP”  便可以不輸入密碼即可登錄相應(yīng)的主機系統(tǒng)

開始配置 Hadoop 相關(guān)文件

上傳 hadoop 安裝包解壓后進入 hadoop-2.7.6/etc/hadoop 目錄下
以下所有的 <property> </property> 都是寫在各自相應(yīng)配置文件末尾的 <configuration> 標(biāo)簽里面

第一個 hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171   #JAVA_HOME寫上自己jdk 的安裝路徑

第二個 ：core-site.xml

vi <strong>core-site.xml</strong>

<!-- 指定Hadoop所使用的文件系統(tǒng)schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node-1:9000</value>
</property>
<!-- 定Hadoop運行是產(chǎn)生文件的存儲目錄。默認 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/data/hddata</value>
</property>

第三個： hdfs-site.xml

vi <strong>hdfs-site.xml</strong>

<!-- 指定HDFS副本的數(shù)量，不修改默認為3個 -->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<!-- dfs的SecondaryNameNode在哪臺主機上 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node-2:50090</value>
</property>

第四個： mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<!-- 指定MapReduce運行是框架，這里指定在yarn上，默認是local -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

第五個：yarn-site.xml

vi <strong>yarn-site.xml</strong>

<!-- 指定yarn的老大ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node-1</value>
</property>


<!-- NodeManager上運行的附屬服務(wù)。需要配置成mapreduce_shuffle,才可以運行MapReduce程序默認值 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

第六個：slaves 文件，里面寫上從節(jié)點所在的主機名字

vi slaves
node-1
node-2
node-3

第七個：將 Hadoop 添加到環(huán)境變量

vi /etc/profile
export HADOOP_HOME=/export/server/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$PATH

然后將 hadoop 安裝包遠程發(fā)送給各個副計算機

scp -r /export/server/hadoop-2.7.6/ root@node-2:/export/server/
scp -r /export/server/hadoop-2.7.6/ root@node-3:/export/server/

把配置好的環(huán)境變量也要遠程發(fā)送給各個副計算機

scp -r /etc/profile root@node-2:/etc/
scp -r /etc/profile root@node-3:/etc/

然后試所有的計算機環(huán)境變量生效

source /etc/profile

關(guān)于 hadoop的 配置說明
在 hadoop 官網(wǎng)，左下角點擊 Documentation 點擊相應(yīng)的版本進去，拉到最左下角有 ***-default.xml
***-default.xml 是默認的配置，如果用戶沒有修改這些選項將會生效
***-site.xml 是用戶自定義的配置
site的配置選項優(yōu)先級大于 default 的，如果 site 里面有就會覆蓋 default 里面的