目前本系列文章有:
搭建大數(shù)據平臺系列(0)-機器準備
搭建大數(shù)據平臺系列(1)-Hadoop環(huán)境搭建[hdfs,yarn,mapreduce]
搭建大數(shù)據平臺系列(2)-zookeeper環(huán)境搭建
搭建大數(shù)據平臺系列(3)-hbase環(huán)境搭建
搭建大數(shù)據平臺系列(4)-hive環(huán)境搭建
0. 前期規(guī)劃
假設現(xiàn)在有四臺機器,各自ip如下:
192.168.1.201
192.168.1.202
192.168.1.203
192.168.1.204
安裝下面統(tǒng)一要求進行重裝系統(tǒng):
- 每臺機器的系統(tǒng)為:CentOS-6.5-x86_64
- 每臺機器的磁盤分區(qū)為:
/boot : 系統(tǒng)引導分區(qū)
/ : 系統(tǒng)安裝區(qū)
/data : 系統(tǒng)數(shù)據分區(qū)
(swap分區(qū)尚未建立,待機器內存不足需求時再建立)
- 每臺機器上安裝的都是Mininal Desktop版本
- 每臺機器的主機名(hostname)分別為:master、slave1、slave2、slave3
- 每臺機器的root密碼都是:master
- 每臺機器上建立的第一個非root用戶都為:hadoop,密碼為:hadoop
- 非root用戶在centos中獲取sudo權限的命令:
[hadoop@slave3 ~]$ su - #切換到root用戶,需要輸入root密碼
[root@slave3 ~]# visudo -f /etc/sudoers
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
在上面這條文字下加上如下:
hadoop ALL=(ALL) ALL
這樣配置后,hadoop用戶可以使用sudo命令了
- 修改每臺機器的/etc/hosts文件,如:
[root@slave3 ~]$ sudo vi /etc/hosts
192.168.1.201 master
192.168.1.202 slave1
192.168.1.203 slave2
192.168.1.204 slave3
9.防火墻設置
- 因為4臺機器組成的大數(shù)據平臺小集群需要互相訪問對方的多個端口,需要在防火墻中打開這些端口的訪問(如果未打開的話),當然最方便的就是把每臺機器上的防火墻關閉了。
[hadoop@master ~]$ sudo service iptables start #打開防火墻
[hadoop@master ~]$ sudo service iptables status #查看防火墻
[hadoop@master ~]$ sudo service iptables stop #關閉防火墻
(注意:防火墻操作時需要root權限的,非root用戶不使用sudo的話,不會報錯,但操作無結果)
修改防火墻設置(紅色為新增配置:開放2000-6000,7000以上的端口):
[hadoop@master ~]$ sudo vim /etc/sysconfig/iptables
# Firewall configuration written by system-config-firewall
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2000:6000 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 7000: -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
保存上面的文件后,需要重啟防火墻,讓配置生效!
[hadoop@master ~]$ sudo service iptables restart #重啟防火墻