搭建大數(shù)據平臺系列(0)-機器準備

目前本系列文章有:
搭建大數(shù)據平臺系列(0)-機器準備
搭建大數(shù)據平臺系列(1)-Hadoop環(huán)境搭建[hdfs,yarn,mapreduce]
搭建大數(shù)據平臺系列(2)-zookeeper環(huán)境搭建
搭建大數(shù)據平臺系列(3)-hbase環(huán)境搭建
搭建大數(shù)據平臺系列(4)-hive環(huán)境搭建

0. 前期規(guī)劃

假設現(xiàn)在有四臺機器,各自ip如下:

192.168.1.201
192.168.1.202
192.168.1.203
192.168.1.204

安裝下面統(tǒng)一要求進行重裝系統(tǒng):

  1. 每臺機器的系統(tǒng)為:CentOS-6.5-x86_64
  2. 每臺機器的磁盤分區(qū)為:
/boot      : 系統(tǒng)引導分區(qū)
/          : 系統(tǒng)安裝區(qū)
/data       : 系統(tǒng)數(shù)據分區(qū)
(swap分區(qū)尚未建立,待機器內存不足需求時再建立)
  1. 每臺機器上安裝的都是Mininal Desktop版本
  2. 每臺機器的主機名(hostname)分別為:master、slave1、slave2、slave3
  3. 每臺機器的root密碼都是:master
  4. 每臺機器上建立的第一個非root用戶都為:hadoop,密碼為:hadoop
  5. 非root用戶在centos中獲取sudo權限的命令:
[hadoop@slave3 ~]$ su -   #切換到root用戶,需要輸入root密碼
[root@slave3 ~]# visudo -f /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
在上面這條文字下加上如下:
hadoop  ALL=(ALL)       ALL

這樣配置后,hadoop用戶可以使用sudo命令了

  1. 修改每臺機器的/etc/hosts文件,如:
[root@slave3 ~]$ sudo vi /etc/hosts
192.168.1.201 master
192.168.1.202 slave1
192.168.1.203 slave2
192.168.1.204 slave3

9.防火墻設置

  • 因為4臺機器組成的大數(shù)據平臺小集群需要互相訪問對方的多個端口,需要在防火墻中打開這些端口的訪問(如果未打開的話),當然最方便的就是把每臺機器上的防火墻關閉了。
[hadoop@master  ~]$  sudo  service  iptables  start     #打開防火墻
[hadoop@master  ~]$  sudo  service  iptables  status    #查看防火墻
[hadoop@master  ~]$  sudo  service  iptables  stop      #關閉防火墻
(注意:防火墻操作時需要root權限的,非root用戶不使用sudo的話,不會報錯,但操作無結果)
修改防火墻設置(紅色為新增配置:開放2000-6000,7000以上的端口):
[hadoop@master ~]$ sudo  vim  /etc/sysconfig/iptables
# Firewall configuration written by system-config-firewall
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2000:6000 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 7000: -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT

保存上面的文件后,需要重啟防火墻,讓配置生效!
[hadoop@master  ~]$  sudo  service  iptables  restart     #重啟防火墻

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • 羅振宇說他們的知識服務就是要讓我們多一些觀察這個世界的維度,今天吳伯凡提出了盲維的概念,盲維的意思是我們缺...
    藍天白云_52db閱讀 567評論 0 0
  • 今天問一朋友,如果你中了五百萬,第一件事做什么? 他拿著手機說,打電話借錢,把所有認識的朋友親戚都借個遍。 “ 錢...
    范亞坤閱讀 4,687評論 0 0
  • 晃眼間新春佳節(jié)又過完了,各位家人都過的不錯吧?糊里糊涂的一七年就過去了,現(xiàn)在又開始要過一八年了,去年學習了幾...
    半生緣_ab19閱讀 289評論 0 1
  • 一、摘抄筆記/個人體悟 1.一句正確的話:凡是能用錢買的其實都是便宜的。 上學的時候就聽過并且當時以為的:能用錢買...
    趙拙言閱讀 437評論 2 3
  • 這是一個南方的小城,我第二次來,不同于上次旅行游玩的目的,這次出行,是為了生計。 就叫她N吧,這個美麗的城市。 在...
    瓶里尋沙閱讀 281評論 0 0

友情鏈接更多精彩內容