二、Hadoop2.x分布式集群部署-YARN
一、配置 一臺ResourceManage和三臺NodeManager
1.yarn分布式部署
1.Yarn-env.sh
配置java環(huán)境變量
2.Yarn-site.xml
http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
2.mapreduce部署
1.mapred-env.sh
配置java環(huán)境變量與參數(shù)
2.mapred-site.xml
3.將配置轉(zhuǎn)移到其他虛擬機
以轉(zhuǎn)到第二臺虛擬機為例
scp -r ./* kfk@bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
4.判斷是否配置成功
二、HDFS啟動集群運行測試
Bin/hdfs namenode –format
(1).啟動各個節(jié)點機器服務（bigdata-pro01.kfk.com）：
1.Namenode
sbin/hadoop-daemon.sh start namenode
2.Datanode
sbin/hadoop-daemon.sh start datanode
3.Resourcemanager
sbin/yarn-daemon.sh start resourcemanager
4.Nodemanger
sbin/yarn-daemon.sh start nodemanager
5.Jobhistoryserver? ?historyserver
mapreduce日志必須開啟
./mr-jobhistory-daemon.sh start historyserver
(2).jbs查看節(jié)點
在其他主機配置DataNode、NodeManager的節(jié)點
三、YARN集群運行MapReduce程序測試
1.在目錄下創(chuàng)建并編輯一個文件
2.判斷是否創(chuàng)建
3.啟動服務
bin/hdfs dfs -put /opt/datas/wc.input /user/kfk/data/
4.HDFS服務頁面
bin/hdfs dfs -put /opt/datas/wc.input /user/kfk/data/
http://bigdata-pro01.kfk.com:50070/
5.YARN服務頁面
http://bigdata-pro01.kfk.com:8088/
圖為開啟了兩臺虛擬機的服務
