一、環(huán)境準備
新建或克隆一臺新的centos服務(wù)器虛擬機。
修改ip和hosts,關(guān)閉防火墻iptables和selinux。
新建hadoop用戶,并賦予相應(yīng)的sudoers權(quán)限。
建立互信,免登陸。
安裝jdk1.7,并配置環(huán)境變量。
二、開始安裝
上傳hadoop2.5.2安裝包,并解壓到相應(yīng)的目錄下。
修改hadoop環(huán)境配置文件的的環(huán)境變量hadoop-env.sh
3.修改HDFS的配置文件core-site.xml,設(shè)置fs.defaultFS與hadoop.tmp.dir
4.修改hdfs-site.xml,配置副本數(shù),與secondnamenode地址
5.Hdfs配置完成后,進行格式化
6.啟動hdfs,并使用jps查看啟動情況。
7.查看namenode的web頁面。
8.Hdfs上傳文件,查看文件。
9.YARN配置,yarn-site.xml
10.YARN啟動、webui界面
11.MapReduce配置、案例WordCount測試運行、如何提交Job、查看運行結(jié)果。
12.運行mapreduce的案例
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /input/yahoo /out02
13.查看運行結(jié)果,bin/hdfs dfs -text /out02/*