【原創(chuàng)】一、Hadoop 2.5.2偽分布式環(huán)境搭建

一、環(huán)境準備

新建或克隆一臺新的centos服務(wù)器虛擬機。

修改ip和hosts,關(guān)閉防火墻iptables和selinux。

新建hadoop用戶,并賦予相應(yīng)的sudoers權(quán)限。

建立互信,免登陸。

安裝jdk1.7,并配置環(huán)境變量。

二、開始安裝

上傳hadoop2.5.2安裝包,并解壓到相應(yīng)的目錄下。

修改hadoop環(huán)境配置文件的的環(huán)境變量hadoop-env.sh

3.修改HDFS的配置文件core-site.xml,設(shè)置fs.defaultFS與hadoop.tmp.dir

4.修改hdfs-site.xml,配置副本數(shù),與secondnamenode地址

5.Hdfs配置完成后,進行格式化

6.啟動hdfs,并使用jps查看啟動情況。

7.查看namenode的web頁面。

8.Hdfs上傳文件,查看文件。

9.YARN配置,yarn-site.xml

10.YARN啟動、webui界面

11.MapReduce配置、案例WordCount測試運行、如何提交Job、查看運行結(jié)果。

12.運行mapreduce的案例

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /input/yahoo /out02

13.查看運行結(jié)果,bin/hdfs dfs -text /out02/*

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容