如何在MacOSX上安裝hadoop

• 其中一篇文章地址為how-to-install-hadoop-on-mac-os-x
• 另外一篇文章的地址為how-to-setup-hadoop-on-mac-os-x-10-9-mavericks，

本文綜合以上兩篇文章，經過自己測試成功，于是寫上這篇，以記錄并希望可以幫助到其它人。

簡介

Hadoop是Apache基金會下的項目，它能夠處理非常大的數據集在分布式計算環(huán)境，它可以運行在三種模式下：

• 獨立式

  Hadoop運行所有的東西在無后臺的單獨的JVM中，這種模式適合在開發(fā)階段測試與Debug MapReduce程序

• 偽分布式

  Hadoop做為后臺應用運行在本地機器，模擬小集群

• 全分布式

  Hadoop做為后臺應用運行真實的集群電腦中

準備條件

1. Java

   1.6. + ———-
   Hadoop 需要 Java 版本在1.6.

   或以上， 運行java -version

   在你的終端中，它會顯示你電腦上安裝的Java版本：

    ?  Downloads  java -version
    java version "1.7.0_45"
    Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
    Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
   
   

2. SSH keys
   首先確保遠程登錄(Remote Login)是打開的，在系統(tǒng)配置(System Preferences)->分享(Sharing)中可以設置，如果在終端中輸入ssh localhost有返回，則你已經配置好了SSH keys,如果沒有，可新建：

    ssh-keygen -t rsa -P ""
   
   

   為了避免每次詢問你的密碼，可以授權你的公鑰到本地：

    cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
   
   

   現在應該可以使用SSH在你的電腦上了，執(zhí)行：

    ssh localhost
   
   

步驟1 安裝homebrew,如果已經安裝，跳到第二步

ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"    

步驟2 使用brew 進行安裝hadoop, 假定我們安裝的是hadoop 2.5.1

brew install hadoop

步驟3 配置hadoop

cd /usr/local/Cellar/hadoop/2.5.1/libexec/etc/hadoop

添加下面的行到

hadoop-env.sh

:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

添加下面的行到core-site.xml

<configuration>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/tmp/hadoop-${user.name}</value>
   <description>A base for other temporary directories.</description>
 </property> 
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
 </property>
</configuration>

添加下面的行到hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

添加下面的行到mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

絕大部分已經準備好了

我們必須格式化新安裝的HDFS在我們啟動運行后臺程序前，格式并創(chuàng)新空的文件系統(tǒng)通過創(chuàng)建存儲目錄和初始化元數據。執(zhí)行：

hadoop namenode -format

啟動后臺程序

確保你已經可以SSH到你的本機，通過start-dfs.sh啟動HDFS，start-all.sh啟動MapReduce

監(jiān)視

我們可以監(jiān)視HDFS，MapReduce
HDFS Administrator :

http://localhost:50070(在此次執(zhí)行中可以)

MapReduce Administrator :

http://localhost:50030(訪問不了，以后找到原因再補上)