前言

本篇作為備忘錄之用，僅記錄過(guò)程，不記錄詳細(xì)步驟，有空補(bǔ)充

1. hadoop 偽集群搭建

   目標(biāo)：三臺(tái)虛擬機(jī)/容器

   • 配置 網(wǎng)絡(luò)

     • 主機(jī)名分別修改為 master slave1 slave2

     • 配置網(wǎng)絡(luò)（固定 ip）

       分別為 192.168.243.101-103

     • 配置 /etc/hosts 本地解析

       將主機(jī)名 解析到 對(duì)應(yīng)節(jié)點(diǎn)的 ip

   • 配置 ssh

     • 安裝 ssh

       yum -y install openssh-server openssh-clients

     • ssh-keygen 生成密鑰對(duì)

     • ssh-copy-id 節(jié)點(diǎn)名 ~/.ssh/id_rsa.pub 將公鑰發(fā)送給其他兩個(gè)節(jié)點(diǎn)

     • 消除第一次 ssh 登錄的 yes

   • 安裝 java 環(huán)境

     • 下載解壓 jdk
     • 修改 ~/.bashrc 或 /etc/profile 添加 JAVA_HOME 和 JRE_HOME
     • 有些 jdk 版本需要添加 CLASSPATH
     • export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
     • 刷新配置
     • 執(zhí)行 java -version 驗(yàn)證

   • 關(guān)閉防火墻 并 禁止防火墻開機(jī)啟動(dòng)

   • 安裝 hadoop

     • 下載 hadoop-2.6.5.tar.gz 并解壓安裝到 hadoop-2.6.5 目錄下

     • 添加環(huán)境變量

       export HADOOP_HOME={hadoop 安裝目錄}

       export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     • 刷新配置

     • 執(zhí)行 hadoop version 驗(yàn)證

   • 配置 hadoop

     • 進(jìn)入 hadoop 安裝目錄

     • 創(chuàng)建 tmp logs hdfs/name hdfs/data 四個(gè)文件夾

     • 進(jìn)入 {hadoop 安裝目錄}/etc/hadoop 修改配置文件

       • hadoop-env.sh

         確保第25行 ${JAVA_HOME} 指向 jdk 安裝目錄

       • yarn-env.sh

       • slaves 修改為 slave1 和 slave2

       • mapred-site.xml

       • core-site.xml

       • hdfs-site.xml

       • yarn-site.xml

   • 配置時(shí)間同步

     • 安裝 ntpdate 同步軟件 yum -y install ntp ntpdate
     • 與網(wǎng)絡(luò)時(shí)間進(jìn)行同步 ntpdate cn.pool.ntp.org
     • 把時(shí)間寫入硬件進(jìn)行鎖定 hwclock --systohc

   • 格式化 NameNode（由 master 執(zhí)行）

     ./hdfs namenode -format

     如果看到 successfully formatted 和 Exitting with status 0 ，則表示操作成功

     如果出錯(cuò)，嘗試刪除 hdfs/name hdfs/data 文件夾，重新格式化

   • 啟動(dòng) hadoop

     執(zhí)行 ./start-all.sh （依次啟動(dòng) dfs 和 yarn）

     • jps 查看啟動(dòng)的進(jìn)程

       master

       • NameNode # 即目錄
       • SecondaryNameNode # 副節(jié)點(diǎn)，在 NameNode 故障時(shí)負(fù)責(zé)修復(fù) NameNode
       • ResourceManager

       slave

       • DataNode # 數(shù)據(jù)
       • NodeManager

     • 打開 web 頁(yè)面

       • {master 節(jié)點(diǎn)的 ip}:50070

         live Nodes 2

       • {master 節(jié)點(diǎn)的 ip}:8088

     • 上傳下載文件

     • 最后運(yùn)行 wordcount 程序

   • 關(guān)閉集群

     stop-all.sh

     關(guān)閉虛擬機(jī)前一定要先關(guān)閉集群，否則可能使集群崩潰

2. eclipse 連接 hadoop 集群

3. hive 操作數(shù)據(jù)庫(kù)

4. 創(chuàng)建 flask 服務(wù)器

5. 配置 hive 遠(yuǎn)程連接

6. 前端 ajax

7. redis 緩存