1.從spark官網(wǎng)下載spark安裝程序

spark-2.2.1-bin-hadoop2.6.tgz

2. 解壓

tar zxvf spark-2.2.1-bin-hadoop2.6.tgz     
ln -s spark-2.2.1-bin-hadoop2.6 spark2

3、環(huán)境變量

vi /etc/profile

#Spark 2.0.1
export SPARK_HOME=/app/zpy/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Source /etc/profile

4、配置文件

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

export JAVA_HOME=/app/zpy/java/jdk1.8.0_51
export SPARK_MASTER_HOST=master主機名
SPARK_WORKER_CORES=15
SPARK_WORKER_MEMORY=32G
HADOOP_CONF_DIR=/app/zpy/hadoop/etc/hadoop  #如果執(zhí)行spark on yarn 必須設(shè)置這個
例如：spark-submit --class com.ism.asset.spark.AssetDaily --master yarn --deploy-mode client  --name asset_daily --executor-memory 2g --driver-memory 2g /app/zpy/assessdaily/asset-daily.jar（--master yarn需要用到HADOOP_CONF_DIR）

cp slaves.template  slaves
vi slaves 添加從的IP，刪除localhost

5. 將復制到其他節(jié)點

scp -r /app/zpy/spark root@x.x.x.x:/app/zpy/

6. 修改權(quán)限

chown -R hadoop:hadoop /app/zpy/spark

7. 啟動

ps：su hadoop
只需要在master節(jié)點操作如下兩條命令：

start-master.sh
start-slaves.sh

7、驗證

su hadoop 
jps 查看master與worker進程

spark-shell 查看啟動spark是否有報錯

8、Web界面

http://master:8080