本次使用big-data-europe/docker-spark: Apache Spark docker image方便地進行Spark開發(fā)環(huán)境的搭建。

首先需要先準(zhǔn)備一個docker-compose.yml文件，文件內(nèi)容如下：

version: '2'
services:
  spark-master:
    image: bde2020/spark-master:2.4.4-hadoop2.7
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - ENABLE_INIT_DAEMON=false
  spark-worker-1:
    image: bde2020/spark-worker:2.4.4-hadoop2.7
    container_name: spark-worker-1
    depends_on:
      - spark-master
    ports:
      - "8081:8081"
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"
      - ENABLE_INIT_DAEMON=false

然后運行

docker-compose up -d

瀏覽器打開 http://localhost:8080 可以看到Spark Master管理頁面，打開http://localhost:8081 可以看到Spark Worker的詳細頁面

spark-master.png