一、組件包下載
| 組件包名稱 | 下載鏈接 | 備注 |
|---|---|---|
| Java | ||
| Hadoop | hadoop-3.2.0.tar.gz | |
| Spark | spark-3.1.2-bin-hadoop3.2.tgz |
二、安裝步驟
2.1 環(huán)境變量配置
vim .zsh_profile 或 vim .bash_profile
| 變量名 | 變量值 | 備注 |
|---|---|---|
| JAVA_HOME | ||
| HADOOP_HOME | export HADOOP_HOME=/Users/ricsy/hadoop/hadoop | |
| SPARK_HOME | export SPARK_HOME=/Users/ricsy/hadoop/spark | |
| PYSPARK_DRIVER_PYTHON | jupyter | |
| PYSPARK_DRIVER_PYTHON_OPTS | notebook | |
| PATH | export PATH=${PATH}:${HADOOP_HOME}/bin:${SPARK_HOME}/bin |
source .zsh_profile 或 source .bash_profile
2.2 安裝Hadoop
2.3 MAC設(shè)置
1、系統(tǒng)偏好設(shè)置 => 共享 => 遠(yuǎn)程登錄
三、使用步驟
1、command+空格輸入terminal后回車打開終端
2、執(zhí)行以下命令
pyspark
參閱：
