MAC Spark安裝和環(huán)境變量設(shè)置

本文使用的是Spark和python結(jié)合Spark的API組件pyspark
安裝Spark之前確保已有JDK環(huán)境和python環(huán)境(本文為JDK1.8.0_60和python3.6.5)

Spark安裝

1.官網(wǎng)下載spark
本文下載版本是spark-2.3.0-bin-hadoop2.7.tgz
2.安裝spark到/usr/local/
terminal中定位到spark-2.3.0-bin-hadoop2.7.tgz目錄，移動(dòng)spark-2.3.0-bin-hadoop2.7.tgz到/usr/local

rm spark-2.3.0-bin-hadoop2.7.tgz /usr/local

解壓縮spark-2.3.0-bin-hadoop2.7.tgz

tar -zvxf spark-2.3.0-bin-hadoop2.7.tgz(若要改名，再添加一個(gè)變量為你想改動(dòng)的名字,本文未改動(dòng))

3.安裝pyspark(本文使用python3，且mac自帶python 2.7)

pip3 install pyspark

4.設(shè)置環(huán)境變量
打開～/.bash_profile

vim ~/.bash_profile

添加

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

使環(huán)境變量生效

source ~/.bash_profile

5.在terminal中輸入

pyspark

就會(huì)出現(xiàn)如下界面了


pyspark交互界面

此時(shí)，Spark和pyspark都安裝好了

結(jié)合Jupyter使用和python版本的沖突請(qǐng)戳此處

轉(zhuǎn)載請(qǐng)注明出處

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容