環(huán)境準(zhǔn)備
- 一臺主機(jī)（看個(gè)人的配置，當(dāng)然配置越高性能越好，我自己的是i5+16G+1TB 64位 windows7系統(tǒng)）
- CentOS 7.0安裝文件
- hadoop-2.6.0.tar.gz、scala-2.10.5.tgz、jdk-7u79-linux-x64.rpm、spark-1.3.1-bin-hadoop2.6.tgz
- VirtualBox、xshell、WinSCP
對應(yīng)IP地址
| 虛擬機(jī) | IP地址 | hostname |
|---|---|---|
| 160.Master.Hadoop | 192.168.1.160 | Master |
| 161.Slave1.Hadoop | 192.168.1.161 | Slave1 |
| 162.Slave2.Hadoop | 192.168.1.162 | Slave2 |
| 163.Slave3.Hadoop | 192.168.1.163 | Slave3 |
配置虛擬機(jī)
如果你有幾臺物理機(jī)，那可以直接跳過這一部分，直接查看。這次搭建Spark集群主要是利用VirtualBox建立了4臺虛擬機(jī)來完成，對虛擬機(jī)熟悉的同學(xué)可以直接跳過這一部分。
為了方便我們管理這些虛擬機(jī)，命名的時(shí)候，我們可以按照上面列出的虛擬機(jī)名字進(jìn)行命名，這里根據(jù)自己喜好。
因?yàn)橄到y(tǒng)是CentOS 7.0，類型我們選擇Linux版本根據(jù)自己系統(tǒng)選擇32位還是64位
設(shè)定虛擬機(jī)內(nèi)存大?。筛鶕?jù)自己電腦配置），這里我設(shè)定虛擬機(jī)的內(nèi)存大小為1G
虛擬硬盤選擇默認(rèn)的VDI格式即可
給虛擬硬盤分配空間，默認(rèn)是【動態(tài)分配】，選擇這個(gè)一開始占據(jù)物理硬盤的空間較少，隨著使用（安裝軟件等）逐漸增加，直到之后設(shè)定的最大值，我這選擇【固定大小】，現(xiàn)在硬盤容量都很大，足夠使用了，而且【固定大小】運(yùn)行起來會快點(diǎn)，但在創(chuàng)建虛擬機(jī)的時(shí)候需要花更多的時(shí)間
選擇虛擬硬盤文件的保存位置（為了方便，可以把所有的虛擬機(jī)都放到同一個(gè)磁盤下面，如D盤）；設(shè)定分配給虛擬機(jī)的硬盤大小，這里設(shè)定為20G（作為測試，20G足夠使用了）
創(chuàng)建后就是等待了，時(shí)間取決于你機(jī)器的性能
創(chuàng)建完后，可以在VirtualBox左側(cè)的虛擬機(jī)列表查看剛才創(chuàng)建的虛擬機(jī)，接下來就是系統(tǒng)的安裝了，點(diǎn)擊工具欄里的【設(shè)置】
在【系統(tǒng)】菜單里，把光驅(qū)作為第一啟動順序，硬盤作為第二啟動
在【存儲】菜單里，選中控制器（默認(rèn)是沒有盤片的，需要通過最右邊的小光驅(qū)圖案，選擇安裝系統(tǒng)的ISO文件）
在【網(wǎng)絡(luò)】菜單里，連接方式選擇【橋接網(wǎng)卡】，混雜模式選擇【全部允許】，每臺虛擬機(jī)都要分配不同的MAC地址，可通過這個(gè)頁面進(jìn)行查看，然后在系統(tǒng)里面進(jìn)行修改，后面復(fù)制鏡像生成新的虛擬機(jī)時(shí)需要根據(jù)新生成的MAC地址進(jìn)入系統(tǒng)里面修改。這幾項(xiàng)設(shè)置完后，就可以保存，回到VirtualBox主界面，在左側(cè)列表選擇這臺虛擬機(jī)，雙擊啟動或者點(diǎn)擊頂部工具欄的【啟動】按鈕，啟動這臺虛擬機(jī)進(jìn)行安裝。安裝CentOS 7.0參考這里：搭建Spark集群（二）——安裝CentOS 7
轉(zhuǎn)載請注明出處：http://m.itdecent.cn/p/16319cb0ae49，謝謝支持！
