準(zhǔn)備 準(zhǔn)備3臺客戶機，（關(guān)閉防火墻、靜態(tài)IP、主機名稱），配置ssh。我配置了4臺； 安裝JDK，配置JAVA_HOME環(huán)境變量； 安裝Hadoop, 配置HADOOP_HO...
發(fā)簡信
IP屬地：廣東
-
Hadoop集群部署 -
Hadoop筆記規(guī)劃
歡迎大家閱讀、留言、評論。 準(zhǔn)備工作 Linux安裝及其靜態(tài)IP配置，安裝JDK與Tomcat[http://m.itdecent.cn/p/402df6a607d3]...
-
一、初識Hadoop
Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。Hadoop實...
-
二、HDFS 概述與基本使用
HDFS 作為最早的大數(shù)據(jù)存儲系統(tǒng)，存儲著寶貴的數(shù)據(jù)資產(chǎn)，各種新的算法、框架要想得到人們的廣泛使用，必須支持 HDFS 才能獲取已經(jīng)存儲在里面的數(shù)據(jù)。所以大數(shù)據(jù)技術(shù)越發(fā)展，新...
-
三、MapReduce編程模型與計算框架MapReduce 既是一個編程模型，又是一個計算框架。也就是說，開發(fā)人員基于 MapReduce 編程模型進(jìn)行編程開發(fā)，然后將程序通過 MapReduce 計算框架分發(fā)到 ...
-
-
寫幾個好用的Linux腳本
xsync 集群通常需要同步配置文件，是不是可以寫個腳本快速同步配置文件呢？這里 xsync 腳本是基于 rsync 的。相對于scp，rsync做文件夾復(fù)制時速度更快，因為...
-
大數(shù)據(jù)前序時至今日，計算機軟件成為人們?nèi)粘Ｉ畹谋貍淦?。能用計算機軟件提高效率的地方，幾乎已經(jīng)被全部發(fā)掘過了。在這種情況下，如果想讓軟件再成百上千倍地提高我們的生活和工作效率，使用以前...
-
CentOS8虛擬機之間的通信虛擬機之間的通信 ssh認(rèn)證 免密登錄 通過主機名實現(xiàn)ssh連接 更加簡單的同步 rsync 與其二次封裝的 xsync 學(xué)習(xí)大數(shù)據(jù)，配置集群時，需要先讓虛擬機之間能夠自由通...