轉(zhuǎn)發(fā)是對(duì)小編的最大支持

在濕貨|大數(shù)據(jù)測(cè)試之hadoop單機(jī)環(huán)境搭建(超級(jí)詳細(xì)版)這個(gè)基礎(chǔ)上，我們來(lái)運(yùn)行一個(gè)官網(wǎng)的MapReduce demo程序來(lái)看看效果和處理過(guò)程。

大致步驟如下：

新建一個(gè)文件test.txt，內(nèi)容為

Hello Hadoop

Hello xiaoqiang

Hello testingbang

Hello http://xqtesting.sxl.cn

將test.txt上傳到hdfs的根目錄

/usr/lib/hadoop/hadoop-2.7.4/bin/hdfs dfs -put /root/install/test.txt /

這里還是要推薦下小編的大數(shù)據(jù)學(xué)習(xí)QQ裙:532218147，不管你是小白還是大牛，小編我都?xì)g迎，不定期分享干貨，包括小編自己整理的一份2018最新的大數(shù)據(jù)資料和0基礎(chǔ)入門(mén)教程，歡迎初學(xué)和進(jìn)階中的小伙伴。在不忙的時(shí)間我會(huì)給解答

然后瀏覽器訪(fǎng)問(wèn)可以看到剛才上傳的文件，如下圖

運(yùn)行官方的一個(gè)wordcount程序來(lái)統(tǒng)計(jì)字符數(shù)量，命令如下：

/usr/lib/hadoop/hadoop-2.7.4/bin/hadoop jar /usr/lib/hadoop/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount hdfs://localhost:9000/test.txt hdfs://localhost:9000/out

解釋下這個(gè)命令，大致意思是用hadoop執(zhí)行一個(gè)叫hadoop-mapreduce-examples-2.7.4.jar的wordcount 方法，其中輸入?yún)?shù)為hdfs上根目錄的test.txt 文件，而輸出路徑為hdfs跟目錄下的out目錄

PS：我這里沒(méi)有把hadoop配置成環(huán)境變量，所以命令很長(zhǎng)，你可以配置下，這樣命令就會(huì)短很多了，至于怎么配置，自己悟~

執(zhí)行過(guò)程如下：

執(zhí)行完成之后再次刷新瀏覽器可以看到out目錄和結(jié)果了

點(diǎn)擊part-r-00000，在彈出的頁(yè)面點(diǎn)擊download

這時(shí)候下載會(huì)出現(xiàn)404，我們只需要在URL里的localhost改為你服務(wù)器的ip地址就可以下載了。下載之后用編輯器打開(kāi)，內(nèi)容如下：

PS：你也可以用命令查看，如下圖

到這里，我們既完成了hadoop環(huán)境的搭建，也完成一次MapReduce的執(zhí)行。其實(shí)也算是對(duì)hadoop功能的測(cè)試。如果你都成功了，那么恭喜你！如果你沒(méi)有成功，那么也恭喜你，因?yàn)槟惆l(fā)現(xiàn)了自己的不足！

最后，大家請(qǐng)多多轉(zhuǎn)發(fā)本文，每一步都是小編自己做的，耗費(fèi)了很多腦細(xì)胞~轉(zhuǎn)發(fā)才是對(duì)小編的最大支持哦