1 切片與MapTask并行度決定機(jī)制 MapTask并行度決定Map階段的任務(wù)處理并發(fā)度,進(jìn)而影響Job的處理速度 MapTask并行度決定機(jī)制 數(shù)據(jù)塊：blocks是hd...
發(fā)簡信
IP屬地：山東
-
1. InputFormat 數(shù)據(jù)輸入
-
Hadoop集群搭載經(jīng)歷之hadoop配置tps：同樣方式上傳hadoop安裝包并且解壓到/opt/同樣方式配置hadoop環(huán)境 1. 各個(gè)服務(wù)器節(jié)點(diǎn)之間配置免密碼登錄（對自己也要配置） 修改vi /etc/host...
-
Hadoop集群搭載經(jīng)歷之jdk配置tips：運(yùn)行hadoop的話必須在服務(wù)器上面配置jdk，提前自己下好 1.將jdk傳到linux 在cmd里面輸入sftp root@xxx.xxx.xxx.xxx；@后面...
-
Hadoop集群搭載經(jīng)歷之linux配置iptips：我選擇的是centos7最小化安裝。 1. 查看并配置windows網(wǎng)卡（vmware的虛擬網(wǎng)卡） 1.0 安裝虛擬機(jī)時(shí)要采用nat網(wǎng)絡(luò)方式，橋接方式在校園網(wǎng)的環(huán)境...
-
Hadoop_MapReduce自定義Bean序列化
實(shí)現(xiàn)序列化需要七步 實(shí)現(xiàn)Writable接口 反序列化是需要調(diào)用空參構(gòu)造方法，所以需要?jiǎng)?chuàng)建空參構(gòu)造方法。 重寫序列化方法（writer） 重寫反序列化方法（read） 注意序...
-
Hadoop——MapReduce——WordCount手寫經(jīng)歷
因?yàn)槲业氖莔ac而且把shell換成了zsh所以在配置maven環(huán)境變量時(shí)，并不是在.bash_profile里面配置而是在.zshrc里面配置maven的環(huán)境變量 相關(guān)代碼...
-
Hadoop之MapReduce學(xué)習(xí)總結(jié)
優(yōu)點(diǎn) MapReduce 易于編程，僅僅實(shí)現(xiàn)一些簡單的接口，就可以完成一個(gè)分布式程序。并且部署到廉價(jià)的服務(wù)器上。良好的擴(kuò)展性，通過簡單的增加服務(wù)器就可以增加它的運(yùn)算性能高容錯(cuò)...
-
hdfs學(xué)習(xí)總結(jié)hdfs：Hadoop Distributed File System （Hadoop 分布式文件系統(tǒng)） 1.特點(diǎn)： 一次寫入多次讀出，并且不支持修改。適合做數(shù)據(jù)分析，不適合...
-
初學(xué)Hadoop常犯錯(cuò)誤
1. Linux一定要對自己配置ssh免密碼登陸 2. 向Hadoop上傳文件 忘記填寫 Hadoop的問價(jià)路徑 忘記存儲(chǔ)Hadoop位置bin/hdfs dfs -put ...
-
Linux開機(jī)自動(dòng)啟動(dòng)sh腳本
1.編寫sh腳本 如果想要執(zhí)行命令記得在命令結(jié)尾使用&如 ssh root@111.111.111.111& 給sh腳本賦予執(zhí)行命令 chmod +x XXX.sh 給/et...
-
Hadoop學(xué)習(xí)- grep 未知的名稱或服務(wù)
grep 問題簡述 ： 未知的名稱或服務(wù) cp etc/hadoop/.xml input cat output/原因是：hostname與/etc/hosts中的不對應(yīng)。解...
-
Linux 實(shí)用指令
Linux系統(tǒng)運(yùn)行級別 關(guān)機(jī)單用戶（找回密碼）多用戶無網(wǎng)絡(luò)多用戶有網(wǎng)絡(luò)保留圖形界面重啟切換到指定的運(yùn)行級別 init 3配置文件 /etc/inittable linux文件...
-
Linux服務(wù)器關(guān)機(jī)和重啟
shutdown 關(guān)機(jī) 默認(rèn)一分鐘后關(guān)機(jī)；shutdown -h now 立刻關(guān)機(jī)shutdown -h 2 兩分鐘后關(guān)機(jī)shutdown -r now 立刻重啟 reboo...
-
vi 快捷鍵使用方法
vi編輯器有三種模式，模式之間可以相互轉(zhuǎn)化 正常模式、插入模式、命令行模式 正常模式----》插入模式 ： i/I: insert(插入) 在當(dāng)前字符到前面開始輸入字符a/A...
-
SSH反向隧道搭建和保持SSH長時(shí)間不斷開設(shè)置
兩個(gè)內(nèi)網(wǎng)機(jī)器怎么SSH連接 起初我得初想時(shí)在機(jī)房SSH連接操作宿舍的三個(gè)Linux虛擬機(jī)，但是裝上虛擬機(jī)后發(fā)現(xiàn)，筆記本不能訪問虛擬機(jī)； 百度之后才明白，兩個(gè)內(nèi)網(wǎng)并且不在同一網(wǎng)...
-
JFrame 背景色設(shè)置frame.setBackground(new Color(65, 54, 238)); 不會(huì)顯示 因?yàn)樵?JFrame創(chuàng)建時(shí)就已經(jīng) 在JFrame上面添加了 Panel 所...
-
用RandomAccessFile (讀寫流)模仿數(shù)據(jù)庫寫法
package demo1; import java.io.File; import java.io.IOException; import java.io.RandomAc...