發(fā)簡(jiǎn)信
IP屬地：山東
-
1. InputFormat 數(shù)據(jù)輸入
1 切片與MapTask并行度決定機(jī)制 MapTask并行度決定Map階段的任務(wù)處理并發(fā)度,進(jìn)而影響Job的處理速度 MapTask并行度決定機(jī)...
-
Hadoop集群搭載經(jīng)歷之hadoop配置tps：同樣方式上傳hadoop安裝包并且解壓到/opt/同樣方式配置hadoop環(huán)境 1. 各個(gè)服務(wù)器節(jié)點(diǎn)之間配置免密碼登錄（對(duì)自己也要配置）...
-
Hadoop集群搭載經(jīng)歷之jdk配置tips：運(yùn)行hadoop的話必須在服務(wù)器上面配置jdk，提前自己下好 1.將jdk傳到linux 在cmd里面輸入sftp root@xxx....
-
Hadoop集群搭載經(jīng)歷之linux配置iptips：我選擇的是centos7最小化安裝。 1. 查看并配置windows網(wǎng)卡（vmware的虛擬網(wǎng)卡） 1.0 安裝虛擬機(jī)時(shí)要采用nat網(wǎng)...
-
Hadoop_MapReduce自定義Bean序列化
實(shí)現(xiàn)序列化需要七步 實(shí)現(xiàn)Writable接口 反序列化是需要調(diào)用空參構(gòu)造方法，所以需要?jiǎng)?chuàng)建空參構(gòu)造方法。 重寫(xiě)序列化方法（writer） 重寫(xiě)反...
-
javaIO流
Tips：File是java.io包下的類可以完成刪除、重命名、新建文件和文件夾。 IO流分類： 輸入流和輸出流輸入流：只能從中讀取數(shù)據(jù)，而不能...
-
Hadoop——MapReduce——WordCount手寫(xiě)經(jīng)歷
因?yàn)槲业氖莔ac而且把shell換成了zsh所以在配置maven環(huán)境變量時(shí)，并不是在.bash_profile里面配置而是在.zshrc里面配置...
-
Hadoop之MapReduce學(xué)習(xí)總結(jié)
優(yōu)點(diǎn) MapReduce 易于編程，僅僅實(shí)現(xiàn)一些簡(jiǎn)單的接口，就可以完成一個(gè)分布式程序。并且部署到廉價(jià)的服務(wù)器上。良好的擴(kuò)展性，通過(guò)簡(jiǎn)單的增加服務(wù)...
-
hdfs學(xué)習(xí)總結(jié)hdfs：Hadoop Distributed File System （Hadoop 分布式文件系統(tǒng)） 1.特點(diǎn)： 一次寫(xiě)入多次讀出，并且不支...