發(fā)簡信
IP屬地：廣東
-
MapReduce框架原理最全的MapReduce框架原理，方便以后復習。知識點來自尚硅谷的課程學習。課程鏈接 一、InputFormat數(shù)據(jù)輸入 1. 切片與MapTa...
-
MapReduce序列化
序列化就是把內存中的對象轉換成字節(jié)序列以便于存儲到磁盤（持久化）和網絡傳輸。反序列化就是將字節(jié)序列或者是持久化的數(shù)據(jù)轉換成內存中的對象。 內存中...
-
2020-05-21 生活感悟
在今年初的時候，我給自己訂了一個目標，建立自己的行為準則，今天偶然看到了一個故事，有一點反思，希望記錄下來，在日后的生活中運用實踐。故事大概是這...
-
MapReduce —— WordCount案例
WordCount：統(tǒng)計一個或多個文件內每個單詞的出現(xiàn)次數(shù)。 一般情況下，一個MapReduce程序主要包含三個部分：Map、Reduce和Dr...
-
MapReduceMapReduce是一個分布式運算程序的編程框架，是用戶開發(fā)“基于Hadoop的數(shù)據(jù)分析應用”的核心框架。主要用于分析數(shù)據(jù)。 優(yōu)缺點 優(yōu)點易于編...
-
使用IO流操作HDFS
除了可以使用系統(tǒng)API進行HDFS操作，還可以通過Java的IO流進行文件的上傳和下載。適用于HDFS的自定義操作，其實API的底層也是使用IO...
-
HDFS 配置本地客戶端之前，一直通過Linux命令操作HDFS。接下來，在本地配置HDFS客戶端，通過編寫代碼操作HDFS。 環(huán)境： mbp2018 hadoop-2...
-
HDFSHDFS（Hadoop Distributed File System），是一個文件系統(tǒng)，用于存儲文件，通過目錄樹來定位文件，其實，它是分布式的...
-
集群時間同步步驟 1. 檢查ntp（網絡時間協(xié)議）是否安裝。 ps -e | grep ntp如果出現(xiàn)一下內容表明一斤安裝： 如果什么都沒有，可以使用 進行...