[toc] 背景知識: Spark與Hadoop差異 Spark是在借鑒了MapReduce之上發(fā)展而來的，繼承了其分布式并行計算的優(yōu)點并改進(jìn)了...
投稿
收錄了8篇文章 · 3人關(guān)注
-
怎樣高效使用spark？ -
通俗理解YARN運行原理導(dǎo)語：工作中常常和Spark on YARN, Hadoop on YARN打交道，經(jīng)常在各種日志中摸爬滾打，為提升效率，總結(jié)一下YARN的知識...
-
Spark 2.x+IntelliJ IDEA 2017.3開發(fā)環(huán)境搭建和開發(fā)示例【原創(chuàng)】Helenykwang 于2018-01-13 18:10:18編寫 不用maven，不用sbt，只需三個庫 一、環(huán)境說明 集群：Spa...
-
Spark通信--client、master、worker間的通信
轉(zhuǎn)載自 http://www.wangsenfeng.com/articles/2016/10/26/1477467509513.html Cl...
-
Hadoop2.0 NameNode HA和Federation簡明理解引子 為什么需要 NameNode HA 和 Federation ？ 1. 規(guī)避NameNode單點故障，secondary namenode...
-
MapReduce理解引子 為什么需要MapReduce？ 因為MapReduce可以“分而治之”，將計算大數(shù)據(jù)的復(fù)雜任務(wù)分解成若干簡單小任務(wù)?！昂唵巍钡囊馑际牵河嬎?..
-
HDFS理解引子 為什么需要HDFS？ 因為一個物理計算機的存儲已經(jīng)hold不住我們龐大的數(shù)據(jù)集。 HDFS的特點是什么？ HDFS以流式數(shù)據(jù)訪問模式來存儲...
-
hadoop學(xué)習(xí)路線
hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，主要功能有存儲+計算，分別由hdfs和map-reduce模塊實現(xiàn)。 hadoop有單機部署、偽分布式部署...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/591076/hadoop-logo.jpg', '推薦專題《hadoop二三事》（ 分享自 @簡書 ）','http://m.itdecent.cn/c/3f1fed102dd5?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}