參考項(xiàng)目： https://github.com/LiShuMing/spark-demos 疑惑一、Spark提交任務(wù)依賴包問題？ 使用Spa...
投稿
收錄了21篇文章 · 11人關(guān)注
-
基于Yarn集群Spark Streaming 提交任務(wù)解惑
-
Spark支持kerberos環(huán)境下的Kafka、Hbase傳輸一、準(zhǔn)備環(huán)境： 創(chuàng)建Kafka Topic和HBase表 1. 在kerberos環(huán)境下創(chuàng)建Kafka Topic 1.1 因?yàn)閗afka默認(rèn)使...
-
spark網(wǎng)絡(luò)通信-RPC的實(shí)現(xiàn)本文基于spark源碼2.11 1. 概要 spark中網(wǎng)絡(luò)通信無處不在，例如 driver和master的通信，比如driver會想maste...
-
pyspark與py4j線程模型簡析
事由 上周工作中遇到一個(gè)bug，現(xiàn)象是一個(gè)spark streaming的job會不定期地hang住，不退出也不繼續(xù)運(yùn)行。這個(gè)job經(jīng)是用pys...
-
Spark Streaming使用場景及優(yōu)化總結(jié)
SparkStreaming適合場景 Storm 流式計(jì)算（扶梯）優(yōu)點(diǎn)： 數(shù)據(jù)延遲度很低，Storm的事務(wù)機(jī)制要比SparkStreaming的...
-
Facebook Spark 60TB Spark應(yīng)用場景總結(jié)
可用性調(diào)優(yōu) SPARK-13793 之前的PipedRDD實(shí)現(xiàn)容錯(cuò)性較差，只要發(fā)生fetch錯(cuò)誤時(shí)，整個(gè)job就會失敗，該P(yáng)R改進(jìn)了PipedR...
-
Spark下使用火焰圖分析工具
準(zhǔn)備 Java honest profiler工具： https://github.com/jvm-profiling-tools/honest...
-
Spark 2.1.0 - Shuffle邏輯分析
網(wǎng)上有很多文章，發(fā)現(xiàn)跟當(dāng)前的版本有很多沖突，看起來一知半解的；當(dāng)前討論的版本為spark2.1.0，之前的版本不再考慮；而其命名方式也很奇怪，可...
-
CarbonData 1.2.0集成Spark 2.1.0調(diào)研
編譯 carbondata1.2已經(jīng)支持hive+presto，carbon生態(tài)圈基本健全。 基于git checkout到branch-1.2...
-
Spark Streaming一致性、容錯(cuò)機(jī)制分析
Spark Streaming容錯(cuò)機(jī)制保障 參考https://databricks.com/blog/2015/01/15/improved-...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/488634/IMG_1292.JPG', '推薦專題《一步一步學(xué)習(xí)Spark》（ 分享自 @簡書 ）','http://m.itdecent.cn/c/39d04484d630?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}