分布式日志收集框架Flume 1.業(yè)務(wù)現(xiàn)狀分析 WebServer/ApplicationServer分散在各個機(jī)器上 想在大數(shù)據(jù)平臺Hadoo...
投稿
收錄了7篇文章 · 6人關(guān)注
-
Spark Streaming實(shí)時流處理-4.分布式日志收集框架Flume -
Spark Streaming實(shí)時流處理-3.分布式消息隊列Kafka
0. 目錄 Kafka概述 Kafka架構(gòu)及核心概念 Kafka部署及使用 Kafka容錯性測試 Kafka API編程 Kafka實(shí)戰(zhàn) 1. ...
-
Spark Streaming實(shí)時流處理-2. Spark實(shí)戰(zhàn)環(huán)境搭建
0. 目錄 Spark源碼編譯 Spark環(huán)境搭建 Spark簡單使用 1. Spark源碼編譯 http://spark.apache.org...
-
Spark Streaming實(shí)時流處理-1.初識實(shí)時流處理目錄 業(yè)務(wù)現(xiàn)狀分析 實(shí)時流處理產(chǎn)生背景 實(shí)時流處理概述 離線計算與實(shí)時計算對比 實(shí)時流處理框架對比 實(shí)時流處理架構(gòu)與技術(shù)選型 實(shí)時流處理在企業(yè)中...
-
資源調(diào)度框架YARN1. YARN產(chǎn)生背景 Hadoop1.x時：MapReduce1.x存在問題：單點(diǎn)故障&節(jié)點(diǎn)壓力大不易擴(kuò)展&不能支持除了MR以外的任務(wù)MapR...
-
分布式文件系統(tǒng)HDFS0. 普通分布式文件系統(tǒng)設(shè)計思路 文件以多副本的方式，整個文件存放到單機(jī)中。 缺點(diǎn):文件不管有多大都存儲在一個節(jié)點(diǎn)上，在進(jìn)行數(shù)據(jù)處理的時候很難進(jìn)...
-
Hadoop 概述1. hadoop是什么？ Apache開源軟件 計算框架--》分布式、可靠、可伸縮（任何節(jié)點(diǎn)刪除添加不會影響） 搜索引擎、海量數(shù)據(jù)存儲 2. ...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1653772/7536c73f66064ca18c7fe7d0f42c33eb_tplv-3rqcfx17w1-png.png', '推薦專題《獨(dú)立開發(fā)者小記》（ 分享自 @簡書 ）','http://m.itdecent.cn/c/7b115a24a06b?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}