Sentry初識 Sentry是適用于Hadoop生態(tài)環(huán)境、基于角色的授權(quán)管理系統(tǒng),可以模塊化集成到HDFS、Hive、Impala。它是一個策...
投稿
Sentry初識 Sentry是適用于Hadoop生態(tài)環(huán)境、基于角色的授權(quán)管理系統(tǒng),可以模塊化集成到HDFS、Hive、Impala。它是一個策...
前篇主要介紹流式計算相關的核心概念,這篇簡要聊聊Flink總體架構(gòu)、運行環(huán)境及其在大數(shù)據(jù)生態(tài)系統(tǒng)中的位置,讓大家先對Flink有整體認知,便于后...
在大數(shù)據(jù)時代,流式計算越來越發(fā)揮著巨大的商業(yè)價值:業(yè)務分析人員能夠更及時洞察數(shù)據(jù),輔助做出更有效的決策;在萬物互聯(lián)場景中,對海量無限數(shù)據(jù)集的處理...
0x01 背景 反壓概念在流式計算中非常流行,要解決的問題是短時間內(nèi)業(yè)務流量劇增,數(shù)據(jù)流入速度遠高于數(shù)據(jù)處理速度,會對流處理系統(tǒng)構(gòu)成巨大負載...
綜述 日志和監(jiān)控開發(fā)人員工作中必不可少的兩只眼睛,日志是為了快速定位排查故障,監(jiān)控是為了發(fā)現(xiàn)潛在問題并能及時告警,是故障診斷和分析的重要輔助利器...
0x01 前言 上篇文章Spark Streaming和Kafka集成深入淺出介紹了Spark Streaming的基本內(nèi)容及和kafka的集成...
寫在前面 本文主要介紹Spark Streaming基本概念、kafka集成、Offset管理 本文主要介紹Spark Streaming基本概...
前言 上一篇<JStorm介紹>從架構(gòu)設計、計算模型上對jstorm做了系統(tǒng)化表述,讀后會對應用場景、功能實現(xiàn)上有清晰明確的認識,建議沒有看過的...
本文主要介紹kafka producer的可靠性,包括ack、batch、重試機制等 消息發(fā)布 KafkaProducer的send是異步發(fā)...
一、什么是Sqoop Sqoop是一個在結(jié)構(gòu)化數(shù)據(jù)和Hadoop之間進行批量數(shù)據(jù)遷移的工具,結(jié)構(gòu)化數(shù)據(jù)可以是Mysql、Oracle等RDBMS...