痛點(diǎn)：假如我們?cè)贔Link的WebUI Metrics頁(yè)面發(fā)現(xiàn)有一個(gè)SubTask每秒處理的數(shù)據(jù)明顯比其他低，又或者在CheckPoint頁(yè)面，發(fā)現(xiàn)有一個(gè)SubTask的Ch...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Flink如何快速定位SubTask在哪臺(tái)機(jī)器哪個(gè)進(jìn)程中執(zhí)行 -
Flink 流流關(guān)聯(lián)( Interval Join)總結(jié)
Flink對(duì)流流JOIN的支持 Flink對(duì)于join的支持有多種支持，可參考 Flink Join類型， 本文主要討論Time interval join支持Table A...
-
Kafka+Spark Streaming如何保證exactly once語(yǔ)義在Kafka、Storm、Flink、Spark Streaming等分布式流處理系統(tǒng)中（沒(méi)錯(cuò)，Kafka本質(zhì)上是流處理系統(tǒng)，不是單純的“消息隊(duì)列”），存在三種消息傳遞語(yǔ)義（...
-
離線部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服務(wù)歷時(shí)一天半，著實(shí)廢了不少功夫。整個(gè)搭建過(guò)程，是參考這篇文章和大神的部署文檔。 一、系統(tǒng)環(huán)境配置 前提是/etc/hostname已經(jīng)修改過(guò)了。并且要注意，hostname中不...
-
MySQL binlog 增量數(shù)據(jù)解析服務(wù)MySQL binlog 增量數(shù)據(jù)解析服務(wù) 介紹如何借助于 MySQL 的 Master-slave 協(xié)議實(shí)現(xiàn) MySQL 增量數(shù)據(jù)獲取服務(wù) 1. 起因 做過(guò)后端開發(fā)的同學(xué)都...
-
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記最近在逐步跟進(jìn)Hbase的相關(guān)工作，由于之前對(duì)Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對(duì)Hbase的理解，對(duì)相關(guān)知識(shí)點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
