發(fā)簡信
IP屬地：上海
-
取決于提交 Job 的模式是 Single Job 還是 Long Running Cluster
Apache Flink源碼解析 （三）Flink On Yarn (1) YarnSessionClusterEntrypoint
雜談 有一段時(shí)間沒有寫技術(shù)博客了，正好之前花了一周的時(shí)間解決了一個(gè)Flink在Yarn上部署的問題，也將Flink在Yarn上運(yùn)行的機(jī)制與源碼了解了個(gè)大概。Flink在Yar...
-
ResourceManagerOptions 代碼里有
Flink任務(wù)物理內(nèi)存溢出問題定位
問題現(xiàn)象 一個(gè)使用10秒滾動(dòng)窗口的任務(wù)在平穩(wěn)運(yùn)行一段時(shí)間之后出現(xiàn)了頻繁的重啟。在TaskManager日志中能看到以下文本： 原因定位 首先可以看到是YarnTaskExec...
-
一護(hù)
-
大佬這篇要火
一文詳解分布式數(shù)據(jù)庫并發(fā)控制
??并發(fā)控制是數(shù)據(jù)庫系統(tǒng)實(shí)現(xiàn)的一個(gè)難點(diǎn)。本文分為三個(gè)部分對(duì)目前的分布式并發(fā)控制技術(shù)進(jìn)行淺析。一、從用戶并發(fā)訪問可能引起的各種問題入手，引出數(shù)據(jù)庫系統(tǒng)提供的不同隔離級(jí)別及其技術(shù)...
-
一文詳解分布式數(shù)據(jù)庫并發(fā)控制??并發(fā)控制是數(shù)據(jù)庫系統(tǒng)實(shí)現(xiàn)的一個(gè)難點(diǎn)。本文分為三個(gè)部分對(duì)目前的分布式并發(fā)控制技術(shù)進(jìn)行淺析。一、從用戶并發(fā)訪問可能引起的各種問題入手，引出數(shù)據(jù)庫系統(tǒng)提供的不同隔離級(jí)別及其技術(shù)...
-
把一個(gè)流抽象成一張表的的話，在這張表上做事務(wù)操作，要求這張表的狀態(tài)都在同一個(gè)節(jié)點(diǎn)，不然會(huì)涉及到分布式的事務(wù)
關(guān)于流數(shù)據(jù)上的事務(wù)操作
概述 最近Flink母公司Data Artisans發(fā)布了一篇博客關(guān)于一個(gè)新的組件Streaming Ledger，給出了流數(shù)據(jù)的事務(wù)解決方案（就是常說的數(shù)據(jù)庫的事務(wù)，滿足A...
-
Flink通信機(jī)制flink內(nèi)部通信機(jī)制 Operator間的數(shù)據(jù)傳遞本地線程數(shù)據(jù)傳遞遠(yuǎn)程線程數(shù)據(jù)傳遞同一線程的Operator數(shù)據(jù)傳遞 Buffer讀寫B(tài)uffer讀取Buffer寫入 內(nèi)存...
-
Flink timer注冊(cè)與watermark觸發(fā)[轉(zhuǎn)載自網(wǎng)易云音樂實(shí)時(shí)計(jì)算平臺(tái)經(jīng)典實(shí)踐知乎專欄]經(jīng)作者magina本人同意，轉(zhuǎn)載自原文在flink中無論是windowOperator還是KeyedProcessOperator都持有InternalTimerServic...
-
-
Flink任務(wù)物理內(nèi)存溢出問題定位問題現(xiàn)象 一個(gè)使用10秒滾動(dòng)窗口的任務(wù)在平穩(wěn)運(yùn)行一段時(shí)間之后出現(xiàn)了頻繁的重啟。在TaskManager日志中能看到以下文本： 原因定位 首先可以看到是YarnTaskExec...
-
Apache Flink源碼解析 （八）Flink的HighAvailabilityServices概述 Flink內(nèi)部有一些服務(wù)是JobMaster和TaskExecutor共用的。如HighAvailabilityServices, RpcService, ActorS...
-
此簡書用來發(fā)布Spark+AI的深夜學(xué)堂，每夜一更新！夜空中最亮的星：Spark！
個(gè)人介紹
Apache Flink Contributor，巴西鐵桿，巴薩死忠，硬搖粉，分布式系統(tǒng)愛好者，github: https://github.com/Clarkkkkk