FlinkKafkaProducer實(shí)現(xiàn)了TwoPhaseCommitSinkFunction，也就是兩階段提交。關(guān)于兩階段提交的原理，可以參見(jiàn)《An Overview of...
IP屬地：廣東
-
Flink kafka端到端Exactly-Once源碼分析 -
Flink kafka sink源碼解析
初始化 通常添加一個(gè)kafka sink的代碼如下： 初始化執(zhí)行env.addSink的時(shí)候會(huì)創(chuàng)建StreamSink對(duì)象，即StreamSink<T> sinkOperat...
-
Flink StreamTask OperatorChain分析
Flink的作業(yè)StreamTask是任務(wù)執(zhí)行的核心，其執(zhí)行的本質(zhì)即為各個(gè)operator的執(zhí)行，而operator之間又有前后依賴關(guān)系，各operator構(gòu)成一條鏈條（Ch...
-
Flink使用GCS作為state backend
由于項(xiàng)目的原因，需要將Flink運(yùn)行在GCP上，因此File System自然是想使用GCS. 在網(wǎng)上搜了很多，由于眾所周知的原因，國(guó)內(nèi)使用Google Cloud非常少，資...
-
K8s service catalog
Service catalog Service catalog: https://github.com/kubernetes-incubator/service-catalo...
-
Kafka-client 0.10.0 API問(wèn)題
注：本文涉及到的環(huán)境版本為kafka 0.10.0在使用kafka 0.10.0 API獲取consumer offset的時(shí)候，遇到卡住的問(wèn)題，類似KAFKA-3296-A...
-
-
Learning Apache Flink(BASIC)本文是參考Apache Flink v1.3官方文檔 1. Dataflows Flink的程序包括兩部分，streams和transformations。stream指的就...
