介紹flink在本地運行和on yarn運行時的日志配置。 很多現(xiàn)代框架都是用門面模式進行日志輸出，例如使用Slf4j中的接口輸出日志，具體實現(xiàn)...
投稿
收錄了15篇文章 · 5人關(guān)注
-
Flink的日志配置
-
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、產(chǎn)生問題背景 我們公司正在準備從cdh遷回社區(qū)版hadoop集群，啟動flink任務(wù)的時候，還未運行就直接報錯： 二、定位問題及解決 通過去...
-
Hadoop和hive-exec-3.1.2的Guava的版本沖突導(dǎo)致Flink任務(wù)啟動異常一、背景 1、出現(xiàn)異常 公司準備從CDH遷回社區(qū)版Hadoop集群，直接把Hadoop升級為比較新的3.30版本，Hive升級為3.12版本。F...
-
Flink Sql on Hive 的生產(chǎn)遇到的坑以及優(yōu)化（持續(xù)更新 ...）
1、HiveSource-xxxx.xxxx's parallelism (200) is higher than the max parall...
-
Flink編譯（包括最新Flink1.12編譯）
一、源碼下載 1、github地址（選擇對應(yīng)的release版本） https://github.com/apache/flink/tree/r...
-
Flink不同版本間的編譯區(qū)別
一、1.11.0版本及以前 以前的方式是先編譯flink-shaded-hadoop這個包，將hadoop和hive指定你對應(yīng)生產(chǎn)的版本編譯出f...
-
Flink部署模式的調(diào)研（看完你就知道你公司適合哪種）
一、調(diào)研的三種模式： 1、Flink On Yarn （1）PerJob模式 一個任務(wù)一個集群 （2）Session模式 多個任務(wù)一個Sessi...
-
Flink CDC 原理及生產(chǎn)實踐MySQL CDC連接器允許從MySQL數(shù)據(jù)庫讀取快照數(shù)據(jù)和增量數(shù)據(jù)。本文檔根據(jù)ververica官網(wǎng)翻譯了如何設(shè)置MySQL CDC連接器以對...
-
Flink HistoryServer配置（簡單三步完成）HistoryServer 允許您查詢JobManager存檔的已完成作業(yè)的狀態(tài)和統(tǒng)計信息。(官網(wǎng)原話)最適合用于：了解 flink過去完成任務(wù)...
-
Flink日志配置（基于flink1.11.1）滾動日志的配置 flink日志的配置主要是將配置放在flink/conf下面才起作用下面是我的滾動日志的配置，能夠?qū)崿F(xiàn)將過期的日志清掉，只保存最...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1891120/WeChatbfd3fdf2bd87cb2656d37cd7a255897e.png', '推薦專題《flink學(xué)習(xí)》（ 分享自 @簡書 ）','http://m.itdecent.cn/c/062a1a00a5ee?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}