思路：讀入數(shù)據(jù)時，用flatMap算子過濾出PV（即PageVisit）的一條條的數(shù)據(jù)，在process算子中，用set對用戶的id作去重，從而set的size即UV（Use...
IP屬地：廣東
-
用flink算UV（UserVisit）數(shù)~即獨立訪客數(shù) -
-
reduceopen方法只和并行度有關(guān)，并行度為幾，則open執(zhí)行幾次： 修改代碼，把并行度設(shè)為3，在reduce方法中輸出value1，value2的值： id相同的首條記錄，不調(diào)用r...
-
flink的鍵控流轉(zhuǎn)換算子輸入文件： min算子 輸入輸出之對照： Reduce算子 為了排除并行度帶來的影響，先把并行度設(shè)置為1： 如下兩圖，分別是 關(guān)鍵邏輯 和 輸出結(jié)果與輸入文件的對比： 另外，...
-
-
鵝廠全棧程序員，沒事整點兒項目<br>公眾號 & 全網(wǎng)ID『程序員魚皮』<br>作品：編程導(dǎo)航 www.code-nav.cn
-
-
flink的local-cluster模式Flink中的Local-cluster(本地集群)模式,主要用于測試、學習，可幫助我們快速入門flink。 1）local-cluster模式配置 local-cluste...
-
flink的per-job模式啟動hdfs及yarn、zk后： 啟動yarn的per job： 在yarn的web頁面觀察： 輸入測試數(shù)據(jù)： 在flink的web頁面觀察：
-
hive on yarn的高可用啟動hdfs及yarn： 配置yarn，最多重啟RM 4次： 修改flink-conf.yaml ： 如下圖，kill了hadoop102的JobManager后，flink...
-
PushConsumer和PullConsumer等Push 如下圖，讀到了很多歷史數(shù)據(jù)： 即時發(fā)2條消息： 即時收到2條消息： Pull DefaultLitePullConsumer
-
rocketMQ的同步/異步生產(chǎn)者1）集群信息 如下四圖，展示了集群的主要信息（為方便起見，只有一個broker，且系單副本）： 2）同步的生產(chǎn)者 消費者代碼： 生產(chǎn)者代碼： 消費者運行結(jié)果（先運行生產(chǎn)者，再...
-
-
資源管理選yarn，微批計算用spark，兩者結(jié)合棒棒噠1）hadoop的1.x、2.x版本 如下圖，1.x的hadoop，資源調(diào)度和任務(wù)調(diào)度耦合在一起，無法擴展——自然就無法與spark結(jié)合。 而2.x的hadoop，把資源調(diào)度...
-
flink基礎(chǔ)Apache Flink是一個框架和分布式處理引擎，用于對無界和有界數(shù)據(jù)流進行有狀態(tài)計算。Flink被設(shè)計在所有常見的集群環(huán)境中運行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計算。 本...
