歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內(nèi)容：所有原創(chuàng)文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

本文是《Flink on Yarn三部曲》系列的終篇，先簡單回顧前面的內(nèi)容：

1. 《Flink on Yarn三部曲之一：準(zhǔn)備工作》：準(zhǔn)備好機(jī)器、腳本、安裝包；
2. 《Flink on Yarn三部曲之二：部署和設(shè)置》：完成CDH和Flink部署，并在管理頁面做好相關(guān)的設(shè)置；

現(xiàn)在Flink、Yarn、HDFS都就緒了，接下來實踐提交Flink任務(wù)到Y(jié)arn執(zhí)行；

全文鏈接

1. 《Flink on Yarn三部曲之一：準(zhǔn)備工作》
2. 《Flink on Yarn三部曲之二：部署和設(shè)置》
3. 《Flink on Yarn三部曲之三：提交Flink任務(wù)》

兩種Flink on YARN模式

實踐之前，對Flink on YARN先簡單了解一下，如下圖所示，F(xiàn)link on Yarn在使用的時候分為兩種模式，<font color="blue">Job Mode</font>和<font color="blue">Session Mode</font>：

在這里插入圖片描述

<font color="blue">Session Mode</font>：在YARN中提前初始化一個Flink集群，以后所有Flink任務(wù)都提交到這個集群，如下圖：

在這里插入圖片描述

在這里插入圖片描述

接下來分別實戰(zhàn)這兩種模式；

準(zhǔn)備實戰(zhàn)用的數(shù)據(jù)(CDH服務(wù)器)

接下來提交的Flink任務(wù)是經(jīng)典的WordCount，先在HDFS中準(zhǔn)備一份文本文件，后面提交的Flink任務(wù)都會讀取這個文件，統(tǒng)計里面每個單詞的數(shù)字，準(zhǔn)備文本的步驟如下：

1. SSH登錄CDH服務(wù)器；
2. 切換到hdfs賬號：<font color="blue">su - hdfs</font>
3. 下載實戰(zhàn)用的txt文件：

wget https://github.com/zq2599/blog_demos/blob/master/files/GoneWiththeWind.txt

4. 創(chuàng)建hdfs文件夾：<font color="blue">hdfs dfs -mkdir /input</font>
5. 將文本文件上傳到/input目錄：<font color="blue">hdfs dfs -put ./GoneWiththeWind.txt /input</font>

準(zhǔn)備工作完成，可以提交任務(wù)試試了。

Session Mode實戰(zhàn)

1. SSH登錄CDH服務(wù)器；
2. 切換到hdfs賬號：<font color="blue">su - hdfs</font>
3. 進(jìn)入目錄：<font color="blue">/opt/flink-1.7.2/</font>
4. 執(zhí)行如下命令創(chuàng)建Flink集群，<font color="red">-n</font>參數(shù)表示TaskManager的數(shù)量，<font color="red">-jm</font>表示JobManager的內(nèi)存大小，<font color="red">-tm</font>表示每個TaskManager的內(nèi)存大?。?/li>

./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024

5. 創(chuàng)建成功后，控制臺輸出如下圖，注意紅框中的提示，表明可以通過38301端口訪問Flink：

   
   
   在這里插入圖片描述

6. 瀏覽器訪問CDH服務(wù)器的38301端口，可見Flink服務(wù)已經(jīng)啟動：

   
   
   在這里插入圖片描述

7. 瀏覽器訪問CDH服務(wù)器的8088端口，可見YARN的Application(即Flink集群)創(chuàng)建成功，如下圖，紅框中是任務(wù)ID，稍后結(jié)束Application的時候會用到此ID：

   
   
   在這里插入圖片描述
8. 再開啟一個終端，SSH登錄CDH服務(wù)器，切換到hdfs賬號，進(jìn)入目錄：<font color="blue">/opt/flink-1.7.2</font>
9. 執(zhí)行以下命令，就會提交一個Flink任務(wù)（安裝包自帶的WordCount例子），并指明將結(jié)果輸出到HDFS的<font color="blue">wordcount-result.txt</font>文件中：

bin/flink run ./examples/batch/WordCount.jar \
-input hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt \
-output hdfs://192.168.50.134:8020/wordcount-result.txt

10. 執(zhí)行完畢后，控制臺輸出如下：

    
    
    在這里插入圖片描述
11. flink的WordCount任務(wù)結(jié)果保存在hdfs，我們將結(jié)果取出來看看：<font color="blue">hdfs dfs -get /wordcount-result.txt</font>

12. vi打開wordcount-result.txt文件，如下圖，可見任務(wù)執(zhí)行成功，指定文本中的每個單詞數(shù)量都統(tǒng)計出來了：

    
    
    在這里插入圖片描述

13. 瀏覽器訪問Flink頁面(CDH服務(wù)器的38301端口)，也能看到任務(wù)的詳細(xì)情況：

    
    
    在這里插入圖片描述

14. 銷毀這個Flink集群的方法是在控制臺執(zhí)行命令：<font color="blue">yarn application -kill application_1580173588985_0002</font>

    
    
    在這里插入圖片描述
    
    

    Session Mode的實戰(zhàn)就完成了，接下來我們來嘗試Job Mode；

Job Mode

1. 執(zhí)行以下命令，創(chuàng)建一個Flink集群，該集群只用于執(zhí)行參數(shù)中指定的任務(wù)(wordCount.jar)，結(jié)果輸出到hdfs的wordcount-result-1.txt文件：

bin/flink run -m yarn-cluster \
-yn 2 \
-yjm 1024 \
-ytm 1024 \
./examples/batch/WordCount.jar \
-input hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt \
-output hdfs://192.168.50.134:8020/wordcount-result-1.txt

2. 控制臺輸出如下，表明任務(wù)執(zhí)行完成：

   
   
   在這里插入圖片描述
3. 如果您的內(nèi)存和CPU核數(shù)充裕，可以立即執(zhí)行以下命令再創(chuàng)建一個Flink集群，該集群只用于執(zhí)行參數(shù)中指定的任務(wù)(wordCount.jar)，結(jié)果輸出到hdfs的<font color="blue">wordcount-result-2.txt</font>文件：

bin/flink run -m yarn-cluster \
-yn 2 \
-yjm 1024 \
-ytm 1024 \
./examples/batch/WordCount.jar \
-input hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt \
-output hdfs://192.168.50.134:8020/wordcount-result-2.txt

4. 在YARN管理頁面可見任務(wù)已經(jīng)結(jié)束：

   
   
   在這里插入圖片描述

5. 執(zhí)行命令<font color="blue">hdfs dfs -ls /</font>查看結(jié)果文件，已經(jīng)成功生成：

   
   
   在這里插入圖片描述
6. 執(zhí)行命令<font color="blue">hdfs dfs -get /wordcount-result-1.txt</font>下載結(jié)果文件到本地，檢查數(shù)據(jù)正常；
7. 至此，F(xiàn)link on Yarn的部署、設(shè)置、提交都實踐完成，《Flink on Yarn三部曲》系列也結(jié)束了，如果您也在學(xué)習(xí)Flink，希望本文能夠給您一些參考，也建議您根據(jù)自身情況和需求，修改ansible腳本，搭建更適合自己的環(huán)境；

歡迎關(guān)注公眾號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos