在Windows10上快速構(gòu)建flink應用

開發(fā)環(huán)境

  • Windows 10 64位專業(yè)版
  • Java version 1.8.0_281
  • Scala version 2.12.13
  • Maven version 3.6.3
  • Chrome version 88.0.4324.150
  • IntelliJ IDEA Ultimate 2020.3

創(chuàng)建maven項目

參考flink官網(wǎng)https://ci.apache.org/projects/flink/flink-docs-release-1.12/try-flink/datastream_api.html
通過下面的命令創(chuàng)建一個flink樣例項目

mvn archetype:generate \
    -DarchetypeGroupId=org.apache.flink \
    -DarchetypeArtifactId=flink-walkthrough-datastream-java \
    -DarchetypeVersion=1.12.0 \
    -DgroupId=frauddetection \
    -DartifactId=frauddetection \
    -Dversion=0.1 \
    -Dpackage=spendreport \
    -DinteractiveMode=false

注意:這里一定要通過cmd打開終端執(zhí)行上面的命令,筆者嘗試使用powershell執(zhí)行上面的命令會失敗報錯(不知道為什么)。

修改樣例程序

通過IntelliJ IDEA打開上一步成功生成的項目,修改2個文件

  • pom.xml中刪除下面兩個依賴的scope屬性
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

增加下面的依賴,目的是可以本地打開flink的Dashboard頁面

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
  • log4j2.properties,將rootLogger.level修改為INFO,目的是可以通過日志查看到flink dashboard頁面的端口。

運行樣例程序

運行FraudDetectionJob,日志中會有這樣的內(nèi)容
Web frontend listening at http://localhost:61269.,并且sink的結(jié)果也會輸出到日志中INFO org.apache.flink.walkthrough.common.sink.AlertSink [] - Alert{id=4}。
通過http://localhost:61269就可以查看任務的運行狀態(tài)了。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

友情鏈接更多精彩內(nèi)容