Flink 01 ---Flink WordCount (win local)

999 阅读2分钟

1 背景介绍

想学习学习flink ,但是苦于没有环境,其实公司环境总是有,但是没有时间去弄,自己休息的时候慢慢搞一搞。之前复习了一下Java,再把IDEA 搞一搞,差不多就可以开始了。

经历了一下午的踩坑,在 win 上跑起来了代码,对于后面的API的学习应该会有帮助。

因为不想去增加复杂度,搞几个虚拟机还要设置网络什么的,hadoop 集群搞起来都要半天吧。所以这里只是弄了一个 flink 的 local 模式,先爽一把。

2 环境准备

  • flink 1.8.0 (flink.apache.org/zh/download… )
  • java 8
  • IDEA 2020
  • win10 注意1: 的下载没有什么问题,但是一定要注意版本,flink 喜欢 java 8 or 11 ,之前发现我的java -version 出来是java 9,但是比较奇怪的是的环境变量的配置好像是配的jdk8,打印java_home 也是jdk1.8,实在是不知道怎么回事,最后百度了一下,先通过控制面板,在程序和功能里面把 java9 卸载再说,后面了解到为什么java9不行尼,好像是java9 之后就对权限加了一些限制,后面在 启动本地的 flink 的时候就会出现 warning

注意2: 为什么要 flink 1.8.0 尼,因为我百度很多的博文出来在 win 启动 flink 都是通过 ./bin/start-cluster.bat 这个命令来的,最新的 flink 版本的 bin 目录下好像没有这个 bat 文件 但是最新的好像是没有的

版本问题会引起很多的未知的错误,只能到处去搜解决办法,还要各种重启。。。

注意3: 我们还要下一些额外组件,这在下载页面没有特写,很容易忘记,我们没有安装hadoop 集群,就靠这个混混日子了。下载下来放到lib 包里面

放进这里

否则就会报这种错误

flink 下载后解压,直接就可以起来了

1@Ʈ▒▒▒▒С▒▒ MINGW64 /d/002_workspace/016_flink/flink-1.8.0-bin-scala_2.11/flink-1.8.0
$ ./bin/start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.

查看 webUI,完美

3 跑wordcount

参考文章 juejin.cn/post/684490…

最后结果 在taskmanager 的日志里面查看