Flink介绍
Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
环境准备
1. 服务器信息
| 设备 | 版本 |
|---|---|
| 银河麒麟桌面操作系统(国防版) | V10 |
| 处理器 | 飞腾D2000 |
| 内存 | 16G |
| jdk | 11.0.20 |
2. 开始安装部署
这里默认已经安装了JDK,本文档不在赘述。
test@kylinv101921683130:~$ java --version java 11.0.20 2023-07-18 LTS Java(TM) SE Runtime Environment 18.9 (build 11.0.20+9-LTS-256) Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.20+9-LTS-256, mixed mode)安装路径:
/media/test/e24857a4-5158-4311-9d5f-fc54df15da7b/flink下,/media/test/e24857a4-5158-4311-9d5f-fc54df15da7b为服务器外挂的硬盘。
2.1.下载flink
打开flink官网下载最新的稳定版本,截止本次安装,当前最新版本为:1.19.0
使用下面的命令下载即可
$ wget https://dlcdn.apache.org/flink/flink-1.19.0/flink-1.19.0-bin-scala_2.12.tgz
2.2.解压flinktgz包
# 解压
$ tar -xzf flink-1.19.0-bin-scala_2.12.tgz
# 更名
$ mv flink-1.19.0 flink
2.3.启动集群
在上面解压的flink包的bin目录下附带了一个名为start-cluster.sh的bash脚本,它可以用来启动本地集群。
$ cd flink/bin
执行start-cluster.sh脚本启动本地集群。
$ ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host kylinv101921683130.
Starting taskexecutor daemon on host kylinv101921683130.
2.4.提交作业
在Flink中本身附带了很多的示例程序jar包,你可以选择任意一个,快速部署到你本地的集群上。
下面使用命令方式部署一个
WordCount.jar程序服务。
$ ./bin/flink run examples/streaming/WordCount.jar
$ tail log/flink-*-taskexecutor-*.out
(nymph,1)
(in,3)
(thy,1)
(orisons,1)
(be,4)
(all,2)
(my,1)
(sins,1)
(remember,1)
(d,4)
当然你也可以通过Flink提供的Web UI来监视集群状态和正在运行的作业,同时也可以可视化部署服务程序。
2.5.停止集群
你可以通过Flink提供的脚本工具,快速停止集群和所有正在运行的组件。
$ ./bin/stop-cluster.sh
到此,本地模式安装Flink完成!收工下班,快点跑,哈哈哈哈哈哈!