国产化平台本地模式安装Flink集群(单机版)

389 阅读1分钟

Flink介绍

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。

环境准备

1. 服务器信息

设备版本
银河麒麟桌面操作系统(国防版)V10
处理器飞腾D2000
内存16G
jdk11.0.20

2. 开始安装部署

这里默认已经安装了JDK,本文档不在赘述。

test@kylinv101921683130:~$ java --version
java 11.0.20 2023-07-18 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.20+9-LTS-256)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.20+9-LTS-256, mixed mode)

安装路径:/media/test/e24857a4-5158-4311-9d5f-fc54df15da7b/flink下,/media/test/e24857a4-5158-4311-9d5f-fc54df15da7b为服务器外挂的硬盘。

0.png

2.1.下载flink

打开flink官网下载最新的稳定版本,截止本次安装,当前最新版本为:1.19.0

1.png 使用下面的命令下载即可

wget https://dlcdn.apache.org/flink/flink-1.19.0/flink-1.19.0-bin-scala_2.12.tgz

2.png

2.2.解压flinktgz

# 解压
$ tar -xzf flink-1.19.0-bin-scala_2.12.tgz
# 更名
$ mv flink-1.19.0 flink

3.png

2.3.启动集群

在上面解压的flink包的bin目录下附带了一个名为start-cluster.shbash脚本,它可以用来启动本地集群。

$ cd flink/bin

4.png

执行start-cluster.sh脚本启动本地集群。

$ ./start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host kylinv101921683130.
Starting taskexecutor daemon on host kylinv101921683130.

2.4.提交作业

在Flink中本身附带了很多的示例程序jar包,你可以选择任意一个,快速部署到你本地的集群上。

5.png 下面使用命令方式部署一个 WordCount.jar程序服务。

$ ./bin/flink run examples/streaming/WordCount.jar
$ tail log/flink-*-taskexecutor-*.out
  (nymph,1)
  (in,3)
  (thy,1)
  (orisons,1)
  (be,4)
  (all,2)
  (my,1)
  (sins,1)
  (remember,1)
  (d,4)

当然你也可以通过Flink提供的Web UI来监视集群状态和正在运行的作业,同时也可以可视化部署服务程序。

6.png

2.5.停止集群

你可以通过Flink提供的脚本工具,快速停止集群和所有正在运行的组件。

$ ./bin/stop-cluster.sh

到此,本地模式安装Flink完成!收工下班,快点跑,哈哈哈哈哈哈!

8.png