Flink
Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。 Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
Flink是一款分布式的计算引擎,它可以用来做:
- 批处理,即处理静态的数据集、历史的数据集;
- 流处理,即实时地处理一些实时数据流,实时地产生数据的结果;
- 基于事件的应用,实时监测日志,进行实时预警。
下载地址
下载具体版本: dlcdn.apache.org/flink/flink…
wget https://dlcdn.apache.org/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz
安装
创建目录
mkdir /opt/flink/
解压安装文件到 /opt/flink 下面
tar -zxvf flink-1.17.2-bin-scala_2.12.tgz -C /opt/flink/
将 Flink 添加到环境变量,获取 Flink 安装路径
# pwd
/opt/flink/flink-1.17.2
打开 /etc/profile.d/my_env.sh 文件
vim /etc/profile.d/my_env.sh
在 my_env.sh 文件末尾添加如下内容:
export FLINK_HOME=/opt/flink/flink-1.17.2
export PATH=$FLINK_HOME/bin:$PATH
保存并退出::wq ,让修改后的文件生效
source /etc/profile
测试是否安装成功
# flink --version
Version: 1.17.2, Commit ID: f06faf1
使用如下命令启动 Flink:
# ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host centos3.
使用jps命令检测:
# jps
9072 StandaloneSessionClusterEntrypoint
9442 Jps
9337 TaskManagerRunner
测试
1.测试浏览器访问
浏览器访问 :http://【ip】:8081/
2.测试功能
Flink安装包中自带了测试样例,这里可以运行 WordCount 样例程序来测试Flink的运行效果,具体命令如下:
flink run /opt/flink/flink-1.17.2/examples/batch/WordCount.jar