这是我参与「第四届青训营 」笔记创作活动的第10天
最后还是选择在b站学习Flink相关知识,因为光看文档,会让我容易走神
呜呜呜,快来不及了,马上项目就要开始,今晚就开始学!!!!
挑战,一晚上学完Flink!
流与批
批处理的特点是有界、持久、大量,非常适合需要访问全套记录才能完成的计 算工作,一般用于离线统计。
流处理的特点是无界、实时, 无需针对整个数据集执行操作,而是对通过系统 传输的每个数据项执行操作,一般用于实时统计
尝试运行
首先检查环境
检查自己flink、kafka、maven这些环境都配置好了没,然后我将b站视频直接跳到上手那一块,我们先点开idea,然后建立一个新项目,我们在这边建立的是maven项目,
因为是第一次尝试,所以我给他命名try_1,
在建立完文件之后,这边自动会带有代码
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>try_1</artifactId>
<version>1.0-SNAPSHOT</version>
</project>
然后我们需要补的代码在这边
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.14.5</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.12</artifactId>
<version>1.10.1</version>
</dependency>
</dependencies>
这边的数值,是什么,这边需要我们按照自己的版本号来定,我的版本号都在这边看
不过版本信息也可以直接用类似于${flink.version},不过这需要前面有一个统一的属性的声明,这样后面做项目管理的时候,会比较容易,只要前面声明的好,那后面如果需要对于Flink系统的版本需要更新的话,就不用一个一个的进行更改了