大虾饺

问题描述 最近使用hudi 增量读的功能时，由于需要保留比较多的commits,因此设置比较的commits,假设spark steaming job 1分钟一个batch...

<dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-api</artifa...

1.问题描述 最近需要用hive,并且配置hive on spark,然后运行的时候各种各样的类找不到报错，例如 2. 方案解决 检测 spark-env配置 设置 ${s...

问题描述 spark-submit提交到yarn上面报错如下，显示连接不到8030，但是已经设置了yarn-site的参数 解决方案 查看spark-env.sh 是否被正...

python 使用 sqlalchemy.databases import mysql 找不到类 1.发现是SQLalchemy的版本比较高导致整个问题。降低版本就可以了...

flink 1.12.7 sql 报错 少了 这个jar包 flinksql 完整jar包Exception in thread "main" java.lang.Ille...

在flink中，状态叫做State，用来保存中间结果或者一些缓存数据，对于Flink中的很多DataStream算子来说，他们都需要依赖一定中间结果即状态来进行计算。例如去...

这篇文章主要总结我从毕业到现在的源码阅读经历，包括探索期、成长期、成熟期，希望能够助你探索一条适合自己的源码之路。...

在Execution.deploy()方法执行完后，TaskManager会接收到JobManager提交的TaskDesploymentDescriptor信息，完成Ta...

在创建和初始化SchedulerNG的过程中，会在SchedulerNG中同步创建ExecutionGraph对象，代码如下。 1.ExecutionGraph的核心概念 ...

1.JobGraph的提交整体流程 当JobGraph被提交到集群运行后，集群会通过Dispatcher组件接受提交的JobGraph对象，Dispatcher组件会通过J...

1.StreamGraph 图一 1.StreamGraph的构成 StreamGraph主要包含了用于构建JobGraph执行的所有必要信息,同时使用有向无环图来展示流的...

flink中StreamExecutionEnvironment的初始化,StreamGraph的生成以及Jobgraph的生成流程相关...

1.客户端作业提交 当用户执行 flink run application.jar 时候，客户端开始提交作业,如图所示 1. 生成PackagedProgram 用户编写和...

DataStream的设计与实现 一. DataStream的含义以及成员构成 1. DataStream的含义 由源码翻译可知,DataStream是一个集合,包含了相同...

1. Transformation是什么 2. flink Tranformation的构成 3. setChainStrategy...