大虾饺

问题描述 最近使用hudi 增量读的功能时，由于需要保留比较多的commits,因此设置比较的commits,假设spark steaming job 1分钟一个batch,保留一天增量读的commi

<dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-api</artifactId> <v

1.问题描述 最近需要用hive,并且配置hive on spark,然后运行的时候各种各样的类找不到报错，例如 2. 方案解决 检测 spark-env配置 设置 ${spark_dir}/conf

问题描述 spark-submit提交到yarn上面报错如下，显示连接不到8030，但是已经设置了yarn-site的参数 解决方案 查看spark-env.sh 是否被正常引用 查看yarn-sit

python 使用 sqlalchemy.databases import mysql 找不到类 1.发现是SQLalchemy的版本比较高导致整个问题。降低版本就可以了

flink 1.12.7 sql 报错 少了 这个jar包 flinksql 完整jar包Exception in thread "main" java.lang.IllegalStateExcept

在flink中，状态叫做State，用来保存中间结果或者一些缓存数据，对于Flink中的很多DataStream算子来说，他们都需要依赖一定中间结果即状态来进行计算。例如去重操作，CEP检测操作，Ex

在Execution.deploy()方法执行完后，TaskManager会接收到JobManager提交的TaskDesploymentDescriptor信息，完成Task的任务的构建并启动运行。

在创建和初始化SchedulerNG的过程中，会在SchedulerNG中同步创建ExecutionGraph对象，代码如下。 1.ExecutionGraph的核心概念 ExecutionJobVe