首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
大大大大晴天
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
19
文章 19
沸点 0
赞
19
返回
|
搜索文章
最新
热门
Flink技术实践-超时异常踩坑与优化
针对Flink实时计算中的超时异常问题,分析了Kafka消费者心跳超时、RPC超时和Checkpoint超时等典型场景的成因。最后根据不同业务场景提出了针对性的参数调优建议,并总结了参数联动配置原则。
Flink-Hudi技术实践:Insert场景开发实践
本文围绕 Flink 写入 Hudi MOR 表的 Insert模式,系统介绍了其技术特性、适用场景以及关键的 Clustering 配置实践,为构建高效稳定的实时数据湖提供了实践指导。
Flink技术实践-实时场景技术方案选型
Flink作为核心引擎,结合Kafka、HBase、Hudi等主流组件,本文梳理出一套覆盖全链路、多场景的实时技术方案选型准则。
Hudi 生产问题排障-Hudi表数据查询字段丢失
本文分析了生产环境中使用Kyuubi-Trino查询Hudi MOR表时出现字段数据缺失的问题,从现象到源码,层层分析定位根因并给出解决方案。
实时数仓架构演进与展望:从Lambda到湖仓一体的剖析
随着数字化转型进入深水区,企业对数据实时性的需求从 “加分项” 升级为 “必需品”,实时数仓作为核心基础设施,经历了从流批分离的Lambda架构,到全流处理的Kappa架构,再到湖仓一体架构。
Hudi生产问题排障-insert overwrite 路径不存在
Yarn资源抢占导致Executor启动延迟超过Hudi版本保留周期,Driver持有的过期元数据引发Task读取失败,最终导致Hive结果表的路径文件不存在。文章从问题出发分析根因,并给出解决方案。
Flink生产问题排障-DAG膨胀导致JobManagerOOM
使用FlinkSQL开发处理宽表CDC数据时采用嵌套CASE WHEN表达式导致SQL解析阶段产生大量语法树节点,引发JobManager堆内存溢出。文章基于问题现象层层排查根因,并给出解决方案与总结
Flink生产问题排障-Hudi DuplicateFileIdException
基于Flink+Hudi的一次Duplicate fileId xxxx异常,引发Hudi 底层组件缺陷,通过层层排查定位根因并解决。
Flink生产问题排障-Hudi UnsupportOperationException
摘要:本文分析了Flink+Hudi实时数据湖建设中因多引擎配置不一致引发的异常问题。此次故障凸显了多引擎环境下配置统一的重要性,建议加强参数管理、测试覆盖和跨引擎协调。
Flink技术实践-作业参数配置最佳实践
本文针对Flink实时计算作业的资源配置与优化提供了配置原则与实践指南,帮助实现Flink作业开发配置最佳实践,提升Flink作业在生产环境的高效稳定运行。
下一页
个人成就
文章被点赞
19
文章被阅读
549
掘力值
293
关注了
0
关注者
1
收藏集
2
关注标签
17
加入于
2024-03-20