Flink
5篇文章 · 0订阅
  • 记录一次Flink作业异常的排查过程
    最近2周开始接手apache flink全链路监控数据的作业，包括指标统计，业务规则匹配等逻辑，计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题，我负责对这个问题进行排查跟进。 elasticsearch sinker在执行写入数据的前后提…
    Flink
  • Flink入门：读取Kafka实时数据流，实现WordCount
    本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 这里使用的是Flink提供的DataStream级别的API，主要包括转换、分组、窗口和聚合等操作。 env.execut…
    Flink
  • 网易云音乐基于 Flink + Kafka 的实时数仓建设实践
    目前流平台通用的架构一般来说包括消息队列、计算引擎和存储三部分，通用架构如下图所示。客户端或者 web 的 log 日志会被采集到消息队列；计算引擎实时计算消息队列的数据；实时计算结果以 Append 或者 Update 的形式存放到实时存储系统中去。 目前，我们常用的消息队列…
    Flink
  • Flink Kafka Connector 与 Exactly Once 剖析
    Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Fl…
    大数据
  • 分享一个Flink checkpoint失败的问题和解决办法
    接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2天有同事又频繁遇到，这里记录一下解决方案和分析过程。 因为很多生产环境的hdfs其实都不配置机架映射脚本，并且导致check…
    Flink