lee_xh

因工作项目中，需要用到Flink，小团队之前没人使用过，就由我来负责，此文章主要记录我在Flink学习中遇到坑。

最近知乎认识了一个小伙伴，推荐了《Spark权威指南》（Spark: The Definitive Guide）这本书给我。过去市面上Spark相关的《Spark源码剖析》等之类的书都停留在spark1.x，现在主流公司都已经在用2.3.X甚至准备升Spark3了，市面上的书版…

Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统（如结算平台），就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数据被计算、处理了多次，产生的后果将会特别严重

大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来实现。 数据接入模块：由于采集数据的速度和数据处理的速度不一定同步，因此添加…

美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将...

接口幂等性问题，对于开发人员来说，是一个跟语言无关的公共问题。本文分享了一些解决这类问题非常实用的办法，绝大部分内容我在项目中实践过的，给有需要的小伙伴一个参考。 有时我们在填写某些form表单时，保存按钮不小心快速点了两次，表中竟然产生了两条重复的数据，只是id不一样。 我们…

一个 RDD 由一个或者多个分区（Partitions）组成。对于 RDD 来说，每个分区会被一个计算任务所处理，用户可以在创建 RDD 时指定其分区个数，如果没有指定，则默认采用程序所分配到的 CPU 的核心数； RDD 会保存彼此间的依赖关系，RDD 的每次转换都会生成一个…

大公司都在用的组件-日志组件，基于真实的案例，向小伙伴们分享下日志组件的几大因素和基本实现原理。当然仅供参考~