本文主要介绍Kafka基本知识，包含Topic、Partition、消费者、生产者、副本等基本概念，同时也介绍了Kafka版本变迁以及应用实战所必备的知识点，最后以“消息可靠性分析“结尾，加深理解。

在1.2亿条的实际生产数据集中进行测试，查询并发能力提升10～20倍！预聚合是OLAP系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算...

这份代码主要由两部分组成：1) 能用来提交 SQL 文件的 SqlSubmit 实现。2） 用于演示的 SQL 示例、Kafka 启动停止脚本、 一份测试数据集、Kafka 数据源生成器。 笔者一开始是想用 SQL Client 来贯穿整个演示环节，但可惜 1.9 版本 SQL…

美团买菜实时数仓技术负责人严书，在 Flink Forward Asia 2022 实时湖仓专场的分享。

近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 …

最近有读者私聊我时发现有不少应届生和初学者，他们在大数据怎么学，以及大数据怎么面试，简历怎么写等方面有很大的困扰，今天我们就来谈谈关于大数据的一些事。 我之前在知乎回答过类似的问题，有人问大数据工程师

Nginx 是一个高性能的 HTTP 和反向代理服务器，特点是占用内存少，并发能力强，事实上 Nginx 的并发能力确实在同类型的网页服务器中表现较好。 Nginx 专为性能优化而开发，性能是其最重要

现在扫码登录是一种很常见的登录方式。当用户需要登录某个网站时，网站会提供一种扫码登录的方式，用户打开相应的手机App，扫描网站上显示的二维码，然后在App中确认登录，网站监测到用户确认登录后，跳转到

常用的即 synchronize 或 Lock 等 JDK 自带的锁，只能锁住当前进程，仅适用于单体架构服务。 而在分布式多服务实例场景下必须使用分布式锁。 “占坑”可以去Redis、DB、任何所有服务都能访问的地方。 解决方案：设置锁的自动过期，即使没有删除，会自动删除。 解…