我是个bug

最近在工作和学习过程中都遇到了 Jetty，绕不过去，我逐渐感到即使工作和技术栈是立足在大数据方面，还是有必要熟悉甚至是精通一些 Web 开发的知识、常用的框架等等，因此本文是我 Jetty 入门的第一课，内容是 Jetty 的安装运行和基本的 API 使用方法，接下来应该还有…

本文介绍 Kafka 中的数据是如何存储的，了解这个有利于理解 Kafka 中的数据过期机制、容错机制以及优化相关配置，希望对你有用。 1. 物理存储概述 Kafka 通过文件的方式保存所有的 topic 数据，或者更准确的说法，保存分区副本。broker 有一个参数叫做 lo…

这是我想深入研究 Apache Zeppelin 所做的一个尝试，毕竟如果想要了解内在的原理，有必要先将它暴露出来的功能都摸透，自己写一个 Zeppelin 解释器对于理解其它的解释器也非常有帮助，其实 官方文档 中已经给出了具体的方法，本文就是我 follow 官方文档的一次…

本文总结了 broker 是如何处理用户的各种请求，包括常见的 Produce 请求、Fetch 请求、Metadata 请求，清晰易懂。 1. 请求处理概述 Kafka 在 TCP 之上有一套自己的二进制协议，定义了如何处理各种请求的规范，详细的协议规范可以参见 协议文档。K…

一直希望能够深入的学习一下 Spark 相关的用法和原理，除了懒的原因之外，有一个重要的原因是实验环境的搭建太麻烦，光是 Spark 还好，但是用了 Spark 不用 HDFS 吗？Hive 呢？这样一来，有大量的时间倒会花在维护这个环境上，得不偿失。解决环境问题的杀器是什么？…

这是一篇关于 Kafka 集群基本的组织和管理方式的原理总结，我尽量让它不枯燥。 1. 背景知识 本文需要了解 Zookeeper 的基础知识，可以参考这篇：https://segmentfault.com/a/1190000016349824。 ZooKeeper 一种常用的…

社区版的 Kafka 没有图形化的管理工具，很多实际生产中的需求满足不了，比如创建删除 topic、查看消息生产速率，查看消费 lag 等等，因此开源社区有很多图形化的工具，kafka-manager 是我在工作中用的比较多的，这篇文章分享安装配置 kafka-manager …