设计一个系统，来实现对一个文本里面的单词出现的频率进行统计。 这是一个简单的例子，topology也非常简单。整个topology如下： 1. 构建maven环境，添加storm依赖 2. 定义Topology 3. 实现WordReader Spout 第一个被调用的spou…

前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和spark streaming，我负责storm的调研工作。断断续续花了一周的时间看了官网上的doc和网络上的一些资料。我把所学到的总结成一个文档，发出来给对storm感兴趣的同事做入门引导。 随着…

通常我们会调研各种各样的生成策略，根据不同的业务，采取最合适的策略，下面我会讨论一下各种策略/算法，以及他们的一些优劣点。 UUID是通用唯一识别码（Universally Unique Identifier)的缩写，开放软件基金会(OSF)规范定义了包括网卡MAC地址、时间戳…

一个中等的电商平台，每天都要产生百万条原始数据，上亿条用户行为数据。一般来说，电商数据一般有3种主要类型的数据系统： 关系型数据库 ，大多数互联网公司会选用mysql作为关数据库的主选，用于存储商品，用户信息等数据。 关系型数据库对于事务性非常高的OLTP操作(比如订单，结算等…

本文主要介绍大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景。 反向代理位于应用服务器机房，处理所有对WEB服务器的请求。 如果用户请求的页面在代理服务器上有缓冲的话，代理服务器直接将缓冲内容发送给用户。如果没有缓冲则先向WEB服务器发出请求，取回数据，本地缓存后再发…

承接上一篇《理解分布式系统中的缓存架构(上)》，介绍了大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景，本文主要介绍缓存架构设计常见问题以及解决方案，业界案例。 下面逐一介绍分析这些问题以及相应的解决方案。 因为缓存属于持久化数据的一个副本，因此不可避免的会出现数据不…

一到冬天就懒的不行，望广大掘友督促我🙄🙄✍️✍️。 ZooKeeper 由 Yahoo 开发，后来捐赠给了 Apache ，现已成为 Apache 顶级项目。ZooKeeper 是一个开源的分布式应用程序协调服务器，其为分布式系统提供一致性服务。其一致性是通过基于 Paxo…

毫无疑问，Spring Cloud是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对Spring Cloud功能使用的层面，其底层的很多原理，很多人可能并不知晓。因此本文将通过大量的手绘图，给大家谈谈Spring Cloud微服务架构的底层原理…

之前在学习的时候也接触不到高并发/大流量这种东西，所以限流当然是没接触过的了。在看公司项目的时候，发现有用到限流(RateLimiter)，顺带了解一波。 为啥要限流，相信就不用我多说了。 比如，我周末去饭店吃饭，但是人太多了，我只能去前台拿个号，等号码到我的时候才能进饭店吃饭…