经常用到的解决方案有以下几种。

转眼已经离职半年多了，早就想写一篇工作总结，但由于一直在准备英语考试，又需要处理结婚和房子装修，没想到一拖拖了半年。在淘宝做前端是我第一份签了劳动合同的工作，在这个人才济济的大公司里，接触了非常多的人和事物，也学到了非常多的东西、开阔了眼界。所以还是有必要做一个回顾和总结，一是…

本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Streaming 与 Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇幅较长，建议先收藏～ Executor:负责执行 task，反馈执行…

上篇文章《亿级流量系统架构之如何保证百亿流量下的数据一致性（上 ）》，初步给大家分析了一下，一个复杂的分布式系统中，数据不一致的问题是怎么产生的。 简单来说，就是一个分布式系统中的多个子系统（或者服务）协作处理一份数据，但是最后这个数据的最终结果却没有符合期望。 这是一种非常典…

常用的SQL数据库的数据都是存在磁盘中的，虽然在数据库底层也做了对应的缓存来减少数据库的IO压力，但由于数据库的缓存一般是针对查询的内容，而且粒度也比较小，一般只有表中的数据没有发生变动的时候，数据库的缓存才会产生作用，但这并不能减少业务逻辑对数据库的增删改操作的IO压力，因此…

随着业务的快速发展，对于很多公司来说，构建于单地域的技术体系架构，会面临诸如下面的多种问题：基础设施的有限性限制了业务的可扩展性；机房、城市级别的故障灾害，影响服务的可持续性。 为解决遇到的这些问题，公司可以选择构建异地多活架构，在同城/异地构建多个单元(业务中心)。各个业务单…

什么样的一个内容是热门的呢？这其实是一个相对的概念，面对不同的需求，它的表达是不同的。 可以看到热度 $H$ 在这样的公式中有 4 个变量即 $H(W,I,T,G)$，此公式与 Hacker News、Reddit 相同，只是定义内容质量 $W$ 时用的逻辑不一样。 很清楚，时…

你需要在前端展示 5000 条甚至更多的数据，每一条数据的数据结构是一个对象，里面有格式各样的属性。每个属性的值又可以是基本类型，对象，甚至数组。这里的对象或者数组内部的元素又可以继续包含对象或者数组并且允许无限嵌套下去。比如 页面上提供一个搜索框，用户通过输入搜索的内容可以找…

首先迟到的祝大家中秋快乐。 最近一周多没有更新了。其实我一直想憋一个大招，分享一些大家感兴趣的干货。 鉴于最近我个人的工作内容，于是利用这三天小长假憋了一个出来（其实是玩了两天🤣）。 先简单说下本次的主题，由于我最近做的是物联网相关的开发工作，其中就不免会遇到和设备的交互。 …