大数据平台未来可能是计算和存储分离架构，S3会成为新一代的存储。ClickHouse的环境，数据量不大，没有上规模，对于机器的成本不敏感，实现大于成本阶段。

这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。第一次搜索的时候，是5~10s，后面反而就快了，可能就几百毫秒。 …

米哈游大数据部实时计算负责人张剑对于 Flink 在米哈游应用及实践的分享。本篇内容主要分为四个部分：背景介绍、实时平台建设、实时数仓和数据湖探索、未来发展与展望

这是一本在国内外都被称为技术书籍巅峰之作的神书！ 国内的豆瓣评分 9.7（满分 10.00），接近 90% 的人为这本书打了五星好评。 国外的 Goodreads（类似于豆瓣） 评分 4.72（满分

上篇文章《大型系统架构演进之如何支撑百亿级数据的存储与计算》，聊了一下商家数据平台第一个阶段的架构演进。通过离线与实时计算链路的拆分，离线计算的增量计算优化，实时计算的滑动时间窗口计算引擎，分库分表 + 读写分离，等各种技术手段，支撑住了百亿量级的数据量的存储与计算。 我们先来…

首先简单介绍一下项目背景，公司对合作商家提供一个付费级产品，这个商业产品背后涉及到数百人的研发团队协作开发，包括各种业务系统来提供很多强大的业务功能，同时在整个平台中包含了一个至关重要的核心数据产品，这个数据产品的定位是全方位支持用户的业务经营和快速决策。 这篇文章就聊聊这个数…

上篇文章（《亿级流量系统架构之如何设计每秒十万查询的高并发架构》），聊了一下系统架构中的查询平台。 热数据基于缓存集群+MySQL集群做到了当日数据的几十毫秒级别的查询性能。 最终，整套查询架构抗住每秒10万的并发查询请求，都没问题。 本文作为这个架构演进系列的最后一篇文章，我…

上篇文章（亿级流量系统架构之如何设计承载百亿流量的高性能架构）聊了一下系统架构中，百亿流量级别高并发写入场景下，如何承载这种高并发写入，同时如何在高并发写入的背景下还能保证系统的超高性能计算。 首先回顾一下，整个架构右侧部分演进到的那个程度，其实已经非常的不错了，因为百亿流量，…