首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
亿级流量设计
订阅
user2217307860389
更多收藏集
微信扫码分享
微信
新浪微博
QQ
9篇文章 · 0订阅
新一代大数据平台存储反思
大数据平台未来可能是计算和存储分离架构,S3会成为新一代的存储。ClickHouse的环境,数据量不大,没有上规模,对于机器的成本不敏感,实现大于成本阶段。
被面试官问懵B了,十亿级数据ES搜索怎么优化?
这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下 5~10s,坑爹了。第一次搜索的时候,是5~10s,后面反而就快了,可能就几百毫秒。 …
Flink 在米哈游的落地实践
米哈游大数据部实时计算负责人张剑对于 Flink 在米哈游应用及实践的分享。本篇内容主要分为四个部分:背景介绍、实时平台建设、实时数仓和数据湖探索、未来发展与展望
豆瓣 9.7!这本技术书籍直接封神了
这是一本在国内外都被称为技术书籍巅峰之作的神书! 国内的豆瓣评分 9.7(满分 10.00),接近 90% 的人为这本书打了五星好评。 国外的 Goodreads(类似于豆瓣) 评分 4.72(满分
亿级流量系统架构之如何设计高容错分布式计算系统【石杉的架构笔记】
上篇文章《大型系统架构演进之如何支撑百亿级数据的存储与计算》,聊了一下商家数据平台第一个阶段的架构演进。通过离线与实时计算链路的拆分,离线计算的增量计算优化,实时计算的滑动时间窗口计算引擎,分库分表 + 读写分离,等各种技术手段,支撑住了百亿量级的数据量的存储与计算。 我们先来…
亿级流量系统架构之如何支撑百亿级数据的存储与计算【石杉的架构笔记】
首先简单介绍一下项目背景,公司对合作商家提供一个付费级产品,这个商业产品背后涉及到数百人的研发团队协作开发,包括各种业务系统来提供很多强大的业务功能,同时在整个平台中包含了一个至关重要的核心数据产品,这个数据产品的定位是全方位支持用户的业务经营和快速决策。 这篇文章就聊聊这个数…
亿级流量系统架构之如何设计全链路99.99%高可用架构【石杉的架构笔记】
上篇文章(《亿级流量系统架构之如何设计每秒十万查询的高并发架构》),聊了一下系统架构中的查询平台。 热数据基于缓存集群+MySQL集群做到了当日数据的几十毫秒级别的查询性能。 最终,整套查询架构抗住每秒10万的并发查询请求,都没问题。 本文作为这个架构演进系列的最后一篇文章,我…
亿级流量系统架构之如何设计每秒十万查询的高并发架构【石杉的架构笔记】
上篇文章(亿级流量系统架构之如何设计承载百亿流量的高性能架构)聊了一下系统架构中,百亿流量级别高并发写入场景下,如何承载这种高并发写入,同时如何在高并发写入的背景下还能保证系统的超高性能计算。 首先回顾一下,整个架构右侧部分演进到的那个程度,其实已经非常的不错了,因为百亿流量,…
亿级流量系统架构之如何设计承载百亿流量的高性能架构【石杉的架构笔记】
上篇文章《大型系统架构演进之如何设计高容错分布式计算系统》,主要聊了一下将单块系统重构为分布式系统,以此来避免单台机器的负载过高。同时引申出来了弹性资源调度、分布式容错机制等相关的东西。 这篇文章我们继续来聊聊这个系统后续的重构演进过程,先来看下目前的系统架构图,一起来回顾一下…