这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天
前言
今天的课程是电商秒杀系统的实践课程,本课程讲述了如何进行系统设计,并且在课上进行了电商秒杀系统的设计案例。下面是我对今天课程的总结和心得,希望能够对大家有所帮助。
系统设计方法论
为什么要做系统设计
- 个人:提升个人能力、拓展技术视野、for面试
- 工作:业务驱动、系统重构、突破和创新
系统设计的定义
- 系统:关联的个体,规则运作,组成工作的整体
- 设计:设想和计划,目的和过程安排
总结:为了达成某种目的,通过个体组成整体的过程
系统设计是根据系统分析的结果,运用系统科学的思想和方法,设计出能最大限度满足所要求的目标 (或目的) 的新系统的过程。系统设计内容,包括确定系统功能、设计方针和方法,产生理想系统并作出草案,通过收集信息对草案作出修正产生可选设计方案,将系统分解为若干子系统,进行子系统和总系统的详细设计并进行评价,对系统方案进行论证并作出性能效果预测
如何做系统设计
4S 分析法:
-
场景分析(Scenario):
- 什么系统,需要哪些功能,多大的并发量
-
存储设计(Storage):
- 数据如何组织,Sql 存储,NoSql 存储
-
服务设计(Service):
- 业务功能实现和逻辑整合
-
可扩展性(Scale):
- 解决设计缺陷,提高鲁棒性、扩展性
如何发现系统的瓶颈
火焰图分析
火焰图(Flame Graph)是由 Linux 性能优化大师 Brendan Gregg 发明的,和所有其他的 profiling 方法不同的是,火焰图以一个全局的视野来看待时间分布,它从底部往顶部,列出所有可能导致性能瓶颈的调用栈。
火焰图整个图形看起来就像一个跳动的火焰,这就是它名字的由来。
火焰图有以下特征(这里以 on-cpu 火焰图为例):
- 每一列代表一个调用栈,每一个格子代表一个函数
- 纵轴展示了栈的深度,按照调用关系从下到上排列。最顶上格子代表采样时,正在占用 cpu 的函数。
- 横轴的意义是指:火焰图将采集的多个调用栈信息,通过按字母横向排序的方式将众多信息聚合在一起。需要注意的是它并不代表时间。
- 横轴格子的宽度代表其在采样中出现频率,所以一个格子的宽度越大,说明它是瓶颈原因的可能性就越大。
- 火焰图格子的颜色是随机的暖色调,方便区分各个调用信息。
- 其他的采样方式也可以使用火焰图, on-cpu 火焰图横轴是指 cpu 占用时间,off-cpu 火焰图横轴则代表阻塞时间。
- 采样可以是单线程、多线程、多进程甚至是多 host,进阶用法可以参考文献
分析技巧
1.纵轴代表调用栈的深度(栈桢数),用于表示函数间调用关系:下面的函数是上面函数的父函数
2.横轴代表调用频次,一个格子的宽度越大,越说明其可能是瓶颈原因。
3.不同类型火焰图适合优化的场景不同,比如 on-cpu 火焰图适合分析 cpu 占用高的问题函数,off-cpu 火焰图适合解决阻塞和锁抢占问题。
4.无意义的事情:横向先后顺序是为了聚合,跟函数间依赖或调用关系无关;火焰图各种颜色是为方便区分,本身不具有特殊含义
5.多练习:进行性能优化有意识的使用火焰图的方式进行性能调优(如果时间充裕)
链路追踪
在分布式系统,尤其是微服务系统中,一次外部请求往往需要内部多个模块,多个中间件,多台机器的相互调用才能完成。在这一系列的调用中,可能有些是串行的,而有些是并行的。在这种情况下,我们如何才能确定这整个请求调用了哪些应用?哪些模块?哪些节点?以及它们的先后顺序和各部分的性能如何呢?
链路追踪是分布式系统下的一个概念,它的目的就是要解决上面所提出的问题,也就是将一次分布式请求还原成调用链路,将一次分布式请求的调用情况集中展示,比如,各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。
性能测试
性能测试在软件的质量保证过程中起着举足轻重的作用。特别是对于一些并发量大的大型网站来说,做好性能测试,找到性能瓶颈,并根据性能测试结果做出针对性的优化至关重要。比如各大电商平台在双11背后肯定做足了性能测试,否则一旦网站崩溃,带来的损失就不是亿点点了……
中国软件评测中心将性能测试概括为三个方面:应用在客户端性能的测试、应用在网络上性能的测试和应用在服务器端性能的测试。通常情况下,三方面有效、合理的结合,可以达到对系统性能全面的分析和瓶颈的预测
性能测试分类
根据测试的目的和手段来划分,性能测试可以划分为负载测试、压力测试、基准测试、配单测试、容量测试、稳定性测试和扩展性测试。如下图所示:
如何保证可用性和稳定性
- 链路梳理:核心链路、流量漏斗、强弱依赖
- 可观测性:链路追踪、核心监控、业务报警
- 全链路测试:压力测试、负载测试、容量测试
- 稳定性控制:系统限流、业务兜底、熔断降级
- 容灾演练:混沌工程、应急手册、容灾预案
如何设计秒杀系统
场景
功能:秒杀活动发布、秒杀商品详情、秒杀下单
并发:万人参与秒杀、QPS1w+
存储
MySQL -> Redis -> Localache
服务
子服务:用户服务、风控服务、活动服务、订单服务
基础组件:ID生成器、缓存组件、MQ组件、限流组件
扩展
流量隔离、CDN、缓存优化、流量管控、数据库扩展、MQ扩展、Redis扩展、服务器水平扩展、服务垂直扩展
系统架构图
秒杀流程图
总结
- 服务无状态 当前服务不存储数据和业务。
- 批量写入 有效降低系统压力
- 最终一致性 自缓存和MQ会导致不一致,但最终会达到一致。