在分布式系统中，流量削峰（Traffic Shaping）是应对突发高并发请求的核心手段，目的是通过技术手段将瞬时高峰流量转化为平稳流量，避免系统过载崩溃。以下是常见的流量削峰策略及其实现细节：
一、消息队列缓冲
1. 核心原理
- 异步解耦：将请求暂存到消息队列（MQ），后端服务按处理能力消费。
- 流量平滑：MQ 作为缓冲区，削平流量尖峰，实现生产者与消费者速率解耦。
2. 技术实现
- 选型：Kafka（高吞吐）、RocketMQ（事务消息）、RabbitMQ（低延迟）。
- 配置要点：
- 分区（Partition）：增加分区数和消费者实例提升并发处理能力。
- 消费策略：批量拉取（
batch.size）和批量提交（auto.commit.interval.ms）。 - 堆积能力：合理设置队列容量和存储时间，避免消息丢失。
3. 适用场景
- 秒杀系统：用户抢购请求先入队，后端异步处理订单。
- 日志采集：突增日志流量缓冲至MQ，避免冲击存储系统。
示例：
// RocketMQ 生产者发送削峰消息
Message msg = new Message("OrderTopic", "TagA", orderJson.getBytes());
SendResult result = producer.send(msg);
二、异步化处理
1. 非阻塞设计
- Future/CompletableFuture：将耗时操作（如IO、RPC）异步化，释放主线程。
- 响应式编程：使用 Reactor、RxJava 构建非阻塞调用链。
2. 事件驱动架构
- 发布订阅模型：通过事件总线（如Guava EventBus）解耦逻辑。
- 流程拆分：将长流程拆分为多个阶段，各阶段异步执行。
示例：
// 订单创建后异步发送短信
orderService.createOrder(order).thenAccept(order -> {
smsService.sendSms(order.getUserId(), "订单创建成功");
});
三、限流与降级
1. 限流算法
- 令牌桶（Token Bucket）：匀速发放令牌，突发流量可借令牌（Guava RateLimiter）。
- 漏桶（Leaky Bucket）：固定速率处理请求，超限拒绝（Sentinel）。
- 本质：拒绝服务、排队等待，注意有一些不可限流的业务（拍卖竞价等）。
2. 降级策略
- 服务熔断：异常超过阈值时熔断服务（Hystrix/Sentinel）。
- 返回默认值：核心服务不可用时返回缓存数据或静态页面。
- 功能开关：动态关闭非核心功能（如关闭积分计算）。
示例：
// Sentinel 配置限流规则
FlowRule rule = new FlowRule("createOrder")
.setGrade(RuleConstant.FLOW_GRADE_QPS)
.setCount(1000); // QPS阈值1000
FlowRuleManager.loadRules(Collections.singletonList(rule));
四、弹性扩容
1. 水平扩展
- 无状态服务：通过 K8s HPA 或云服务（AWS Auto Scaling）自动扩容实例。
- 数据库扩展：分库分表（ShardingSphere）、读写分离（MySQL Group Replication）。
2. Serverless 计算
- 按需扩容：使用 AWS Lambda 或阿里云函数计算处理突发任务。
- 事件驱动：通过 MQ 触发函数执行，无需常驻资源。
五、缓存优化
1. 多级缓存
- 本地缓存：Caffeine/Guava Cache 减少 Redis 访问。
- 分布式缓存：Redis Cluster 缓存热点数据（如商品详情）。
- 静态资源缓存：CDN 加速图片、JS/CSS 文件。
2. 缓存预热
- 启动加载：系统启动时加载高频数据到缓存。
- 定时刷新：通过定时任务更新缓存（如每日榜单）。
六、流量调度与排队
1. 流量分层
- 静态化处理：生成 HTML 静态页（如商品详情页），减少动态请求。
- 边缘计算：在 CDN 边缘节点处理简单逻辑（如验签）。
2. 排队机制
- 令牌桶排队：返回排队页，轮询检查请求状态。
- 虚拟队列：使用 Redis 的
LIST结构管理待处理请求。
示例：
# 使用 Redis List 实现排队
def handle_request(request_id):
redis.rpush("request_queue", request_id)
# 后台Worker消费队列
七、预热与预加载
1. 资源预热
- JVM 预热：提前加载核心类和方法，避免冷启动性能抖动。
- 连接池预热：初始化数据库、Redis 连接池，避免首请求延迟。
2. 流量预热
- 灰度发布：逐步放量，监控系统表现后再全量。
- 压测预热：通过压测工具模拟流量，触发扩容。
八、容灾与降级设计
1. 多活架构
- 异地多活：流量分区域调度（如阿里云单元化架构）。
- 数据同步：通过 DTS 或 Canal 实现跨机房数据同步。
2. 降级预案
- 读降级：直接返回缓存，不访问数据库。
- 写降级：将写请求暂存本地队列，服务恢复后重试。
九、总结：策略选型参考表
| 策略 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 消息队列 | 写密集型场景（如订单创建） | 流量削峰明显，系统解耦 | 增加架构复杂度，可能引入延迟 |
| 限流降级 | 突发流量保护 | 快速止损，避免雪崩 | 用户体验可能受损 |
| 弹性扩容 | 周期性流量（如大促） | 灵活应对流量波动 | 成本较高，扩容需要时间 |
| 缓存优化 | 读多写少场景（如商品详情） | 显著降低数据库压力 | 数据一致性维护复杂 |
| 流量调度 | 全局流量管理 | 资源利用率高，容灾能力强 | 依赖智能DNS或负载均衡器 |
十、实战案例
- 秒杀系统削峰设计
- 请求拦截：前端页面按钮倒计时，防止用户重复提交。
- 流量分层：
- 静态资源（商品图片）全部 CDN 化。
- 动态请求（抢购）通过 API Gateway 限流。
- 队列缓冲：抢购请求进入 RocketMQ，Worker 异步处理。
- 库存扣减：Redis Lua 脚本原子扣减，避免超卖。
- 降级预案：若 Redis 不可用，降级到数据库（加悲观锁）。
- 客户端削峰（红包雨）
- 答题策略：本质是流量打散，弊端：有损用户体验，通常是在采用了其他策略后仍然无法满足高并发容量时使用
- 匹配图案和答题一样
- 限制请求策略
- 在一定条件下忽略用户的请求
- 延迟请求（基于随机算法来实现）
- 弊端：存在公平性问题，可能会引起舆情
