🔀 并发与限流 · 工程化

说明

复盘补强:① 对”并发”的理解要说清是 QPS / QPM 这类量化指标;② 高并发下的限流(rate limiting)等工程化手段能展开。 结合你项目「Python 协程单进程高并发」一起讲,覆盖面更完整。

1. 先定义”并发”(面试口径)

  • 问”你能处理多大并发”,先说量化单位:一般指 QPS(Queries Per Second,每秒请求数) 或 QPM(每分钟)。
  • 再补一句支撑:“我项目里 Python 协程单进程单线程事件循环能撑 1w~10w QPS(取决于每个请求的耗时/IO 占比),toB 场景够用;真正要横向扩就加多实例 + 网关负载均衡。”
  • 一句话:并发 ≠ “同时在做几件事”,面试时说清 QPS/QPM 这个量化口径 + 你们实际值,才显得懂工程。

2. 限流(rate limiting)——为什么需要

  • 保护自己:防突发流量把服务/数据库/大模型 API 打爆。
  • 保护下游:避免恶意/异常请求刷爆下游(尤其大模型 API 按量计费)。

3. 常见限流算法(能背能讲)

算法思路特点
计数器(固定窗口)单位窗口内计数,超阈拒绝简单;窗口边界易突发(双倍峰)
滑动窗口细粒度统计最近 N 秒窗口更平滑,开销略高
漏桶(Leaky Bucket)请求入桶,按固定速率流出限制速率,能削峰;处理突发不够快
令牌桶(Token Bucket)以固定速率加令牌,请求取令牌允许一定突发(桶容量),工程最常用

4. 落地形态(分层限流)

  1. 网关层:Nginx/网关做 IP/接口级限流(limit_req/limit_conn),先挡外部。
  2. 应用层(协程场景):Python 里用 asyncio.Semaphore 控制”同时在飞”的协程数、或用自研令牌桶;限制并发就叫 semaphore 限并发,限制速率用令牌桶/漏桶。
  3. 分布式限流:多实例时用 Redis + Lua 原子操作做共享计数器(令牌桶也常落 Redis),保证全局一致。
  4. 对接大模型 API:对方有配额/每分钟限制,客户端要做重试 + 退避(backoff)+ 并发控制,别把 API 打 429。

一句话记忆

并发先说 QPS/QPM 量化口径;限流用令牌桶(允许突发)最常用,落地分网关/应用/分布式三层;Python 协程用 asyncio.Semaphore 控制并发、令牌桶控速率,对接大模型 API 配退避重试防 429。


相关笔记