🔀 并发与限流 · 工程化
说明
复盘补强:① 对”并发”的理解要说清是 QPS / QPM 这类量化指标;② 高并发下的限流(rate limiting)等工程化手段能展开。 结合你项目「Python 协程单进程高并发」一起讲,覆盖面更完整。
1. 先定义”并发”(面试口径)
- 问”你能处理多大并发”,先说量化单位:一般指 QPS(Queries Per Second,每秒请求数) 或 QPM(每分钟)。
- 再补一句支撑:“我项目里 Python 协程单进程单线程事件循环能撑 1w~10w QPS(取决于每个请求的耗时/IO 占比),toB 场景够用;真正要横向扩就加多实例 + 网关负载均衡。”
- 一句话:并发 ≠ “同时在做几件事”,面试时说清 QPS/QPM 这个量化口径 + 你们实际值,才显得懂工程。
2. 限流(rate limiting)——为什么需要
- 保护自己:防突发流量把服务/数据库/大模型 API 打爆。
- 保护下游:避免恶意/异常请求刷爆下游(尤其大模型 API 按量计费)。
3. 常见限流算法(能背能讲)
| 算法 | 思路 | 特点 |
|---|---|---|
| 计数器(固定窗口) | 单位窗口内计数,超阈拒绝 | 简单;窗口边界易突发(双倍峰) |
| 滑动窗口 | 细粒度统计最近 N 秒窗口 | 更平滑,开销略高 |
| 漏桶(Leaky Bucket) | 请求入桶,按固定速率流出 | 限制速率,能削峰;处理突发不够快 |
| 令牌桶(Token Bucket) | 以固定速率加令牌,请求取令牌 | 允许一定突发(桶容量),工程最常用 |
4. 落地形态(分层限流)
- 网关层:Nginx/网关做 IP/接口级限流(
limit_req/limit_conn),先挡外部。 - 应用层(协程场景):Python 里用
asyncio.Semaphore控制”同时在飞”的协程数、或用自研令牌桶;限制并发就叫 semaphore 限并发,限制速率用令牌桶/漏桶。 - 分布式限流:多实例时用 Redis + Lua 原子操作做共享计数器(令牌桶也常落 Redis),保证全局一致。
- 对接大模型 API:对方有配额/每分钟限制,客户端要做重试 + 退避(backoff)+ 并发控制,别把 API 打 429。
一句话记忆
并发先说 QPS/QPM 量化口径;限流用令牌桶(允许突发)最常用,落地分网关/应用/分布式三层;Python 协程用
asyncio.Semaphore控制并发、令牌桶控速率,对接大模型 API 配退避重试防 429。
相关笔记
- 面试收集 MOC
- 系统&网络(Q1:协程怎么调度同步函数,与本篇搭配讲)
- Agent系统-项目深挖(§3 并发模型)
- Nginx-代理与负载均衡