🖥 系统 & 网络
主题范围
操作系统(进程线程、内存、文件系统)、计算机网络(TCP/IP、HTTP、DNS、网络IO)、并发编程。
问题清单
Q1. 高并发下,协程怎么调度同步(阻塞)函数?
追问
- 协程里直接调一个阻塞/同步函数会发生什么?(为什么”高并发”没了)
- asyncio.to_thread 和 run_in_executor 有什么区别?
- IO 密集和 CPU 密集分别怎么处理?GIL 影响?
- 换到 Go 呢,goroutine 调同步函数怎么调度?
核心结论(先讲一句话)
协程(asyncio)本质是单线程事件循环。在协程里直接同步调用一个阻塞函数,会把整个事件循环卡死,其他所有协程停摆,高并发瞬间归零。解法是把同步函数丢给线程池/进程池跑,协程 await 结果,自己保持不阻塞地调度循环。
分场景答法
- IO 密集的同步函数(读写文件/DB/网络/第三方 SDK)
await asyncio.to_thread(fn, *args):事件循环把 fn 丢进默认线程池,协程挂起等结果,期间循环继续调度其他协程 → 高并发得以保持。- 更底层:
loop.run_in_executor(ThreadPoolExecutor, fn, *args)(to_thread 是它的语法糖)。 - 注意:默认线程数有限(
min(32, CPU+4)),铺满 to_thread 无法撑起上万连接。真正高并发应尽量用原生 async 客户端(aiohttp / aiosqlite / async DB 驱动),只在”同步库不好改造”的边界用 to_thread 兜底。
- CPU 密集的同步函数(纯计算/大循环)
- 线程池没用——受 GIL 限制,Python 线程无法并行执行 CPU 代码。
- 用
run_in_executor(ProcessPoolExecutor, ...)跨进程并行,或依赖 numpy/自带 C 扩展释放 GIL。 - 一句话:IO 用线程池、CPU 用进程池规避 GIL。
- 别在事件循环线程里跑长时间阻塞:典型症状是”请求超时 / 全部卡住”。
面试加分点
- 高并发 I/O 服务(如接大模型 API 的代理端)不要铺满
await to_thread,优先原生 async +asyncio.gather并发 +Semaphore限流。
Go 反差对比(可补充,谈资级)
- Go 用 goroutine,运行时做 M:N 调度(海量 goroutine 复用少数 OS 线程):网络/系统调用时运行时把阻塞 goroutine 让出、OS 线程去跑别的 goroutine,所以”同步风格”代码天然高并发。
- cgo/纯阻塞时运行时靠自动扩线程兜底。
- 结论:Python 要躲 GIL + 事件循环、显式 to_thread;Go 由运行时替你调度,原生同步写法即高并发。 AI/后端选型常聊这个。
一句话记忆
同步函数别在协程里裸调 → IO 丢线程池(to_thread)、CPU 丢进程池(躲 GIL),循环才不堵;Go 则运行时 M:N 自动让出。
拓展
聊”并发”先把量化口径说清:QPS(每秒)/ QPM(每分钟)。你项目协程单进程可报 1w~10w QPS(视耗时/IO 占比),toB 够用;横向扩加实例 + Nginx/网关负载。详见 并发限流-工程化·Nginx-代理与负载均衡