🖥 系统 & 网络

主题范围

操作系统(进程线程、内存、文件系统)、计算机网络(TCP/IP、HTTP、DNS、网络IO)、并发编程。

问题清单

Q1. 高并发下,协程怎么调度同步(阻塞)函数?

追问

  • 协程里直接调一个阻塞/同步函数会发生什么?(为什么”高并发”没了)
  • asyncio.to_thread 和 run_in_executor 有什么区别?
  • IO 密集和 CPU 密集分别怎么处理?GIL 影响?
  • 换到 Go 呢,goroutine 调同步函数怎么调度?

核心结论(先讲一句话)

协程(asyncio)本质是单线程事件循环。在协程里直接同步调用一个阻塞函数,会把整个事件循环卡死,其他所有协程停摆,高并发瞬间归零。解法是把同步函数丢给线程池/进程池跑,协程 await 结果,自己保持不阻塞地调度循环。

分场景答法

  1. IO 密集的同步函数(读写文件/DB/网络/第三方 SDK)
    • await asyncio.to_thread(fn, *args):事件循环把 fn 丢进默认线程池,协程挂起等结果,期间循环继续调度其他协程 → 高并发得以保持。
    • 更底层:loop.run_in_executor(ThreadPoolExecutor, fn, *args)(to_thread 是它的语法糖)。
    • 注意:默认线程数有限(min(32, CPU+4)),铺满 to_thread 无法撑起上万连接。真正高并发应尽量用原生 async 客户端(aiohttp / aiosqlite / async DB 驱动),只在”同步库不好改造”的边界用 to_thread 兜底。
  2. CPU 密集的同步函数(纯计算/大循环)
    • 线程池没用——受 GIL 限制,Python 线程无法并行执行 CPU 代码。
    • 用 run_in_executor(ProcessPoolExecutor, ...) 跨进程并行,或依赖 numpy/自带 C 扩展释放 GIL。
    • 一句话:IO 用线程池、CPU 用进程池规避 GIL。
  3. 别在事件循环线程里跑长时间阻塞:典型症状是”请求超时 / 全部卡住”。

面试加分点

  • 高并发 I/O 服务(如接大模型 API 的代理端)不要铺满 await to_thread,优先原生 async + asyncio.gather 并发 + Semaphore 限流。

Go 反差对比(可补充,谈资级)

  • Go 用 goroutine,运行时做 M:N 调度(海量 goroutine 复用少数 OS 线程):网络/系统调用时运行时把阻塞 goroutine 让出、OS 线程去跑别的 goroutine,所以”同步风格”代码天然高并发。
  • cgo/纯阻塞时运行时靠自动扩线程兜底。
  • 结论:Python 要躲 GIL + 事件循环、显式 to_thread;Go 由运行时替你调度,原生同步写法即高并发。 AI/后端选型常聊这个。

一句话记忆

同步函数别在协程里裸调 → IO 丢线程池(to_thread)、CPU 丢进程池(躲 GIL),循环才不堵;Go 则运行时 M:N 自动让出。

拓展

聊”并发”先把量化口径说清:QPS(每秒)/ QPM(每分钟)。你项目协程单进程可报 1w~10w QPS(视耗时/IO 占比),toB 够用;横向扩加实例 + Nginx/网关负载。详见 并发限流-工程化·Nginx-代理与负载均衡