这是什么

面向「AI 大模型开发岗」面试的速查笔记:商用 API 选型思路、典型 RAG/Agent 请求吃多少 token、缓存降本(prompt caching 为核心)、面试怎么答有条理。

价格说明:模型迭代快,本文价格均为 2026-08 量级快照,正文区分 【已核实】(联网抓取到源页面,标注来源)与 【未核实】(量级参考,以官网最新价为准)。面试重点是”机制与量级口径”,别背死价格,张口先说”以官网为准”。

目录

  1. 一、商用 API 选型:对比思路 + 价格量级
  2. 二、成本构成 / Token 消耗量级(RAG & Agent 估算口径)
  3. 三、缓存命中优化:prompt caching 为核心
  4. 四、面试怎么答有条理(一套框架)

一、商用 API 选型

核心思维:不是选一个”最好”的模型,而是按”任务复杂度 × 需求 × 预算”做分层路由。先看模型是否适合,再看价格量级,最后看上下文长度与后发能力(缓存/批量折扣)。

1.1 国际三巨头(价格均为 2026-08 实测量级,USD/百万tokens)

OpenAI — gpt-5.6 系列【已核实,源:openai.com/api/pricing】

模型定位输入输出缓存命中输入批量(-50%)
gpt-5.6-sol旗舰/复杂推理$4$20$0.40$2 / $10
gpt-5.6-terra均衡主流$2$12$0.20$1 / $6
gpt-5.6-luna便宜小模型$0.20$1.20$0.02$0.10 / $0.60
  • 还有 gpt-5.3-codex(编码用,$1.75/$14)、realtime/audio(音频 $32/MTok 起)、image/sora 按图按秒计费。Fast mode ≈ 2x,flex ≈ 批量价。
  • 特点:分层清晰(旗舰/主流/廉价),缓存命中价 = 输入价 0.1x。

Anthropic Claude【已核实,源:docs.anthropic.com/en/docs/about-claude/pricing】

模型定位输入输出缓存命中(读)5m写入1h写入
Claude Opus 5最强推理$5$25$0.50$6.25$10
Claude Sonnet 5主力生产$2$10$0.20$2.50$4
Claude Haiku 4.5简单/高速$1$5$0.10$1.25$2
Claude Mythos/Fable 5限量旗舰$10$50$1.00$12.50$20
  • Claude 4.6+ / Sonnet 5 全 1M 上下文,按 standard 单价计(长上下文不额外加价)【已核实】。
  • Sonnet 5 公告的 $2/$10 已确定为 standard 价(原计划 9/1 涨到 $3/$15 已取消)。
  • Claude 4.7+ 新 tokenizer:同样的英文文本 token 数约多 30%(成本体感上升,但能力up)【已核实】。
  • Opus/Sonnet 一批模型在 AWS Bedrock / Google Cloud / 微软 Foundry 走 CCU 结算($0.01/CCU)。

Google Gemini【已核实,源:ai.google.dev/pricing】

  • Gemini 3.7 / 3.6 Flash:输入 $0.75 / 输出 $3.75(促销价至 2026-12-31,2027 起 $1.5/$7.5);Gemini 3.5 Flash:$1.50 / $9.00。
  • 特点:输出价含 thinking tokens(沉思 token 也按输出计费);Frozen 免费档很慷慨。
  • Google 的 Context caching 与别家不同:缓存命中价 = 输入价 0.1x,但还额外收取存储价(约 $0.5~1.0 / 百万tokens / 小时)——长期冷缓存持有要算存储账(Anthropic/OpenAI 没这笔)【已核实】。

1.2 中国厂商

DeepSeek【已核实,源:api-docs.deepseek.com/quick_start/pricing】

  • deepseek-v4-pro:平峰输入(缓存未命中) $1.32 / 输出 $3.96;缓存命中输入只要 $0.044(约为未命中的 ~3.3%,比国际厂商 0.1x 更狠)。
  • v4-flash:$0.44 / $1.32,缓存命中 $0.014。
  • 有峰谷价:高峰时段(UTC 周一至五 01:00–04:00、06:00–10:00)翻倍,其余时间减半【已核实】→ 可错峰省钱。
  • 1M 上下文、最大输出 384k、支持 thinking/non-thinking 两种模式。

通义千问(Qwen)/ 字节豆包(Volcengine)/ 智谱(GLM)【未核实,以官网为准】

  • 通义(阿里百炼 Model Studio):qwen-max / qwen-plus / qwen-turbo 分档;量级大致”输入零点几~几元/百万tokens、输出几元~几十元”,qwen-long 类长上下文更便宜。
  • 豆包(火山方舟):豆包/seed 系列在国产里偏便宜(量级输入零点几~几元),1M 上下文常见,中文场景性价比高。
  • 智谱(BigModel):GLM-4 系列分 plus/air/flash,量级大致 ¥1/百万tokens 上下起,flash 档很便宜。
  • 注:这三家价格页均前端 JS 渲染,联网未能抓到结构化数字,务必以官网定价页为准。

1.3 选型对比思路(一张表)

维度怎么看
模型分层贵旗舰(Opus5/Sol) vs 主流(Sonnet/Terra/Flash) vs 便宜(Haiku/Luna/turbo) → 按任务难度路由
价格量级输入通常 输出 的 1/3~1/5;越强输出越贵。中文比英文更耗 token(见下文)
上下文长度自研 1M 已普及;200k 是很多国际模型基准。长文档/长历史选 1M
缓存友好度prompt caching 命中价:OpenAI/Anthropic/Google 0.1x,DeepSeek ~3%(另有峰谷)
后发优惠Batch API -50%、Fast/Priority +2x、off-peak、数据驻留 +10%(地区限定端点加价 10%)
生态&合规国内业务/数据不出境→国产三强;全球/合规→国际;成本敏感+可错峰→DeepSeek
分发渠道有些模型只走 Bedrock/Foundry/火山/百炼等,走 CCU/渠道计费,单价可能不同

一句话选型口径

“先按任务复杂度把流量分成几档,用便宜模型顶住海量简单请求、贵模型只留给难题;再叠加 prompt caching + batch + 分层路由控成本。价格变化快,具体数值一律以官网最新价为准。“


二、成本构成 / Token 消耗量级

2.1 Cost 从哪几块来

  1. 输入(input) + 输出(output) 分开计费(基础大头):cost = input_tokens × 单价in + output_tokens × 单价out
  2. 缓存写 / 缓存读:缓存首次写入按 1.25x~2x 计费,后续命中按 0.1x~0.03x 计(这是降本关键,见第三节)
  3. 工具调用 overhead:每声明一个工具要吃掉工具定义 token;且启用工具时模型会被塞一段专用 system prompt(Claude 已核实:Sonnet 5 约 354–474 token)。工具结果(stdout/大文件)也回灌成输入 token
  4. 服务器工具:web search 通常额外 $10 / 1k 次搜索(OpenAI/Anthropic 同口径【已核实】),file search 按存储 $0.10 / GB·天;Google 的 context cache 额外收 token·小时存储费
  5. 多 agent × 多步:每一步都把上一步输出 + 越来越长的历史继续回传,输入 token 随步数近似线性(若共享全部历史则更糟)膨胀 → N 个 agent × M 步 ≈ 成本翻 N×M 倍、且缓存可能被不停地写/失效

记忆:1 token ≈ 4 个英文字符 ≈ 0.75 英文单词(Claude/OpenAI 口径【已核实】);中文约 1 字 ≈ 1.5~2+ token,比英文按字数更贵。这也是为什么中文长文档/长历史成本体感更高。

2.2 一个典型 RAG 请求吃多少 token(量级估算口径)

以「问答 + 检索增强」单轮为例:

部分量级(近似)
系统提示(system)几十 ~ 几百 token(写得好百来 token)
工具定义(若用 function calling)每工具几十~几百;专用 system prompt 额外 300~600
检索注入上下文(top-k 命中文档)每段约 500~1500 token,取 5–10 段 ≈ 5k~15k token ← 最肥的一块
当前问题/指令几十 ~ 几百
对话历史(多轮)每轮几百~几千,随轮数累积
输出通常 500~1500 token/次

粗算:一次普通 RAG 请求 input 约 5k~20k token,用 Claude Sonnet 5($2/$10)约 1~4 分钱;用 Opus 5($5/$25)约 3~10 分钱。(人民币量级。)真正烧钱的是高并发 × 长上下文 × 多步多 agent,不是单次。

2.3 Agent 多步成本膨胀(面试爱问)

  • 单 agent 多步:第 1 步 input=a;第 2 步 input ≈ a + 第1步的output + 工具结果… 累积上传。
  • 多 agent 编排:同一段分析被子 agent 各自消费一遍 → 信息被重复计费多次。
  • 对策方向:尽量只传必要残差/增量、对历史做阶段摘要(compaction)而不是全量回灌、能 batch 的离线化。

三、缓存命中优化

面试最想听到的降本点是 Prompt Caching(提示词缓存)。核心一句话:把不变的”系统提示/工具定义/共同前缀”放在请求最前面并打上缓存标记,命中后以远低于输入的单价复用 KV 缓存,省 prefill 计算和钱。

3.1 Prompt Caching 原理,为什么”共同前缀放前面”能命中

  • 模型推理输入要经过 prefill(把整段 prompt 算一遍 KV cache)才进入生成。变长/动态的内容(检索结果、用户消息、最新历史)每次都要重新 prefill。
  • 而不变的静态块(系统提示、工具 schema、固定背景知识、对话前半段历史)如果连续多次请求里前缀完全相同,厂商可以前缀匹配 + 复用先前算好的 KV cache,只对变化的后缀做 prefill → 快、省。
  • 所以铁律:把不变的东西放最前面(且让它们连续成一段共同前缀),把会变的东西(最新用户输入、每轮检索结果)放最后面;顺序 tools→system→messages,改 tools 会连带失效其后的整段缓存(Anthropic 已核实层级:tools 变→system、messages 全失效;system 变→messages 失效)。

3.2 价格上到底是省多少【已核实】

项幅度
缓存命中(读)OpenAI/Anthropic/Google ≈ 输入价 0.1x;DeepSeek ≈ 未命中价 ~3.3%
缓存写入Anthropic:5 分钟 TTL 写 = 1.25x;1 小时 TTL 写 = 2x
回本条件Anthropic 官方:5 分钟缓存 写 1 次后第 1 次命中即回本;1 小时缓存约第 2 次命中回本
最低可缓存长度Sonnet 5 需 ≥1024 token;Haiku 4.5 需 ≥4096;Opus 5 512。太短不缓存(不报错,白标了)
Google 差异命中 0.1x + 另收存储费 $0.5~1/MTok·小时
  • Anthropic 官方算账示范【已核实】:Claude Opus 5,一次会话 50k 输入 + 15k 输出 ≈ $0.705;其中 40k 输入走了缓存命中 ≈ $0.525(省 25%+)。
  • 命中判定:看好响应 usage.cache_read_input_tokens(Anthropic/OpenAI cached_tokens)>0。短于最低长度的 prompt 标了 cache_control 也不会缓存,别误判。
  • 并发注意:首个请求返回前缓存尚未建立,想对并发请求命中,需等第一枪打完。【已核实】

3.3 可落地的降本清单(由浅入深)

  1. 缓存静态前缀:system + 工具定义 + 固定背景/知识库模板 打成共用前缀,打 cache_control(系统消息或首块)。变体:System prompt 里 "cache_control": {"type":"ephemeral"}。
  2. 把会变的放最后:检索到的文档、用户新消息、最新几轮对话放在 messages 末尾,不让它们污染共同前缀。
  3. 分块缓存断点多用:细粒度 cache breakpoint,让”历史部分”尺寸不变可命中,只对新增内容单独计费。
  4. 结果缓存(response cache):对幂等、可容忍陈旧/带时效TTL 的 query 直接回放上次输出,推理成本降到 ~0,但要处理时效与一致性(配 TTL/版本键)。
  5. 语义/向量检索缓存:相似 query 先查缓存命中再决定要不要真检索,省 embed + 检索 + 上游成本。
  6. 减少 token 本身:精简 system prompt;RAG 只取 top-k 且做截断;对超长历史做阶段性摘要(compaction/message summary)而非全量回灌;工具懒加载——只注册本轮用到的工具(省工具定义 token + 那 300~600 token 的专用 system prompt)。
  7. 模型分层路由:简单请求走 Haiku/Luna/Flash/qwen-turbo(便宜+快),复杂才上 Opus/Sol/Pro。可上一个小 router 模型打标。
  8. Batch API:非实时/离线任务用批量,-50% 输入输出(要实时就放弃这折扣)。【已核实】
  9. 错峰:蹭 DeepSeek 等 off-peak 半价时段【已核实】。
  10. 度量&监控:埋点统计 cache hit rate、token 明细(input/output/cache_read/cache_write),定预算与告警;别只顾功能不看 usage 字段——这是面试里”工程化降本”的加分项。

KV cache 与 prompt caching 的关系

面试若被追问”KV cache 是什么”:KV cache 是推理服务内部缓存每层 attention 的 Key/Value 以省重复计算,是底层机制;厂商把它对用户包装成 prompt caching 并给出 0.1x 命中价。Interview 时可说”系统提示复用→prefill 少算→通过 prompt caching 单价体现”,不要混为结果缓存(结果缓存不调模型)。


四、面试怎么答有条理

给一套可复述的”四段式”答题骨架(比零散背价格更显专业):

  1. 先讲定价模型怎么构成(体现你懂账本)
    “商用 API 一般 input/output 分开、按百万tokens 计费;再加上缓存写/读、工具调用 overhead、服务器工具(搜索/存储),多 agent 多步会放大。价格演进快,具体以官网为准。”

  2. 再给一个”典型请求吃多少”的量级(体现你估过)
    “一次普通 RAG 请求 input 约 5k~20k token、输出几百~1.5k;system+工具定义本身几百,检索 top-k 是最大头;多 agent 多步会因回灌历史近似乘 N×M。”

  3. 落到降本三件套(体现你会操盘)
    “① 模型分层路由,便宜的扛量;② prompt caching——把不变前缀放前面打 cache_control,命中价约 0.1x,命中即回本;③ 结果/语义检索缓存 + 精简上下文 + batch(-50%)。配合埋点看 cache hit rate。”

  4. 点一句止损与工程(加分)
    “会看 usage 字段、给历史做摘要、只传必要增量,并用预算告警兜底。”

背几个”数字抓手”:1 token≈4字符;prompt caching 命中≈输入价 0.1x(DeepSeek ~3%);写一次第 1 次命中回本;batch -50%;中文比英文更耗 token;示例 Opus5 50k/15k ≈$0.705→缓存后 $0.525。

面试收尾一句话

“综上,商用 API 选型的本质是按任务复杂度做模型金字塔分层 + 用缓存与批量把不变/可离线部分做到近零边际成本,并用可观测性持续迭代。价格以官网最新为准。“


相关笔记