这是什么
面向「AI 大模型开发岗」面试的速查笔记:商用 API 选型思路、典型 RAG/Agent 请求吃多少 token、缓存降本(prompt caching 为核心)、面试怎么答有条理。
价格说明:模型迭代快,本文价格均为 2026-08 量级快照,正文区分 【已核实】(联网抓取到源页面,标注来源)与 【未核实】(量级参考,以官网最新价为准)。面试重点是”机制与量级口径”,别背死价格,张口先说”以官网为准”。
目录
- 一、商用 API 选型:对比思路 + 价格量级
- 二、成本构成 / Token 消耗量级(RAG & Agent 估算口径)
- 三、缓存命中优化:prompt caching 为核心
- 四、面试怎么答有条理(一套框架)
一、商用 API 选型
核心思维:不是选一个”最好”的模型,而是按”任务复杂度 × 需求 × 预算”做分层路由。先看模型是否适合,再看价格量级,最后看上下文长度与后发能力(缓存/批量折扣)。
1.1 国际三巨头(价格均为 2026-08 实测量级,USD/百万tokens)
OpenAI — gpt-5.6 系列【已核实,源:openai.com/api/pricing】
| 模型 | 定位 | 输入 | 输出 | 缓存命中输入 | 批量(-50%) |
|---|---|---|---|---|---|
| gpt-5.6-sol | 旗舰/复杂推理 | $4 | $20 | $0.40 | $2 / $10 |
| gpt-5.6-terra | 均衡主流 | $2 | $12 | $0.20 | $1 / $6 |
| gpt-5.6-luna | 便宜小模型 | $0.20 | $1.20 | $0.02 | $0.10 / $0.60 |
- 还有 gpt-5.3-codex(编码用,$1.75/$14)、realtime/audio(音频 $32/MTok 起)、image/sora 按图按秒计费。Fast mode ≈ 2x,flex ≈ 批量价。
- 特点:分层清晰(旗舰/主流/廉价),缓存命中价 = 输入价 0.1x。
Anthropic Claude【已核实,源:docs.anthropic.com/en/docs/about-claude/pricing】
| 模型 | 定位 | 输入 | 输出 | 缓存命中(读) | 5m写入 | 1h写入 |
|---|---|---|---|---|---|---|
| Claude Opus 5 | 最强推理 | $5 | $25 | $0.50 | $6.25 | $10 |
| Claude Sonnet 5 | 主力生产 | $2 | $10 | $0.20 | $2.50 | $4 |
| Claude Haiku 4.5 | 简单/高速 | $1 | $5 | $0.10 | $1.25 | $2 |
| Claude Mythos/Fable 5 | 限量旗舰 | $10 | $50 | $1.00 | $12.50 | $20 |
- Claude 4.6+ / Sonnet 5 全 1M 上下文,按 standard 单价计(长上下文不额外加价)【已核实】。
- Sonnet 5 公告的 $2/$10 已确定为 standard 价(原计划 9/1 涨到 $3/$15 已取消)。
- Claude 4.7+ 新 tokenizer:同样的英文文本 token 数约多 30%(成本体感上升,但能力up)【已核实】。
- Opus/Sonnet 一批模型在 AWS Bedrock / Google Cloud / 微软 Foundry 走 CCU 结算($0.01/CCU)。
Google Gemini【已核实,源:ai.google.dev/pricing】
- Gemini 3.7 / 3.6 Flash:输入 $0.75 / 输出 $3.75(促销价至 2026-12-31,2027 起 $1.5/$7.5);Gemini 3.5 Flash:$1.50 / $9.00。
- 特点:输出价含 thinking tokens(沉思 token 也按输出计费);Frozen 免费档很慷慨。
- Google 的 Context caching 与别家不同:缓存命中价 = 输入价 0.1x,但还额外收取存储价(约 $0.5~1.0 / 百万tokens / 小时)——长期冷缓存持有要算存储账(Anthropic/OpenAI 没这笔)【已核实】。
1.2 中国厂商
DeepSeek【已核实,源:api-docs.deepseek.com/quick_start/pricing】
- deepseek-v4-pro:平峰输入(缓存未命中) $1.32 / 输出 $3.96;缓存命中输入只要 $0.044(约为未命中的 ~3.3%,比国际厂商 0.1x 更狠)。
- v4-flash:$0.44 / $1.32,缓存命中 $0.014。
- 有峰谷价:高峰时段(UTC 周一至五 01:00–04:00、06:00–10:00)翻倍,其余时间减半【已核实】→ 可错峰省钱。
- 1M 上下文、最大输出 384k、支持 thinking/non-thinking 两种模式。
通义千问(Qwen)/ 字节豆包(Volcengine)/ 智谱(GLM)【未核实,以官网为准】
- 通义(阿里百炼 Model Studio):qwen-max / qwen-plus / qwen-turbo 分档;量级大致”输入零点几~几元/百万tokens、输出几元~几十元”,qwen-long 类长上下文更便宜。
- 豆包(火山方舟):豆包/seed 系列在国产里偏便宜(量级输入零点几~几元),1M 上下文常见,中文场景性价比高。
- 智谱(BigModel):GLM-4 系列分 plus/air/flash,量级大致 ¥1/百万tokens 上下起,flash 档很便宜。
- 注:这三家价格页均前端 JS 渲染,联网未能抓到结构化数字,务必以官网定价页为准。
1.3 选型对比思路(一张表)
| 维度 | 怎么看 |
|---|---|
| 模型分层 | 贵旗舰(Opus5/Sol) vs 主流(Sonnet/Terra/Flash) vs 便宜(Haiku/Luna/turbo) → 按任务难度路由 |
| 价格量级 | 输入通常 输出 的 1/3~1/5;越强输出越贵。中文比英文更耗 token(见下文) |
| 上下文长度 | 自研 1M 已普及;200k 是很多国际模型基准。长文档/长历史选 1M |
| 缓存友好度 | prompt caching 命中价:OpenAI/Anthropic/Google 0.1x,DeepSeek ~3%(另有峰谷) |
| 后发优惠 | Batch API -50%、Fast/Priority +2x、off-peak、数据驻留 +10%(地区限定端点加价 10%) |
| 生态&合规 | 国内业务/数据不出境→国产三强;全球/合规→国际;成本敏感+可错峰→DeepSeek |
| 分发渠道 | 有些模型只走 Bedrock/Foundry/火山/百炼等,走 CCU/渠道计费,单价可能不同 |
一句话选型口径
“先按任务复杂度把流量分成几档,用便宜模型顶住海量简单请求、贵模型只留给难题;再叠加 prompt caching + batch + 分层路由控成本。价格变化快,具体数值一律以官网最新价为准。“
二、成本构成 / Token 消耗量级
2.1 Cost 从哪几块来
- 输入(input) + 输出(output) 分开计费(基础大头):
cost = input_tokens × 单价in + output_tokens × 单价out - 缓存写 / 缓存读:缓存首次写入按 1.25x~2x 计费,后续命中按 0.1x~0.03x 计(这是降本关键,见第三节)
- 工具调用 overhead:每声明一个工具要吃掉工具定义 token;且启用工具时模型会被塞一段专用 system prompt(Claude 已核实:Sonnet 5 约 354–474 token)。工具结果(stdout/大文件)也回灌成输入 token
- 服务器工具:web search 通常额外
$10 / 1k 次搜索(OpenAI/Anthropic 同口径【已核实】),file search 按存储$0.10 / GB·天;Google 的 context cache 额外收 token·小时存储费 - 多 agent × 多步:每一步都把上一步输出 + 越来越长的历史继续回传,输入 token 随步数近似线性(若共享全部历史则更糟)膨胀 → N 个 agent × M 步 ≈ 成本翻 N×M 倍、且缓存可能被不停地写/失效
记忆:1 token ≈ 4 个英文字符 ≈ 0.75 英文单词(Claude/OpenAI 口径【已核实】);中文约 1 字 ≈ 1.5~2+ token,比英文按字数更贵。这也是为什么中文长文档/长历史成本体感更高。
2.2 一个典型 RAG 请求吃多少 token(量级估算口径)
以「问答 + 检索增强」单轮为例:
| 部分 | 量级(近似) |
|---|---|
| 系统提示(system) | 几十 ~ 几百 token(写得好百来 token) |
| 工具定义(若用 function calling) | 每工具几十~几百;专用 system prompt 额外 300~600 |
| 检索注入上下文(top-k 命中文档) | 每段约 500~1500 token,取 5–10 段 ≈ 5k~15k token ← 最肥的一块 |
| 当前问题/指令 | 几十 ~ 几百 |
| 对话历史(多轮) | 每轮几百~几千,随轮数累积 |
| 输出 | 通常 500~1500 token/次 |
粗算:一次普通 RAG 请求 input 约 5k~20k token,用 Claude Sonnet 5($2/$10)约 1~4 分钱;用 Opus 5($5/$25)约 3~10 分钱。(人民币量级。)真正烧钱的是高并发 × 长上下文 × 多步多 agent,不是单次。
2.3 Agent 多步成本膨胀(面试爱问)
- 单 agent 多步:第 1 步 input=a;第 2 步 input ≈ a + 第1步的output + 工具结果… 累积上传。
- 多 agent 编排:同一段分析被子 agent 各自消费一遍 → 信息被重复计费多次。
- 对策方向:尽量只传必要残差/增量、对历史做阶段摘要(compaction)而不是全量回灌、能 batch 的离线化。
三、缓存命中优化
面试最想听到的降本点是 Prompt Caching(提示词缓存)。核心一句话:把不变的”系统提示/工具定义/共同前缀”放在请求最前面并打上缓存标记,命中后以远低于输入的单价复用 KV 缓存,省 prefill 计算和钱。
3.1 Prompt Caching 原理,为什么”共同前缀放前面”能命中
- 模型推理输入要经过 prefill(把整段 prompt 算一遍 KV cache)才进入生成。变长/动态的内容(检索结果、用户消息、最新历史)每次都要重新 prefill。
- 而不变的静态块(系统提示、工具 schema、固定背景知识、对话前半段历史)如果连续多次请求里前缀完全相同,厂商可以前缀匹配 + 复用先前算好的 KV cache,只对变化的后缀做 prefill → 快、省。
- 所以铁律:把不变的东西放最前面(且让它们连续成一段共同前缀),把会变的东西(最新用户输入、每轮检索结果)放最后面;顺序 tools→system→messages,改 tools 会连带失效其后的整段缓存(Anthropic 已核实层级:tools 变→system、messages 全失效;system 变→messages 失效)。
3.2 价格上到底是省多少【已核实】
| 项 | 幅度 |
|---|---|
| 缓存命中(读) | OpenAI/Anthropic/Google ≈ 输入价 0.1x;DeepSeek ≈ 未命中价 ~3.3% |
| 缓存写入 | Anthropic:5 分钟 TTL 写 = 1.25x;1 小时 TTL 写 = 2x |
| 回本条件 | Anthropic 官方:5 分钟缓存 写 1 次后第 1 次命中即回本;1 小时缓存约第 2 次命中回本 |
| 最低可缓存长度 | Sonnet 5 需 ≥1024 token;Haiku 4.5 需 ≥4096;Opus 5 512。太短不缓存(不报错,白标了) |
| Google 差异 | 命中 0.1x + 另收存储费 $0.5~1/MTok·小时 |
- Anthropic 官方算账示范【已核实】:Claude Opus 5,一次会话 50k 输入 + 15k 输出 ≈ $0.705;其中 40k 输入走了缓存命中 ≈ $0.525(省 25%+)。
- 命中判定:看好响应
usage.cache_read_input_tokens(Anthropic/OpenAIcached_tokens)>0。短于最低长度的 prompt 标了 cache_control 也不会缓存,别误判。 - 并发注意:首个请求返回前缓存尚未建立,想对并发请求命中,需等第一枪打完。【已核实】
3.3 可落地的降本清单(由浅入深)
- 缓存静态前缀:
system + 工具定义 + 固定背景/知识库模板打成共用前缀,打cache_control(系统消息或首块)。变体:System prompt 里"cache_control": {"type":"ephemeral"}。 - 把会变的放最后:检索到的文档、用户新消息、最新几轮对话放在 messages 末尾,不让它们污染共同前缀。
- 分块缓存断点多用:细粒度 cache breakpoint,让”历史部分”尺寸不变可命中,只对新增内容单独计费。
- 结果缓存(response cache):对幂等、可容忍陈旧/带时效TTL 的 query 直接回放上次输出,推理成本降到 ~0,但要处理时效与一致性(配 TTL/版本键)。
- 语义/向量检索缓存:相似 query 先查缓存命中再决定要不要真检索,省 embed + 检索 + 上游成本。
- 减少 token 本身:精简 system prompt;RAG 只取 top-k 且做截断;对超长历史做阶段性摘要(compaction/message summary)而非全量回灌;工具懒加载——只注册本轮用到的工具(省工具定义 token + 那 300~600 token 的专用 system prompt)。
- 模型分层路由:简单请求走 Haiku/Luna/Flash/qwen-turbo(便宜+快),复杂才上 Opus/Sol/Pro。可上一个小 router 模型打标。
- Batch API:非实时/离线任务用批量,-50% 输入输出(要实时就放弃这折扣)。【已核实】
- 错峰:蹭 DeepSeek 等 off-peak 半价时段【已核实】。
- 度量&监控:埋点统计
cache hit rate、token 明细(input/output/cache_read/cache_write),定预算与告警;别只顾功能不看 usage 字段——这是面试里”工程化降本”的加分项。
KV cache 与 prompt caching 的关系
面试若被追问”KV cache 是什么”:KV cache 是推理服务内部缓存每层 attention 的 Key/Value 以省重复计算,是底层机制;厂商把它对用户包装成 prompt caching 并给出 0.1x 命中价。Interview 时可说”系统提示复用→prefill 少算→通过 prompt caching 单价体现”,不要混为结果缓存(结果缓存不调模型)。
四、面试怎么答有条理
给一套可复述的”四段式”答题骨架(比零散背价格更显专业):
-
先讲定价模型怎么构成(体现你懂账本)
“商用 API 一般 input/output 分开、按百万tokens 计费;再加上缓存写/读、工具调用 overhead、服务器工具(搜索/存储),多 agent 多步会放大。价格演进快,具体以官网为准。” -
再给一个”典型请求吃多少”的量级(体现你估过)
“一次普通 RAG 请求 input 约 5k~20k token、输出几百~1.5k;system+工具定义本身几百,检索 top-k 是最大头;多 agent 多步会因回灌历史近似乘 N×M。” -
落到降本三件套(体现你会操盘)
“① 模型分层路由,便宜的扛量;② prompt caching——把不变前缀放前面打 cache_control,命中价约 0.1x,命中即回本;③ 结果/语义检索缓存 + 精简上下文 + batch(-50%)。配合埋点看 cache hit rate。” -
点一句止损与工程(加分)
“会看 usage 字段、给历史做摘要、只传必要增量,并用预算告警兜底。”
背几个”数字抓手”:1 token≈4字符;prompt caching 命中≈输入价 0.1x(DeepSeek ~3%);写一次第 1 次命中回本;batch -50%;中文比英文更耗 token;示例 Opus5 50k/15k ≈$0.705→缓存后 $0.525。
面试收尾一句话
“综上,商用 API 选型的本质是按任务复杂度做模型金字塔分层 + 用缓存与批量把不变/可离线部分做到近零边际成本,并用可观测性持续迭代。价格以官网最新为准。“