🏥 AIP Evolve 医院案例:AI 推理成本优化
一句话总结
坦帕综合医院(Tampa General Hospital, TGH)用 Palantir AIP Evolve 优化医疗资源利用审核工作流:AI 推理成本降 70%、GPT 调用次数降 84%、专家偏好优化后输出达 90%。这不是「把大模型换成小模型」,而是把「找浪费 → 守质量 → 再上线」做成了一套可验证的自动寻优流程。
原始素材
- 原版 PDF 已归档:打开 PDF(8 页 · Palantir DevCon6 · 2026.07)
- 分享人:David Zirh, MD, MBA(TGH 医师顾问服务总监)+ Colton Rusch(Palantir FDE)
- 同系列:本体 Ontology 全景(概念·标准·构建·落地)、Palantir 企业 AI 架构深度拆解(Foundry · Ontology · AIP)
口径边界
70% 指 AI 推理与算力成本,不是医院整体运营成本。
来源为 Palantir DevCon6 官方分享,非第三方独立审计。场景是医疗资源利用审核(Utilization Review)——分析病历判断住院和治疗合理性,直接关系保险报销。
一、AI 跑通之后,成本为什么会失控?
DevCon6 全场最好的一张 slide
When AI works, the next problem is scale.
一个真实工作流,周围是多个候选模型。每增加一个环节、模型、提示词或工具,组合空间都会迅速膨胀:
工作流环节 × 模型 × 提示词 × 工具调用 × 架构变体
组合空间大到人工穷举不完。团队很快无法靠人工把所有组合试一遍。
AIP Evolve 要解决的,就是把「选哪个模型、改哪段提示词、哪次调用可以删」从拍脑袋变成可验证的自动寻优。
Palantir 给它的定位:Automated AI Value Maximization(自动化的 AI 价值最大化)。
二、AIP Evolve 怎么工作:四步只回答四个问题
| 步骤 | 问题 | 内容 |
|---|---|---|
| 01 GOAL | 优化什么? | 选 Target(例如 AIP Logic 里要优化的 AI 工作流);选 Goal(例如 Optimize cost) |
| 02 VALIDATION STRATEGY | 质量红线是什么? | 配置测试集、评估器、holdout;明确「什么不能退化」 |
| 03 AGENT CONSTRAINTS | 允许改什么? | 限定可替换的模型、可修改的提示词、可删除的调用、可调整的架构 |
| 04 REVIEW | 最后由谁批准? | 输出提案,由人审核;不是自动上线 |
三、它给的不是答案,而是可审核的权衡
同样是降成本,两份真实提案得到完全不同的结论。
提案 A:SAFE TO PROCEED · 置信度 HIGH
把 Block A 从 GPT-5.1 换成 GPT-5.4 nano,计算成本降 97%。
- 判断依据:这个任务是「分类 + 工具调度」,不需要推理级模型
- 验证明细:30 个真实生产用例,20 个用于迭代,10 个 holdout
- 结果:成本下降 97%;原提案界面同时标注了 69% 与 +7pp 两项指标(原文未展开口径)
提案 B:REVIEW RECOMMENDED · 置信度 MEDIUM
把两个 Sonnet 调用都换成 GPT-5 mini:计算成本降约 68%,但慢 3.2 倍。
- 省 68% 的代价是慢 3.2 倍
- 这个交易划不划算取决于场景:批量夜间处理没问题,实时交互就不行
核心认知
不存在脱离场景的最优模型,只有满足业务约束的最优组合。
系统把成本、速度、质量和置信度摊开,最后由人决定。
四、三个成本旋钮:不用 Palantir 也能照着做
先把推理成本拆开:
推理成本 = 总调用次数 × 单次 Token 数 × 模型单价
失败重试、Agent 自我检查和多轮纠错,最终都会回到这三个旋钮上。优化按这个顺序做。
① 先减少调用次数——收益最大
换模型只是让一次调用更便宜;删掉调用,是让这笔钱彻底消失。
AIP Evolve 在案例中发现了已有的结构化 Ontology 数据,因此直接消除了两次 LLM 调用。
每个工作流节点只问四个问题:
| 问题 | 做法 |
|---|---|
| 答案有明确规则吗? | 用代码 |
| 结构化数据里已有答案吗? | 用查询 |
| 只是抽取、分类或匹配吗? | 小模型 / 传统 NLP |
| 需要理解模糊语言、推理和生成吗? | 才用大模型 |
② 再减少单次 Token
| 做法 | 说明 |
|---|---|
| DEDUP | 同一条规则不要在 system prompt 和 user prompt 里重复出现 |
| RETRIEVE | 不要把整个知识库塞进上下文,只给当前任务真正相关的片段 |
| CONSTRAIN | 只需要字段或 JSON 时,不要让模型生成一大段解释 |
Prompt Caching
固定且高频复用的前缀可以做 prompt caching,但先看命中率和真实账单,不要只看理论折扣。
③ 最后做模型路由
不是「小模型优先」,而是「任务分级」:
- 字段抽取、简单分类 → 优先测试小模型
- 复杂推理、长文档、低容错任务 → 再用强模型
- 每类任务都要有质量下限、延迟上限和成本目标
三个旋钮外面必须有护栏
Tracing 告诉你钱花在哪;Evals 告诉你改完有没有退化;holdout 防止只对测试题优化;人工复核守住高风险场景。
五、Evals 是降本的护栏,不是附属功能
| AIP Evals | AIP Evolve |
|---|---|
| 定义测试用例 | 配置优化目标和约束 |
| 选评估器 | 交给 AI FDE 执行 |
| 跑实验 | 自动迭代寻优 |
| 出结果对比表 | 出带判断的提案 |
两者的关系写在那段发给 AI FDE 的 prompt 里:
「用 AIP Evals 和你生成的测试集来验证没有出现有意义的退化。」
没有评估的降本是在赌,有评估的降本才是工程。
至少守住三层验证
| 层 | 做什么 |
|---|---|
| DETERMINISTIC 确定性指标 | 精确匹配、正则、范围、结构校验,适合有明确答案的任务 |
| SEMANTIC 语义与稳定性 | LLM-as-a-judge 加扰动测试,检查意图、质量和输入变化下的稳定性 |
| EXPERT 人工专家基准 | 高风险输出最终让业务专家盲测;坦帕的 90% 偏好就来自这一层 |
六、明天就能开始的四步
- 接入 tracing,按任务拆账 —— 先看见钱花在哪
- 锁定成本最高的三个任务 —— 不要一上来重构所有流程
- 先定红线,再动三个旋钮 —— 质量下限、延迟上限、成本目标
- 小流量上线,继续看生产指标 —— 批量夜间处理与实时交互的取舍不同
七、Takeaway:AI 降本最终只看四件事
少 × 短 × 准 × 可证明
- 更少的调用
- 更短的上下文与输出
- 更匹配任务难度的模型
- 有评估集、有 holdout、有人工复核与生产监控
AI 降本不是把最贵的模型换成最便宜的模型。 它是在质量不退的前提下,让更少的调用、用更少的 Token,去调用最合适的模型。
没有 Evals,降本是赌博;有 Evals,降本才是工程。
先看见成本,再守住质量,最后持续优化。
📚 相关笔记
- Palantir 企业 AI 架构深度拆解(Foundry · Ontology · AIP) — AIP / Foundry / Ontology 的整体架构与 Action Type
- 本体 Ontology 全景(概念·标准·构建·落地) — 本体、知识图谱与语义层
- 本体论落地实践:从数据中台到智能中台 — 语义层让「结构化数据直接回答」,正是减少 LLM 调用的前提
- AI 数据价值重估:Trace · Eval · Governance — Trace / Eval / Governance 与本文的 Evals 护栏互相印证
- 生产级Agent工程架构蓝图(从Demo到千万级并发) — 生产级观测、成本与熔断
来源与边界
- 原版 PDF:打开 PDF
- Palantir DevCon6 官方分享(2026.07),非第三方独立审计
- 70% 口径仅指 AI 推理与算力成本,不是医院整体运营成本