🏥 AIP Evolve 医院案例:AI 推理成本优化

一句话总结

坦帕综合医院(Tampa General Hospital, TGH)用 Palantir AIP Evolve 优化医疗资源利用审核工作流:AI 推理成本降 70%、GPT 调用次数降 84%、专家偏好优化后输出达 90%。这不是「把大模型换成小模型」,而是把「找浪费 → 守质量 → 再上线」做成了一套可验证的自动寻优流程。

原始素材

口径边界

70% 指 AI 推理与算力成本,不是医院整体运营成本。
来源为 Palantir DevCon6 官方分享,非第三方独立审计。场景是医疗资源利用审核(Utilization Review)——分析病历判断住院和治疗合理性,直接关系保险报销。


一、AI 跑通之后,成本为什么会失控?

DevCon6 全场最好的一张 slide

When AI works, the next problem is scale.

一个真实工作流,周围是多个候选模型。每增加一个环节、模型、提示词或工具,组合空间都会迅速膨胀:

工作流环节 × 模型 × 提示词 × 工具调用 × 架构变体

组合空间大到人工穷举不完。团队很快无法靠人工把所有组合试一遍。

AIP Evolve 要解决的,就是把「选哪个模型、改哪段提示词、哪次调用可以删」从拍脑袋变成可验证的自动寻优。

Palantir 给它的定位:Automated AI Value Maximization(自动化的 AI 价值最大化)。


二、AIP Evolve 怎么工作:四步只回答四个问题

步骤问题内容
01 GOAL优化什么?选 Target(例如 AIP Logic 里要优化的 AI 工作流);选 Goal(例如 Optimize cost)
02 VALIDATION STRATEGY质量红线是什么?配置测试集、评估器、holdout;明确「什么不能退化」
03 AGENT CONSTRAINTS允许改什么?限定可替换的模型、可修改的提示词、可删除的调用、可调整的架构
04 REVIEW最后由谁批准?输出提案,由人审核;不是自动上线

三、它给的不是答案,而是可审核的权衡

同样是降成本,两份真实提案得到完全不同的结论。

提案 A:SAFE TO PROCEED · 置信度 HIGH

把 Block A 从 GPT-5.1 换成 GPT-5.4 nano,计算成本降 97%。

  • 判断依据:这个任务是「分类 + 工具调度」,不需要推理级模型
  • 验证明细:30 个真实生产用例,20 个用于迭代,10 个 holdout
  • 结果:成本下降 97%;原提案界面同时标注了 69% 与 +7pp 两项指标(原文未展开口径)

把两个 Sonnet 调用都换成 GPT-5 mini:计算成本降约 68%,但慢 3.2 倍。

  • 省 68% 的代价是慢 3.2 倍
  • 这个交易划不划算取决于场景:批量夜间处理没问题,实时交互就不行

核心认知

不存在脱离场景的最优模型,只有满足业务约束的最优组合。
系统把成本、速度、质量和置信度摊开,最后由人决定。


四、三个成本旋钮:不用 Palantir 也能照着做

先把推理成本拆开:

推理成本 = 总调用次数 × 单次 Token 数 × 模型单价

失败重试、Agent 自我检查和多轮纠错,最终都会回到这三个旋钮上。优化按这个顺序做。

① 先减少调用次数——收益最大

换模型只是让一次调用更便宜;删掉调用,是让这笔钱彻底消失。

AIP Evolve 在案例中发现了已有的结构化 Ontology 数据,因此直接消除了两次 LLM 调用。

每个工作流节点只问四个问题:

问题做法
答案有明确规则吗?用代码
结构化数据里已有答案吗?用查询
只是抽取、分类或匹配吗?小模型 / 传统 NLP
需要理解模糊语言、推理和生成吗?才用大模型

② 再减少单次 Token

做法说明
DEDUP同一条规则不要在 system prompt 和 user prompt 里重复出现
RETRIEVE不要把整个知识库塞进上下文,只给当前任务真正相关的片段
CONSTRAIN只需要字段或 JSON 时,不要让模型生成一大段解释

Prompt Caching

固定且高频复用的前缀可以做 prompt caching,但先看命中率和真实账单,不要只看理论折扣。

③ 最后做模型路由

不是「小模型优先」,而是「任务分级」:

  • 字段抽取、简单分类 → 优先测试小模型
  • 复杂推理、长文档、低容错任务 → 再用强模型
  • 每类任务都要有质量下限、延迟上限和成本目标

三个旋钮外面必须有护栏

Tracing 告诉你钱花在哪;Evals 告诉你改完有没有退化;holdout 防止只对测试题优化;人工复核守住高风险场景。


五、Evals 是降本的护栏,不是附属功能

AIP EvalsAIP Evolve
定义测试用例配置优化目标和约束
选评估器交给 AI FDE 执行
跑实验自动迭代寻优
出结果对比表出带判断的提案

两者的关系写在那段发给 AI FDE 的 prompt 里:
「用 AIP Evals 和你生成的测试集来验证没有出现有意义的退化。」

没有评估的降本是在赌,有评估的降本才是工程。

至少守住三层验证

层做什么
DETERMINISTIC 确定性指标精确匹配、正则、范围、结构校验,适合有明确答案的任务
SEMANTIC 语义与稳定性LLM-as-a-judge 加扰动测试,检查意图、质量和输入变化下的稳定性
EXPERT 人工专家基准高风险输出最终让业务专家盲测;坦帕的 90% 偏好就来自这一层

六、明天就能开始的四步

  1. 接入 tracing,按任务拆账 —— 先看见钱花在哪
  2. 锁定成本最高的三个任务 —— 不要一上来重构所有流程
  3. 先定红线,再动三个旋钮 —— 质量下限、延迟上限、成本目标
  4. 小流量上线,继续看生产指标 —— 批量夜间处理与实时交互的取舍不同

七、Takeaway:AI 降本最终只看四件事

少 × 短 × 准 × 可证明

  • 更少的调用
  • 更短的上下文与输出
  • 更匹配任务难度的模型
  • 有评估集、有 holdout、有人工复核与生产监控

AI 降本不是把最贵的模型换成最便宜的模型。 它是在质量不退的前提下,让更少的调用、用更少的 Token,去调用最合适的模型。

没有 Evals,降本是赌博;有 Evals,降本才是工程。
先看见成本,再守住质量,最后持续优化。


📚 相关笔记

来源与边界

  • 原版 PDF:打开 PDF
  • Palantir DevCon6 官方分享(2026.07),非第三方独立审计
  • 70% 口径仅指 AI 推理与算力成本,不是医院整体运营成本