Jev:给 Agent 的快速决策引擎

一句话总结

Jev(SystemOne Model)不聊天、不写作文,直接用 No/Yes、Choice、Score 三种原语输出结构化概率化决策,把 Agent 里「该不该、选哪个、有多严重」的判断从「先生成一段话再解析」变成毫秒级、可编程、可校准的能力。

定位

Jev 不是替代 LLM,而是替代「让 LLM 先说一段话再做判断」的低效步骤。 LLM 负责想清楚,Jev 负责快速判断,代码负责把事情安全做完。

Jev(SystemOne Model)是专为工程决策设计的 AI 模型。它不聊天、不写作文,直接输出结构化的概率化决策结果,通过 No/Yes、Choice、Score 三种原语实现毫秒级分类、路由与评分,让 AI 更贴合真实业务流程。Jev 的价值不是替代 LLM,而是替代”让 LLM 先说一段话再做判断”的低效步骤。


一、传统 LLM 做决策的痛点

问题说明
工作模式你问一个问题,模型先生成一段自然语言回答,程序再从文本中解析结论
程序真正需要明确的可执行结果(是否紧急、是否告警、交给谁处理),不是”漂亮的话”
代价逐 Token 生成慢(3–329秒)、消耗 Token 多、格式不稳定、需要额外解析

对比:退款工单紧急吗?

传统 LLMJev
输出一大段自然语言分析结构化 JSON:"is_urgent": {"noyl": 0.95}
响应3–329 秒70–500 毫秒
成本消耗 Token 多输入价格低至 $0.042/百万 Token,输出免费
格式可能错误,需解析结构化输出,0 错误(数字保证)
后续需要自己提取答案直接判断→程序立刻分支

"noyl": 0.95 表示有 95% 概率属于紧急事件,程序可直接据此分支执行。


二、Jev 的三种原语

原语含义输出形式适用记忆
No/Yes是或否判断0–1 的概率值(如 "noyl": 0.95)门控、异常判断、是否进入下一步做门控
Choice多选一选定选项 + 各选项概率分布任务路由、分类、自动分派做路由
Score评分连续分值(可在量表的两个等级之间)优先级排序、风险分级、满意度评估做排序和分级

No/Yes(判断题)

  • 本质:是或否判断,返回 0–1 的概率值
  • 案例:景区索道突然停运,游客排队
    • 问题:"question": "is_error"
    • 输出:"noyl": 0.91
  • 代码用法:if (noyl > 0.8) 触发告警

Choice(选择题)

  • 本质:从预设选项中选一个,并返回每个选项的概率分布
  • 案例:用户反馈”买票后未出二维码已扣款,要求尽快处理”,应交给哪个部门?
    • 选项:财务、技术、运营、客服
    • 输出:"choice": "客服", "confidence": 0.74,并附带各选项概率
  • 适用:任务路由、分类、自动分派

Score(打分题)

  • 本质:在定义的量表上打分,分数可落在两个等级之间(连续值)
  • 案例:游客投诉”排队2小时还没进,现场混乱,情绪激动”
    • 量表:1(轻微) → 2(一般) → 3(严重) → 4(很严重)
    • 输出:"score": 3.2, "confidence": 0.93
  • 适用:优先级排序、风险分级、满意度评估——不仅告诉你高不高,还告诉你高到什么程度

三、Jev 为什么这么快

关键不是模型小,而是工作方式完全不同:

传统 LLMJev
逐 Token 自回归”写作文”直接在预定义答案空间上并行采样概率
先生成文本 → 再解析 → 再做决策(三步)一次性返回结构化决策结果
响应 3–329 秒响应 70–500 毫秒

类比:传统 LLM 像在写作文,Jev 像在做选择题。

一次请求,并行多问

  • 一个 State 进来,可同时问 No/Yes、Choice、Score 等多个问题
  • 新增问题主要增加输出 Token,延迟增量很小
  • 问1个问题和问10个问题,速度几乎一样快(并行采样)

四、可靠性保障:概率校准(RLCD)

  • RLCD = Reinforcement Learning for Calibrated Decisions
  • 通过强化学习进行概率校准,让模型输出的概率与实际结果一致
  • 例如:模型说 0.9,长期来看应该约 90% 命中
  • 程序才能放心拿这些概率去做自动化分支,而不是只把它当成模糊感觉

核心结论:快 = 不生成长文本 + 并行回答封闭问题;可自动化 = 概率经过校准。


五、API 使用

请求结构:POST /v1/systemone

参数必填说明
model是模型名称,如 jev-latest,也可指定具体版本号
state是业务上下文信息,支持文本或 JSON,包含想让 Jev 分析的所有背景内容
questions是一个或多个结构化问题,每个问题带有明确的判断类型(No/Yes / Choice / Score)

请求示例:黄山景区客服场景

state:

我正在黄山景区排队两小时还没上缆车,现场非常拥挤,想先去人少的景点,天气也很热,希望尽快处理。

questions(一次请求,三个问题):

  1. is_incident(No/Yes):判断该场景是否属于需要立即处理的突发事件
  2. route_team(Choice):这个问题应该分配给哪个团队?选项:门票 / 交通 / 运维 / 酒店
  3. severity(Score):评估当前的严重程度,1=非常低,2=中等,3=比较紧急,4=非常紧急

响应结果解析

① No/Yes 返回:"noyl": 0.93
→ 93% 把握认为这是需要立即处理的事件。程序直接拿 0.93 与阈值比较即可,无需理解中文。

② Choice 返回:"choice": "运维", "confidence": 0.78, "probabilities": {"运维": 0.85, "安全": 0.06, "产品": 0.08, "其他": 0.11}
→ 最适合处理此问题的团队是运维(概率 0.85 远高于其他)。概率分布适合自动路由:若最高选项概率远高于其他则直派;若接近则进入人工复合流程。

③ Score 返回:"score": 2.31, "confidence": 0.8, "probabilities": {"0-3": 0.76, "3-6": 0.21, "6-10": 0.03}
→ 严重程度 2.31,介于 2(中等)和 3(比较紧急)之间,更接近 2。适合做优先级排序。

API 调优:调问题设计,不是调 temperature

Jev 是决策模型,调优重点不在 temperature / top_p 等生成参数,而在:

调优维度不推荐推荐
state(上下文)丢一整天的日志、全部监控数据近 10–20 条失败率 38%,近 5 分钟异常率 17–126 次
instructions(问题指令)“分析并决定怎么处理""这是本班次需要立即处理的设备故障吗?“
Choice criteria(选项标准)选项模糊、描述不清选项互斥、覆盖完整、描述清晰
Score rubric(评分量规)只写 1/2/3/4把每一档具体代表什么写得能解释、能落地
代码阈值依赖模型输出文本用代码做阈值比较和分支判断

Choice 选项设计示例:

分类维度选项
票务门票、退改、年卡
支付支付失败、扣款问题
设备闸机、显示屏、监控
客服咨询、投诉、其他

Score 等级锚点示例:

等级描述处理方式
0 / 正常通常无需干预—
轻微稍有故障、不影响体验观察
影响部分游客 / 排队时间较长支付失败、扣款问题关注
核心业务中断 / 无法正常进入或使用大面积设备不可用、主要区域拥挤(近5分钟异常率17–126次)立即处理

关键原则:Jev 不负责流程控制

代码负责阈值、分支、副作用;Jev 只负责语义判断。

至于阈值是多少、要不要触发流程、要不要直接执行、要不要转人工——这些都应该由你的代码来决定。

阈值与策略示例

阈值在业务代码里调,根据业务风险设置:

概率区间处理策略
p ≥ 0.85自动禁用 / 立刻处理
0.55 ~ 0.85交给 LLM / 人工复核
< 0.55不自动执行

示例策略,不是官方固定值。请根据你的业务场景调整。


六、持续调优:闭环迭代

1. 准备标注数据集 —— 收集真实场景样本,标注正确答案
2. 运行 Jev —— 用同样 state 和 questions 进行批量测试
3. 评估效果 —— 检查准确率、概率校准(calibration)
4. 调整问题设计 —— 优化 state、instructions、criteria、rubric
5. 重新测试 —— 在新数据上验证改进效果

Jev 的优化更像是在优化一个判别系统,而不是在调一个自由生成模型。

Jev 效果的三个决定因素:

  1. 你喂了什么信息
  2. 你问了什么问题
  3. 你怎么解释它给出的概率

这才是 Jev 真正的参数调优。


七、适用边界

适合的场景:分类路由、审核、风险门控、LLM 输出质检——凡是能被设计成明确判断题的任务。

不适合的场景:写文章、自由聊天、算术推理、开放式长链推理。

重要提醒:

  • 不要把日常计算、金融运算、复杂规则推给 Jev:这些交给代码
  • Jev 擅长语义理解和快速判断,不擅长精确计算
  • 复杂规则、日期计算、金额计算,这些更应该交给代码

八、部署与开源

官方模型权重未开源

官方 Jev 模型权重目前未开源,不能自托管。截至 2026-09-22,仅官方侧有权重。如果你看到”可下载的 Jev 权重”,请谨慎甄别,避免误导。

SDK 开源 ≠ 模型开源

很多人会把 SDK 开源误认为模型开源,但这两者完全不是一回事。SDK 只是调用工具,不是模型本身。如果有人说”Jev 已经开源了”,第一反应要先问:说的是 SDK 还是模型权重?

官方开源生态(可自己部署的工具)

以下项目在 GitHub 上开源,可以部署到自己的业务服务器,但它们不是 Jev 模型权重:

  • Python SDK:官方推荐的 Python 客户端
  • JS SDK:官方推荐的 JavaScript 客户端
  • AgentSkills:官方 Agent 技能集
  • SystemOne Adapter:与 System One 模型的适配工具

三种部署路线

路线说明适合场景
① 官方 API直接走官方 TypeSafe API,最高性能,最稳定大多数场景
② 第三方网关通过 Vercel / Cloudflare / OpenRouter 等调用希望统一管理模型调用的团队
③ 社区复刻/蒸馏社区自托管实现,不等同官方 Jev研究导向或实验场景,效果性能可能与官方有差异

最现实的落地方案

业务系统、数据库、工具服务继续本地部署,Jev 通过 API 方式接入。数据敏感时,在发送前做脱敏和裁剪,只把当前决策真正需要的信息发给 Jev。


九、Jev 在 Agent 中的架构位置

Jev 不是新的聊天模型,而是 Agent 的快速决策原语

用户/景区事件 → LLM/Supervisor → Jev → 业务代码/Tool/MCP → 景区系统 → 结果/人工审核
                理解意图/计划/说明    该不该?选哪个?打多少分?    调用工具执行业务逻辑    自动执行/发送通知/服务调度/触发工作流/应急发布/闭环处理
  • LLM 负责想清楚(理解意图、计划任务、解释说明)
  • Jev 负责快速判断(该不该、选哪个、有多严重)
  • 代码 负责把事情安全地做完(调用工具、执行业务逻辑)

Jev 并不是一个模糊的大脑,而是一个非常适合做工程分层的能力模块。


十、速查表

术语速查

术语含义
No/Yes(noyl)是或否判断,返回 0–1 的概率值,用于门控/异常判断
Choice多选一,返回选定选项 + 各选项概率分布,用于路由/分类
Score连续打分,可落在两个等级之间,用于排序/风险分级
RLCDReinforcement Learning for Calibrated Decisions,强化学习概率校准
state业务上下文信息,支持文本或 JSON
instructions问题指令,一个问题只问一个判断
criteriaChoice 选项标准,需互斥、覆盖完整、描述清晰
rubricScore 评分量规,每档需写得能解释、能落地

场景对照

任务类型适合的 Jev 原语不适合的场景
是否紧急/是否告警No/Yes写文章、自由聊天
工单分类、自动分派Choice算术推理
风险分级、优先级排序Score开放式长链推理
审核、质检No/Yes + Choice复杂规则、日期计算、金额计算

落地检查表

检查项说明
封闭问题本身适合 Jev答案空间更易被定义
不要把复杂推理交给 Jev计算、规划、深推理由传统 LLM 承担
真正的价值在 Agent 中间层大量非联合判断可以一次并行完成
State 兜底决策思考链路覆盖从多许代码校验
Question 一次只问一个判断高风险操作需做人工审批
Criteria / Rubric 清晰无歧义用真实标注数据测试构建效能

核心金句

Jev 的价值不是”替代大模型”,而是把 Agent 里那些”该不该、选哪个、严不严重”变成又快、又便宜、又可编程的能力。

记住这三句话:

  1. 封闭问题本身适合 Jev(答案空间更易被定义)
  2. 不要把复杂推理交给 Jev(计算、规划、深推理由传统的 LLM 承担)
  3. 它真正的价值不是在独立使用时有多神奇,而是在 Agent 中间层里,把那些原本低效的判断节点,做得又快又稳

📚 相关笔记

来源说明

  • 原始笔记:Inbox《Jev:Agent里的快速决策引擎》
  • 文中价格、延迟、准确率为原笔记引用数据,实际以官方文档与当前报价为准