Jev:给 Agent 的快速决策引擎
一句话总结
Jev(SystemOne Model)不聊天、不写作文,直接用 No/Yes、Choice、Score 三种原语输出结构化概率化决策,把 Agent 里「该不该、选哪个、有多严重」的判断从「先生成一段话再解析」变成毫秒级、可编程、可校准的能力。
定位
Jev 不是替代 LLM,而是替代「让 LLM 先说一段话再做判断」的低效步骤。 LLM 负责想清楚,Jev 负责快速判断,代码负责把事情安全做完。
Jev(SystemOne Model)是专为工程决策设计的 AI 模型。它不聊天、不写作文,直接输出结构化的概率化决策结果,通过 No/Yes、Choice、Score 三种原语实现毫秒级分类、路由与评分,让 AI 更贴合真实业务流程。Jev 的价值不是替代 LLM,而是替代”让 LLM 先说一段话再做判断”的低效步骤。
一、传统 LLM 做决策的痛点
| 问题 | 说明 |
|---|---|
| 工作模式 | 你问一个问题,模型先生成一段自然语言回答,程序再从文本中解析结论 |
| 程序真正需要 | 明确的可执行结果(是否紧急、是否告警、交给谁处理),不是”漂亮的话” |
| 代价 | 逐 Token 生成慢(3–329秒)、消耗 Token 多、格式不稳定、需要额外解析 |
对比:退款工单紧急吗?
| 传统 LLM | Jev | |
|---|---|---|
| 输出 | 一大段自然语言分析 | 结构化 JSON:"is_urgent": {"noyl": 0.95} |
| 响应 | 3–329 秒 | 70–500 毫秒 |
| 成本 | 消耗 Token 多 | 输入价格低至 $0.042/百万 Token,输出免费 |
| 格式 | 可能错误,需解析 | 结构化输出,0 错误(数字保证) |
| 后续 | 需要自己提取答案 | 直接判断→程序立刻分支 |
"noyl": 0.95 表示有 95% 概率属于紧急事件,程序可直接据此分支执行。
二、Jev 的三种原语
| 原语 | 含义 | 输出形式 | 适用 | 记忆 |
|---|---|---|---|---|
| No/Yes | 是或否判断 | 0–1 的概率值(如 "noyl": 0.95) | 门控、异常判断、是否进入下一步 | 做门控 |
| Choice | 多选一 | 选定选项 + 各选项概率分布 | 任务路由、分类、自动分派 | 做路由 |
| Score | 评分 | 连续分值(可在量表的两个等级之间) | 优先级排序、风险分级、满意度评估 | 做排序和分级 |
No/Yes(判断题)
- 本质:是或否判断,返回 0–1 的概率值
- 案例:景区索道突然停运,游客排队
- 问题:
"question": "is_error" - 输出:
"noyl": 0.91
- 问题:
- 代码用法:
if (noyl > 0.8) 触发告警
Choice(选择题)
- 本质:从预设选项中选一个,并返回每个选项的概率分布
- 案例:用户反馈”买票后未出二维码已扣款,要求尽快处理”,应交给哪个部门?
- 选项:财务、技术、运营、客服
- 输出:
"choice": "客服", "confidence": 0.74,并附带各选项概率
- 适用:任务路由、分类、自动分派
Score(打分题)
- 本质:在定义的量表上打分,分数可落在两个等级之间(连续值)
- 案例:游客投诉”排队2小时还没进,现场混乱,情绪激动”
- 量表:
1(轻微) → 2(一般) → 3(严重) → 4(很严重) - 输出:
"score": 3.2, "confidence": 0.93
- 量表:
- 适用:优先级排序、风险分级、满意度评估——不仅告诉你高不高,还告诉你高到什么程度
三、Jev 为什么这么快
关键不是模型小,而是工作方式完全不同:
| 传统 LLM | Jev |
|---|---|
| 逐 Token 自回归”写作文” | 直接在预定义答案空间上并行采样概率 |
| 先生成文本 → 再解析 → 再做决策(三步) | 一次性返回结构化决策结果 |
| 响应 3–329 秒 | 响应 70–500 毫秒 |
类比:传统 LLM 像在写作文,Jev 像在做选择题。
一次请求,并行多问
- 一个
State进来,可同时问 No/Yes、Choice、Score 等多个问题 - 新增问题主要增加输出 Token,延迟增量很小
- 问1个问题和问10个问题,速度几乎一样快(并行采样)
四、可靠性保障:概率校准(RLCD)
- RLCD = Reinforcement Learning for Calibrated Decisions
- 通过强化学习进行概率校准,让模型输出的概率与实际结果一致
- 例如:模型说
0.9,长期来看应该约 90% 命中 - 程序才能放心拿这些概率去做自动化分支,而不是只把它当成模糊感觉
核心结论:快 = 不生成长文本 + 并行回答封闭问题;可自动化 = 概率经过校准。
五、API 使用
请求结构:POST /v1/systemone
| 参数 | 必填 | 说明 |
|---|---|---|
model | 是 | 模型名称,如 jev-latest,也可指定具体版本号 |
state | 是 | 业务上下文信息,支持文本或 JSON,包含想让 Jev 分析的所有背景内容 |
questions | 是 | 一个或多个结构化问题,每个问题带有明确的判断类型(No/Yes / Choice / Score) |
请求示例:黄山景区客服场景
state:
我正在黄山景区排队两小时还没上缆车,现场非常拥挤,想先去人少的景点,天气也很热,希望尽快处理。
questions(一次请求,三个问题):
- is_incident(No/Yes):判断该场景是否属于需要立即处理的突发事件
- route_team(Choice):这个问题应该分配给哪个团队?选项:门票 / 交通 / 运维 / 酒店
- severity(Score):评估当前的严重程度,1=非常低,2=中等,3=比较紧急,4=非常紧急
响应结果解析
① No/Yes 返回:"noyl": 0.93
→ 93% 把握认为这是需要立即处理的事件。程序直接拿 0.93 与阈值比较即可,无需理解中文。
② Choice 返回:"choice": "运维", "confidence": 0.78, "probabilities": {"运维": 0.85, "安全": 0.06, "产品": 0.08, "其他": 0.11}
→ 最适合处理此问题的团队是运维(概率 0.85 远高于其他)。概率分布适合自动路由:若最高选项概率远高于其他则直派;若接近则进入人工复合流程。
③ Score 返回:"score": 2.31, "confidence": 0.8, "probabilities": {"0-3": 0.76, "3-6": 0.21, "6-10": 0.03}
→ 严重程度 2.31,介于 2(中等)和 3(比较紧急)之间,更接近 2。适合做优先级排序。
API 调优:调问题设计,不是调 temperature
Jev 是决策模型,调优重点不在 temperature / top_p 等生成参数,而在:
| 调优维度 | 不推荐 | 推荐 |
|---|---|---|
| state(上下文) | 丢一整天的日志、全部监控数据 | 近 10–20 条失败率 38%,近 5 分钟异常率 17–126 次 |
| instructions(问题指令) | “分析并决定怎么处理" | "这是本班次需要立即处理的设备故障吗?“ |
| Choice criteria(选项标准) | 选项模糊、描述不清 | 选项互斥、覆盖完整、描述清晰 |
| Score rubric(评分量规) | 只写 1/2/3/4 | 把每一档具体代表什么写得能解释、能落地 |
| 代码阈值 | 依赖模型输出文本 | 用代码做阈值比较和分支判断 |
Choice 选项设计示例:
| 分类维度 | 选项 |
|---|---|
| 票务 | 门票、退改、年卡 |
| 支付 | 支付失败、扣款问题 |
| 设备 | 闸机、显示屏、监控 |
| 客服 | 咨询、投诉、其他 |
Score 等级锚点示例:
| 等级 | 描述 | 处理方式 |
|---|---|---|
| 0 / 正常 | 通常无需干预 | — |
| 轻微 | 稍有故障、不影响体验 | 观察 |
| 影响部分游客 / 排队时间较长 | 支付失败、扣款问题 | 关注 |
| 核心业务中断 / 无法正常进入或使用 | 大面积设备不可用、主要区域拥挤(近5分钟异常率17–126次) | 立即处理 |
关键原则:Jev 不负责流程控制
代码负责阈值、分支、副作用;Jev 只负责语义判断。
至于阈值是多少、要不要触发流程、要不要直接执行、要不要转人工——这些都应该由你的代码来决定。
阈值与策略示例
阈值在业务代码里调,根据业务风险设置:
| 概率区间 | 处理策略 |
|---|---|
| p ≥ 0.85 | 自动禁用 / 立刻处理 |
| 0.55 ~ 0.85 | 交给 LLM / 人工复核 |
| < 0.55 | 不自动执行 |
示例策略,不是官方固定值。请根据你的业务场景调整。
六、持续调优:闭环迭代
1. 准备标注数据集 —— 收集真实场景样本,标注正确答案
2. 运行 Jev —— 用同样 state 和 questions 进行批量测试
3. 评估效果 —— 检查准确率、概率校准(calibration)
4. 调整问题设计 —— 优化 state、instructions、criteria、rubric
5. 重新测试 —— 在新数据上验证改进效果
Jev 的优化更像是在优化一个判别系统,而不是在调一个自由生成模型。
Jev 效果的三个决定因素:
- 你喂了什么信息
- 你问了什么问题
- 你怎么解释它给出的概率
这才是 Jev 真正的参数调优。
七、适用边界
适合的场景:分类路由、审核、风险门控、LLM 输出质检——凡是能被设计成明确判断题的任务。
不适合的场景:写文章、自由聊天、算术推理、开放式长链推理。
重要提醒:
- 不要把日常计算、金融运算、复杂规则推给 Jev:这些交给代码
- Jev 擅长语义理解和快速判断,不擅长精确计算
- 复杂规则、日期计算、金额计算,这些更应该交给代码
八、部署与开源
官方模型权重未开源
官方 Jev 模型权重目前未开源,不能自托管。截至 2026-09-22,仅官方侧有权重。如果你看到”可下载的 Jev 权重”,请谨慎甄别,避免误导。
SDK 开源 ≠ 模型开源
很多人会把 SDK 开源误认为模型开源,但这两者完全不是一回事。SDK 只是调用工具,不是模型本身。如果有人说”Jev 已经开源了”,第一反应要先问:说的是 SDK 还是模型权重?
官方开源生态(可自己部署的工具)
以下项目在 GitHub 上开源,可以部署到自己的业务服务器,但它们不是 Jev 模型权重:
- Python SDK:官方推荐的 Python 客户端
- JS SDK:官方推荐的 JavaScript 客户端
- AgentSkills:官方 Agent 技能集
- SystemOne Adapter:与 System One 模型的适配工具
三种部署路线
| 路线 | 说明 | 适合场景 |
|---|---|---|
| ① 官方 API | 直接走官方 TypeSafe API,最高性能,最稳定 | 大多数场景 |
| ② 第三方网关 | 通过 Vercel / Cloudflare / OpenRouter 等调用 | 希望统一管理模型调用的团队 |
| ③ 社区复刻/蒸馏 | 社区自托管实现,不等同官方 Jev | 研究导向或实验场景,效果性能可能与官方有差异 |
最现实的落地方案
业务系统、数据库、工具服务继续本地部署,Jev 通过 API 方式接入。数据敏感时,在发送前做脱敏和裁剪,只把当前决策真正需要的信息发给 Jev。
九、Jev 在 Agent 中的架构位置
Jev 不是新的聊天模型,而是 Agent 的快速决策原语
用户/景区事件 → LLM/Supervisor → Jev → 业务代码/Tool/MCP → 景区系统 → 结果/人工审核
理解意图/计划/说明 该不该?选哪个?打多少分? 调用工具执行业务逻辑 自动执行/发送通知/服务调度/触发工作流/应急发布/闭环处理
- LLM 负责想清楚(理解意图、计划任务、解释说明)
- Jev 负责快速判断(该不该、选哪个、有多严重)
- 代码 负责把事情安全地做完(调用工具、执行业务逻辑)
Jev 并不是一个模糊的大脑,而是一个非常适合做工程分层的能力模块。
十、速查表
术语速查
| 术语 | 含义 |
|---|---|
| No/Yes(noyl) | 是或否判断,返回 0–1 的概率值,用于门控/异常判断 |
| Choice | 多选一,返回选定选项 + 各选项概率分布,用于路由/分类 |
| Score | 连续打分,可落在两个等级之间,用于排序/风险分级 |
| RLCD | Reinforcement Learning for Calibrated Decisions,强化学习概率校准 |
| state | 业务上下文信息,支持文本或 JSON |
| instructions | 问题指令,一个问题只问一个判断 |
| criteria | Choice 选项标准,需互斥、覆盖完整、描述清晰 |
| rubric | Score 评分量规,每档需写得能解释、能落地 |
场景对照
| 任务类型 | 适合的 Jev 原语 | 不适合的场景 |
|---|---|---|
| 是否紧急/是否告警 | No/Yes | 写文章、自由聊天 |
| 工单分类、自动分派 | Choice | 算术推理 |
| 风险分级、优先级排序 | Score | 开放式长链推理 |
| 审核、质检 | No/Yes + Choice | 复杂规则、日期计算、金额计算 |
落地检查表
| 检查项 | 说明 |
|---|---|
| 封闭问题本身适合 Jev | 答案空间更易被定义 |
| 不要把复杂推理交给 Jev | 计算、规划、深推理由传统 LLM 承担 |
| 真正的价值在 Agent 中间层 | 大量非联合判断可以一次并行完成 |
| State 兜底决策思考链路 | 覆盖从多许代码校验 |
| Question 一次只问一个判断 | 高风险操作需做人工审批 |
| Criteria / Rubric 清晰无歧义 | 用真实标注数据测试构建效能 |
核心金句
Jev 的价值不是”替代大模型”,而是把 Agent 里那些”该不该、选哪个、严不严重”变成又快、又便宜、又可编程的能力。
记住这三句话:
- 封闭问题本身适合 Jev(答案空间更易被定义)
- 不要把复杂推理交给 Jev(计算、规划、深推理由传统的 LLM 承担)
- 它真正的价值不是在独立使用时有多神奇,而是在 Agent 中间层里,把那些原本低效的判断节点,做得又快又稳
📚 相关笔记
- Agent主流架构对比与选型 — 判断节点在 Agent 架构中的位置
- 在Agent中落地ReAct模式(Reasoning + Acting) — ReAct 循环里的「判断/门控」环节
- Agent 结构化输出与工具调用(Function Calling / Tool Use / MCP / 校验) — 结构化输出与工具调用的工程基础
- 生产级Agent工程架构蓝图(从Demo到千万级并发) — 生产级 Agent 的工具层、缓存层与熔断
- DeepSeek Agent 三面面经:16 题设计追问 — 面试视角:幻觉控制、路由与工具设计
来源说明
- 原始笔记:Inbox《Jev:Agent里的快速决策引擎》
- 文中价格、延迟、准确率为原笔记引用数据,实际以官方文档与当前报价为准