🧩 面试 · 场景设计题(3 道带分案例)

说明

3 道带计分的工程排查/设计题,是”一线 AI 工程师”能力考察的典型形态——给业务背景+症状,考你排查顺序、根因定位、从系统层面防复发、以及让业务信任。每题按题目分点答。


🏢 场景 1 · 企业知识库:文档更新后还在答旧内容(35 分)

背景:RAG 知识库问答已上线 6 周。本月 1 号更新退货政策(“7天无理由”→“7天无理由,已拆封商品除外”),当天就上传新文档;但之后两周质检发现仍按旧政策答,拆封退货纠纷投诉上升。代码、模型、prompt 均未改动。

1)定位顺序 + 最可能 3 个根因(15 分)

排查顺序(按”先静态、后链路、再生成/记忆”,成本由低到高)

  1. 文档是否真的进库、且旧版是否还在(先确认数据源本身)——新文档有没有成功摄入?旧”7天无理由”文档或旧 chunk 是否还在库里/还在检索范围?
  2. 检索是否仍命中旧文档(索引/缓存)——原文档若原地更新,embedding 索引有没有重建?检索结果有没有被缓存?
  3. 生成/记忆层是否被旧口径污染——对话历史、长期记忆、或 prompt 里是否残留旧政策?

3 个最可能根因(都符合”代码/模型/prompt 没改”)

  • 根因A(最常见):旧文档/旧 chunk 未失效——新文档新增了,但旧政策文档仍存在且被检索命中,检索到的是旧 chunk。
  • 根因B:向量索引未刷新 / 结果缓存没失效——原文档更新了,但 embedding 库没重建,或命中结果与生成走了缓存,吃的是旧向量/旧结果。
  • 根因C:会话/长期记忆污染——对话里或长期记忆存了旧政策,模型拿着旧口径上下文作答(或把旧回答当先验)。

排序理由:数据源静态问题最隐蔽且影响全局,最先排除;再沿检索→生成逐层下钻,符合”代码未动”下最可能的失效点。

2)每个根因的修复 + 怎么验证(10 分)

根因修复判断”修对了”的验证
A 旧文档残留文档带版本/生效时间戳,更新即失效旧版、删除或降权旧 chunk,检索按 effective_date/version 过滤用”已拆封可以退吗”命中测试,应只返回新政策 chunk;同一黄金集回归断言答新
B 索引/缓存未刷新文档变更触发重索引,结果缓存 key 带上 doc_version,更新即失效检索接口看新 chunk 命中;清/换缓存 key 后再问,返回新口径
C 记忆污染事实类答案先查库再答、不依赖记忆;长期记忆加时间戳与”事实过期检测”,新政策覆盖旧结论用无历史的新会话 + 带旧记忆的旧会话对比,验证均答新;控制变量 AB

3)“知识更新→问答正确”的自动化保障(10 分)

  1. 黄金评测集 + 变更回归:每条文档更新触发自动跑一轮”新旧互斥问题”的一个集断言答跟随最新版,通过才上线。
  2. 文档变更追踪:摄入记录 hash/version,源变更自动重索引 + 失效旧缓存。
  3. 一致性 Lint:定期检测库内”同主题互相矛盾声明”,或对”已拆封/条款类关键词”做探测问题,验证命中最新版本。
  4. 元数据 + 引用:chunk 带 effective_date/version,答案强制带”来源引用+时间戳”;高敏事实类强制检索、不依赖记忆。
  5. 监控告警:跟踪”引用到旧版本文档”的比率 + 用户纠纷关键词(“已拆封”),异常自动告警——替代人工抽检。

🎧 场景 2 · 智能客服:转人工后客户要重新说一遍(35 分)

背景:电商客服转人工率 15%。用户投诉”转人工后还要重新说三遍”。质检发现转人工时只传了当前这句,历史对话与已收集信息(订单号/问题描述)全没带过去,人工处理时长上升 18%。

1)转人工完整链路 + “上下文包”应含什么(10 分)

链路:机器人会话(全量状态持久化)→ 触发转人工 → 组装上下文包 → 传给人工工作台(工单/客服系统API/webhook)→ 人工端自动填充、可继续编辑。
上下文包 ≠ 只有聊天记录,应含:

  • 原始对话历史(多轮,带时间戳)
  • 已抽取结构化信息:订单号、问题描述、意图、槽位、客户信息(脱敏后)
  • 会话/服务元数据:session_id / customer_id / 渠道 / 工单号
  • 已完成动作 & 未解决项:机器人给过哪些方案、客户是否拒绝、下一步待办
  • 敏感标记:是否已脱敏、是否需要人工再核验身份

2)机器集的信息存哪、转人工怎么取/传(10 分)

  • 存:会话状态里以结构化 dict(order_id / intent / slots)持久化(会话 State / Redis / DB),以 session_id 为主键。
  • 取&传:转人工处理器在会话结束时按当前 session_id 读取该会话数据 → 组装进工作台模板/随工单调用客服系统 API 带过去;严格读当前会话,绝不跨会话取。

3)转人工触发条件设计 + 误转 vs 漏转哪个代价大(8 分)

触发条件(多信号融合):机器人置信度低 / 用户重复索求或明确”要人工” / 多次问答失败 / 情绪识别到不满 / 高危敏感场景(退款、金额投诉)自动转。
误转 vs 漏转:漏转代价更大。

  • 漏转 = 纠缠不解决 → 用户更愤怒、投诉升级、处理时变长、口碑受损,且复杂 case 无人接。
  • 误转 = 只是多占了人工人力,可通过调置信度阈值、分级路由优化。
  • 工程口径:服务与体验维度漏转更贵,宁可接受较高误转率,也不要漏掉该转的(尤其高危/情绪激烈)。用”先粗转后精路由”两类阈值平衡。

4)会话隔离与脱敏(7 分)

  • 隔离:每会话独立 session_id 作为所有状态存取的唯一主键,转人工上下文包严格按 session_id 读取,服务端统一管理,绝不把 A 会话状态塞给 B。
  • 脱敏:传输与工作台展示前做脱敏(手机号/地址/卡号打码);按角色最小权限只暴露必要字段;日志与工单同样脱敏;需要明文时走单独授权 + 二次核验。

📊 场景 3 · NL2SQL 问数:SQL 跑通、数字却不对(30 分)

背景:NL2SQL 系统 SQL 执行成功率 92%。财务问”上月销售额”→ 返回 1.2 亿;财务说该是 9800 万。系统生成了 SUM(amount) WHERE created_at>=上月1号,而财务口径是 SUM(amount) WHERE status!='refunded' AND type!='trial'。SQL 执行成功、无报错、返回了数字,但口径错——“执行成功但语义错”的静默失败。

1)为什么 EXPLAIN 发现不了?与语法错/表不存在本质区别(8 分)

  • EXPLAIN 只判断”能否解析、能否执行、执行计划是否合理”(是否走索引、join 代价),它不校验”业务口径”。这句 SQL 合法、能跑、有计划,所以 EXPLAIN 一路绿灯。
  • 本质区别:语法错/表不存在属于显式失败——无法解析或运行时报错,工具自然能捕获;这类”静默失败”在语义/口径层出错——SQL 结构完全合法,工具仅凭 SQL 结构看不到”你到底想算什么”,所以发现不了。一个错在”语法/对象层”,一个错在”意图/口径层”。

2)除口径错外,这类静默失败还有哪些类型(7 分)

  • join 错字段:orders 左连 customer 用了 customer_id 而实际应 account_owner_id/billing_customer,返回错聚合。
  • 聚合语义错:COUNT(*) 当 SUM / 少 DISTINCT(同一客户多单被重复计数)/ 上面”漏 status 过滤”也属此。
  • 时间口径错:时区未归一、月初边界、“创建时间 vs 更新时间”用错、updated_at 误当 created_at。
  • 过滤条件漏/多/反向:漏 status 条件、把 NOT IN(refunded) 误写成 IN、或补了不该加的过滤。
  • null/空值处理错:未处理 NULL 记导致 SUM 偏小或行被吞。

3)系统设计上怎么”系统性”防(不是修这一条)(10 分)

  1. 口径沉淀为可复用定义:把业务指标固化成”度量库”(如 销售额 = SUM(amount) WHERE status≠refunded AND type≠trial),NL2SQL 生成时优先映射已定义口径,而非每问自由写 SQL。
  2. 约束生成 + 校验器:schema 注入字段业务注释 + 常用口径;金额/聚合类 SQL 生成后强制校验必备过滤(如必须有 status 条件),不过不放行。
  3. 黄金校验集 + 回归:每个指标建「问题→正确 SQL/口径」断言集,上线/变更自动回归。
  4. 结果一致性检查:对返回数字与”同指标上周/同 root/已知基准”做异常值告警;“白名单受约束生成”比自由 SQL 更可控。
  5. 全程留痕:记录 query→SQL→数字→口径版本,可追溯纠偏。

4)怎么让业务方信任这个数字(5 分)

  • 给出”口径 = 这个 SQL”:把生成条件和口径定义原样展示,与其已确认的业务口径对齐。
  • 可下钻核对:数字可下钻到订单级明细,业务能自己验算。
  • 透明与对标:显示口径定义、数据源、更新时间;与财务报表/对账单对账一致。
  • 可信闭环:提供置信度/解释 + “一键反馈纠错”,业务能纠正并记入黄金集——透明 + 可验证 + 有纠错入口,比绝对值更能换来信任。

相关笔记