🧩 面试 · 场景设计题(3 道带分案例)
说明
3 道带计分的工程排查/设计题,是”一线 AI 工程师”能力考察的典型形态——给业务背景+症状,考你排查顺序、根因定位、从系统层面防复发、以及让业务信任。每题按题目分点答。
🏢 场景 1 · 企业知识库:文档更新后还在答旧内容(35 分)
背景:RAG 知识库问答已上线 6 周。本月 1 号更新退货政策(“7天无理由”→“7天无理由,已拆封商品除外”),当天就上传新文档;但之后两周质检发现仍按旧政策答,拆封退货纠纷投诉上升。代码、模型、prompt 均未改动。
1)定位顺序 + 最可能 3 个根因(15 分)
排查顺序(按”先静态、后链路、再生成/记忆”,成本由低到高)
- 文档是否真的进库、且旧版是否还在(先确认数据源本身)——新文档有没有成功摄入?旧”7天无理由”文档或旧 chunk 是否还在库里/还在检索范围?
- 检索是否仍命中旧文档(索引/缓存)——原文档若原地更新,embedding 索引有没有重建?检索结果有没有被缓存?
- 生成/记忆层是否被旧口径污染——对话历史、长期记忆、或 prompt 里是否残留旧政策?
3 个最可能根因(都符合”代码/模型/prompt 没改”)
- 根因A(最常见):旧文档/旧 chunk 未失效——新文档新增了,但旧政策文档仍存在且被检索命中,检索到的是旧 chunk。
- 根因B:向量索引未刷新 / 结果缓存没失效——原文档更新了,但 embedding 库没重建,或命中结果与生成走了缓存,吃的是旧向量/旧结果。
- 根因C:会话/长期记忆污染——对话里或长期记忆存了旧政策,模型拿着旧口径上下文作答(或把旧回答当先验)。
排序理由:数据源静态问题最隐蔽且影响全局,最先排除;再沿检索→生成逐层下钻,符合”代码未动”下最可能的失效点。
2)每个根因的修复 + 怎么验证(10 分)
| 根因 | 修复 | 判断”修对了”的验证 |
|---|---|---|
| A 旧文档残留 | 文档带版本/生效时间戳,更新即失效旧版、删除或降权旧 chunk,检索按 effective_date/version 过滤 | 用”已拆封可以退吗”命中测试,应只返回新政策 chunk;同一黄金集回归断言答新 |
| B 索引/缓存未刷新 | 文档变更触发重索引,结果缓存 key 带上 doc_version,更新即失效 | 检索接口看新 chunk 命中;清/换缓存 key 后再问,返回新口径 |
| C 记忆污染 | 事实类答案先查库再答、不依赖记忆;长期记忆加时间戳与”事实过期检测”,新政策覆盖旧结论 | 用无历史的新会话 + 带旧记忆的旧会话对比,验证均答新;控制变量 AB |
3)“知识更新→问答正确”的自动化保障(10 分)
- 黄金评测集 + 变更回归:每条文档更新触发自动跑一轮”新旧互斥问题”的一个集断言答跟随最新版,通过才上线。
- 文档变更追踪:摄入记录
hash/version,源变更自动重索引 + 失效旧缓存。 - 一致性 Lint:定期检测库内”同主题互相矛盾声明”,或对”已拆封/条款类关键词”做探测问题,验证命中最新版本。
- 元数据 + 引用:chunk 带
effective_date/version,答案强制带”来源引用+时间戳”;高敏事实类强制检索、不依赖记忆。 - 监控告警:跟踪”引用到旧版本文档”的比率 + 用户纠纷关键词(“已拆封”),异常自动告警——替代人工抽检。
🎧 场景 2 · 智能客服:转人工后客户要重新说一遍(35 分)
背景:电商客服转人工率 15%。用户投诉”转人工后还要重新说三遍”。质检发现转人工时只传了当前这句,历史对话与已收集信息(订单号/问题描述)全没带过去,人工处理时长上升 18%。
1)转人工完整链路 + “上下文包”应含什么(10 分)
链路:机器人会话(全量状态持久化)→ 触发转人工 → 组装上下文包 → 传给人工工作台(工单/客服系统API/webhook)→ 人工端自动填充、可继续编辑。
上下文包 ≠ 只有聊天记录,应含:
- 原始对话历史(多轮,带时间戳)
- 已抽取结构化信息:订单号、问题描述、意图、槽位、客户信息(脱敏后)
- 会话/服务元数据:
session_id / customer_id / 渠道 / 工单号 - 已完成动作 & 未解决项:机器人给过哪些方案、客户是否拒绝、下一步待办
- 敏感标记:是否已脱敏、是否需要人工再核验身份
2)机器集的信息存哪、转人工怎么取/传(10 分)
- 存:会话状态里以结构化
dict(order_id / intent / slots)持久化(会话 State / Redis / DB),以session_id为主键。 - 取&传:转人工处理器在会话结束时按当前
session_id读取该会话数据 → 组装进工作台模板/随工单调用客服系统 API 带过去;严格读当前会话,绝不跨会话取。
3)转人工触发条件设计 + 误转 vs 漏转哪个代价大(8 分)
触发条件(多信号融合):机器人置信度低 / 用户重复索求或明确”要人工” / 多次问答失败 / 情绪识别到不满 / 高危敏感场景(退款、金额投诉)自动转。
误转 vs 漏转:漏转代价更大。
- 漏转 = 纠缠不解决 → 用户更愤怒、投诉升级、处理时变长、口碑受损,且复杂 case 无人接。
- 误转 = 只是多占了人工人力,可通过调置信度阈值、分级路由优化。
- 工程口径:服务与体验维度漏转更贵,宁可接受较高误转率,也不要漏掉该转的(尤其高危/情绪激烈)。用”先粗转后精路由”两类阈值平衡。
4)会话隔离与脱敏(7 分)
- 隔离:每会话独立
session_id作为所有状态存取的唯一主键,转人工上下文包严格按 session_id 读取,服务端统一管理,绝不把 A 会话状态塞给 B。 - 脱敏:传输与工作台展示前做脱敏(手机号/地址/卡号打码);按角色最小权限只暴露必要字段;日志与工单同样脱敏;需要明文时走单独授权 + 二次核验。
📊 场景 3 · NL2SQL 问数:SQL 跑通、数字却不对(30 分)
背景:NL2SQL 系统 SQL 执行成功率 92%。财务问”上月销售额”→ 返回 1.2 亿;财务说该是 9800 万。系统生成了
SUM(amount) WHERE created_at>=上月1号,而财务口径是SUM(amount) WHERE status!='refunded' AND type!='trial'。SQL 执行成功、无报错、返回了数字,但口径错——“执行成功但语义错”的静默失败。
1)为什么 EXPLAIN 发现不了?与语法错/表不存在本质区别(8 分)
- EXPLAIN 只判断”能否解析、能否执行、执行计划是否合理”(是否走索引、join 代价),它不校验”业务口径”。这句 SQL 合法、能跑、有计划,所以 EXPLAIN 一路绿灯。
- 本质区别:
语法错/表不存在属于显式失败——无法解析或运行时报错,工具自然能捕获;这类”静默失败”在语义/口径层出错——SQL 结构完全合法,工具仅凭 SQL 结构看不到”你到底想算什么”,所以发现不了。一个错在”语法/对象层”,一个错在”意图/口径层”。
2)除口径错外,这类静默失败还有哪些类型(7 分)
- join 错字段:
orders左连customer用了customer_id而实际应account_owner_id/billing_customer,返回错聚合。 - 聚合语义错:
COUNT(*)当SUM/ 少DISTINCT(同一客户多单被重复计数)/ 上面”漏 status 过滤”也属此。 - 时间口径错:时区未归一、月初边界、“创建时间 vs 更新时间”用错、
updated_at误当created_at。 - 过滤条件漏/多/反向:漏
status条件、把NOT IN(refunded)误写成IN、或补了不该加的过滤。 - null/空值处理错:未处理
NULL记导致 SUM 偏小或行被吞。
3)系统设计上怎么”系统性”防(不是修这一条)(10 分)
- 口径沉淀为可复用定义:把业务指标固化成”度量库”(如
销售额 = SUM(amount) WHERE status≠refunded AND type≠trial),NL2SQL 生成时优先映射已定义口径,而非每问自由写 SQL。 - 约束生成 + 校验器:schema 注入字段业务注释 + 常用口径;金额/聚合类 SQL 生成后强制校验必备过滤(如必须有
status条件),不过不放行。 - 黄金校验集 + 回归:每个指标建「问题→正确 SQL/口径」断言集,上线/变更自动回归。
- 结果一致性检查:对返回数字与”同指标上周/同 root/已知基准”做异常值告警;“白名单受约束生成”比自由 SQL 更可控。
- 全程留痕:记录
query→SQL→数字→口径版本,可追溯纠偏。
4)怎么让业务方信任这个数字(5 分)
- 给出”口径 = 这个 SQL”:把生成条件和口径定义原样展示,与其已确认的业务口径对齐。
- 可下钻核对:数字可下钻到订单级明细,业务能自己验算。
- 透明与对标:显示口径定义、数据源、更新时间;与财务报表/对账单对账一致。
- 可信闭环:提供置信度/解释 + “一键反馈纠错”,业务能纠正并记入黄金集——透明 + 可验证 + 有纠错入口,比绝对值更能换来信任。
相关笔记
- 面试收集 MOC
- AI&大模型(Q5 微调vsRAG / Q2 RAG 解析)
- 项目叙事与简历表述(这类场景题也可当”项目难点”讲)
- Agent系统-项目深挖(会话隔离/记忆持久化呼应场景2)