RAG 企业级架构实战:从事故到生产级防御

某券商投研助手线上事故:客户问 Q3 净利润,系统返回去年数字 + 3 份无关研报,新财报发布 3 天后仍在用旧数据,被监管叫停。本文从真实事故出发,拆解 RAG 四大死穴及企业级三层防御方案。


一、事故复盘:RAG 不是调个 embedding 就完的事

[00:10] 某券商投研助手接几万份研报财报,上线首周事故链:

  • 客户问「A 公司 Q3 净利润」→ 系统返回去年数字(新财报发布 3 天后仍在用旧数据)
  • 配三段不相关研报(检索没做好,召回的 chunk 语义对不上)
  • 金融医疗场景,一个幻觉数字就是事故,监管说 AI 误导投资项目差点被叫停

候选人反应:「换 embedding + 调 top_k + 加 rerank 就能解决」。讲者笑了——这不是 tuning 问题,是系统工程问题。

[00:50] 实际调参结果:换 bge-m3,top_k 调到 20,加 rerank,召回率只涨到 45%,还是答不对。

根因三宗罪:

根因表现
切片策略错误财务报表切成 8 段,数字和表头不在一个 chunk,搜到的全是半截数据
查询表达差异客户问「Q3 净利润」(单季度),研报写「前三季度归母净利润」(累计),向量距离很远,语义匹配不上
多轮上下文丢失上句问 A 公司,下句问「那它毛利率呢」,拿「毛利率」三个字直接检索,返回 10 家不相关公司

[01:10] 追问 candidate 的两个致命问题,对方沉默:

  1. Query 改写延迟:用大模型改一次多花 800ms,用户等着骂街;还把「净利润」改成了「扣非净利润」,两个概念差了十几亿
  2. 知识库更新慢:全量重新切片入库要跑 3 天,业务方等不起

[01:40] 结论:能把文档切片塞进向量库,不叫会做 RAG。RAG 的水比你想的深,这是企业级系统工程。


二、第一层:RAG 的四大深层死穴

[02:16]

死穴 1:检索质量天花板低

  • 切片策略决定召回上限:chunk 太大噪声多,太小语义碎;表格代码用普通文本切片直接废了
  • embedding 对领域术语理解不够:「归母净利润」和「扣非净利润」向量距离可能很远
  • 混合检索权重全靠拍脑袋,召回率上不去,后面再怎么 rerank 都是垃圾进垃圾出

死穴 2:幻觉与答案不可控

  • 检索到不相关内容模型硬编;检索到了模型不用自己瞎编
  • 多文档冲突挑了错的
  • 最致命:没有引用溯源,出了问题无法追责;金融医疗场景一个幻觉数字就是事故

死穴 3:多轮对话与复杂 query 处理失败

  • 真实用户不会一句话问清楚,「那它呢」「上面说的这些」指代省略,直接拿去检索必崩
  • 用大模型改写 query 延迟高还可能改歪,用规则又覆盖不全
  • 多轮上下文塞多了超 token,塞少了丢信息

死穴 4:知识库运维与时效性黑洞

  • 文档天天更新,旧版本怎么办?多来源数据冲突听谁的?
  • A 部门文档不能被 B 部门搜到,向量库里怎么实现权限隔离?
  • 增量更新怎么保证不重复不遗漏?全量重建一次 3 天,业务方等不起
  • 很多 RAG 上线时效果不错,3 个月后知识库变成垃圾场

三、第二层:核心方案(检索工程 + 生成控制 + 知识管理)

[03:34]

3.1 精细化切片 + 分层检索 + 动态 Rerank

切片策略(按内容类型):

  • 普通段落:按语义边界切(256–512 token,重叠 50)
  • 表格:按行 + 表头组合切
  • 代码:按函数切
  • 列表:保持完整不拆散

每个 chunk 带元数据(文档 ID、章节、时间、权限标签),检索先过滤元数据再算相似度。

检索架构:

BM25 关键词召回 + 向量召回两路合并去重后进 Rerank;简单 query 用轻量 Rerank、复杂 query 用强力 Rerank,动态选择。

目标:top20 召回率 > 90%,用标注评测集持续验证。

3.2 答案生成控制 + 引用源 + 幻觉检测

Prompt 强制约束:

「只能基于检索内容回答,找不到就说未找到,禁止编造。」

每个关键数据点标注引用来源(文档名 + 页码 + chunk ID),可点击跳转原文。

幻觉三道关:

  1. 数字实体必须在检索内容中找到原文匹配
  2. 多文档冲突时列出冲突,不自动选边
  3. 高风险 query(金融/医疗/法律)触发人工审核模式,只给参考不给结论

3.3 Query 理解 + 多轮上下文管理

三步处理:

  1. 意图识别:事实查询 / 比较分析 / 总结归纳,不同意图不同策略
  2. 指代消解:轻量模型 50ms 内把「它」替换成具体实体(不用大模型)
  3. Query 扩展:专业术语同义词扩展,多路召回合并

多轮上下文:只保留最近 3 轮的实体和关键信息,用摘要模型压缩成结构化上下文(涉及哪些公司、指标、时间),不丢信息也不超 token。

3.4 知识库生命周期管理

  • 文档入库流水线:解析 → 切片 → 元数据标注 → 向量化 → 入库,每步有校验
  • 版本管理:更新不覆盖旧版本,默认返回最新版,可追溯历史
  • 冲突处理:同实体多来源不一致时建冲突表,按可信度排序:官方公告 > 权威研报 > 第三方
  • 增量更新:只重切变更章节,不搞全量
  • 权限隔离:向量库按部门/密级打标签,检索先过滤权限再算相似度

四、第三层:生产级终极防御

[05:36]

4.1 检索效果评测与持续优化

  • 建黄金评测集:覆盖事实查询、多跳推理、时效性、权限边界、长尾 query
  • 每次模型/切片/知识库变更后自动跑评测,召回率、精确率、答案正确率不达标不上线
  • 线上 A/B 测试:新策略先切 10% 流量对比满意度和转人工率
  • Badcase 闭环:用户点「答案不对」或转人工自动入池,每周分析根因反哺策略

4.2 全链路监控与可观测

每层埋点,每个请求带 trace_id 全链路追踪,出问题一键定位是检索没召回还是模型没用对:

层级监控指标
检索层召回率、空结果率、延迟
Rerank 层相关性变化、耗时
生成层token 消耗、引用覆盖率、幻觉告警数
业务层满意度、采纳率、转人工率

PO 告警:空结果率突增、幻觉告警激增、延迟超阈值。

4.3 高可用与降级策略

  • 检索服务多实例、向量库主从,单节点故障自动切换
  • 三级降级:
    1. Rerank 挂了 → 直接用向量召回结果
    2. Embedding 异常 → 切关键词检索保底
    3. 整个检索不可用 → 返回「维护中请联系人工」,绝不返回无来源答案
  • 知识库更新期间旧版本继续服务,新版本验证通过后原子切换

4.4 成本优化与资源调度

  • Query embedding 结果缓存,相似 query 直接命中
  • Rerank 按 query 复杂度动态选模型,80% 简单 query 用轻量模型
  • 冷热数据分离:高频文档放高性能库,低频压缩存储
  • 按业务线统计检索量和 token 消耗,成本透明

五、一句话总结

RAG 的分水岭,不在能不能搜到,而在能不能从搜得到干到答得准。
切得精细、检得全面、控得住幻觉、管得住知识。


附:面试必问题库(视频提及)

答案:以下为配套参考解答,按”概念→要点→一句话”组织,面试时先答核心、再补细节。

1. 提示词工程能解决什么问题?

能解决的:让模型按预期的方式理解和生成输出,属于”不改权重、只改指令”的轻量优化。典型场景——

  • 格式控制:规定输出 JSON / 表格 / 分步骤。
  • 角色与约束:限定语气、专业范围、信息来源、不要编造。
  • 指令跟随增强:few-shot 示例、CoT(思维链)引导推理步骤、禁止性指令(“找不到就回答未找到”)。
  • 上下文注入:把检索结果、背景资料塞进 prompt 让模型基于该内容作答(RAG 的核心)。
  • 成本与迭代快:不改模型即可快速调优,适合上线前的快速 DAB 循环。

解决不了的(也是面试常挖的点):

  • 模型知识陈旧——提示词不能注入已训练完成后的新事实,只能靠 RAG / 微调。
  • 安全与幻觉的根因仍在模型权重里——prompt 能约束表面行为,但挡不住能力边界外的硬编。
  • 长文本/推理能力上限受模型本身限制,prompt 无法凭空提升。
  • 可维护性差:复杂 prompt 脆弱,依赖词序、易被”越狱”。

一句话:提示词工程解决”如何把话说清楚让模型照做”,解决不了”模型本身不会/不知道”。

2. 大模型输出格式如何控制?

主流四层手段,从轻到重:

  1. Prompt 层面:显式声明输出格式(“输出 JSON,字段为 xxx”),给一个 JSON 模板 / few-shot 示例。成本最低,但不保证 100% 合规(可能多字、漏括号)。
  2. 结构化输出 / JSON 约束解码(推荐):
    • OpenAI response_format={"type":"json_object"} 或 json_schema。
    • 各种 structured output(Pydantic / Zod schema)服务端校验。
    • 约束解码 / grammar:vLLM/llama.cpp 的 guided_json、Outlines、JSONformer,从解码层强制 token 序列符合 schema,完全合规。
  3. 后处理校验与修复:对输出做 JSON.parse + schema 校验,失败则重试 / 让模型自纠 / 兜底模板。鲁棒性兜底不可省。
  4. 微调(终极):若任务固定、上线量大,用微调让模型原生就输出规范格式,减少依赖 prompt 约束。

一句话:Prompt 定方向、约束解码保合规、后处理兜底、微调做终极——生产环境通常 结构化输出 + 后处理校验 组合。

3. 解释 PrefixLM 与 CausalLM 区别

CausalLM(因果/自回归 LM):

  • 只做单向注意力,token 只能看到左侧(过去),看不到右侧未来。
  • 训练/解码目标都是”根据上文预测下一个 token”。
  • 代表:GPT 系列、Llama、Mistral。
  • 瓶颈:无法利用完整的双向上下文(比如需要右边文本才能消歧的任务表现弱)。

PrefixLM(前缀语言模型):

  • 输入分为 prefix(前缀/上下文)+ 待生成部分:prefix 内用双向(full)注意力,整段前缀互相可见;待生成部分仍是自回归单向。
  • 既能利用前缀的完整上下文做理解,又能像 decoder 一样逐词生成。
  • 代表:T5(encoder-decoder 的 decoder 侧)、UniLM、GLM 系列。
  • 好处:理解任务(分类、完型、摘要给定全文)上比纯 Causal 强,生成时又保留灵活性。

核心差异一经:能不能”看到”前缀里后文。

  • CausalLM:只能从左到右,不能看右边。
  • PrefixLM:前缀里可以任意互看(双向),但生成部分仍从左到右。
  • PrefixLM 通常训练目标更灵活(可同时做理解+生成),CausalLM 更简单统一、生态最成熟。

一句话:CausalLM 只能看左边(纯单向),PrefixLM 让前缀内部双向可见、生成部分仍是单向——理解更强,兼顾生成。

4. 强化学习的关键特点和应用

四个关键特点:

  1. 奖励驱动(非监督标签):不靠 (x,y) 标注,靠奖励信号(reward)反馈”好不好”,最大化长期回报。
  2. 试错 + 探索/利用权衡:智能体与环境不断交互试错(exploration 探索未知 vs exploitation 利用已知)。
  3. 时序决策:动作影响后续状态,讲究长期累积回报(折扣回报),区别于单步监督。
  4. 交互式学习:状态 → 动作 → 下一状态 → 奖励 的循环;credit assignment(怎么把回报归因到前面某步动作)。

在大模型时代的应用:

  • RLHF(人类反馈强化学习):用人类偏好训练 reward model,再对 LLM 做强化学习微调(PPO),让输出更”像人喜欢”。ChatGPT / Claude 的关键组件。
  • RLAIF:用 AI 模型代替人类打偏好分,规模化。
  • DPO(直接偏好优化):免去 reward model + PPO 的复杂流程,直接基于偏好对优化,成为 RLHF 的轻量替代。
  • Reasoning / CoT 强化:对推理模型的思维链用 RL(如可验证目标的正确/错误做奖励)强化出长推理能力(openai o1 类思路)。
  • Agent / 工具使用:用 RL 优化 agent 的规划、工具调用、最终收益。

一句话:RL 靠奖励+试错学”怎么做好长期决策”,在 LLM 上主力是 RLHF/DPO 把模型训得更合人偏好、以及强化推理。

5. Transformer 微调策略

按资源与需求分层选择(由轻到重):

  1. Prompt / In-Context Learning(不微调):成本最低,格式、风格、简单能力可解决,但效果有限、不改变模型知识。
  2. 轻量微调(PEFT/LoRA 类):
    • LoRA / QLoRA:只训低秩增量矩阵,显存/算力需求大降(QLoRA 4bit 即可在消费卡微调),效果接近全参微调。最主流、性价比最高。
    • Adapter:插入小模块微调;Prefix-Tuning / P-Tuning:调前缀/向量。
  3. 全参数微调(Full FT):全部权重可训,效果最强、最能适配领域知识,但贵、易过拟合、灾难性遗忘,需要大量高质量数据。
  4. 继续预训练(Continue-PT):在领域语料上无监督续训,注入领域知识,再配合指令微调。
  5. 对齐微调(指令微调 SFT → RLHF/DPO):先 SFT 学指令,再 RLHF/DPO 对齐偏好,得到可用的助手模型。

选择建议与注意点:

  • 业务固定、数据充足 → LoRA 起步,不够再升级。
  • 要注入新知识 → 考虑继续预训练 + SFT。
  • 防遗忘 → 混入通用数据(数据配比)、低学习率、早停。
  • 评估先行:微调前后都要有评测集对比,别只看 loss。

一句话:默认用 LoRA/QLoRA 轻量微调(省算力、不易遗忘),需求更高再上全参微调或继续预训练,最后可叠加 SFT+RLHF 对齐。

6. Agent 项目方案面试(回答框架)

面试官想看的是从需求到落地的系统思考,可按这个框架组织(STAR + 架构分层):

① 需求与定位

  • 做什么任务、给谁用、期望达到什么效果(一句话说清)。
  • 明确边界:哪些能自动处理、哪些必须人工介入。

② 总体架构(分层)

  • 规划层(Planner):拆解目标 → 生成步骤(Plan/Sub-task)。
  • 工具层(Tools):LLM 之外能调用的能力(检索、API、代码执行、数据库)。
  • 执行层(Executor):逐步执行、收集结果。
  • 记忆层(Memory):短期(当前任务上下文)+ 长期(历史/用户画像)。
  • 反思层(Reflection):执行后自检、修正计划(ReAct / Reflexion / Plan-and-execute)。

③ 关键能力实现

  • 工具调用:Function Calling / Tool Calling 的 schema 设计与参数校验。
  • 检索增强:接 RAG(如果依赖知识库)。
  • 多步规划与总结:长任务如何断点续传、如何压缩上下文。
  • 失败处理:工具报错如何重试、超时如何降级、Human-in-the-loop 在哪一层介入。

④ 工程与效果保障

  • 评测:定哪些指标(任务成功率、步骤准确率、延迟、成本)。
  • 观测:全链路 trace(每步 输入/输出/工具结果)、日志。
  • 安全与成本:工具权限边界、prompt 注入防护、token/调用预算控制。

⑤ 一句话收尾:突出”能落地、可评测、有兜底”,而不是只炫模型能力。

一句话:按”需求→分层架构(规划/工具/执行/记忆/反思)→关键能力→评测与兜底”讲全,重点在工程闭环而非堆模型。


视频最后:两年大模型应用开发经验,能把文档切片塞进向量库不叫会做 RAG——把检索质量和知识生命周期这两块啃透,再来面大厂。


相关笔记