RAG检索可靠性系统设计
视频通过模拟大厂算法岗面试场景,剖析企业知识库RAG上线后召回率低、答非所问、模型幻觉等典型问题,揭示”切块+向量检索取TopK”的浅层认知局限。系统讲解RAG检索可靠性设计的三层核心逻辑:第一层定位检索失效来源与崩溃场景,第二层构建全链路管控方案(Query改写→混合检索→Cross-Encoder重排序→事实校验),第三层补充生产落地的动态优化与故障降级细节。
时间轴·核心内容
00:10 – 面试导入:RAG可靠性问题的考察深度
- 场景:企业知识库RAG上线后,用户一问四答,召回率不到50%,模型常”一本正经胡说八道”。
- 面试追问路径(逐步深入):
- 如何把召回率从50%提升到90%以上?
- Chunk设多大?重叠多少?把一个完整部署方案切成三段,为什么只召回中间一段?
- Chunk调大后语义不纯粹,召回一堆相关但不对的内容,怎么解?
- Embedding用哪个模型?BGE在大语言模型和Text Embedding上,中文技术文档召回率差多少?
- Top10召回结果最相关排第8,LLM只看Top3,重排序用什么模型?
- Cross-Encoder和BGE的精度/延迟trade-off是什么?
- 多轮对话第二轮缺少上下文怎么改写?
- 文档里没有答案时,如何检测幻觉并拦截?
- 表格和代码块如何切块不破坏语义?
- 混合检索中向量检索与BM25权重如何动态调整?
💡 考察本质:不是会不会调用Embedding API,而是能否在企业场景下保证召回精准、排序合理、生成无幻觉,真正落地。
02:17 – 第一层:明确检索失效的来源和崩溃场景
核心观点:RAG答不对,不是简单”模型不行”,而是从文档处理→检索→排序→生成,全链路质量漏洞叠加,导致策略失效。
| 失效环节 | 具体表现 |
|---|---|
| Chunk策略失效 | 太大→语义混杂,一个chunk讲多个主题,相似度被稀释;太小→上下文丢失,完整方案被切碎,单段无法回答;重叠不合理→要么漏信息,要么重复冗余 |
| Embedding选型失效 | 通用模型在垂直领域表现差;中英文混合文档召回率低;维度不够导致语义区分度不足 |
| 召回层失效 | TopK设太小漏掉相关文档,设太大引入噪声;相似度阈值没设,无关内容混入 |
| 排序层失效 | 最相关的文档排在后面,LLM只关注前几个chunk,长尾相关内容被忽略 |
| 多轮对话失效 | 第二轮Query缺少上下文,如”需要多少资源”没有指代对象,检索完全跑偏 |
| 幻觉生成失效 | 文档里根本没有答案,模型基于无关内容强行编造;或检索到了正确内容但模型未正确使用 |
03:24 – 第二层:选一套核心方案,落地全链路管控
可靠基线架构:检索前置Query改写 → 召回层混合检索 → 排序层Cross-Encoder重排序 → 生成层事实校验;辅以动态Chunk策略、元数据过滤、无答案识别。
① 检索前置层
- 用LLM做Query意图识别和改写
- 多轮对话时融合历史上下文,生成独立检索Query
- 同时识别问题类型(事实型/步骤型/对比型),选择不同检索策略
② 召回层:混合检索
- 向量检索:抓语义相关
- BM25:抓关键词精确匹配
- 知识图谱:抓实体关系
- 三路结果按权重融合,配合元数据过滤(文档类型、时间范围、部门标签)提前缩小范围
③ 排序层:Cross-Encoder精排
- 对Top50候选逐对计算相关性
- 重排后取Top5
- 做多样性去重,避免相似内容占据所有位置
④ 生成层:事实校验模块
- 模型输出答案后,逐句与检索文档做一致性比对
- 识别到无依据内容直接标注或替换
- 文档中没有答案时明确回复”未找到相关信息”,而非编造
⑤ Chunk策略:按文档类型自适应
- 普通文本:按语义段落切分
- 代码块:整体保留不切
- 表格:转为结构化描述
- 长文档:用递归切分,保证每个Chunk语义单一
04:42 – 第三层:生产落地的异常处理细节
① 动态Chunk优化
- 建立Chunk质量评估指标:统计每个Chunk的召回命中率和答案贡献率
- 命中率低的Chunk自动重新切分或合并,持续迭代
② Embedding选型评估
- 构建领域专属评测集
- 用 Recall@K、MRR、NDCG 三个指标横向对比不同Embedding模型
- 选择垂直领域表现最好的,不默认用通用模型
③ 幻觉拦截闭环
- 生成答案后用 NLI(自然语言蕴含)模型 做事实蕴含校验
- 答案中每句话都必须能在检索文档中找到依据
- 找不到的标记为”待核实”
- 置信度低于阈值直接拒答
- 记录用户反馈优化评测集
④ 多轮Query改写
- 维护对话状态管理器
- 每轮自动提取核心实体和意图,生成包含完整上下文的独立检索Query,避免指代缺失
⑤ 混合检索权重动态调整
- 根据Query类型自动分配权重:
- 事实型问题 → 偏重BM25精确匹配
- 概念型问题 → 偏重向量语义检索
- 实体关系问题 → 偏重知识图谱
- 用学习排序模型持续优化权重
⑥ 监控四指标,任一异常自动告警
- 召回命中率
- 重排序前后相关性提升
- 幻觉拦截率
- 用户点踩率
⑦ 向量库故障降级方案
- BM25关键词检索兜底 + 缩小检索范围 + 降低TopK
- 检索不到则明确说”不知道”
- 宁可少答,也不胡答
总结:两个层级的开发者差异
| 层级 | 表现 |
|---|---|
| 普通开发 | 只会说”切块+向量检索取TopK”,出问题只会”把Chunk调大一点” |
| 大厂开发 | 能徒手设计一套从Query改写、混合检索、重排序、事实校验到故障降级的全链路高可靠RAG系统,扛住低召回、答非所问、幻觉编造的复杂生产级场景 |
📎 视频提及配套资料:大厂HR沉默的必考题库,涵盖大模型基础面试、RAG、微调、Transformer、DeepSeek、Agent、项目方案等,粉丝可领取PDF。
相关笔记
- AI 大模型 MOC · ↪ 返回 Agent/MOC 索引