RAG系统核心技术与实现
目录
- RAG概念、作用与实现流程
- 常用向量数据库及区别
- 向量相似度度量方式
- Milvus索引方式
- 微调和RAG的区别
- RAG评估指标及计算
- 文档分块策略
- 多格式文档加载
- 检索策略
- Cross-Encoder重排序
- Query处理优化
- 子文档相关性优化
- Prompt工程实践
- 项目实战案例
1. RAG概念、作用与实现流程
概念
检索增强生成(Retrieval-Augmented Generation),将信息检索与生成模型深度结合的技术框架,通过外部知识库增强大语言模型的生成能力。
作用
- 解决大模型知识滞后问题
- 减少模型幻觉
- 提供可追溯的知识来源
- 处理领域特定知识
实现流程
文档加载 → 文档分块 → 向量化 → 向量存储 → 查询检索 → 重排序 → 提示工程 → 生成回答
优化架构设计
用户Query
↓
Query理解与重构层
├── 意图识别
├── 查询扩展
├── 历史上下文融合
└── 子查询分解
↓
智能路由分发
├── 事实性查询 → 稠密检索 + 元数据过滤
├── 精确匹配 → 稀疏检索
├── 复杂问题 → 多跳检索
└── 关系查询 → 图检索
↓
多路检索引擎
├── 稠密向量检索 (语义相似)
├── 稀疏向量检索 (关键词BM25)
├── 元数据过滤
└── 图关系检索
↓
检索结果融合层
├── RRF融合算法
├── 多策略加权
└── 候选集去重
↓
重排序优化层
├── Cross-Encoder精排
├── 动态候选数量
└── 热门查询缓存
↓
Prompt工程层
├── 上下文智能注入
├── 结构化模板选择
├── 思维链引导
└── 角色定位设定
↓
生成与后处理
├── LLM生成答案
├── 引用标注
├── 质量检查
└── 格式化输出
↓
返回最终结果
2. 常用向量数据库及区别
| 数据库 | 特点 | 适用场景 | 性能特征 |
|---|---|---|---|
| Milvus | 专为向量设计,性能高,功能丰富 | 大规模生产环境 | 支持多集合,分布式部署 |
| Chroma | 轻量级,易部署,开发友好 | 原型开发,小规模应用 | 易于集成,文档完善 |
| Pinecone | 全托管云服务,易用性强 | 商业应用,无运维需求 | 开箱即用,自动扩展 |
| Weaviate | 支持多模态,GraphQL接口 | 复杂检索需求 | 混合检索能力强 |
| Qdrant | Rust开发,性能好,云原生 | 高性能要求场景 | 内存优化,查询快速 |
| FAISS | Facebook开发,研究常用 | 学术研究,离线处理 | CPU/GPU加速支持 |
| PostgreSQL | 扩展性强,支持向量扩展(pgvector) | 已有PG生态,中等规模 | 事务支持,生态完善 |
Milvus多集合设计实践
教育场景示例:按知识类型分集合
- course_info:课程相关知识
- policy_docs:政策制度文档
- service_faq:服务常见问题
优势:
- 隔离管理不同类型知识
- 支持针对性检索策略
- 便于权限控制和更新维护
3. 向量相似度度量方式
常用距离度量
- 余弦相似度:最常用,衡量方向相似性,范围[-1, 1]
- 欧氏距离:衡量绝对距离,值越小越相似
- 内积:计算简单,但受向量模长影响
- 曼哈顿距离:各维度绝对差之和
- 汉明距离:用于二值向量
选择建议
- 文本语义检索:余弦相似度(推荐)
- 图像检索:欧氏距离或内积
- 高维稀疏向量:内积或余弦
4. Milvus索引方式
索引类型对比
| 索引类型 | 特点 | 精度 | 速度 | 内存占用 | 适用场景 |
|---|---|---|---|---|---|
| FLAT | 精确搜索,无压缩 | 100% | 慢 | 高 | 小规模数据,基准测试 |
| IVF_FLAT | 倒排文件,平衡精度性能 | 高 | 中 | 中 | 中等规模,平衡场景 |
| IVF_SQ8 | 标量量化,存储优化 | 中高 | 快 | 低 | 内存受限场景 |
| IVF_PQ | 乘积量化,高压缩比 | 中 | 快 | 很低 | 超大规模数据 |
| HNSW | 基于图,高性能近似搜索 | 高 | 很快 | 高 | 低延迟要求 |
| SCANN | 基于倒排,大规模数据 | 高 | 快 | 中 | 大规模高性能 |
索引选择建议
50万数据量的推荐配置:
- 度量类型:余弦相似度
- 索引类型:IVF_FLAT(平衡精度和性能)
- 参数:nlist=1024(聚类中心数)
检索参数:nprobe=10(搜索的聚类数)
5. 微调和RAG的区别
| 方面 | 微调(Finetuning) | RAG | 混合方案 |
|---|---|---|---|
| 知识更新 | 需要重新训练 | 实时更新文档 | RAG知识库+微调风格 |
| 可解释性 | 黑盒 | 可追溯来源 | 可解释 |
| 成本 | 训练成本高 | 部署成本低 | 一次训练+持续更新 |
| 灵活性 | 固定知识 | 动态知识库 | 灵活 |
| 适用场景 | 任务适应,风格迁移 | 知识密集型任务 | 专业领域问答 |
| 响应速度 | 快 | 需检索(稍慢) | 中等 |
LoRA微调在RAG中的应用
对Qwen2.5-7B进行LoRA微调,目标:适配领域术语与回答风格
优势:
- 保持专业术语表达
- 优化回答风格和格式
- 减少训练成本
- 配合RAG提升整体效果
6. RAG评估指标及计算
核心评估维度
检索阶段指标
- 检索准确率(Precision@K):检索相关文档的比例
- 召回率(Recall@K):找回所有相关文档的比例
- MRR@K:第一个相关结果的倒数排名均值
- NDCG@K:考虑排序位置的加权评分
- 命中率(Hit Rate):前K个结果中包含正确答案的比例
生成阶段指标
- 答案相关性(Answer Relevance):生成答案与问题的相关程度
- 忠实性(Faithfulness):答案对检索内容的忠实度
- 答案正确性(Answer Correctness):与标准答案的相似度
RagAS评估框架
使用RagAS自动评估框架对RAG全流程进行量化评测
目标基准:
- Answer Relevance ≥ 0.89
- Faithfulness ≥ 0.9
- Context Precision ≥ 0.85
- Overall Accuracy ≥ 90%
人工评估
构建测试集,评估维度:
- 答案准确性(正确/部分正确/错误)
- 答案完整性(完整/部分完整/不完整)
- 语言流畅性(流畅/一般/生硬)
- 来源可追溯性(可追溯/不可追溯)
目标:Overall Accuracy ≥ 90%
7. 文档分块策略
分块方法对比
| 策略 | 特点 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 固定大小分块 | 按token/字符数 | 简单,可控 | 可能破坏语义 | 通用场景 |
| 句子分割 | 按句子边界 | 保持句子完整 | 块大小不均 | 短文本 |
| 段落分割 | 按段落边界 | 保持段落完整 | 可能过长 | 结构化文档 |
| 语义分割 | 基于内容连贯性 | 语义完整 | 计算复杂 | 长文档 |
| 重叠分块 | 块间重叠 | 减少边界损失 | 冗余存储 | 精确检索 |
| 层次分块 | 多粒度组合 | 多级检索 | 实现复杂 | 复杂文档 |
智能分块实践
按语义边界分块,优先级:段落 > 句子 > 标点 > 字符
分块策略建议:
- 课程内容:512 tokens,50 overlap
- 政策文档:768 tokens,100 overlap
- FAQ:按问答对分割
父子分块策略(层次分块)
基于LangChain的层次分块实现:
父块策略:
- 块大小:1024 tokens
- 重叠:128 tokens
- 分割边界:章节/段落
子块策略:
- 块大小:256 tokens
- 重叠:32 tokens
- 分割边界:句子/语义单元
工作流程:
- 文档首先按父块策略分割
- 每个父块进一步按子块策略分割
- 建立父子块关联关系
- 子块用于精确向量检索
- 父块用于提供完整上下文生成
优势:
- 子块检索定位精准,减少噪声
- 父块提供完整语境,避免信息碎片化
- 支持多粒度检索,提升召回率
- 改善生成质量,减少歧义
8. 多格式文档加载
基础文本格式
支持PDF、Word、PowerPoint、纯文本等多种格式文档加载
多模态内容处理
图片与OCR
使用OCR技术(如PaddleOCR)提取图片中的文字,与文本内容整合
表格处理
提取PDF中的表格,转换为结构化文本描述
多模态大模型处理
使用多模态模型处理复杂图表,生成图片描述
文档预处理流程
- 文本加载
- 文本清洗(去噪、统一格式、去除冗余空白)
- 图片/表格提取
- OCR处理
- 内容整合
- 分块
9. 检索策略
检索方法分类
1. 稠密向量检索
基于语义相似度的向量检索,使用Sentence Transformer等模型编码查询和文档
2. 稀疏向量检索
基于关键词匹配的BM25检索,适合精确匹配场景
3. 混合检索
稠密+稀疏混合检索,加权融合结果,实践中召回率提升20-30%
4. 多向量检索
一个文档生成多个向量表示(标题向量、摘要向量、内容向量、关键词向量),分别检索后融合结果
5. 多跳检索
迭代式检索增强,复杂问题需要多次检索,基于前次结果生成新查询
6. 图检索
基于知识图谱的关系检索,利用实体关系信息增强检索效果
检索策略选择
| 场景 | 推荐策略 | 原因 |
|---|---|---|
| 精确匹配 | 稀疏检索(BM25) | 关键词准确 |
| 语义理解 | 稠密检索 | 语义相似度高 |
| 通用场景 | 混合检索 | 平衡两者优势 |
| 复杂问题 | 多跳检索 | 需要多次迭代 |
| 知识关联 | 图检索 | 利用关系信息 |
10. Cross-Encoder重排序优缺点(相比于Bi-Encoder)
工作原理
Cross-Encoder直接对query-document对进行打分,而不是独立编码
典型流程:向量检索(Top-100) → Rerank(Top-5)
优缺点对比
优点
- 精度高:考虑query-document完整交互,不是独立编码
- 更好的相关性判断:能捕捉细粒度的匹配信号
- 减少误匹配:过滤掉语义相似但不相关的文档
- 显著提升Top-K质量:实践中Top-5相关性提升35%
缺点
- 计算成本高:不能预先计算,每次查询都需重新打分
- 推理速度慢:O(n)复杂度,不适合大规模候选集
- 资源消耗大:需要较强的计算资源
- 不适合初步检索:必须配合其他检索方法
11. Query太短或模糊处理
Query理解与重构策略
1. Query扩展
使用LLM生成相关查询变体,包括同义表达、更具体的描述、相关角度的提问
2. 同义词扩展
添加领域同义词,扩展查询词汇
3. 子查询分解
将复杂问题拆解为多个子问题,分别检索后合并结果
4. 历史会话融合
基于对话历史重写查询,将当前问题改写为独立完整的查询
5. HyDE策略
生成假设答案用于检索,因为答案和文档的语义更接近
6. 通用去噪
去除口语化表达、语气词、重复字符,标准化标点
多策略组合
综合Query处理流程:
- 基础清洗
- 上下文感知重写
- 短查询扩展
- 同义词增强
- 复杂问题拆解
实践效果:模糊查询召回率提升40%+
主动澄清策略
判断是否需要澄清,针对模糊查询生成澄清问题,引导用户提供更明确的需求
12. 子文档相关性低解决方案
问题诊断
诊断相关性低的原因:分块质量、嵌入质量、查询质量、元数据使用等
优化方案
1. 优化分块策略
调整块大小和重叠区域,减少边界信息损失,实践中相关性提升15%
2. 多粒度检索
结合不同粒度的文档块:
- 粗粒度(父块):提供完整上下文
- 细粒度(子块):精确定位
优势:Top-5相关性提升30%
3. 查询重写
改进查询表述策略:
- 关键词提取
- 问题转陈述句
- 添加领域限定
多版本检索后去重和排序
4. 元数据过滤
在向量数据库中添加元数据过滤条件,过滤掉不相关类别,精确度提升25%
元数据字段设计:
- 类别:course_info/policy/faq
- 更新时间
- 来源
- 权威性等级
- 标签
5. 融合检索
结合多个检索器的结果,使用RRF(Reciprocal Rank Fusion)算法融合:
- 稠密向量检索
- 稀疏向量检索
- 关键字检索
- 知识图谱检索
6. 动态权重调整
根据查询类型动态调整权重,针对事实性、操作指南、定义等不同类型查询采用不同权重方案
相关性低的处理流程
- 检查初始结果质量
- Query重写
- 多策略检索
- 去重和重排序
- 质量检查
- 后备策略:返回通用信息或请求澄清
13. 项目Prompt编写实践
Prompt设计原则
- 明确角色定位
- 清晰的任务描述
- 结构化输出要求
- 约束条件和边界
- Few-shot示例
- 思维链引导
RAG系统典型Prompt模板
基础问答Prompt
包含角色定位、上下文信息、历史对话、当前问题、回答要求、注意事项
结构化输出Prompt
指定JSON格式输出,包含推荐课程、理由、匹配分数、特点等结构化信息
多步推理Prompt
引导模型按照步骤思考:需求分析、路径规划、课程匹配、计划制定
Few-shot Prompt
提供回答示例,让模型参考示例的风格和格式回答用户问题
意图路由Prompt
分析用户问题意图,分类到相应类别,输出JSON格式的意图分类结果
对话管理Prompt
维持自然流畅的对话,包含上下文感知、自然回复、主动引导、情感支持、适时总结等策略
Prompt优化技巧
1. 迭代优化流程
测试当前版本,分析失败案例,生成改进版本,循环优化直到达到目标准确率
2. A/B测试
测试不同Prompt版本,对比效果,选择最优版本
3. 动态Prompt选择
根据查询类型和复杂度选择最合适的Prompt模板
Prompt工程最佳实践总结
| 原则 | 说明 | 示例 |
|---|---|---|
| 清晰性 | 指令明确,避免歧义 | ”列出3个要点”而不是”说说” |
| 结构化 | 使用标题、编号、格式 | 用#、-、1.2.3.等标记 |
| 约束 | 明确输出边界 | ”回答不超过150字” |
| 示例 | 提供few-shot样例 | 给出2-3个标准答案 |
| 角色 | 设定专业身份 | ”你是教育咨询专家” |
| 思维链 | 引导推理过程 | ”让我们一步步思考” |
14. 项目实战案例:EduRAG
项目背景
针对教培行业高频、重复性咨询问题,传统FAQ匹配准确率低、知识更新滞后,设计并实现融合结构化数据检索与RAG技术的智能问答系统
项目架构
分层架构:
- 用户层:Web界面、Mobile App、API接口、第三方集成
- 应用层:Query处理、意图识别、会话管理
- 核心RAG层:检索、重排序、生成
- 数据存储层:Milvus向量库、MySQL元数据、Redis缓存
- 模型层:BERT意图识别、Sentence-BERT嵌入、Qwen2.5-7B生成
核心技术实现
1. 知识库构建
- 文档加载与预处理
- 智能分块(50万+文档块)
- 向量化
- 存储到Milvus多集合
2. 意图识别模块
基于BERT的意图分类器,支持4种意图分类,F1-score达90%
3. 混合检索实现
- 根据意图选择collection
- 稠密检索(Top-50)
- 稀疏检索(Top-50)
- 混合融合
- Rerank(Top-50 → Top-5)
- Top-5相关性提升35%
4. 生成模块
Qwen2.5-7B + LoRA微调,构建结构化Prompt,生成专业自然的答案
项目优化与技术创新
-
多模态文档处理增强
引入OCR工具与多模态大模型提取图文信息,提升知识覆盖完整性 -
Query理解与重构优化
设计多策略query改写机制,显著提升模糊查询的召回率 -
文档索引与检索优化
- 构建多级索引机制
- 实现稀疏向量与稠密向量混合检索
- 引入Rerank模块,Top-5相关性提升35%
-
模型微调与生成优化
- 对Qwen2.5-7B模型进行LoRA微调
- 设计结构化Prompt模板,控制生成格式
-
系统评估体系建设
- 使用RagAS自动评估框架
- 构建1000条人工标注测试集,整体准确率达90%
项目成果
- 系统上线后自动应答率超80%
- 人工客服压力降低约50%
- 回答准确率与用户满意度显著提升
- 支持知识库动态更新,具备高可扩展性与私有化部署能力