news 2026/4/18 6:47:47

Naive RAG 到Advanced RAG 的优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Naive RAG 到Advanced RAG 的优化

**Naive RAG 与 Advanced RAG 的核心区别在于:**Naive RAG 只是“取相似段落 + 拼接给大模型”,而 Advanced RAG 则引入多层过滤、压缩和知识增强,使检索更准、上下文更干净、回答更可靠。Naive RAG 使用单次向量检索,容易受到噪声片段、长文档稀释和幻觉影响;Advanced RAG 则通过多路召回(BM25 + Embedding)、段落切分优化、ReRank 重新排序、Selective Context/LLMLingua 压缩无关信息,以及检索后推理(ReAct / GraphRAG / Query Rewrite)来保证模型只看到最有用、最精炼的知识,从而大幅提高准确率、减少幻觉并显著降低 Token 成本。

**简单说:**Naive RAG 是“把文档喂给模型”,Advanced RAG 是“挑最 relevant + 最精华的上下文,让模型以最小的成本说最正确的话”。

Advanced RAG的索引优化

检索前的优化

  • **数据粒度优化:**修订简化内容确保正确性,删除不相关信息消除歧义,维护上下文连贯性

  • 优化索引结构:

    • chunk大小调整:根据场景特性动态切割文本,过大导致噪声增加,过小丢失上下文关联
    • 图数据索引(知识图谱):建立节点关系网络实现跨索引查询,如感冒药有哪些副作用?查询场景中,先用问题丢给向量数据库得到一些文档,再通过图谱找到"感冒药1/2/3"相关的知识,把这些知识丢给向量数据库再得到一些文档,最后把这些文档融合到一起,在丢给大模型给我们回答

  • 层级索引构建:构建多层索引结构以提高检索效率,先生成文档摘要层(20字代替1000字),快速定位后再精查具体chunk

  • **加入元数据信息:**如对会议纪要、新闻等时效数据标注日期,标题等加入元数据
  • **混合检索与对齐优化:**对一份文档预设用户可能会提问的问题,用户查询时,先把用户的问题对文档预设问题进行相似度的检索,这和多层索引有点像(多层索引是提炼文档的摘要,这里是提炼可能会问的问题)

检索中的优化

  • 微调Embedding模型:利用特定场景的语料去微调embedding模型将知识嵌入到模型中,但比较少用
    • 领域适配微调:使用金融/医疗等垂直语料微调向量模型,提升专业术语捕捉能力
    • 冷启动方案:先用通用模型检索,积累足够数据后再进行微调迭代
    • 效果边界:当领域术语占比超30%时建议微调,否则可能带来过拟合

检索后的优化

  • **ReRank机制:**用BERT等模型对Top100结果重排序,比如拿到前3个最相关
  • **Prompt Compression:**对ReRank机制后的3个结果,再进行压缩无关上下文、突出关键段落、减少整体上下文长度,Selective Context (利用小模型(或稀疏模型)对文本进行片段级评分)和 LLMLingua (LLMLingua 是由微软发布的一种 大模型 Prompt 压缩框,利用小模型对文本做逐句重要性评估)等方法利用小语言模型来做
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/6 3:55:25

PyTorch-CUDA镜像自动更新机制设计

PyTorch-CUDA 镜像自动更新机制设计 在现代 AI 研发中,一个常见的场景是:团队刚准备复现一篇新论文,却发现本地环境不支持最新版 PyTorch;或者 CI 流水线突然失败,只因为某台服务器的 CUDA 版本与框架不兼容。这类“环…

作者头像 李华
网站建设 2026/4/10 22:33:40

Conda config配置国内镜像源加速下载

Conda 配置国内镜像源加速 PyTorch-CUDA 环境搭建 在深度学习项目中,最让人抓狂的不是模型不收敛,而是环境装不上。你是否经历过这样的场景:深夜赶论文复现代码,运行 conda install pytorch 后盯着进度条一动不动?半小…

作者头像 李华
网站建设 2026/4/15 8:26:53

运维经验不 “流失”:数据库团队知识库搭建的核心策略指南

在数据驱动业务变革的时代,数据库已成为IT系统的核心命脉,一次关键数据库故障可能给企业带来难以估量的财产损失或重大声誉风险。而在数据库运维领域,“经验依赖个人、流失即断层”是长期困扰企业的痛点——资深DBA的宝贵经验难以传承&#x…

作者头像 李华
网站建设 2026/4/16 15:22:14

EN-46 双麦降噪拾音模块:远距离清晰拾音,嘈杂环境也能 “声” 入人心

在语音交互、通话录音、安防监听等场景中,环境噪音、拾音距离受限、连接复杂等问题常让人困扰 —— 而 EN-46 双麦远距离拾取降噪模块,凭借高效降噪算法、超广拾音范围与便捷兼容性,轻松破解这些痛点,为各类音频产品注入清晰语音动…

作者头像 李华
网站建设 2026/4/11 15:36:51

告别手动升级!Spring Boot 4 迁移工具节省95%时间!

Spring Boot 4 来了,很多团队开始焦虑:现有项目如何升级,升级要多久?上周,我用 excel-spring-boot-starter 项目测试了一下迁移工具。这是个 Pig 生态的 Spring Boot Starter,基于 EasyExcel 封装 Excel 导…

作者头像 李华
网站建设 2026/4/12 14:56:10

PyTorch学习率调度器Scheduler使用详解

PyTorch学习率调度器Scheduler使用详解 在深度学习的实践中,一个看似微小却影响深远的超参数——学习率,往往决定了模型能否高效收敛、是否能够跳出局部最优,甚至最终泛化性能的好坏。你有没有遇到过这样的情况:训练初期损失下降飞…

作者头像 李华