文章探讨了RAG系统中语义召回和关键字召回对chunk策略的不同需求。语义召回看重语义相似性，适合有overlap的分块；而关键字召回更适合按段落或句子分块。作者提出混合召回方案，建议按段落和句子分块，配合强大embedding模型，在两种召回方式间取得平衡，以实现RAG效果最大化。
“不同的召回方式需要选择不同的chunk策略，只有这样才能使得RAG效果达到最好。”
上周在社群中讨论一个关于RAG召回的问题，问题主要围绕在关键字召回和语义召回；具体情况是，社群中有人问RAG中chunk是不是根据段落和句子进行切分的，当时看到这个问题还有点奇怪；因为在真实的场景中，chunk需要根据不同场景选择不同的方式，但肯定不只是根据段落和句子进行拆分。
但当时并没有明白过来，再后面又讨论到召回策略的问题和上下文构建问题；一般情况下，构建上下文会使用召回的内容做上下文，但还有一种方式就是把找到召回内容所在的段落，把这个段落作为上下文。
这时就讨论到了一个问题，长文本中使用关键字进行召回；当时我问文本拆分，随着长度的增加会降低其语义相似性，这在语义召回中是绝对的；但他说了一句用jieba关键字的混合召回，这个可以解决长度问题。
所以，这时作者才突然想到，虽然现在RAG中的主流召回方式是语义召回，但在某些情况下语义召回明显满足不了需求，这时其它的召回方式就成了必不可少的手段。所以，如果用语义召回+关键字召回会不会效果更好？
语义召回与关键字召回
今天闲的无事时，研究了一下关键字召回，主要就是基于jieba分词工具，对内容进行分词之后，再使用BM25计算其相似度进行召回；但这里就面临一个问题，如果要使用语义召回和关键字召回，应该使用什么样的chunk策略？
为什么会出现这个想法？
因为在关键字召回中，其主要是通过统计句子中的词频等方式来计算相似度；因此，一般情况下在关键字召回中，会使用段落或句子进行chunk，因为这样能尽可能的保证jieba分词召回的准确性。但这一点和语义召回却不尽相同，因为语义召回更看重的是语义相似性，并且会存在overlap，而不是完全按照段落或句子进行拆分的，这一点对语义计算来说很方便，但在关键字检索中好像就没那么方便了。
所以，这里就存在一个问题，如果在RAG中需要使用混合检索的方式，而其中又同时包含语义检索和关键字检索，这时的chunk应该怎么做才比较合理？
所以，面对这种问题就需要在关键字和语义相似度之间找到一个平衡点；其实从根本上来说，最好的方式是根据关键字，及语义相似度各自维护一套chunk机制，但这种方式在实际操作中又显得太复杂。
corpus = [ "北京是中国的首都，也是一座历史悠久的文化名城。", "上海是中国的经济中心，拥有繁忙的港口和现代化的建筑。", "深圳是中国科技创新的重要城市，被誉为“中国硅谷”。", "广州的美食文化闻名全国，是粤菜的发源地。", "学习人工智能技术需要扎实的数学基础和编程能力。", "中国的历史源远流长，有许多著名的历史人物和事件。"] # 2. 定义分词函数（使用 jieba） def tokenize(text): return list(jieba.cut_for_search(text)) # 3. 对语料库进行分词 tokenized_corpus = [tokenize(doc) for doc in corpus] print(f"分词后的语料库 (部分展示): {tokenized_corpus}") print(tokenized_corpus[0]) # 初始化 BM25 模型 bm25 = BM25Okapi(tokenized_corpus) query = "中国的历史文化" tokenized_query = tokenize(query) # 使用 get_top_n 获取最相关的 3 个文档 # 参数: (分词后的查询, 原始语料库, n=返回数量) top_n_docs = bm25.get_top_n(tokenized_query, corpus, n=3) print(f"查询: '{query}'") print("--- 最相关的3个文档 ---") for doc in top_n_docs: print(doc)所以，面对这种问题其实最简单的方式就是按照段落和句子进行拆分，然后再配置一个强大的embedding模型，就基本上能在语义相似度和关键字检索中取得一个合理的平衡点。因为，从理论上来说，段落和句子本身就是天然的语义分割点，而这一点和关键字的切分又天然的和谐统一。
总之，之前作者认为在RAG中的chunk策略都是一样的，但这时才发现针对不同的检索策略，需要选择不同的chunk方式；两者配合才能使得效果最大化。
AI时代，未来的就业机会在哪里？
答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具，到自然语言处理、计算机视觉、多模态等核心领域，技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。
掌握大模型技能，就是把握高薪未来。
那么，普通人如何抓住大模型风口？
AI技术的普及对个人能力提出了新的要求，在AI时代，持续学习和适应新技术变得尤为重要。无论是企业还是个人，都需要不断更新知识体系，提升与AI协作的能力，以适应不断变化的工作环境。
因此，这里给大家整理了一份《2026最新大模型全套学习资源》，包括2026最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题、AI产品经理入门到精通等，带你从零基础入门到精通，快速掌握大模型技术！
由于篇幅有限，有需要的小伙伴可以扫码获取！
1. 成长路线图&学习规划
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）
3. 大模型视频教程
对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。
4. 大模型项目实战
学以致用，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。
5. 大模型行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
6. 大模型面试题
面试不仅是技术的较量，更需要充分的准备。
在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
为什么大家都在学AI大模型？
随着AI技术的发展，企业对人才的需求从“单一技术”转向 “AI+行业”双背景。企业对人才的需求从“单一技术”转向 “AI+行业”双背景。金融+AI、制造+AI、医疗+AI等跨界岗位薪资涨幅达30%-50%。
同时很多人面临优化裁员，近期科技巨头英特尔裁员2万人，传统岗位不断缩减，因此转行AI势在必行！
这些资料有用吗？
这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
大模型全套学习资料已整理打包，有需要的小伙伴可以
微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
