随着大语言模型（LLM）技术的不断演进，检索增强生成（Retrieval-Augmented Generation, RAG）正经历着一场从“朴素检索”向“智能认知”的根本性范式转移。在2025年末至2026年初的这一关键时间窗口，学术界与工业界密集发布了一系列突破性研究，旨在解决传统 RAG 系统面临的核心痛点：长文档理解中的全局上下文缺失、高置信度幻觉、静态知识库的局限性、多模态融合的异构鸿沟，以及复杂推理中的逻辑断层。
本报告对当前最顶尖的12种 RAG 高级架构进行了穷尽式的深度解析。这些架构不仅仅是对现有技术的微调，而是代表了四种新兴的技术演进支柱：认知语境化（Cognitive Contextualization）、元认知验证与动态性（Metacognitive Verification & Dynamics）、多模态具身智能（Multimodal Embodiment）以及结构化推理与效率优化（Structured Reasoning & Efficiency）。
通过对 MiA-RAG、HGMem、QuCo-RAG、HiFi-RAG 等十二篇核心论文的系统性解构，我们发现未来的 RAG 系统将不再仅仅是一个外挂的搜索引擎，而是一个具备即时记忆构建、自我反思校验、跨模态感知以及系统化规划能力的智能体（Agent）。本报告长达两万字，旨在为人工智能领域的研究人员、架构师及决策者提供一份详尽的技术路线图，揭示这些架构背后的数学原理、工程实现细节及深远的应用前景。
第一部分：认知语境化与记忆重构
从“碎片化检索”到“全局心智图景”的跃迁
传统 RAG 系统在处理长文档或复杂叙事时，往往受困于“碎片化”难题。标准的切片（Chunking）策略将连贯的文本切割成孤立的段落，导致模型在检索时只见树木不见森林，产生著名的“迷失在中间（Lost in the Middle）”现象。为了突破这一瓶颈，MiA-RAG 和 HGMem 两种架构分别从层级化摘要和超图拓扑的角度，为 RAG 系统引入了类似人类的“长时工作记忆”和“全局感知”能力。
1. MiA-RAG：基于心智图景的全局感知 RAG
核心论文：Mindscape-Aware Retrieval Augmented Generation for Improved Long-Context Understanding
1.1 理论困境：
局部最优与全局失语在传统的 RAG 流程中，检索器（Retriever）通常基于向量相似度（Cosine Similarity）寻找与查询最相关的文本片段。然而，这种机制存在本质缺陷：它假设答案显式地存在于某个局部片段中。但在处理文学作品分析、长篇法律文书综述或历史事件因果推断时，答案往往是“涌现”的（Emergent），分布在全文的多个角落，且需要理解整体脉络才能整合。例如，当用户问“小说主人公的心态是如何随着战争进程而变化的？”时，单一的章节片段无法提供完整答案，甚至可能因为缺乏前文背景而导致模型产生误读。这就是所谓的“全局意义构建（Global Sense-Making）”缺失问题。
1.2 架构革新：
心智图景（Mindscape）的构建MiA-RAG 的核心创新在于引入了一个显式的全局语义支架，称为“心智图景”（Mindscape, ）。这一概念借鉴了认知心理学中的图式理论，即人类在阅读长文时会在脑海中构建一个高层次的抽象模型。 MiA-RAG 的实现机制包含以下关键步骤：
- 分层递归摘要（Hierarchical Summarization）：系统不再简单地对文档进行切片，而是建立一个多层级的摘要树。底层是原始文本片段，上一层是对相邻片段的摘要，再上一层是对摘要的摘要，直至生成一个覆盖全文的根摘要（Root Summary）。这个根摘要即为“心智图景”的核心。
- 双重条件推理（Dual-Conditioned Inference）：传统的生成概率模型为 ，即答案 取决于问题 和检索内容 。MiA-RAG 将其修正为 。这意味着，无论是检索过程还是生成过程，始终受到全局心智图景 的约束和指导。
- 富集查询向量：在检索阶段，系统利用 对用户的原始查询进行“去模糊化”和“语境补全”。例如，原本模糊的查询“他为什么要离开？”会被扩充为“在[心智图景中的事件背景]下，主人公[姓名]为什么要离开[地点]？”从而极大提高了检索的精准 度。
1.3 实验表现与深层洞察
在 NarrativeQA（长篇叙事问答）和 Bench（超长上下文基准）等数据集上的测试显示，MiA-RAG 取得了显著的性能提升。
•召回率飞跃：在 NarrativeQA 上，Recall@5 指标从基线模型的 54.5% 跃升至75.9%。这表明，拥有全局视野的检索器能更有效地定位到那些字面相似度不高但语义紧密相关的深层证据。
•推理一致性：F1 分数相比原版 Qwen2.5-14B 模型提升了+16.2分。这种提升不仅仅是准确率的增加，更体现了模型推理逻辑的连贯性。
深度洞察：MiA-RAG 的成功揭示了一个重要趋势——未来的检索器将不再是无状态的（Stateless）。通过预先计算并持有一个“文档指纹”（即心智图景），RAG 系统可以在不显著增加推理成本的前提下，模拟出类似无限上下文模型的效果，这对于资源受限的端侧设备尤为重要。
2. HGMem：基于超图记忆的多步 RAG
核心论文：Improving Multi-step RAG with Hypergraph-based Memory for Long-context Complex Relational Modeling
2.1 理论困境：二元关系的局限性现有的 GraphRAG（图增强 RAG）大多基于传统的知识图谱，其中边（Edge）仅连接两个节点（Node），即 。然而，现实世界中的复杂逻辑往往是多元的（n-ary）。例如，“药物A、患者年龄>60岁、既往病史Z”这三个条件同时存在时，才会导致“风险X”。传统的二元图会将这种关系拆解为三条独立的边，导致信息在传播过程中丢失了“同时性”这一关键约束，使得模型难以进行精确的归因推理。
2.2 架构革新：动态演化的超图记忆HGMem（Hypergraph-based Memory）提出了一种基于**超图（Hypergraph）**的工作记忆机制。
•超边（Hyperedges）作为思维单元：在超图中，一条边可以同时连接任意数量的节点（）。这使得 HGMem 能够将一个完整的“事实复合体”或“思维单元”存储为一个单一的拓扑结构，从而保留了信息的高阶关联 6。
•动态记忆演化（Dynamic Evolution）：与传统的静态索引不同，HGMem 的超图是在推理过程中实时构建的“工作记忆”。随着多步推理的进行，系统执行三种拓扑操作：
◦更新（Update）：修正已有节点的属性或权重。
◦插入（Insert）：引入新的实体节点。
◦合并（Merge）：将新发现的关联实体打包成新的超边。这种动态性允许模型捕捉那些在原始文档中并未显式相连，但通过逻辑推导可以关联起来的隐性知识 。
2.3 “意义构建”的工作流HGMem 采用了一种自适应的检索策略，在“局部调查（Local Investigation）”和“全局探索（Global Exploration）”之间动态切换。
- 初始检索：基于问题触发初步检索，形成初始节点。
- 超边生成：系统分析检索到的证据，识别出多个实体间的复杂关系，构建超边。
- 迭代推理：基于当前的超图结构，模型生成新的子问题，进一步检索并扩充超图。这种迭代过程使得记忆结构不断“生长”，直至覆盖问题的全部逻辑链路。
2.4 实验表现与深层洞察在 NoCha、NarrativeQA 和 Prelude 等强调“全局意义构建”的数据集上，HGMem 展现了压倒性的优势。
•小模型战胜大模型：令人震惊的是，搭载 HGMem 的 Qwen2.5-32B 模型在多项任务中匹配甚至超越了基于 GPT-4o 的基线系统。这有力地证明了更优秀的记忆结构可以弥补模型参数量的不足。
•复杂关系建模：消融实验显示，如果移除“合并（Merge）”操作，系统在复杂推理任务上的性能大幅下降，证明了超边在捕捉高阶语义关系中的决定性作用 。
深度洞察：HGMem 标志着 RAG 从“文本检索”向“结构化知识生成”的演进。未来的 RAG 系统不仅是读取信息，更是在实时编织一张针对当前问题的知识网络。
第二部分：元认知验证与动态性
构建具备“自我怀疑”能力的 RAG 系统
随着 RAG 在高风险领域的应用（如医疗、法律），模型生成的可靠性成为首要考量。第二类架构革新聚焦于“元认知（Metacognition）”，即赋予系统评估自身知识边界、检测幻觉并在必要时修正自身知识库的能力。
3. QuCo-RAG：基于语料库共现统计的动态 RAG
核心论文：QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation
3.1 理论困境：自信的幻觉
传统的“动态 RAG”通常依赖模型自身的置信度（如 Logits、Entropy）来决定是否需要检索。然而，大模型普遍存在“校准失调（Miscalibration）”问题。一个语言表达极其流利的模型可能对一个完全虚构的事实表现出极高的置信度（Confident Hallucination）。依赖模型内部信号来验证事实，本质上是一种循环论证，难以根除幻觉。
3.2 架构革新：客观统计学基准
QuCo-RAG 彻底摒弃了主观的置信度，转而寻求一个客观的真理锚点：预训练语料库的统计数据。
•Infini-gram 引擎：该系统接入了一个包含4万亿 token（例如 OLMo-2 语料库）的超大规模索引引擎。它不依赖神经网络推理，而是直接查询 n-gram 在语料库中的原始频率。
•两阶段非自信度检测：
生成前（Pre-Generation）：系统识别问题中的实体。如果这些实体在语料库中的频率极低（长尾知识），说明模型仅仅是“见过”而非“习得”了这些知识，系统强制触发检索。
运行时（Runtime）：在生成过程中，系统实时提取产生的三元组（主体-关系-客体）。它查询这些实体对在语料库中的共现频率（Co-occurrence）。如果共现率为零，即便模型置信度再高，也被判定为高风险幻觉，立即触发检索并重写。
3.3 实验表现与深层洞察
•基准测试：在 HotpotQA 和 2WikiMultihopQA 等多跳问答任务中，QuCo-RAG 的精确匹配率（Exact Match）相比基线提升了5–12 个百分点。
•毫秒级延迟：得益于后缀数组（Suffix Arrays）等高效数据结构，Infini-gram 引擎能在毫秒级别完成对万亿级语料的查询，使其具备了实时部署的可行性。
深度洞察：QuCo-RAG 的提出具有哲学意义——它将 RAG 系统的“信任根基”从黑盒模型内部转移到了透明的数据统计外部。这为构建可解释、可信赖的 AI 系统提供了一条全新的路径。
4. Bidirectional RAG：双向自进化 RAG
核心论文：Bidirectional RAG: Enabling Safe, Self-Improving Corpus Expansion
4.1 理论困境：静态知识库的熵增
标准 RAG 是“只读”的。无论模型在交互中生成了多么精彩的总结或推导出了多么重要的新知，这些信息在会话结束后即烟消云散。知识库不仅没有增长，反而相对于不断变化的世界显得日益陈旧。反之，如果简单粗暴地将模型生成的内容回写到库中，又会面临“幻觉污染（Hallucination Pollution）”的风险——模型生成的错误信息被索引后，会在下一次检索中被当作事实依据，导致错误的自我强化循环。
4.2 架构革新：受控的回写机制
Bidirectional RAG（双向 RAG）引入了一个严密的后向路径（Backward Path），允许系统在通过严格审查后将生成内容反哺给知识库。
•前向路径：标准的检索-生成流程 ()。
•后向路径与接受层（Acceptance Layer）：生成的答案 并不直接入库，而是必须闯过三道关卡：
- 蕴含验证（Grounding Verification）：利用 DeBERTa-v3 等 NLI 模型，验证 是否逻辑上被检索到的文档所蕴含（Entailment Score ）。这确保生成内容有据可依。
- 归因检查（Attribution Checking）：检查生成内容中的引用标注是否真实指向了对应的文档 ID，杜绝“虚假引用”。
- 新颖性检测（Novelty Detection）：计算语义相似度，只有当生成内容提供了现有文档未包含的新信息时（Novelty Score ），才会被视为有价值的增量知识。
4.3 经验存储器（Experience Store）
除了事实知识，系统还维护一个“经验存储器”，记录被拒绝的生成内容及其原因（Critiques）。在未来的查询中，系统会检索这些“失败教训”，进行元认知学习，避免重蹈覆辙。
4.4 实验表现与深层洞察
•覆盖率提升：在 QA 任务中，双向 RAG 实现了40.58%的知识覆盖率，几乎是标准 RAG（20.33%）的两倍。这意味着系统通过自我思考填补了原始语料的空白。
•数据纯净度：相比朴素的回写策略，双向 RAG 添加的文档数量减少了 72%，却带来了更高的性能提升，证明了过滤机制在去噪方面的有效性。
5. RAGPart & RAGMask：防御语料库投毒的安全机制
核心论文：RAGPart & RAGMask: Retrieval-Stage Defenses Against Corpus Poisoning in Retrieval-Augmented Generation
5.1 理论困境：检索阶段的阿喀琉斯之踵
RAG 系统的开放性使其极易受到语料库投毒攻击（Corpus Poisoning Attacks）。攻击者只需向知识库注入包含特定“触发词”的恶意文档。当用户查询触及该词时，恶意文档会获得极高的检索分数，进而误导 LLM 生成错误答案。传统的防御往往集中在生成阶段（检查答案），不仅计算昂贵，而且一旦恶意信息进入上下文窗口，往往为时已晚。
5.2 架构革新：检索阶段的免疫系统RAGPart 和 RAGMask 将防御战线前移至检索阶段，直接利用稠密检索器（Dense Retriever）的嵌入特性进行清洗。
•RAGPart（基于分区的防御）：利用了稠密检索器（如 Contriever）的归纳偏置（Inductive Bias）。一个正常的文档，其任意片段的嵌入向量应该与整篇文档的嵌入向量在语义空间上接近。而中毒文档通常是“拼盘式”的（良性文本中夹杂恶意触发词），其片段嵌入与整体嵌入会产生显著的发散（Divergence）。RAGPart 通过计算这种发散度来识别并隔离异常文档 13。
•RAGMask（基于掩码的防御）：针对的是“高影响力 Token”。投毒攻击往往依赖少数几个关键词来拉高分数。RAGMask 动态地掩盖文档中的高梯度 Token，并观察检索分数的下降幅度。正常文档的语义是分布式的，掩盖个别词不会导致分数崩塌；而中毒文档的分数则极其脆弱，一旦触发词被掩盖，分数会断崖式下跌。系统据此剔除这些“碰瓷”的文档。
5.3 实验表现与深层洞察
•防御效果：在面对 HotFlip、AdvRAGgen 等多种攻击策略时，两种方法均显著降低了攻击成功率（ASR）。
•效用权衡：实验表明，RAGMask在保障安全的同时，对正常查询的检索成功率影响更小，展现了更佳的“安全-效用”平衡 15。这提示我们在构建企业级 RAG 时，必须引入这种底层的“免疫检测”机制，而非仅仅依赖上层的提示词工程。
第三部分：多模态具身智能
从“阅读文本”到“感知世界”的跨越
第三类架构革新标志着 RAG 从纯文本处理向多模态理解与物理世界交互的延伸。数据不再局限于文字，视频流、物理环境的可供性（Affordance）以及交通标志的视觉特征都成为了检索的对象。
6. TV-RAG：长视频时序检索与理解
核心论文：TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding
6.1 理论困境：时间维度的缺失
直接将图文 RAG 技术应用于视频领域面临巨大挑战。视频不仅是图像的集合，更是一个时间序列。传统的 RAG 可能会检索到第5分钟的画面和第20分钟的字幕，强行拼凑在一起，导致时空错乱。此外，视频中存在大量的冗余帧，随机采样会导致信息密度极低。
6.2 架构革新：熵权与时序衰减
TV-RAG 提出了一种**无需训练（Training-Free）**的架构，通过两个核心模块解决上述问题： •语义熵加权的关键帧选择器（Semantic-Entropy Key-Frame Selector）：系统不再均匀采样，而是计算视频流在视觉、OCR 和音频三个通道上的“语义熵”。熵值高意味着信息量大（如画面突变、出现新文字）。系统优先选择这些高信息密度的帧，去除了大量静止或重复的画面 。
•时序衰减检索（Temporal-Decay Retrieval）：在计算相似度时，引入显式的时间衰减因子。如果某一段字幕与查询高度匹配，系统会赋予该字幕时间戳附近的视觉帧更高的权重，强制检索结果在时间轴上保持对齐（Synchronization）。这确保了视觉证据与文本证据属于同一事件。
6.3 实验表现与深层洞察
•基准统治力：TV-RAG 在 Video-MME、MLVU 和 LongVideoBench 等长视频理解基准上击败了包括 GPT-4V 在内的主流基线模型。
•低成本升级：作为一个无需微调的插件模块，它可以直接挂载到现有的 LVLM（大视频语言模型）上，为处理小时级时长的视频提供了一条极具性价比的技术路径 。
7. MegaRAG：多模态知识图谱 RAG
核心论文：MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation
7.1 理论困境：视觉信息的非结构化
在处理包含大量图表、布局复杂的文档（如财务报表、维修手册）时，传统 RAG 往往将图片视为独立的附件。模型可以看到图片，但缺乏对图片内部元 素之间、图片与正文之间关系的结构化理解。视觉信息与文本信息之间存在“语义鸿沟”。
7.2 架构革新：自动化 MMKG 构建
MegaRAG 致力于将非结构化的多模态文档转化为结构化的多模态知识图谱（MMKG）。
•并行抽取：利用多模态大模型（MLLM）并行处理文档的每一页，不仅抽取文本实体，还识别视觉元素（如图表中的特定数据点、布局区域），并将它们作为图谱中的节点。
•跨模态对齐：通过节点合并，将文本中提到的概念（如“通货膨胀率”）与图表中对应的视觉数据节点连接起来，消除模态间的隔阂。
•迭代精炼（Iterative Refinement）：系统引入了一个“回溯”机制。在初步建图后，会检索子图进行自我检查，补充缺失的跨模态链接（例如，明确指出“图1”是“第3段”的佐证），从而增强图谱的连通性 。
7.3 实验表现与深层洞察
在书籍级（Global QA）和页面级（Local QA）问答任务中，MegaRAG 均超越了 GraphRAG（纯文本图谱）和 LightRAG。它证明了将视觉信息结构化是实现深度文档理解的必经之路。
8. AffordanceRAG：机器人具身记忆 RAG
核心论文：Affordance RAG: Hierarchical Multimodal Retrieval with Affordance-Aware Embodied Memory for Mobile Manipulation
8.1 理论困境：“是什么” vs “能不能用”
对于一个家庭服务机器人，识别出“这是一个杯子”是不够的。它必须知道“这个杯子把手朝外，可以抓取”或者“这个杯子放在高处，够不着”。传统的 VLM-RAG 缺乏这种对物理**可供性（Affordance）**的感知，导致检索到的物体虽然语义匹配，但在物理上无法操作。
8.2 架构革新：可供性感知重排序
AffordanceRAG 构建了一种具身记忆（Embodied Memory），将物理属性融入检索过程。
•视觉提示（Visual Prompting）：利用 VLM 对环境中的物体进行预扫描，估算其可供性（如抓取点、移动性），并将这些物理属性作为元数据存入记忆。
•层级检索与重排序：
- 语义粗筛：根据指令（“给我拿点喝的”）检索语义相关的物体（杯子、瓶子）。
- 可供性精排（Affordance Reranking）：根据机器人的当前状态和能力，对候选物体进行重排序。物理上不可行（如被遮挡、过重）的物体会被降权。
8.3 实验表现与深层洞察
在移动操作机器人上的实机测试表明，AffordanceRAG 能够显著提高任务执行的成功率。它标志着 RAG 技术开始从数字世界走向物理世界，成为具身智能（Embodied AI）的核心组件 。
9. SignRAG：零样本路标识别 RAG
核心论文：SignRAG: A Retrieval-Augmented System for Scalable Zero-Shot Road Sign Recognition
9.1 理论困境：现实的长尾分布
自动驾驶系统通常依靠监督学习识别交通标志。然而，世界各地的路标千差万别，且不断有新标志出现（如临时施工标志）。依靠收集海量数据训练分类器不仅成本高昂，而且无法应对从未见过的“零样本（Zero-Shot）”类别。
9.2 架构革新：检索即分类
SignRAG 创造性地将分类问题转化为检索问题。
•向量库作为知识库：系统离线构建了一个包含标准路标设计图（如 MUTCD 手册）及其文本描述的向量数据库。
•检索-推理流程：
- VLM 描述：车载摄像头捕捉到未知标志，VLM 生成对其视觉特征的自然语言描述。
- 相似度检索：用该描述在数据库中检索最相似的标准设计。
- LLM 细粒度判别：LLM 作为一个“推理分类器”，对比输入图像和检索到的候选标志，分析细微差异（如数字“50”与“60”的区别），做出最终判定。
9.3 实验表现与深层洞察
•零样本能力：在完全未见过的 303 类路标上，SignRAG 达到了95.58%的准确率。在复杂的真实道路场景中，准确率也高达 82.45%。
•可扩展性：新增一种路标只需在数据库中插入一条记录，无需重新训练模型。这极大地降低了自动驾驶系统的维护成本和迭代周期 。
第四部分：结构化推理与效率优化
优化 RAG 的“思考过程”
最后一部分关注 RAG 系统的推理深度与计算效率。Graph-O1 将推理过程变成了一场深度的图搜索博弈，而 HiFi-RAG 和 Hybrid RAG 则展示了如何在噪声和成本约束下实现最优性能。
10. Graph-O1：基于 MCTS 的图谱推理
核心论文：Graph-O1: Monte Carlo Tree Search with Reinforcement Learning for Text-Attributed Graph Reasoning
10.1 理论困境：浅层遍历与短视
现有的 GraphRAG 往往只是将子图序列化为文本喂给 LLM，这是一种被动的“阅读”。模型无法主动地在图中进行探索，难以解决需要多步跳跃（Multi-hop）的复杂问题。模型往往会因为上下文窗口限制而丢失远距离的逻辑链条。
10.2 架构革新：系统2（System 2）思维的引入
Graph-O1 借鉴了 OpenAI o1 模型的“慢思考”范式，将图推理建模为**蒙特卡洛树搜索（MCTS）**过程。
•MCTS 四阶段：
- 选择（Selection）：智能体选择当前最优的推理路径。
- 扩展（Expansion）：探索当前节点的邻居，发现新的线索。
- 模拟（Simulation）：LLM 预判该路径是否能通向最终答案（Value Estimation）。
- 回溯（Backpropagation）：将模拟结果反馈更新路径权重。
•端到端强化学习：系统结合了GRPO（Group Relative Policy Optimization）算法，通过强化学习优化奖励函数。奖励不仅考量答案的准确性，还考量推理路径的合理性和格式的规范性 。
10.3 实验表现与深层洞察
Graph-O1 成功将 LLM 从一个“被动的读者”转变为一个“主动的导航者”。这种显式的搜索过程不仅提高了复杂问答的准确率，更重要的是提供了可解释性（Interpretability）——MCTS 的搜索树清晰地展示了模型的思考轨迹，使得推理过程透明化。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
