ERNIE 4.5-VL-A3B：28B多模态大模型全新发布！

ERNIE 4.5-VL-A3B：28B多模态大模型全新发布！

【免费下载链接】ERNIE-4.5-VL-28B-A3B-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-VL-28B-A3B-PT

百度正式发布ERNIE 4.5系列最新成员——ERNIE-4.5-VL-28B-A3B-PT多模态大模型，该模型融合文本与视觉理解能力，采用创新的混合专家（MoE）架构，在保持高效推理的同时实现了性能突破。

多模态大模型进入实用化攻坚期

随着大语言模型技术的快速迭代，多模态能力已成为衡量AI系统智能水平的核心指标。当前行业正从单一模态向图文、视频等多模态融合方向发展，模型参数规模不断扩大的同时，如何平衡性能与计算效率成为关键挑战。据行业报告显示，2024年全球多模态AI市场规模同比增长达78%，企业对兼具理解深度与部署灵活性的模型需求激增。百度ERNIE系列此次推出的28B参数版本，正是瞄准了企业级应用对高性能与低部署成本的双重需求。

ERNIE 4.5-VL-A3B核心技术突破

该模型采用"28B总参数/3B激活参数"的高效架构设计，通过三大技术创新实现了性能跃升：

异构混合专家架构是模型的核心亮点。不同于传统MoE结构，ERNIE 4.5-VL-A3B创新性地设计了文本专家（64个总专家/6个激活专家）与视觉专家（64个总专家/6个激活专家）的分离路由机制，并配备2个共享专家处理跨模态信息。这种设计使模型能同时优化文本理解生成与图像识别能力，通过模态隔离路由和路由器正交损失函数，避免了不同模态间的学习干扰。

高效训练与推理体系显著降低了部署门槛。基于PaddlePaddle深度学习框架，模型采用异构混合并行策略、内存高效流水线调度和FP8混合精度训练，配合4位/2位无损量化技术，实现了训练吞吐量与推理效率的双重提升。131072的超长上下文窗口则为处理长文档与多图内容提供了基础。

模态专属后训练流程进一步优化了实际应用表现。模型在预训练基础上，通过监督微调（SFT）、直接偏好优化（DPO）和统一偏好优化（UPO）等技术，针对视觉语言理解任务进行专项优化，特别强化了图像理解、任务特定微调与多模态思维链推理能力。RLVR（带可验证奖励的强化学习）技术的应用，进一步提升了模型输出的准确性与对齐度。

企业级应用价值与行业影响

ERNIE-4.5-VL-28B-A3B的发布将加速多模态AI在关键行业的落地应用。其灵活的部署特性使其能够适应从云端服务器到边缘设备的多样化算力环境，特别适合需要同时处理文本与视觉信息的场景：在智能客服领域，可实现图文混合咨询的精准理解；在内容创作行业，能支持图像描述生成与创意辅助；在工业质检场景，可结合视觉识别与文本报告生成实现自动化检测。

技术层面，该模型验证了异构MoE架构在多模态任务上的优越性，为行业提供了"大参数总量+小激活参数"的高效模型范式。百度同时提供了PyTorch版本权重与vLLM推理支持（需vllm>=0.11.2），降低了开发者的使用门槛，预计将推动多模态应用生态的快速发展。

多模态AI发展进入精细化时代

ERNIE 4.5-VL-28B-A3B的推出标志着多模态大模型从参数竞赛转向效率与效果的平衡优化。Apache 2.0开源许可下，企业与开发者可基于该模型进行二次开发与商业应用。随着模型对复杂场景理解能力的提升，我们正逐步接近"人机自然交互"的愿景，未来在教育、医疗、制造等领域的智能化转型将迎来更多可能性。百度ERNIE系列持续的技术创新，也将推动中国大模型技术在全球AI竞争中保持领先地位。

【免费下载链接】ERNIE-4.5-VL-28B-A3B-PT项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-VL-28B-A3B-PT