ERNIE 4.5轻量版体验：0.3B模型文本生成入门教程

ERNIE 4.5轻量版体验：0.3B模型文本生成入门教程

【免费下载链接】ERNIE-4.5-0.3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-0.3B-Base-Paddle

百度ERNIE系列推出轻量级基础模型ERNIE-4.5-0.3B-Base-Paddle，以仅0.36B参数量实现高效文本生成能力，为开发者提供低门槛的大模型应用入口。

近年来，大语言模型（LLM）呈现"两极化"发展趋势：一方面，参数量突破千亿的超大模型持续刷新性能上限；另一方面，轻量级模型通过架构优化和量化技术，在保持核心能力的同时大幅降低部署门槛。据Gartner预测，到2025年，75%的企业AI应用将采用轻量化模型部署，而不是依赖云端算力。在此背景下，百度ERNIE团队推出的0.36B参数量基础模型，正是顺应这一趋势的重要实践。

ERNIE-4.5-0.3B-Base-Paddle作为轻量级文本生成模型，核心亮点体现在三个维度：

极致轻量化设计：模型采用18层Transformer架构，配备16个查询头和2个键值头，在仅0.36B参数量下实现131072 tokens的超长上下文理解能力。这种"小而精"的设计使其能在消费级硬件上流畅运行，为边缘计算场景提供可能。

多框架部署支持：该模型提供PaddlePaddle原生权重与PyTorch兼容版本，支持ERNIEKit工具链进行高效微调（包括SFT、LoRA和DPO等技术），同时兼容FastDeploy快速部署框架，可一键启动API服务。开发者可根据技术栈灵活选择部署方案，降低迁移成本。

文本补全能力：作为基础模型，它专注于文本续写任务，适合作为对话系统、内容创作辅助工具的基础组件。通过简单的Python代码即可实现调用，例如：

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "baidu/ERNIE-4.5-0.3B-Base-PT" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True) prompt = "人工智能在医疗领域的应用包括" model_inputs = tokenizer([prompt], add_special_tokens=False, return_tensors="pt").to(model.device) generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=1024) result = tokenizer.decode(generated_ids[0].tolist(), skip_special_tokens=True)

这一轻量级模型的推出，将对AI应用开发生态产生多重影响。对于中小企业和独立开发者，它降低了大模型应用的技术门槛和算力成本，使更多创新应用得以实现；对于教育领域，提供了可在本地运行的大模型教学实践工具；在工业场景中，其轻量化特性使其适合嵌入边缘设备，推动智能终端的功能升级。

【免费下载链接】ERNIE-4.5-0.3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-0.3B-Base-Paddle