PLUTO基准：评估LLM生成硬件代码效率的新标准

1. PLUTO基准：评估LLM生成硬件代码效率的新标准

在硬件设计领域，Verilog代码的自动生成正经历一场由大型语言模型(LLM)驱动的革命。然而，当我们深入探究当前LLM生成的硬件代码质量时，一个关键问题浮出水面：这些自动生成的代码在真实芯片设计中的表现究竟如何？传统评估方法过度关注功能正确性，却忽视了硬件设计中最关键的三个效率指标——面积(Area)、延迟(Delay)和功耗(Power)。这正是PLUTO基准诞生的背景。

PLUTO基准由布朗大学的研究团队开发，它不仅仅是一个测试集，更是一套完整的硬件代码效率评估体系。与现有基准相比，PLUTO的创新性体现在三个方面：首先，它为每个问题提供了三种经过专家优化的参考实现，分别针对面积、延迟和功耗进行极致优化；其次，它配备了时钟周期无关的自检测试台，能够适应不同优化策略引入的时序变化；最后，它引入了eff@k效率评估指标，从三个维度量化LLM生成代码与最优实现的差距。

硬件设计与软件开发的一个本质区别在于：软件只要功能正确且运行速度达标即可，而硬件代码的质量最终要体现在硅片上的物理实现效果——它占用了多少芯片面积？信号传输需要多少时间？消耗了多少功率？这些才是决定芯片商业价值的关键因素。

2. 硬件代码效率评估的现状与挑战

2.1 现有基准的局限性

当前主流的硬件代码生成基准如VerilogEval和RTLLM，主要关注两个基本维度：

• 功能正确性：生成的代码是否能通过测试用例
• 可综合性：代码是否能被综合工具成功转换为门级网表

然而，这些基准存在两个致命缺陷：

1. 缺乏优化参考：它们提供的"标准答案"往往只是功能正确的实现，而非经过面积、时序或功耗优化的版本。用这样的基准评估LLM，就像用60分的及格线来评判学生能否得100分。

2. 测试台僵化：它们的测试台假设参考设计和被测设计具有完全相同的时钟延迟。现实中，优化常常会改变设计的时间特性（如通过流水线增加延迟来提升吞吐量），这种僵化的测试方法会错误地将许多有效优化判为失败。

2.2 PLUTO的创新解决方案

PLUTO通过以下方式解决了这些问题：

以PLUTO中的"尾随零计数"问题为例（见图1），三种优化实现展示了截然不同的设计思路：

• 面积优化：采用多路复用器链结构，面积减少33%
• 延迟优化：使用LSB隔离电路与并行单热编码器，延迟降低44%
• 功耗优化：采用从LSB到MSB的扫描方法配合提前终止，总功耗降低34%

这种多维度的参考设计为LLM的优化能力评估提供了精确的标尺。

3. PLUTO基准的架构与实现

3.1 数据集构建

PLUTO的114个问题来自多个可靠来源：

• 开源硬件项目（如OpenTitan、RISC-V生态项目）
• 教育平台ChipDev的Verilog编程题库
• 现有基准(RTLRewriter、RTLLM、VerilogEval)的精选问题

每个问题包含五个关键组件：

1. 自然语言描述：明确硬件功能需求
2. 固定模块接口：确保不同实现的可比性
3. 未优化实现：作为功能正确性的基线
4. 三种优化实现：分别针对面积、延迟和功耗优化
5. 自检测试台：验证功能等效性，支持可变延迟

问题按难度分为三级：

• 简单：组合逻辑设计（如门电路、多路复用器）
• 中等：简单时序电路（如计数器、有限状态机）
• 困难：复杂系统（如算术逻辑单元、存储器控制器）

3.2 优化工作流程

PLUTO的参考设计优化遵循严格的工程流程：

graph TD A[未优化设计] --> B[功能验证] B --> C[面积优化] B --> D[延迟优化] B --> E[功耗优化] C --> F[综合验证] D --> F E --> F F --> G[指标测量] G --> H[纳入基准]

每种优化类型采用不同的技术策略：

面积优化策略：

• 算术单元共享（如加法器复用）
• 有限状态机重新编码（减少状态寄存器位宽）
• 逻辑简化（布尔代数优化）

延迟优化策略：

• 关键路径并行化
• 流水线设计
• 预计算与推测执行

功耗优化策略：

• 时钟门控
• 操作数隔离
• 减少冗余信号跳变

通过这种系统化的优化流程，PLUTO的参考设计在三个指标上平均提升了20%以上：

• 面积效率提升：19.19%
• 延迟效率提升：21.96%
• 功耗效率提升：22.55%

3.3 效率评估指标

PLUTO采用两级评估体系：

功能正确性 (pass@k)： 衡量在k次生成尝试中至少有一个设计通过测试的概率。计算公式为： [ pass@k = \frac{1}{N}\sum_{i=1}^{N}(1 - \prod_{j=1}^{k}(1 - \mathbb{I}{correct}(s{i,j}))) ] 其中N是问题总数，(\mathbb{I}_{correct})是指示函数，当设计s通过测试时值为1。

合成效率 (eff@k)： 量化最佳生成设计与最优参考设计的接近程度。效率分数计算为： [ e_{i,j} = \begin{cases} \frac{T_{i,j} - \hat{R}{i,j}}{T{i,j} - R_{i,j}}, & \text{如果设计正确} \ 0, & \text{否则} \end{cases} ] 其中：

• ( \hat{R}_{i,j} )：LLM生成设计的指标值
• ( T_{i,j} )：可接受的最大阈值
• ( R_{i,j} )：最优参考值

eff@k则是在top-k正确设计中取最佳效率得分的平均值。

4. 评估结果与关键发现

4.1 主流LLM的表现对比

PLUTO评估了18个主流LLM，涵盖通用模型、代码专用模型和Verilog调优模型。评估分为两种任务形式：

任务1：未优化Verilog到优化Verilog

• 输入：功能正确但未优化的Verilog代码
• 输出：优化后的实现

任务2：规范描述到优化Verilog

• 输入：自然语言描述
• 输出：直接生成优化实现

表1展示了部分模型的表现（完整结果见原论文）：

关键发现：

1. 功能正确性≠合成效率：即使pass@1高达78.3%，eff@1仍只有约65%，说明LLM能生成正确代码，但难以达到专家级优化水平。
2. 领域调优至关重要：专用Verilog模型(如VeriThoughts)以7B参数量达到与70B通用模型相当的性能。
3. 优化难度差异：面积优化相对容易(最高63.8%)，延迟和功耗优化更具挑战性。

4.2 典型优化案例分析

案例1：32位MIPS ALU(RTLLM #60)

• 原始实现：使用case语句和参数化操作码
• 面积优化：共享算术单元，简化标志逻辑，面积减少26%
• 延迟优化：并行数据路径+单热选择，延迟减少26%
• 功耗优化：操作数门控+提前归零，功耗减少4%

案例2：序列检测FSM(RTLLM #68)

• 原始实现：二进制编码状态
• 面积优化：casez状态转换，面积减少32%
• 延迟优化：单热编码+预解码输入，延迟减少17%
• 功耗优化：紧凑二进制编码，功耗减少23%

这些案例揭示了LLM在硬件优化中的常见短板：

• 难以识别跨模块的优化机会（如算术单元共享）
• 缺乏对物理实现的直觉（如布线延迟的影响）
• 倾向于语法级改写而非架构级创新

5. 对硬件设计实践的启示

5.1 当前LLM的适用场景

基于PLUTO的评估结果，LLM在硬件设计中最适合以下场景：

1. 原型快速开发：快速生成功能正确的初始实现
2. 设计空间探索：提供多种实现方案供工程师选择
3. 教育辅助工具：帮助学生理解硬件描述语言

5.2 效率优化的改进方向

要提高LLM的硬件优化能力，需从以下方面突破：

数据层面：

• 构建包含优化注释的Verilog数据集
• 记录设计决策与指标影响的对应关系

模型架构：

• 集成综合工具反馈（合成-in-the-loop）
• 开发多模态模型，理解RTL与物理实现的关联

评估体系：

• 采用PLUTO类多维基准
• 建立自动化效率评估流水线

在实际工程中，我建议将LLM作为硬件设计助手而非替代者。最佳工作流是：LLM生成基础实现→工程师进行关键优化→使用PLUTO类工具验证效率提升。这种"人机协作"模式既能提高生产力，又能保证设计质量。

6. 使用PLUTO基准的实践指南

6.1 本地环境搭建

PLUTO基准的运行需要以下工具链：

# 安装Icarus Verilog仿真器 sudo apt-get install iverilog # 安装Yosys综合工具 sudo apt-get install yosys # 克隆PLUTO仓库 git clone https://github.com/brown-pluto/pluto-benchmark cd pluto-benchmark # 安装Python依赖 pip install -r requirements.txt

6.2 评估自定义模型

评估一个新LLM的步骤：

1. 生成测试样本：

from pluto import generate_test_cases generate_test_cases(model, output_dir="samples")

2. 运行功能测试：

python evaluate.py --task correctness --samples samples/

3. 综合评估效率：

python evaluate.py --task efficiency --samples samples/ --library sky130

4. 分析结果：

python analyze_results.py --results results.json

6.3 结果解读与改进

典型的评估结果包含：

• 通过率曲线：展示pass@k随k值的变化
• 效率雷达图：对比三个指标的eff@k分数
• 问题热图：识别模型在特定问题类型的弱点

改进建议：

1. 对于低通过率问题：增加相关Verilog模式的训练数据
2. 对于低效率分数：引入合成指标感知的微调
3. 对于特定优化类型失败：添加相应的优化策略示例

7. 硬件设计未来的发展方向

PLUTO基准的评估结果揭示了几个关键趋势：

1. 效率成为新焦点：随着LLM功能正确性问题的解决，研究重心将转向质量优化
2. 专业模型崛起：通用代码模型将被领域专用架构取代
3. 工具链整合：LLM将与EDA工具深度集成，形成闭环设计系统

对于硬件工程师，这意味着：

• 需要培养"效率意识"，不仅关注功能实现
• 学习如何有效引导LLM生成高质量设计
• 掌握效率分析与优化技术

PLUTO基准将持续演进，计划中的改进包括：

• 增加物理设计(布局布线)评估
• 支持更多硬件描述语言(VHDL、SystemVerilog)
• 纳入时序收敛性等新指标

这个领域的发展速度令人振奋——就在三年前，自动生成功能正确的Verilog还被视作科幻场景，而今天我们已经开始讨论优化质量。PLUTO为这场变革提供了衡量进步的标尺，也指明了下一步突破的方向。