随着大语言模型（LLMs）在网络安全领域的渗透测试场景中应用逐渐深入，现有评估体系因缺乏细粒度阶段拆解、自动化校验能力，难以精准定位LLM在渗透测试全流程中的能力短板。PentestEval作为首个面向LLM渗透测试能力的模块化、阶段化综合基准，构建12类真实漏洞场景与346项分阶段任务，覆盖从信息收集到后渗透报告的完整渗透链路，通过专家标注真值与全自动化评估流水线，实现对LLM及LLM驱动渗透测试工具的量化评估。
本文系统阐述PentestEval的核心设计理念、架构组成、评估方法与关键结论，揭示当前LLM在渗透测试领域的能力瓶颈，并提出基于该基准的未来研究方向，为LLM驱动的渗透测试自动化技术发展提供核心参考依据。
一、引言
近年来，大语言模型凭借强大的自然语言理解、代码生成与逻辑推理能力，成为渗透测试自动化领域的研究热点。以PentestGPT、VulnBot为代表的LLM驱动工具，试图通过自主规划、代码生成与迭代优化完成端到端渗透测试任务。然而，当前LLM在渗透测试场景中的应用存在两大核心痛点：一是行为不可靠性，模型输出易受上下文干扰，生成的漏洞利用代码有效性低、攻击路径规划缺乏逻辑性；二是能力评估模糊化，传统基准（如PentestPerf）多聚焦于端到端成功率，无法细粒度拆解渗透测试各阶段的能力表现，导致开发者难以针对性优化模型与工具架构。
在此背景下，PentestEval基准的提出具有重要的理论与实践价值：其创新性地采用模块化、阶段化设计思路，将渗透测试全流程拆解为6个可独立评估的核心阶段，构建标准化的任务集、真值库与自动化评估流程，实现对LLM渗透测试能力的精准“画像”，为后续的模型微调、提示词工程与Agent架构设计提供量化指导。
二、PentestEval核心设计理念与目标
2.1 核心设计理念
PentestEval的设计遵循**“阶段拆解、模块评估、量化归因”**三大原则：
- 阶段拆解：基于渗透测试行业标准流程，将端到端任务划分为信息收集、弱点筛选、攻击决策、漏洞利用生成、利用修订、后渗透报告6个核心阶段，每个阶段对应明确的任务目标与能力要求。
- 模块评估：每个阶段作为独立评估模块，支持单独输入任务、输出评估结果，避免因单一阶段失效导致整体评估失效，实现能力短板的精准定位。
- 量化归因：通过专家标注的真值数据与自动化校验算法，对每个阶段的任务完成度、输出准确性、逻辑合理性进行量化评分，建立“阶段表现-整体性能”的归因关系。
2.2 核心目标
- 构建覆盖渗透测试全流程的标准化评估任务集，解决现有基准场景单一、任务粒度粗的问题。
- 研发全自动化评估流水线，降低人工复核成本，支持大规模、高效率的LLM与工具对比测试。
- 揭示当前LLM在渗透测试各阶段的能力瓶颈，为结构化推理增强、领域知识注入等优化方向提供实证依据。
- 为LLM驱动渗透测试工具的研发、选型与迭代提供量化参考标准。
三、PentestEval架构组成与关键技术
3.1 六阶段任务体系（渗透测试全流程拆解）
PentestEval严格遵循渗透测试的实际操作逻辑，将全流程拆解为6个递进式阶段，每个阶段设置明确的任务边界、能力要求与评估标准，具体如下表所示：
| 阶段 | 核心任务 | 能力要求 | 评估关键点 |
|---|---|---|---|
| 信息收集 | 资产识别、端口扫描、服务版本探测、技术栈分析、敏感信息挖掘 | 多源数据聚合能力、信息准确性、冗余信息过滤能力 | 资产清单完整性、服务版本识别准确率、技术栈判断正确率 |
| 弱点收集与筛选 | CVE/CVSS漏洞情报匹配、PoC可用性验证、漏洞优先级排序、利用条件判断 | 漏洞知识库匹配能力、风险优先级权衡能力 | 漏洞匹配准确率、优先级排序合理性、利用条件判断正确率 |
| 攻击决策 | 攻击路径规划、目标漏洞选择、攻击工具/方法匹配、风险评估 | 场景化逻辑推理能力、路径规划合理性 | 攻击路径正确性、目标漏洞选择适配性、工具方法匹配度 |
| 漏洞利用生成 | 漏洞利用代码编写、执行命令生成、Payload构造、工具调用参数配置 | 代码生成能力、漏洞原理理解能力、语法正确性 | 利用代码有效性、Payload成功率、命令执行无错率 |
| 利用修订 | 利用失败原因诊断、代码/Payload迭代优化、环境适配调整 | 错误诊断能力、迭代优化能力、环境感知能力 | 故障定位准确率、优化后利用成功率、迭代次数 |
| 后渗透与报告 | 权限维持、凭证窃取、横向移动尝试、渗透报告撰写、合规性检查 | 权限管理能力、报告结构化组织能力、合规意识 | 凭证窃取成功率、报告完整性、合规条款覆盖度 |
3.2 场景与任务构建
为确保评估的真实性与代表性，PentestEval构建了12类高仿真漏洞场景，涵盖Web应用、主机系统、网络设备、物联网设备等主流渗透测试目标，具体包括：CMS系统漏洞（如WordPress、Drupal）、操作系统漏洞（如Linux提权、Windows权限绕过）、网络服务漏洞（如SSH弱口令、FTP漏洞）、工控设备漏洞等。
针对每类场景，PentestEval采用**“专家拆解+任务标准化”**的方式，将端到端渗透任务分解为346个分阶段子任务，每个子任务均满足以下要求：
- 任务独立性：子任务可独立执行，输出结果可单独校验，不依赖其他子任务的执行状态。
- 标注完整性：由渗透测试领域专家标注每个子任务的标准输入、预期输出、操作步骤、评分规则，形成结构化真值库，确保评估的客观性。
- 难度梯度化：子任务难度分为基础、中等、进阶三个等级，覆盖不同水平LLM的能力评估需求。
3.3 自动化评估流水线
PentestEval的核心技术优势在于全流程自动化评估能力，其评估流水线由输入层、执行层、校验层、输出层四个模块组成，实现从任务分发到结果分析的端到端自动化：
- 输入层：将标准化子任务与场景配置自动分发至待评估LLM或工具，支持批量任务并行输入。
- 执行层：监控LLM/工具的任务执行过程，记录输出结果、执行步骤、中间状态数据。
- 校验层：基于专家标注的真值库，通过规则匹配、代码执行验证、逻辑一致性检查等方式，自动校验输出结果的正确性与有效性。例如，对生成的漏洞利用代码，自动在仿真环境中执行并判断是否成功触发漏洞。
- 输出层：聚合各阶段子任务得分，计算阶段成功率、端到端成功率、工具调用准确率等核心指标，生成可视化评估报告，明确标注各阶段能力短板。
3.4 评估对象与指标体系
3.4.1 评估对象
PentestEval选取9款主流大语言模型与3款LLM驱动渗透测试工具作为评估对象，覆盖不同模型规模、不同技术路线的产品：
- 大语言模型：GPT-4、GPT-4 Turbo、Claude 3 Opus、Claude 3 Sonnet、Gemini Advanced、Llama 3 70B、Mistral Large、Qwen 2 72B、Yi Large。
- LLM驱动工具：PentestGPT、PentestAgent、VulnBot。
3.4.2 核心评估指标
为全面量化LLM与工具的渗透测试能力，PentestEval设计了多层次指标体系，分为阶段指标与全局指标两大类：
- 阶段指标（针对6个核心阶段）：阶段任务完成率、关键任务准确率、错误类型分布、迭代优化效率。
- 全局指标（针对端到端流程）：端到端成功率、平均任务完成时间、利用代码有效性、误报/漏报率、报告合规性得分。
四、PentestEval核心评估结果与关键发现
通过对12款评估对象的大规模测试，PentestEval得出一系列具有前瞻性的核心结论，为LLM渗透测试技术的发展指明方向：
4.1 整体表现：端到端成功率偏低，模型间差距显著
测试结果显示，所有评估对象的端到端渗透测试平均成功率仅为31%，模型间表现差异巨大：
- 头部闭源模型（如GPT-4、Claude 3 Opus）表现最优，端到端成功率可达45%-52%，在代码生成、逻辑推理环节具备明显优势。
- 开源大模型（如Llama 3 70B、Qwen 2 72B）端到端成功率普遍在20%-30%，主要短板在于漏洞知识库覆盖不足、复杂场景推理能力薄弱。
- LLM驱动渗透测试工具（如PentestGPT）端到端成功率约为28%，虽整合了渗透测试领域知识，但自主决策与迭代优化能力仍落后于头部闭源模型。
4.2 阶段瓶颈：攻击决策与利用修订成核心短板
通过分阶段评估发现，当前LLM在渗透测试流程中存在明显的阶段能力失衡问题：
- 优势阶段：信息收集、弱点收集与筛选阶段表现相对较好，平均成功率可达60%-70%。原因在于这两个阶段任务相对标准化，依赖数据匹配与知识库检索，LLM的文本处理与检索能力可有效支撑任务完成。
- 核心瓶颈：攻击决策、漏洞利用修订阶段平均成功率不足20%，成为制约端到端流程的关键短板。具体表现为：
- 攻击决策阶段：模型难以根据复杂场景规划合理攻击路径，易出现“目标错配”“路径冗余”等问题，对漏洞利用条件的判断缺乏严谨性。
- 利用修订阶段：模型对利用失败的原因诊断能力弱，无法精准定位“代码语法错误”“环境适配问题”“权限不足”等故障点，迭代优化多为盲目尝试，效率极低。
4.3 工具局限：模块化设计缺失导致自主能力不足
针对LLM驱动渗透测试工具的评估发现，现有工具普遍缺乏模块化架构设计，导致其在复杂场景中表现不佳：
- 工具多采用“单模型+简单提示词”的架构，未实现“规划-执行-评估-优化”的闭环流程，难以应对利用失败后的迭代需求。
- 工具对渗透测试领域知识的整合方式较为粗糙，缺乏结构化的漏洞知识图谱支撑，导致漏洞匹配与攻击决策的准确性受限。
五、PentestEval的价值与应用场景
5.1 学术研究价值
- 构建研究基准：为LLM渗透测试能力的评估提供标准化、可复现的基准平台，推动全球研究者在统一框架下开展技术对比与创新。
- 揭示能力瓶颈：通过分阶段评估结果，明确当前LLM在渗透测试领域的核心短板，为结构化推理增强、领域知识注入、Agent架构优化等研究方向提供实证依据。
- 促进技术创新：基于PentestEval的模块化设计，研究者可针对性开展“阶段专用模型微调”“跨阶段知识迁移”等前沿研究，提升LLM的渗透测试能力。
5.2 工业界应用价值
- 模型与工具选型：为企业安全团队提供量化参考，辅助其选择适合自身渗透测试场景的LLM与工具，降低选型成本。
- 工具研发优化：指导LLM驱动渗透测试工具的开发者，精准定位工具的能力短板，针对性优化提示词、完善领域知识库、改进架构设计。
- 安全自动化落地：验证模块化、阶段化设计对提升渗透测试自动化可靠性的有效性，为构建大规模、高可靠的自主渗透测试系统提供实践路径。
六、PentestEval与同类基准的对比分析
为凸显PentestEval的创新性与优越性，本文将其与传统渗透测试基准（以PentestPerf为例）进行多维度对比，具体如下表所示：
| 对比维度 | PentestEval | 传统基准（如PentestPerf） |
|---|---|---|
| 评估粒度 | 六阶段模块化细粒度评估，支持单阶段独立评分 | 以端到端结果或少数关键步骤为主，评估粒度粗糙 |
| 任务规模 | 346个分阶段子任务，覆盖12类场景 | 约182个子任务，场景类型集中于Web应用 |
| 自动化程度 | 全流程自动化评估，支持批量测试与结果聚合，无需人工复核 | 依赖人工复核验证利用代码有效性，自动化程度低 |
| 核心目标 | 阶段化能力诊断与模块化优化，精准定位短板 | 侧重整体流程成功率评估，难以归因能力短板 |
| 真值标注 | 专家标注结构化真值库，包含输入、输出、步骤、评分规则 | 仅标注最终输出结果，缺乏中间步骤与评分标准 |
| 扩展性 | 支持新增场景、阶段与评估指标，架构灵活 | 场景与任务扩展难度大，适配性差 |
七、总结与未来展望
PentestEval作为首个模块化、阶段化的LLM渗透测试基准，通过构建标准化任务集、自动化评估流水线与多层次指标体系，实现了对LLM及相关工具渗透测试能力的精准量化评估。测试结果揭示了当前LLM在攻击决策、利用修订等阶段的核心短板，验证了模块化设计对提升渗透测试自动化能力的关键作用。
基于PentestEval基准，未来可重点开展以下方向的研究与实践：
- 阶段专用模型微调：针对攻击决策、利用修订等短板阶段，构建专用微调数据集，训练阶段优化模型，提升核心环节的能力表现。
- 模块化Agent架构设计：研发“规划模块-执行模块-评估模块-优化模块”分工协作的Agent架构，实现各阶段能力的互补与协同。
- 漏洞知识图谱构建：整合CVE、PoC、技术栈等领域知识，构建结构化漏洞知识图谱，增强LLM的漏洞匹配与决策能力。
- 跨场景迁移能力评估：扩展PentestEval的场景覆盖范围，加入工控、车联网等新兴领域场景，评估LLM的跨场景迁移能力。
- 对抗性评估维度引入：在基准中加入对抗性场景（如蜜罐环境、漏洞混淆），评估LLM在复杂对抗环境下的渗透测试能力。
未来，随着PentestEval基准的持续迭代与完善，将进一步推动LLM驱动渗透测试自动化技术的发展，为网络安全领域的智能化升级提供核心支撑。
