news 2026/4/18 12:57:18

【论文自动阅读】Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-traini

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【论文自动阅读】Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-traini

快速了解部分

基础信息(英文):

  1. 题目: Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-training
  2. 时间: 2026.1
  3. 机构: AgiBot Research, AgiBot, Shanghai Innovation Institute
  4. 3个英文关键词: Embodied Reasoning, Vision-Language-Action (VLA), Flow Matching

1句话通俗总结本文干了什么事情

本文提出了一个名为GenieReasoner的机器人系统,通过一种新的“动作分词器”将复杂的连续动作转化为离散的“思维令牌”,让机器人既能像大模型一样进行深度思考和推理,又能精准地执行具体的物理动作。

研究痛点:现有研究不足 / 要解决的具体问题

现有的机器人视觉-语言-动作(VLA)模型面临一个两难困境:要么擅长推理但动作粗糙(离散动作模型),要么动作精准但缺乏深度思考能力(连续动作模型)。这两种能力很难在同一个模型中兼得。

核心方法:关键技术、模型或研究设计(简要)

提出了GenieReasoner系统,核心在于FACT(基于流匹配的动作分词器)。它将连续的机器人动作转化为离散的令牌序列,使得模型可以在离散空间进行推理规划,同时通过解码器还原出高精度的连续控制信号。

深入了解部分

相比前人创新在哪里

  1. 解耦评估:提出了ERIQ基准,首次将“具身推理能力”和“动作执行精度”分开评估,证明了推理能力直接影响任务成功率。
  2. 精度与推理的统一:不同于以往离散化方法(如FAST)会损失精度,FACT利用流匹配技术,用极短的离散令牌就能还原出高保真的连续轨迹,打破了“离散则粗糙”的限制。

解决方法/算法的通俗解释

想象一下,机器人思考时用的是“语言”(离散的词),但行动时用的是“肌肉”(连续的运动)。

  • 以前的做法:要么让机器人用“肌肉”直接思考(连续模型),但这很难处理复杂的语言逻辑;要么把动作切成一个个格子(离散模型),但这让动作变得像像素画一样粗糙。
  • 本文的做法:发明了一种“翻译器”(FACT)。机器人思考时,把复杂的动作压缩成几个简单的“动作密码”(离散令牌);执行时,再根据这几个密码,瞬间还原出流畅精准的动作(流匹配解码)。

解决方法的具体做法

  1. 设计FACT分词器
    • 编码端:使用VQ-VAE将连续动作压缩为紧凑的离散令牌(Code),保留语义。
    • 解码端:使用流匹配(Flow Matching)技术,通过求解微分方程,从离散令牌和噪声中重建出平滑、精确的连续动作轨迹。
  2. 构建GenieReasoner:将上述分词器与视觉语言模型(VLM)结合,进行三阶段训练(预训练、联合训练、后训练),实现视觉、语言、动作的统一。

基于前人的哪些方法

  1. VQ-VAE / 离散化:借鉴了将连续信号转化为离散码本的思想,但改进了量化方式。
  2. 流匹配(Flow Matching):利用了Rectified Flow等生成式模型的思想,用于动作的高保真重建。
  3. VLA架构:基于现有的视觉-语言-动作模型框架(如π0\pi_0π0等),旨在解决其推理与控制的割裂问题。

实验设置、数据、评估方式、结论

  • 数据:使用了自建的ERIQ基准(6000+问答对)和AgiBot World等机器人操作数据集。
  • 评估
    • ERIQ得分:测试模型的推理能力(空间感知、规划、错误恢复、意图理解)。
    • 真实世界任务:测试抓取、摆放等操作的成功率和语言跟随准确性。
  • 结论
    • GenieReasoner在ERIQ上的得分(82.72%)显著高于基座模型(58.64%)。
    • 在真实任务中,它既保持了离散模型优秀的语义理解(语言跟随),又达到了连续模型的高操作精度,综合表现优于π0\pi_0π0π0.5\pi_0.5π0.5π0\pi_0π0-FAST等基线。

提到的同类工作

  1. π0\pi_0π0/π0.5\pi_0.5π0.5(Google DeepMind等):典型的VLA模型,通常使用连续动作头,虽然动作精准但推理能力受限。
  2. π0\pi_0π0-FAST:一种将动作转化为离散令牌的方法,虽然利于推理,但重建精度差且解码不稳定。
  3. RoboBrain / Gemini Robotics:强调具身推理的工业级项目,通常采用分层规划,存在高层推理与低层控制的对齐问题。

和本文相关性最高的3个文献

  1. π0\pi_0π0:本文直接对比的核心VLA架构之一,代表了“连续动作控制”的主流方法。
  2. π0\pi_0π0-FAST:本文直接对比的核心VLA架构之一,代表了“离散动作量化”的现有技术(SOTA),本文的FACT旨在解决FAST的精度和稳定性问题。
  3. ERQA:现有的具身推理基准,本文的ERIQ基准是在此基础上的扩展和完善,旨在解决现有基准缺乏对错误恢复和人类意图理解覆盖的问题。

我的

  1. 能够推理,离散token+流匹配解码的VLA。
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 10:49:23

5分钟搭建Linux录播系统:告别手动录制的懒人方案

5分钟搭建Linux录播系统:告别手动录制的懒人方案 【免费下载链接】BililiveRecorder 录播姬 | mikufans 生放送录制 项目地址: https://gitcode.com/gh_mirrors/bi/BililiveRecorder 想让喜欢的主播直播不错过?在Linux服务器上搭建一套自动化录播…

作者头像 李华
网站建设 2026/4/18 8:54:46

国境线上的 G331,一场与自己同行的公路漫游

启动引擎,将导航设置为“沿途搜索”,然后关掉它。国道G331的意义,从来不在某个确切的终点,而在于车轮与路面持续摩擦所产生的那种、带有轻微催眠感的节奏本身。当城市的轮廓在后视镜里彻底坍缩为一道模糊的灰线,真正的…

作者头像 李华
网站建设 2026/4/18 11:57:17

Mamba-YOLOv8 深度解析:基于状态空间模型的目标检测新架构(附完整代码与部署实战)

文章目录 前言 一、技术背景与动机 1.1 传统架构的局限性 1.2 Mamba的创新优势 二、Mamba-YOLOv8架构详解 2.1 整体架构设计 2.2 核心模块:VSSblock 2.3 SS2D模块工作原理 三、完整实现流程 3.1 环境配置 3.2 代码集成步骤 3.3 训练与微调 四、性能分析与优化 4.1 精度提升策略…

作者头像 李华
网站建设 2026/4/18 7:38:34

YOLOv11 轻量化实战解析:基于 AKConv 变核卷积的高效目标检测模型优化(附资料链接)

文章目录 前言 一、AKConv技术原理深度解析 1.1 传统卷积的局限性 1.2 AKConv创新机制 1.3 消融实验分析 二、完整集成流程 2.1 环境配置 2.2 代码集成步骤 2.3 训练配置优化 三、实战案例:睡眠姿态检测 3.1 数据集准备 3.2 模型训练与调优 3.3 检测效果验证 四、高级优化技巧…

作者头像 李华