news 2026/5/10 12:37:12

直面LeCun愿景,智在无界发布最强具身世界模型,20万小时人类视频屠榜6大榜单

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
直面LeCun愿景,智在无界发布最强具身世界模型,20万小时人类视频屠榜6大榜单

来源:机器之心

「人类视频,是机器人理解并与物理世界交互的最关键路径。」

这句如今逐渐成为行业共识的判断,其实最早来自一家国内具身智能初创公司 ——BeingBeyond(智在无界)。

在过去半年中,这家公司完成了「海量人类视频训练」的两个重要里程碑:相继发布了全球首个基于 1000 小时与 1 万小时人类视频预训练的具身模型 —— Being-H0 与 H0.5,率先开辟了「大规模人类视频驱动具身学习」的技术路线。

随后,NVIDIA 的 EgoScale、Generalist AI 的 GEN-1 等海外工作陆续跟进,也从侧面印证了这一方向的前瞻性。

作为人类视频学习路线的开创者,4 月 14 日,智在无界发布第三代旗舰模型 Being-H0.7,该模型将数据规模扩展至 20 万小时人类视频,并提出一种全新的范式 —— 基于潜空间推理的世界模型。在 6 项国际性权威评测中,H0.7 综合排名全球第一(其中 4 项登顶),同时也是首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律与上下文推理等七大关键维度的通用世界模型。

  • 主页链接:

    https://research.beingbeyond.com/being-h07

  • 论文链接:

    https://research.beingbeyond.com/projects/being-h07/being-h07.pdf

Past・Present・Future

世界模型的分野

「世界模型(World Model)」最初其实是一个非常朴素的概念:给定当前状态和动作,预测下一时刻的状态。

早在 2018 年, Jürgen Schmidhuber 就在其《World Models》中系统阐述了用神经网络建模动力学的思路。但随着生成模型的发展,一个逐渐流行的误解也随之出现:世界模型 = 预测未来画面(逐像素生成)。

事实上,无论是 Schmidhuber 的原始设想,还是 Yann LeCun 团队在 JEPA (Joint Embedding Predictive Architecture),都从未将「像素级预测」视为核心目标。

原因很简单,真实世界的「状态」,远远不等同于像素。物体之间的空间关系、柔性物体的形变、液体的流动、摩擦与重力的作用…… 这些决定物理世界运行的关键因素,并不能通过逐像素的图像完全表达。世界模型不应执着于复现「画面会变成什么样」,而应学会理解「世界为什么会这样变化」。

从产业角度看,NVIDIA 当前的世界模型工作在一定程度上回归到视频生成路线,这与其「算力提供方」的角色天然形成协同,但对具身智能而言,这并非最优路径。

智在无界认为,一个理想的世界模型应同时具备两个核心能力:物理世界理解(Physical Understanding)与物理交互(Physical Interaction)。

现有 AI 模型范式在「物理理解–交互」坐标系中的能力分布,Being-H0.7 在海量人类数据驱动下显著拓展了世界模型的能力边界。

按照这一标准回看过去几年的 AI 发展路径:从 LLM 到 VLM,再到 AIGC 时代的 Sora、Genie 3,这些模型对视觉世界的理解不断加深,但始终停留在二维感知层面,缺乏与真实物理世界的交互能力。

近几年,随着 VLA 路线的兴起,π0.5、GR00T、Being-H0.5 等模型通过在视觉语言模型上微调,直接输出机器人动作。虽然这让模型具备了执行任务的能力,但也带来了新的问题:在训练过程中,多模态理解能力往往被削弱,模型容易过拟合,很多时候是在「背答案」,而非真正基于环境做出判断。

为弥补这一缺陷,以英伟达 Cosmos-Policy、DreamZero 为代表的世界模型路线,尝试通过视频生成来建模交互。但这类方法不仅计算开销巨大、难以实时运行,而且基于二维视觉表征的方式,本质上仍然难以真正理解物理世界。

在这样的背景下,LeCun (AMI Labs) 提出,应构建更加基础的世界模型,以提升对真实世界的理解能力。而智在无界则更进一步,提出基于潜空间推理的全新范式,同时拓展世界模型在「理解」和「交互」两个维度上的能力。

20 万小时人类视频

H0.7 的「通用世界模型基因」

传统 VLA 模型只能基于当前观测预测动作,缺乏对未来变化的建模能力;而视频生成式世界模型则依赖像素级预测来「想象」未来,但不仅难以抽象物理规律,还带来了巨大的计算负担。

事实上,人类视觉系统天然会过滤静态信息、强化对动态变化的感知,大脑中也存在专门处理运动的区域,用于自动抑制背景干扰。基于这一认知,Being-H0.7 不再追求像素级重建,而是试图学习一种更高效的能力 —— 类似「物理直觉」的快速判断机制。

因此,Being-H0.7 选择了一条不同路径:不再显式生成未来画面,而是提炼那些真正影响未来行动的关键信息。

不同于 VLA 从当前观察直接映射到动作,或视频生成式世界模型引入庞大的预测模块,Being-H0.7 在模型内部引入了一组可学习的中间变量(latent queries),作为一块预留的「思考空间」(latent reasoning)。在前向的过程中,模型将当前观测、任务目标以及对未来可能演化的判断压缩至这一空间,并由其统一指导最终的动作生成。

但这一「思考空间」本身并不天然具备对未来的建模能力。为此,Being-H0.7 采用了双分支设计:一条路径在「未来可见」的条件下(后验视角,posterior branch),引导模型学习哪些中间判断真正有助于动作决策;另一条路径在「不可见未来」的真实部署条件下(先验视角,prior branch),约束模型仅基于当前观测形成尽可能一致的判断。

不同于一些工作简单地将未来信息单向注入世界模型,Being-H0.7 在这两种视角之间建立持续对齐与相互约束:后验分支提供未来演化的监督信号,先验分支严格受限于真实可观测信息。通过不断对齐,模型逐渐学会在「思考空间」中,自适应地根据当前情景,推理对后续行动真正有用的信息。

这种推理能力,本质上接近于人类的「物理直觉」。现实世界中,人类并不会逐帧预测未来画面,而是快速判断:物体接下来会朝哪个方向运动?接触关系会如何变化?施加的力会带来稳定还是失衡?交互过程会推进目标还是偏离?

人类之所以能够在很少试错的情况下掌握这些能力,是因为这种「直觉」早已在长期进化中内化为本能。

相比之下,仅依赖实验室数据的机器人系统很难获得这种能力,更难实现泛化。基于这一洞察,智在无界构建了全球少有的 20 万小时人类视频数据集,并据此训练 Being-H0.7,使模型获得类似「预训练基因」的能力,从而真正理解并改变物理世界。

在实现上,H0.7 的结构反而相对简洁:两路视角通过注意力掩码(attention mask)共享主干上下文,只在 latent queries 处进行对齐,并共同接受动作监督。未来信息无需解码为未来图像,而以紧凑表征参与训练。相比 Cosmos Policy 这类视频生成式世界模型,H0.7 的训练成本不到其 1%。

另外一个强大的优势则是推理速度的显著提升,是 Fast-WAM 的 11 倍,是 imagine-then-execute 这类生成式世界模型的 40 倍以上,Being-H0.7是世界上第一个能够在端侧设备上实时稳定部署的世界模型。强大的推理能力赋予了 H0.7 对于外界动态快速的感知能力,能完成如判断滑落小球轨迹、高速流水线包装、液体准确倾倒等这些之前 VLA、世界模型都难以胜任的任务。

在评测方面,不同于多数模型只在单一榜单评测,Being-H0.7 在 6 项全球权威评测榜单上综合排名世界第一,是目前覆盖范围最广的具身世界模型。在跨本体、跨场景、连续动态、流体、柔性物体、物理规律与上下文推理等七大关键维度上,Being-H0.7 均展现出领先的物理理解与泛化能力,其能够完成复杂的多物体协作、长时序规划与精细物理交互任务。

为直观地展示 Being-H0.7「思考空间」中所包含的信息,可以进一步将观测图像与 Being-H0.7 先验分支的中间变量共同作为条件,基于视频模型对任务未来状态进行可视化预测。

尽管 Being-H0.7 在推理时并不显式进行像素级未来重建,其隐空间表征中已经蕴含了对未来世界状态的预测,体现出「隐式具身世界模型」的核心特征。

真机实验部分,Being-H0.7 借助世界模型架构,展现出了令人惊喜的表现。做到了更精准的空间感知、物理理解和运动推理能力,更具体地讲,实现了以下几种物理世界级的理解和交互能力:

  • 动态轨迹预测:在高速动态场景下,Being-H0.7 借助物理世界知识和快速推理,能够预测物体轨迹并精准完成物理世界交互;

  • 物理规律理解:Being-H0.7 通过大规模预训练构建了丰富的世界知识,能够准确理解流体物理规律并完成复杂任务指令;

  • 运动推理能力:Being-H0.7 具备物理世界下的动力学推理能力,能够准确推理物体交互后的空间方位并规划好动作。

基于以上能力,Being-H0.7 能够完成高速运动物体的追踪和接取、精细流体控制、柔性物体交互等高挑战性的任务。

世界模型的再定义:从 AMI Labs 到 BeingBeyond

Our main goal is to build intelligent systems that understand the real world —— AMI Labs

面对这一愿景,作为开启「大规模人类视频驱动具身学习」这一路线的先行者,BeingBeyond 创始人卢宗青表示:

理解世界不够,必须学会改变世界。物理世界的理解与交互是不可分割的。如果一个模型只学习「世界会变成什么样」,而不学习「采取什么行动会导致这种变化」,它本质上仍然是一个被动观察者,容易退化为「缸中之脑」。

因此,不同于 LeCun,智在无界采用的技术路径是:同时建模状态变化与动作生成(joint prediction of state and action)。在数据层面,这一设计自然对应于第一人称人类视频,它不仅提供视觉观测,同时也包含了人类动作。这样的数据可规模化获取,天然适用于具身学习。因而,我认为,大规模人类视频是通向具身基础模型的一条可行路径,使机器人能够从人类行为中学习如何理解并作用于物理世界。

阅读最新前沿科技趋势报告,请访问21世纪关键技术研究院的“未来知识库”

未来知识库是“21世纪关键技术研究院”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。

截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告

(加入未来知识库,全部资料免费阅读和下载)

  1. 牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》

  2. 麦肯锡:超级智能机构:赋能人们释放人工智能的全部潜力

  3. AAAI 2025 关于人工智能研究未来研究报告

  4. 斯坦福:2025 斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191 页)

  5. 壳牌:2025 能源安全远景报告:能源与人工智能(57 页)

  6. 盖洛普 & 牛津幸福研究中心:2025 年世界幸福报告(260 页)

  7. Schwab :2025 未来共生:以集体社会创新破解重大社会挑战研究报告(36 页)

  8. IMD:2024 年全球数字竞争力排名报告:跨越数字鸿沟人才培养与数字法治是关键(214 页)

  9. DS 系列专题:DeepSeek 技术溯源及前沿探索,50 页 ppt

  10. 联合国人居署:2024 全球城市负责任人工智能评估报告:利用 AI 构建以人为本的智慧城市(86 页)

  11. TechUK:2025 全球复杂多变背景下的英国科技产业:战略韧性与增长路径研究报告(52 页)

  12. NAVEX Global:2024 年十大风险与合规趋势报告(42 页)

  13. 《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页

  14. 2025 - 2035 年人形机器人发展趋势报告 53 页

  15. Evaluate Pharma:2024 年全球生物制药行业展望报告:增长驱动力分析(29 页)

  16. 【AAAI2025 教程】基础模型与具身智能体的交汇,350 页 ppt

  17. Tracxn:2025 全球飞行汽车行业市场研究报告(45 页)

  18. 谷歌:2024 人工智能短跑选手(AI Sprinters):捕捉新兴市场 AI 经济机遇报告(39 页)

  19. 【斯坦福博士论文】构建类人化具身智能体:从人类行为中学习

  20. 《基于传感器的机器学习车辆分类》最新 170 页

  21. 美国安全与新兴技术中心:2025 CSET 对美国人工智能行动计划的建议(18 页)

  22. 罗兰贝格:2024 人形机器人的崛起:从科幻到现实:如何参与潜在变革研究报告(11 页)

  23. 兰德公司:2025 从研究到现实:NHS 的研究和创新是实现十年计划的关键报告(209 页)

  24. 康桥汇世(Cambridge Associates):2025 年全球经济展望报告(44 页)

  25. 国际能源署:2025 迈向核能新时代

  26. 麦肯锡:人工智能现状,组织如何重塑自身以获取价值

  27. 威立(Wiley):2025 全球科研人员人工智能研究报告(38 页)

  28. 牛津经济研究院:2025 TikTok 对美国就业的量化影响研究报告:470 万岗位(14 页)

  29. 国际能源署(IEA):能效 2024 研究报告(127 页)

  30. Workday :2025 发挥人类潜能:人工智能(AI)技能革命研究报告(20 页)

  31. CertiK:Hack3D:2024 年 Web3.0 安全报告(28 页)

  32. 世界经济论坛:工业制造中的前沿技术:人工智能代理的崛起》报告

  33. 迈向推理时代:大型语言模型的长链推理研究综述

  34. 波士顿咨询:2025 亚太地区生成式 AI 的崛起研究报告:从技术追赶者到全球领导者的跨越(15 页)

  35. 安联(Allianz):2025 新势力崛起:全球芯片战争与半导体产业格局重构研究报告(33 页)

  36. IMT:2025 具身智能(Embodied AI)概念、核心要素及未来进展:趋势与挑战研究报告(25 页)

  37. IEEE:2025 具身智能(Embodied AI)综述:从模拟器到研究任务的调查分析报告(15 页)

  38. CCAV:2025 当 AI 接管方向盘:自动驾驶场景下的人机交互认知重构、变革及对策研究报告(124 页)

  39. 《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页

  40. 《面向科学发现的智能体人工智能:进展、挑战与未来方向综述》

  41. 全国机器人标准化技术委员会:人形机器人标准化白皮书(2024 版)(96 页)

  42. 美国国家科学委员会(NSB):2024 年研究与发展 - 美国趋势及国际比较(51 页)

  43. 艾昆纬(IQVIA):2025 骨科手术机器人技术的崛起白皮书:创新及未来方向(17 页)

  44. NPL&Beauhurst:2025 英国量子产业洞察报告:私人和公共投资的作用(25 页)

  45. IEA PVPS:2024 光伏系统经济与技术关键绩效指标(KPI)使用最佳实践指南(65 页)

  46. AGI 智能时代:2025 让 DeepSeek 更有趣更有深度的思考研究分析报告(24 页)

  47. 2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告(37 页)

  48. 华为:2025 鸿蒙生态应用开发白皮书(133 页

  49. 《超级智能战略研究报告》

  50. 中美技术差距分析报告 2025

  51. 欧洲量子产业联盟(QuIC):2024 年全球量子技术专利态势分析白皮书(34 页)

  52. 美国能源部:2021 超级高铁技术(Hyperloop)对电网和交通能源的影响研究报告(60 页)

  53. 罗马大学:2025 超级高铁(Hyperloop):第五种新型交通方式 - 技术研发进展、优势及局限性研究报告(72 页)

  54. 兰德公司:2025 灾难性网络风险保险研究报告:市场趋势与政策选择(93 页)

  55. GTI:2024 先进感知技术白皮书(36 页)

  56. AAAI:2025 人工智能研究的未来报告:17 大关键议题(88 页)

  57. 安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告

  58. 威达信:2025 全球洪水风险研究报告:现状、趋势及应对措施(22 页)

  59. 兰德公司:迈向人工智能治理研究报告:2024EqualAI 峰会洞察及建议(19 页)

  60. 哈佛商业评论:2025 人工智能时代下的现代软件开发实践报告(12 页)

  61. 德安华:全球航空航天、国防及政府服务研究报告:2024 年回顾及 2025 年展望(27 页)

  62. 奥雅纳:2024 塑造超级高铁(Hyperloop)的未来:监管如何推动发展与创新研究报告(28 页)

  63. HSOAC:2025 美国新兴技术与风险评估报告:太空领域和关键基础设施(24 页)

  64. Dealroom:2025 欧洲经济与科技创新发展态势、挑战及策略研究报告(76 页)

  65. 《无人机辅助的天空地一体化网络:学习算法技术综述》

  66. 谷歌云(Google Cloud):2025 年 AI 商业趋势白皮书(49 页)

  67. 《新兴技术与风险分析:太空领域与关键基础设施》最新报告

  68. 150 页!《DeepSeek 大模型生态报告》

  69. 军事人工智能行业研究报告:技术奇点驱动应用加速智能化重塑现代战争形态 - 250309(40 页)

  70. 真格基金:2024 美国独角兽观察报告(56 页)

  71. 璞跃(Plug and Play):2025 未来商业研究报告:六大趋势分析(67 页)

  72. 国际电工委员会(IEC):2025 智能水电技术与市场展望报告(90 页)

  73. RWS:2025 智驭 AI 冲击波:人机协作的未来研究报告(39 页)

  74. 国际电工委员会(IEC):2025 智能水电技术与市场展望报告(90 页)

  75. RWS:2025 智驭 AI 冲击波:人机协作的未来研究报告(39 页)

  76. 未来今日研究所 2025 年科技趋势报告第 18 版 1000 页

  77. 模拟真实世界:多模态生成模型的统一综述

  78. 中国信息协会低空经济分会:低空经济发展报告(2024 - 2025)(117 页)

  79. 浙江大学:2025 语言解码双生花:人类经验与 AI 算法的镜像之旅(42 页)

  80. 人形机器人行业:由 “外” 到 “内” 智能革命 - 250306(51 页)

  81. 大成:2025 年全球人工智能趋势报告:关键法律问题(28 页)

  82. 北京大学:2025 年 DeepSeek 原理和落地应用报告(57 页)

  83. 欧盟委员会 人工智能与未来工作研究报告

  84. 加州大学伯克利分校:面向科学发现的多模态基础模型:在化学、材料和生物学中的应用

  85. 电子行业:从柔性传感到人形机器人触觉革命 - 250226(35 页)

  86. RT 轨道交通:2024 年中国城市轨道交通市场数据报告(188 页)

  87. FastMoss:2024 年度 TikTok 生态发展白皮书(122 页)

  88. Check Point:2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议(57 页)

  89. 【AAAI2025 教程】评估大型语言模型:挑战与方法,199 页 ppt

  90. 《21 世纪美国的主导地位:核聚变》最新报告

  91. 沃尔特基金会(Volta Foundation):2024 年全球电池行业年度报告(518 页)

  92. 斯坦福:2025 斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191 页)

  93. 国际科学理事会:2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告(英文版)(118 页)

  94. 光子盒:2025 全球量子计算产业发展展望报告(184 页)

  95. 奥纬论坛:2025 塑造未来的城市研究报告:全球 1500 个城市的商业吸引力指数排名(124 页)

  96. Future Matters:2024 新兴技术与经济韧性:日本未来发展路径前瞻报告(17 页)

  97. 《人类与人工智能协作的科学与艺术》284 页博士论文

  98. 《论多智能体决策的复杂性:从博弈学习到部分监控》115 页

  99. 《2025 年技术展望》56 页 slides

  100. 大语言模型在多智能体自动驾驶系统中的应用:近期进展综述

  101. 【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用

  102. 皮尤研究中心:2024 美国民众对气候变化及应对政策的态度调研报告:气候政策对美国经济影响的多元观点审视(28 页)

  103. 空间计算行业深度:发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224(33 页)

  104. Gartner:2025 网络安全中的 AI:明确战略方向研究报告(16 页)

  105. 北京大学:2025 年 DeepSeek 系列报告 - 提示词工程和落地场景(86 页)

  106. 北京大学:2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用(99 页)

  107. CIC 工信安全:2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告(42 页)

  108. 中科闻歌:2025 年人工智能技术发展与应用探索报告(61 页)

  109. AGI 智能时代:2025 年 Grok - 3 大模型:技术突破与未来展望报告(28 页)

上下滑动查看更多

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/15 7:17:06

HUNYUAN-MT 7B翻译终端在卷积神经网络(CNN)论文翻译中的应用

HUNYUAN-MT 7B翻译终端:让AI读懂你的专业论文 最近在帮实验室的师弟师妹们看论文,发现一个挺普遍的问题:很多前沿的卷积神经网络论文都是英文的,大家读起来费劲,用通用翻译工具翻出来的结果又经常词不达意&#xff0c…

作者头像 李华
网站建设 2026/4/15 7:16:47

OpenBMC 中 entity-manager 的异步扫描与配置匹配机制解析

1. OpenBMC与entity-manager基础认知 第一次接触OpenBMC的entity-manager时,我花了整整三天才搞明白它的核心作用。简单来说,它就是硬件世界的"翻译官"——把物理设备的状态信息转换为D-Bus上的标准化数据。举个例子,当服务器主板上…

作者头像 李华
网站建设 2026/4/15 7:15:12

3分钟搞定ComfyUI-Manager依赖安装:pip与uv的终极选择指南

3分钟搞定ComfyUI-Manager依赖安装:pip与uv的终极选择指南 【免费下载链接】ComfyUI-Manager ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers management functions to install, remove, disable, and enable various c…

作者头像 李华
网站建设 2026/4/15 7:13:12

Apollo感知融合技术:激光雷达与摄像头数据如何协同工作?

Apollo感知融合技术:激光雷达与摄像头数据如何协同工作? 【免费下载链接】dig-into-apollo Apollo notes (Apollo学习笔记) - Apollo learning notes for beginners. 项目地址: https://gitcode.com/gh_mirrors/di/dig-into-apollo Apollo作为百…

作者头像 李华