news 2026/4/18 12:27:33

拒绝蜡像感!美团开源LongCat-Video-Avatar:5分钟超长续航,虚拟人终于会呼吸了

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
拒绝蜡像感!美团开源LongCat-Video-Avatar:5分钟超长续航,虚拟人终于会呼吸了

捅破 5 分钟长续航天花板,SOTA 级权重直接全开源。

2025 年,视频生成赛道已经进入了卷细节、卷长时序的深水区。

当行业已经能够产出几秒钟极具视觉冲击力的镜头时,实际落地中却总会撞上几堵隐形的墙:长视频生成中不可避免的身份漂移(Identity Drift)、声音消失后的蜡像化冻结,以及反复 VAE 编解码导致的画质退化。

继今年 8 月吸引全球开发者关注的InfiniteTalk之后,美团龙猫(LongCat)团队最近又有了一些新动作。

这次,他们基于自研的13.6B 参数原生视频生成基座 LongCat-Video,正式发布并开源了专门针对数字人优化的LongCat-Video-Avatar

这不仅是一个能原生支持音文生视频(AT2V)、音图文生视频(ATI2V)以及视频续写等多种生成模式的统一架构,更重要的是,它在虚拟人的动作拟真度和超长视频稳定性上实现了明显的突破。

虚拟人终于有了松弛感

为了看清它到底强在哪,我们拆解了官方展示的几个场景。最直观的感受是,现在的虚拟人真的很难再用“假”来形容了。

先看这段美妆博主的日常护肤评测,LongCat 表现得非常老道。

〓 提示词:A woman in a light robe applies skincare from a small amber dropper, surrounded by sunlit potted plants and white ceramics in a warm, cozy room. Gentle natural lighting, subtle hand movement, peaceful atmosphere.

往脸上滴精华这套动作特别丝滑,从捏起滴管到精华滴落的反馈都很自然。最舒服的是她不说话的时候,眼神微动和呼吸感一直都在,完全没了以前那种断电式的生涩。

再来看看情绪拉满的演技表现,这才是最考验模型底蕴的地方。

〓 提示词:A haunting, cinematic close-up of a man. The man is laughing. The frame is a tight portrait, capturing him from the chest up, positioned slightly left of center. His long, unkempt hair frames a face etched with profound sorrow and exhaustion.

从大笑转到悲伤的情绪转折处理得很细腻,镜头离得这么近,肌肉牵动和眼角纹理都很清楚。最关键的是长相特征稳得不行,大开大合的表情之下一点没走样。

能入戏只是基础,几分钟长跑不穿帮才是真硬核。

〓 提示词:A woman with wavy brown hair in a cozy cream sweater sits on a plush sofa, her hands moving gently as she speaks. Warm light from a floor lamp glows beside a vase of fresh flowers, casting soft shadows in a serene living room with flowing neutral curtains.

我们试着快进到这段 5 分钟长视频的最后,画面质感和肤色依然很稳。没出现那种越往后越崩、甚至像素雪崩的情况,这稳定性在目前开源圈确实罕见。

不过,数字人最难的其实不是独角戏,而是两个角色同台时的那种化学反应。

〓 提示词:A man and women in a recording studio sized facing each other, both wearing headphones. A large professional microphone with a pop filter is positioned between them. Warm, dim light illuminates the soundproof panels on the walls, creating an intimate and collaborative atmosphere. Subtle movements include a shared glance, a tight nod, and the adjustment of a headphone.

录音棚里的这场对白戏,不仅是口型卡得准,眼神交流和动作回馈的同步感也很有真人的互动氛围,完全没有各演各的割裂感。

如果把这种互动节奏放到播客访谈里,就更实用了。

〓 提示词:A focused man in a dark blue sweater sits before a microphone, preparing to speak. Warm light from a golden lamp illuminates a backdrop of a wooden bookshelf and a leafy green plant, creating a cozy, professional podcast atmosphere.

这种长时段的访谈最看重连贯性,哪怕是低头想个词,角色的神态也没断过。这种表现力拿去剪播客或者做网课基本能直接用,确实有老戏骨的潜质。

性能评测:稳站 SOTA 第一梯队

视觉表现够出彩,底层的硬核指标也同样撑得起这个 SOTA 段位。

在与目前主流视频模型的横向对比中,LongCat-Video-Avatar 在多个核心维度都拿出了顶尖的竞争力。

全身生成的极致画质:在衡量保真度的核心指标 FID 上,模型在自研的 EMTD 全身视频数据集上跑出了 65.05 的成绩。

〓 表1. 在 HDTF 和 CelebV-HQ 等高清数据集上的定量对比,唇形同步(Sync-C/D)与身份一致性(CSIM)均处于业界领先水平。

对比来看,包括 Hallo3、InfiniteTalk 在内的几种主流模型,在这个指标上基本都在 110 甚至更高的区间徘徊。这种断层式的领先,意味着它的全身动态已经非常接近真实拍摄的质感。

唇形精度超越行业标杆:在衡量口型准度的 Sync-C 指标上,它在多个考场均取得 SOTA 成绩,在 EvalTalker 评测中甚至超越了 HeyGen、Kling Avatar 2.0 等一众顶级闭源商业模型。

〓 表2. 针对全身动态数据集 EMTD 的评测,反映出模型在长时序生成中的高保真度。

此外,官方还组织了 492 名参与者进行了大规模盲测。数据证明,模型在静音段表现、长视频稳定性和动作多样性三个维度均获得了显著的正向反馈。

〓 图1. 无论是影视娱乐场景还是中英文语境,模型均表现出极强的泛化能力。

技术架构解析:虚拟人如何找回生命力?

美团龙猫团队在技术报告里分享了三项核心改进,从底层架构层面彻底重塑了虚拟人的生成逻辑。

1. 解耦无条件引导

传统训练常使用全零音频向量代表静音,这会导致模型产生条件泄露(Condition Leakage)。它分不清你是想表达“静音”,还是“没有任何条件约束”。

龙猫团队引入了 DUG 策略(Disentangled Unconditional Guidance),训练时直接输入真实的静音音频编码。这种做法让模型在推理阶段对无音频输入具有极强的鲁棒性,让虚拟人在没台词时依然能自然呼吸、眨眼。

〓 图2. DUG 机制成功解耦了语音信号与全身动态,找回了被忽视的静音美学。

2. 参考跳跃注意力

龙猫团队在研发中对参考帧的位置做了详尽实验。他们发现,将参考帧放在开头或结尾(Prefix/Suffix),引导强度会不足导致细节丢失;而放中间(Middle)虽然保住了细节,却会引发死板的复制-粘贴效应。

最终的最优解是:放中间 + RSA 机制(Reference Skip Attention)。RSA 在注意力权重上做了硬掩码(Hard-mask)处理,模型只去采样参考图里的痣、皮肤纹理等核心 ID 特征,而屏蔽姿态、动作的直接干预。

〓 图3. 通过 anchor latents 与掩码操作,实现了身份保持与动作灵活性的平衡。

3. 跨片段隐空间拼接

龙猫团队提出的 CLS 策略(Cross-Chunk Latent Stitching),允许模型直接在隐空间(Latent Space)内拼接重叠片段。这种做法彻底消除了冗余 VAE 循环带来的累积偏差,是 5 分钟视频稳如泰山的幕后功臣。

〓 图4. CLS 策略显著提升了推理效率,并弥合了训练与推理的流程差异。

在工程实现上,团队采用了 16 FPS 和 25 FPS 的混合训练策略,并专门针对 16 FPS 模式等比缩小了音频特征提取窗口,从算法层面解决了对位难题。

此外,针对多人对话场景,模型通过自注意力图计算参考帧与视频帧的相似度,在隐空间内精准划分画面区域,再配合 L-ROPE 贴签,彻底解决了互动中的音画错位。

〓 图5. 多人场景视觉演示,展现了多角色间自然轮流发言的节奏感与空间精准绑定。

结语

现在的视频生成领域,闭源 API 固然强大,但往往是不可见的黑盒。

美团龙猫团队这次把底层架构、SOTA 级别的权重,甚至是多人绑定的 L-ROPE 机制全部开源,无疑是给国内数字人研究社区提供了一个极高起点的进化基座。

LongCat-Video-Avatar 不仅给开发者们提供了一个稳、准、活的生产力工具 ,更重要的是,它通过对底层逻辑的微调,让虚拟人开始拥有了真人的那种灵动感。

项目入口👇

GitHub:

https://github.com/meituan-longcat/LongCat-Video

Hugging Face:

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar -

Project Page:

https://meigen-ai.github.io/LongCat-Video-Avatar/

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 8:15:26

Kotaemon与HuggingFace模型集成实操指南

Kotaemon与HuggingFace模型集成实操指南在今天这个AI技术飞速普及的时代,越来越多开发者和企业开始关注一个问题:如何在不牺牲隐私、不依赖云端API的前提下,构建一个真正属于自己的智能助手?尤其是在处理敏感数据或需要低延迟响应…

作者头像 李华
网站建设 2026/4/18 7:52:21

FaceFusion如何实现头发边缘的自然过渡?

FaceFusion如何实现头发边缘的自然过渡?在如今的人像编辑应用中,用户早已不再满足于简单的“换脸”效果。当你把一张明星的脸贴到自己的自拍照上时,如果发丝边缘生硬、颜色突兀、仿佛戴了一张劣质面具,那体验无疑是灾难性的。真正…

作者头像 李华
网站建设 2026/4/17 23:21:00

Langchain-Chatchat如何处理图片中的文字内容?OCR集成方案

Langchain-Chatchat 如何处理图片中的文字内容?OCR 集成方案 在企业知识管理的实践中,一个常见的痛点是:大量关键信息以图像形式存在——扫描合同、会议白板照片、发票截图、手写笔记……这些文件明明“看得见”,却“搜不到”。传…

作者头像 李华
网站建设 2026/4/18 3:36:20

小程序毕设选题推荐:基于php+微信小程序的考公资料库分享平台校园资料分享平台/校园资源共享/学习资料分享/教育资源共享平台【附源码、mysql、文档、调试+代码讲解+全bao等】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/4/18 3:31:20

FaceFusion人脸动态模糊补偿技术介绍

FaceFusion人脸动态模糊补偿技术深度解析 在短视频、直播和影视特效日益普及的今天,观众对视觉内容的真实感与流畅度提出了前所未有的高要求。尤其是在人脸替换这类敏感任务中,哪怕是一帧轻微的模糊或一次表情跳跃,都可能让“真实”崩塌&…

作者头像 李华
网站建设 2026/4/18 3:28:14

零基础转行大模型全攻略:从入门到就业的完整指南

这篇文章分享了从其他领域转行到大模型的经验和建议,包括转行动机、学习路径、面试准备和行业前景。作者强调行动的重要性,提出分阶段学习法:从理论入门到实践应用,再到面试比赛提升。文章认为大模型如同"锤子"可应用于…

作者头像 李华