Coda-DaVinci 提出任务自适应 Code2Video 视频生成框架
Coda-DaVinci 提出任务自适应的 Code2Video 智能体框架,可按任务选择 3D 代理引导或直接生成。实验发现,粗粒度代理更利于自然运动,中粒度代理更利于一致性,物理模拟和与代理对齐的提示词可进一步提高平均质量。该框架在 VTR 的指令遵循和 R2M 的场景一致性上表现领先,并改善物理合理性和长视频连续交互的一致性,但转场稳定性和场景设定遵循仍存在局限。
Coda-DaVinci 提出任务自适应的 Code2Video 智能体框架,可按任务选择 3D 代理引导或直接生成。实验发现,粗粒度代理更利于自然运动,中粒度代理更利于一致性,物理模拟和与代理对齐的提示词可进一步提高平均质量。该框架在 VTR 的指令遵循和 R2M 的场景一致性上表现领先,并改善物理合理性和长视频连续交互的一致性,但转场稳定性和场景设定遵循仍存在局限。
WeMM-Video 提出覆盖2B、4B、9B和35B-A3B的中英双语全模态基础模型家族,统一处理文本、图像、音频和视频,并支持非思考指令模式与逐步推理模式。模型使用约1.2 trillion tokens的多模态语料训练,流程包含多教师OPD、抗重复MrDPO和专家RL。报告称,WeMM-Video-35B-A3B在超过120项基准评测中达到开源SOTA,模型家族及评测复现管线已公开。
V-JEPA-LM 发布并开源 1B-8B 视频语言模型,将冻结的 V-JEPA 2.1 连接至 LLM,并通过反事实监督识别方向、速度和顺序。原文称其在 11 项视频基准的各规模组均领先,其中 4B 模型平均得分 72.1,超过所有开源模型;模型已在 Hugging Face 开源。
FastFrames 是一系列快速自回归视频扩散模型,在不牺牲质量的情况下实现交互级延迟。其 1.3B 版本在单张 B200 GPU 上达到每帧 36 ms、28 RPS,生成质量与速度慢近 8x 的先进模型相当;14B 版本在 8x B200 GPU 节点上达到每帧 45 ms、22 RPS,并获得更好的视觉质量和真实感。
VibePrevisBench 可将脚本、照片或视频转换为 Blender 中可执行的 4D 场景,并对转换结果进行评测。它采用基于规则的方法检查场景本身,并基于 VLM 检查对应的代理视频。
ALIVE 是交互式流式视频模型,支持主动监控、流式任务协调和寻求反馈式交互,使视频 LLM 能持续观察并协同处理请求。它基于 ALIVE-SFT-288K 和 ALIVE-RL-3K 两阶段训练,并用 BACA 优化多轮决策、响应与静默。其在四项公开 benchmark 和 FSI-Bench 的参评模型中取得最高综合分。
WeVisForensics 以主调查智能体协调覆盖视觉和音频线索的自进化取证子智能体,在域内、域外和智能体 benchmark 上平均检测准确率达 95.2%,较最强既有检测器高 9.0%。DTPO 分别快速优化调查策略、缓慢改进检查器,ForenCue-30K 提供取证标注、交互轨迹和强化学习数据池。
AURA 2.0 是一种流式视频大语言模型,可在没有用户提问时识别适合讨论的主题,并在恰当时机主动发起对话。它引入流感知工具调用(SATC)与交互式视觉定位(IVG),可结合当前视觉和对话上下文调用外部工具,并输出与视频帧对齐的边界框。模型采用专用流式交互数据集、三阶段训练方案和长时交互记忆(LHIM);公开流式基准显示,其在开源流式模型中取得领先表现。
PhysLoop 提出一个统一框架,利用并约束 LLM 在视频生成、筛选和修正过程中的物理知识,推动视频生成模型自我改进。框架支持可控训练数据构建和推理时视频修复,发布了覆盖多样室内外场景的 100K videos、生成工具以及 PhysLoop-Gen 和 PhysLoop-Repair 两个评测数据集。
BirdDreams提出一种自回归驾驶世界模型,联合生成视角视频与示意性鸟瞰视图(BEV)视频,将场景布局纳入未来预测并支持自车轨迹控制。该模型仅需单张相机图像、无需 HD map 或 vehicle-state 输入,在 PhysicalAI-AV 和 nuScenes 上比既有模型更准确跟随输入自车轨迹;人工评测显示,其生成的周围车辆行为也比仅使用视角视频的基线更真实。