跳到正文
今天11月21日周六2 条
11月20日周五
  1. Hugging Face 每日热门论文51

    Coda-DaVinci 提出任务自适应 Code2Video 视频生成框架

    Coda-DaVinci 提出任务自适应的 Code2Video 智能体框架,可按任务选择 3D 代理引导或直接生成。实验发现,粗粒度代理更利于自然运动,中粒度代理更利于一致性,物理模拟和与代理对齐的提示词可进一步提高平均质量。该框架在 VTR 的指令遵循和 R2M 的场景一致性上表现领先,并改善物理合理性和长视频连续交互的一致性,但转场稳定性和场景设定遵循仍存在局限。

  2. Hugging Face 每日热门论文74

    WeMM-Video 提出中英双语全模态视频理解模型家族

    WeMM-Video 提出覆盖2B、4B、9B和35B-A3B的中英双语全模态基础模型家族,统一处理文本、图像、音频和视频,并支持非思考指令模式与逐步推理模式。模型使用约1.2 trillion tokens的多模态语料训练,流程包含多教师OPD、抗重复MrDPO和专家RL。报告称,WeMM-Video-35B-A3B在超过120项基准评测中达到开源SOTA,模型家族及评测复现管线已公开。

11月19日周四
11月18日周三
  1. The Verge · AI73

    Suno推出Visuals,可将AI音乐制成图像和口型同步视频

    Suno推出Visuals,让用户把Suno歌曲制作成最长15秒、可自动对歌词进行口型同步的AI视频,也可通过提示词生成缩略图和专辑封面。该功能已覆盖web、iOS和Android,支持参考图、画幅、起止帧、片段长度及视频时间线编辑。Visuals由基于MiniMax H3的H3 Move模型驱动,使用独立于歌曲积分的Visuals credits,并加入文本和视觉过滤器。

11月17日周二
  1. Hugging Face 每日热门论文50

    FastFrames:以交互级延迟实现视频生成

    FastFrames 是一系列快速自回归视频扩散模型,在不牺牲质量的情况下实现交互级延迟。其 1.3B 版本在单张 B200 GPU 上达到每帧 36 ms、28 RPS,生成质量与速度慢近 8x 的先进模型相当;14B 版本在 8x B200 GPU 节点上达到每帧 45 ms、22 RPS,并获得更好的视觉质量和真实感。

11月16日周一
  1. Hugging Face 每日热门论文48

    ALIVE:让流式视频模型具备交互能力

    ALIVE 是交互式流式视频模型,支持主动监控、流式任务协调和寻求反馈式交互,使视频 LLM 能持续观察并协同处理请求。它基于 ALIVE-SFT-288K 和 ALIVE-RL-3K 两阶段训练,并用 BACA 优化多轮决策、响应与静默。其在四项公开 benchmark 和 FSI-Bench 的参评模型中取得最高综合分。

  2. Hugging Face 每日热门论文49

    WeVisForensics:面向全方位 AI 生成视频检测的自进化智能体

    WeVisForensics 以主调查智能体协调覆盖视觉和音频线索的自进化取证子智能体,在域内、域外和智能体 benchmark 上平均检测准确率达 95.2%,较最强既有检测器高 9.0%。DTPO 分别快速优化调查策略、缓慢改进检查器,ForenCue-30K 提供取证标注、交互轨迹和强化学习数据池。

11月15日周日
  1. Hugging Face 每日热门论文56

    超越回答:AURA 2.0 学会在流式视频中主动开口并行动

    AURA 2.0 是一种流式视频大语言模型,可在没有用户提问时识别适合讨论的主题,并在恰当时机主动发起对话。它引入流感知工具调用(SATC)与交互式视觉定位(IVG),可结合当前视觉和对话上下文调用外部工具,并输出与视频帧对齐的边界框。模型采用专用流式交互数据集、三阶段训练方案和长时交互记忆(LHIM);公开流式基准显示,其在开源流式模型中取得领先表现。

11月12日周四
  1. Hugging Face 每日热门论文57

    PhysLoop:利用 LLM 物理认知自我改进视频生成模型

    PhysLoop 提出一个统一框架,利用并约束 LLM 在视频生成、筛选和修正过程中的物理知识,推动视频生成模型自我改进。框架支持可控训练数据构建和推理时视频修复,发布了覆盖多样室内外场景的 100K videos、生成工具以及 PhysLoop-Gen 和 PhysLoop-Repair 两个评测数据集。

11月11日周三
11月10日周二
  1. Hugging Face 每日热门论文48

    BirdDreams:联合视角与 BEV 视频生成可信、可响应的驾驶世界模型

    BirdDreams提出一种自回归驾驶世界模型,联合生成视角视频与示意性鸟瞰视图(BEV)视频,将场景布局纳入未来预测并支持自车轨迹控制。该模型仅需单张相机图像、无需 HD map 或 vehicle-state 输入,在 PhysicalAI-AV 和 nuScenes 上比既有模型更准确跟随输入自车轨迹;人工评测显示,其生成的周围车辆行为也比仅使用视角视频的基线更真实。

11月6日周五
  1. Google AI78

    Google AI 发布 Gemini Omni 1.2 Flash,视频生成与编辑上限提高至 15 秒

    Google AI 发布 Gemini Omni 1.2 Flash,将视频生成和编辑上限提高至 15 秒,并改进场景连贯性、角色语音、视觉跳切和参考素材一致性。Flow 支持场景导演与多轮编辑,Google Vids 和 Gemini App 可创建 15 秒视频;面向 API 开发者和企业,720p 视频价格较上一代下调 30% 至 $0.07 per second。

    推荐理由:Gemini Omni 1.2 Flash 将视频时长上限、场景连贯性和参考素材一致性结合起来,并给出 API 价格变化,便于比较其创作与接入成本。

9月18日周五
  1. Qwen Blog84

    Qwen3.8-Omni-Flash 正式上线,支持 1M 长上下文与音视频 Agent 工作流

    Qwen3.8-Omni-Flash 正式上线,支持文本、图像、音频和视频输入,以及 1M 长上下文。在累计 29 项评测中,相比上一代 Qwen3.5-Omni-Plus 平均得分提升超过 25%。API 每小时音频输入价格降幅超过 98%,音视频输入价格降幅超过 93%。

    推荐理由:原文提供了与上一代模型的评测和价格对比,帮助判断 Qwen3.8-Omni-Flash 在音视频 Agent 场景中的变化。

7月7日周二