aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分47

PAN 2 世界模型亮相,可按描述的动作生成后续视频

AI 导读

PAN 2 被介绍为面向物理智能的开放式世界模型。引用材料称,用户描述一个动作后,它可生成最长 20 秒的视频,展示接下来可能发生的物理过程;其生成流程先由语言模型规划情节,再由 29B 视频模型呈现。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

https://t.co/bbcrmZoLaZ

回复Rohan Paul@rohanpaul_ai
译文
智能体通过试错学习。代价高昂的是出错。 世界模型把出错转移到模拟中,这正是支持 PAN 2 这类模型的全部理由。 这是一个免费、开放的“以动作为条件的世界模型”。 它接收你描述的动作,并生成最长 20 秒的视频,展示接下来在物理世界中会发生什么。它的新方法是将任务分成 2 步:先由语言模型推演事件如何发展,再由一个 29B 参数的视频模型将其呈现出来。
原文

Agents learn from trial and error. The expensive part is the error. A world model moves the error into simulation, which is the whole case for something like PAN 2. This is a free, open "action-conditioned world model". Takes an action you describe, and generates up to 20 seconds of video showing what would physically happen next. Its new trick is splitting the job in 2: a language model first works out the plot, then a 29B video model renders it.

在 X 查看这条帖子 ↗
相关上下文Institute of Foundation Models@IFM_AI
译文
推出 PAN 2:一个面向物理智能的开放式基础世界模型。 语言模型预测下一个词。PAN 2 预测下一步世界会怎样:每个动作之后会发生什么,并以时间、物理规律和空间为依据。 迈向能够在行动前模拟“如果……会怎样?”的 AI。 更多详情:https://t.co/lUX7igPOiF
原文

Introducing PAN 2: an open foundation world model for physical intelligence. A language model predicts the next word. PAN 2 predicts the next world: what happens after each action, grounded in time, physics and space. Towards AI that simulates “what if?” before it acts. More details: https://t.co/lUX7igPOiF

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

模型
发现内容有误?提交纠错