aifollow.news
返回 Latent Space AI 报道
Latent Space AI 报道· · 原发布时间 AI 评分47

Black Forest Labs 发布 FLUX 3,探索图像、视频与声音联合训练

AI 辅助摘要

Black Forest Labs 的 FLUX 3 将静态图像、视频和声音作为训练信号,目标是让模型从运动和声音中获取单张图片难以呈现的信息。访谈还介绍了基于同一 FLUX 3 基础模型的视频放大工具:逐帧锐化可能让画面细节在播放时闪烁,因此时间一致性也是画质的一部分。

正文 · AI 翻译

本期节目由 Deepgram 赞助。试试 Deepgram,打造真正理解你语境的语音智能体!#contextiseverything

播放视频

在 YouTube 上打开视频 ↗

很少有人知道,Stable Diffusion 是我全职投入 AI 的原因(我特意取名 Multiverse,而不是 Metaverse,以指出扎克在投资上的错误判断)。原来 Dustin Podell 也有过同样的顿悟时刻——模型发布后,他辞去了日常工作。但我们走上了截然不同的道路……我继续做自己熟悉的人类内容创作,而 Dustin 则与潜在扩散的共同发明者 Andreas Blattmann 以及 Stability AI 其余世界顶尖的图像生成团队成员一起,深入投身 AI 内容创作。Stability 分崩离析后,Anj Midha 帮助核心团队独立创办 BFL;BFL 随即打造出 Flux 系列中一款令人惊叹的新图像生成模型。但他们现在为什么要进军视频和世界模型?

Andreas 举了一个你可以用一只手试试的例子。如果有人向你扔来一个球,球还没到你面前,你的手就开始动了。即使你写不出球的运动轨迹,也能做到这一点。他所说的构建视觉智能,指的就是这种知识。静态图像能告诉你球在哪里;视频能告诉你球是怎么到那里的。即使镜头没有拍到接触的瞬间,撞击声也能告诉你它什么时候碰到了东西。这就是 BFL 主张用这 3 种信号一起训练 FLUX 3 的理由。BFL 的 FLUX 3 发布

运动中的马是我们在开场展示的 FLUX 3 示例之一。音频示例值得打开声音来播放。FLUX 3 Video

移动的镜头能教会你什么

假设镜头从一个人的正面开始,绕着这个人平移。到了某个时候,模型就得呈现出这个人的后脑勺。Andreas 认为,普通的二维视频包含大量证据,能表明物体从其他角度看是什么样子。这并不能断定模型是否“理解物理”,这一点我们反复讨论过。但相比只问某一帧看起来是否逼真,它确实提供了好得多的检验方式。

节目后半段有一个很好的工程实例。如果分别对片段中的每一帧做锐化,每一帧都可能看起来很棒。但按下播放键后,新增的细节可能会闪烁,因为超分辨率模型每次做出的判断都略有不同。BFL 的视频超分辨率模型源自同一个 FLUX 3 基础模型。即使用户要的只是一个分辨率更高的文件,时间一致性也很重要。

哪些地方值得投入训练算力?

我问他们的一个问题是,自回归是否正在主导图像生成。Andreas 也充分肯定了另一方的优势。自回归模型可以同时从一个训练样本中的所有词元学习。至于扩散模型,团队可以把漫长的采样过程蒸馏成寥寥几步。哪种优势更重要,取决于你是在为模型训练付费,还是在等待图像生成完成。

Dustin 早期的 Kontext 实验很好地说明了他们如何决定把资源投向哪里。他猜想,一个能画出戴帽子的狗的图像模型,应该已经知道一些帽子该放在哪里的知识。他和一位同事收集了一小批标注了物体关系的照片。经过几个小时的训练,模型就能把标志放到衬衫上。效果还很粗糙,但已经足以拿到下一次团队外出会议上展示。随后,团队花了数月时间打磨数据和模型。FLUX Kontext 示例

我最喜欢的用户故事出现在节目快结束时。人们把老旧、受损的家庭照片输入 FLUX,修复后再拿给家人看。Dustin 说,他之前没预料到会有这种用法。在讨论了如何让一个人的身份在多次编辑和不同画面之间保持一致之后,这个故事很好地说明了:如果做对了,究竟是谁会注意到。

赞助商广告在此刊登您的赞助广告触达正在构建下一代技术的 AI 工程师。Latent Space 的读者是那些正在推出智能体、模型和基础设施的人。欢迎咨询此广告位的赞助事宜。

business@latent.space →

节目注释

BFL 解释了静态图像、运动中的摄像机和音轨在训练中各自发挥的作用。FLUX 3 发布及研究概览

观看并聆听同时生成视频和声音的成果。FLUX 3 Video 演示

了解该实验室如何教会模型在保留图像其余部分的同时,按要求做出修改。FLUX Kontext 示例

Andreas Blattmann 共同创建了 Stable Diffusion,并共同发明了其背后的潜在扩散方法。嘉宾简介 · 原始研究

Dustin Podell 领导了 FLUX Kontext 项目,并且是 SDXL 的第一作者。Dustin 的项目贡献记录 · FLUX Kontext · SDXL

首篇 Latent Space 文章源于 Stable Diffusion 的发布。Multiverse, not Metaverse

章节

0:00 主持人介绍

3:39 开场片段

4:23 Black Forest 的起源

9:23 Dustin 的经历

17:04 视觉智能

27:38 深入了解 SDXL

33:59 学习运动

39:57 流匹配

46:57 创立 BFL

50:36 Deepgram 赞助商广告时段

51:43 FLUX 的早期应用场景

54:58 使用 Kontext 编辑

1:03:15 训练数据

1:07:32 测试一次编辑

1:13:12 自回归

1:20:50 世界动作模型

1:30:08 2027 年的机器人技术

1:32:16 谁在使用 FLUX?

发现内容有误?提交纠错

本文目录