正文 · AI 翻译
+5
LFM3 是我们新一代 Liquid Foundation Models（LFMs），旨在成为专用智能的起点。它将文本、视觉、音频、全模态和决策模型统一到同一个共享骨干网络上，参数规模均在 2B 级别。这意味着你可以选择适合所需模态的模型，在单块 GPU 上用自己的数据对其微调，并将其部署到应用运行的地方。
与此前的 LFM2 系列相比，LFM3 带来了 4 项主要变化：
每个参数带来更强能力：新的三混合架构和训练方案使 LFM3-1.7B 在参数量减少 35% 的情况下，性能超过 LFM2.5-2.6B。
所有模态共用一个骨干网络：6 个基于 LFM3-1.7B-Base 训练的 2B 级模型，涵盖文本、视觉、音频、全模态和决策，包括我们的首个全模态模型，以及为视觉模型新增的视频输入能力。
为端侧而构建：文本模型在 4 位精度下占用约 1 GB；新的自研视觉和音频编码器加快了处理速度；文本模型的 256K 上下文窗口让智能体能够在设备上运行。
便于专用化：每个模型都可以在单块 GPU 上微调，因此你可以使其适应自己的数据、术语和部署环境。
我们如何构建表达能力更强的骨干网络
LFM2 表明，短卷积与注意力相结合的混合架构可以在设备上快速运行，同时不牺牲质量。对于 LFM3，我们利用硬件在环架构搜索，针对智能体应用场景重新设计了这一架构；这些场景需要更高的单位参数能力，以及在长上下文中快速推理。搜索范围现已覆盖 14 种设备与后端组合，从手机和 Raspberry Pi 5，到笔记本电脑、云端 CPU、GPU 以及 Qualcomm Hexagon NPU。
LFM3-1.7B-Base 有 24 层和 4 项主要变化：
三混合层组合：13 层门控短卷积、5 层窗口大小为 256 个 token 的滑动窗口注意力（SWA），以及 6 层全局注意力。卷积的核大小为 7，高于 LFM2 的 3。
逐头门控注意力：sigmoid 门控对每个注意力头的输出进行缩放，因此当某个头没有内容可补充时，可以将其关闭。这有助于抑制影响量化的激活值离群点。
部分 RoPE：全局注意力层仅对每个注意力头中频率最高的一半进行旋转，使另一半无论距离如何都能按内容匹配。SWA 层则保留完整的 RoPE。
三明治式归一化：每个模块都对其输入和输出进行归一化，使激活值保持在合适的尺度。
其收益在长上下文中显现。按单位参数计算，在各种端侧设备上的短提示词测试中，LFM3-1.7B 与 LFM2-1.2B 表现相当；当上下文包含 8K 个 token 时，它的速度快约 25%。LFM3-1.7B-Base 使用 22T 个 token 进行预训练，采用与 LFM2.5-8B-A1B 相同的 128K 词表。最后的 3.5T 个 token 属于在精选数据上进行的中期训练阶段，其中智能体轨迹和工具调用的占比更高，同时将上下文窗口扩展至 256K 个 token。
一个骨干网络支撑 6 个模型
每个 LFM3 模型都从 LFM3-1.7B-Base 派生。你可以选择适合自己输入的模型，对其进行定制，并在设备上运行，而不必运行一个大型通用模型。
模型
输入
输出
基于
LFM3-1.7B
文本
文本
LFM3-1.7B-Base
LFM3-VL-2B
文本、图像、视频
文本
LFM3 骨干网络 + 视觉编码器
LFM3-Audio-2B
文本、音频
文本、语音
LFM3 骨干网络 + 音频编码器、音频解码器和 LiquidCodec
LFM3-Omni-2B
文本、图像、视频、音频
文本、语音
LFM3 骨干网络 + 视觉和音频编码器以及音频解码器
d1-2B
文本、图像、视频
经过校准的答案
LFM3-VL-2B
d1-omni-2B
文本、图像、视频、音频
经过校准的答案
LFM3-Omni-2B
视觉和音频模型还采用了 2 款新的自研编码器：
视觉编码器：它结合卷积与注意力，所需计算量比此前 LFM VL 模型中的 SigLIP2 编码器少 3 倍。我们的 164M 参数编码器在准确率上与 Qwen3.5-2B 的视觉编码器相当，而所需 FLOPs 少 2.2 倍（两者均使用相同的 LFM2.5-230M 语言骨干网络测量）。对于视频，它将每对采样帧嵌入同一个时间切片，使时间序列长度减半。
音频编码器和 LiquidCodec：音频编码器结合了滑动窗口注意力机制和短卷积，并且是完全因果的，因此模型可以在你说话时预填充，首个词元的生成延迟最低可达 50 毫秒。LiquidCodec 是我们新推出的音频词元化器，可在 Apple M4 Max 的单个 CPU 线程上以约实时速度的 87 倍将生成的词元转化为语音，并支持流式解码。
如何使用 LFM3 模型
每个模型都可以在 transformers 中运行。以下代码片段来自模型卡，模型卡还列出了各模型支持的其他推理引擎。
LFM3-1.7B
如果你需要本地智能体、工具调用、结构化输出，或用于特定领域微调的基础模型，可以选择 LFM3-1.7B。它经过后训练，可在 Hermes Agent、Pi 和 OpenClaw 等智能体运行框架中运行。它以少 35% 的参数量超越了前代模型 LFM2.5-2.6B，其中智能体任务上的提升最大：在 WebArena-Verified 上，它的得分为 38.42，而前代模型为 3.02；在浏览器和商务应用中的长任务上，它甚至超过了 Qwen3.5-9B。更多详情请参阅 LFM3-1.7B 模型卡。
要运行 LFM3-1.7B，请安装最新版本的 transformers：
然后加载并运行模型：
有关本地智能体的设置，请参阅 Agent Harnesses 指南。
LFM3-VL-2B
如果你需要设备端视觉理解，可以选择 LFM3-VL-2B。它是首个以视频为输入的 LFM 视觉模型；它会在回答前逐步推理，还能识别物体并推理它们的空间位置关系，为机器人技术提供坚实基础。与 LFM2.5-VL-3B 相比，它的参数更少（19 亿对 31 亿），但在 62 项视觉基准测试中的平均分从 57.6 提升到 71.4，与规模超过其六倍的 Gemma 4 12B 相当。更多详情请参阅 LFM3-VL-2B 模型卡。
要运行 LFM3-VL-2B，请安装 transformers>=5.21.0 及其视觉依赖项：
然后加载并运行模型：
有关工具调用、工具搜索以及使用 llama.cpp 在设备端推理的信息，请参阅 LFM3-VL-2B 模型卡。
LFM3-Audio-2B
如果你需要在笔记本电脑或边缘设备上进行语音聊天、语音识别、语音合成，或支持 18 种语言的翻译，可以选择 LFM3-Audio-2B。它以文本或音频为输入，以文本、语音或两者同时作答，还能将口头请求转化为工具调用。与 LFM2.5-Audio-1.5B 相比，它采用了新的自研音频编码器和语音编解码器，语音质量更高（UTMOSv2 得分为 3.83，对比 3.22），并增加了音频理解、通用音频推理和工具调用能力。更多详情请参阅 LFM3-Audio-2B 模型卡。
要运行 LFM3-Audio-2B，请安装 transformers>=5.20.2 及其音频依赖项：
直接从 Hugging Face Hub 加载模型和处理器：
然后大声提问，并获得文本和语音回复：
有关实时语音识别、语音合成、音频理解和工具调用的信息，请参阅 LFM3-Audio-2B 模型卡。
LFM3-Omni-2B
如果你需要一个能看、能听、还能作出口头回应的设备端模型，以替代独立的 ASR 模型、视觉语言模型、LLM 和 TTS 模型，可以选择 LFM3-Omni-2B。它可以回答关于图像的口头提问，同时观看和聆听视频，并将所见所闻转化为工具调用。这是我们的首个全模态模型，支持文本、视觉和音频输入，以及文本和语音输出；它保留了独立 LFM3 模型的核心能力，包括视觉问答、语音识别、语音合成和指令遵循。与 LFM3-Audio-2B 一样，它通过 LiquidCodec 发声；LiquidCodec 将生成的词元转化为语音的速度快于实时播放速度，因此口头回复可以随模型生成而流式输出。在音视频理解方面，它在 Daily-Omni、WorldSense 和 AV-SpeakerBench 上超过了参数量高达 107 亿的模型，例如 Qwen2.5-Omni-7B。更多详情请参阅 LFM3-Omni-2B 模型卡。
要运行 LFM3-Omni-2B，请安装 transformers>=5.20.2 及其视觉和音频依赖项：
然后通过语音询问有关照片的问题：
有关语音输出、带音轨的视频和工具调用，请参阅 LFM3-Omni-2B 模型卡。
d1-2B 和 d1-omni-2B
当你需要快速、结构化的决策，而不是生成的文本时，可以使用 d1 模型。向它们提供一个情境（客服工单、发票、应用界面、照片或语音便笺）和一组问题，它们就能在一次前向传播中回答所有问题，并为每个答案给出经过校准的概率。除了回答是或否、作出选择和给出分数，它们现在还能指向物体、读取文档中的数值、估计数值范围，并选出所有适用的选项。更多详情请参阅 d1-2B 和 d1-omni-2B 的模型卡。
这两款 d1 模型的区别如下：
d1-2B：适用于文本、图片和视频。它以少三分之一的参数量取代 d1-3B，并在我们的全部 4 套决策评测中取得更高分，例如在 ImajevBench 上得分为 75.5，而 d1-3B 为 64.0。
d1-omni-2B：适用于输入包含音频的情况。如果你用语音而非文字提问，它仍能保持几乎全部的准确率。
要运行 d1-2B，请安装 transformers>=5.19 及其视觉依赖项：
然后加载 d1-2B，在一次运行中就同一张客服工单向它提出多个问题：
为简洁起见，这里只提供 d1-2B 的示例。有关音频片段和口头提问，请参阅 d1-omni-2B 模型卡。
针对你的任务微调 LFM3
LFM3 专为特定任务适配而设计。前沿模型是强大的通用模型，但未必精通你的用例。LFM3 在小巧、快速的模型中融入了额外容量，因此只需短时间微调，就能利用你的数据、术语和工具，将其变成可靠的任务专家。由于模型体积小，你可以将微调后的模型部署在应用运行的地方，从设备端、私有基础设施到云端均可。
每款模型都可以在单块 GPU 上微调。这些笔记本分别针对文本、视觉、音频和全模态模型，引导你完成从数据准备到评估的完整任务。
模型
方法
任务
笔记本
LFM3-1.7B
SFT
从杂乱文档中提取结构化 JSON
在 Colab 中打开
LFM3-1.7B
DPO
根据检索到的文档作答，或拒绝回答
在 Colab 中打开
LFM3-1.7B
GRPO
在拥有 108 个工具的手机应用中调用正确的工具
在 Colab 中打开
LFM3-1.7B
CPT
从原始文本中学习一门新语言（土耳其语）
在 Colab 中打开
LFM3-VL-2B
SFT
读取收据照片并转换为 JSON
在 Colab 中打开
LFM3-VL-2B
GRPO
将公式图像转写为 LaTeX
在 Colab 中打开
LFM3-Audio-2B
SFT
将口头智能家居指令映射为函数调用
在 Colab 中打开
LFM3-Audio-2B
SFT
教模型掌握一种新声音
在 Colab 中打开
LFM3-Omni-2B
SFT
将口头智能家居指令映射为函数调用
在 Colab 中打开
LFM3-Omni-2B
SFT
回答关于医学图像的口头问题
在 Colab 中打开
示例：教 LFM3 执行动作
我们将 LFM3-VL-2B 适配为 3 款互补的机器人模型，分别用于编排、导航和操作。编排模型通过工具调用操控机械臂：它通过指向物体确定目标，使用深度工具测量物体，调用运动规划器，并在后续的摄像头图像中检查结果。导航模型根据近期的 RGB 观测遵循路线描述，仅用 5 个 token 就能预测空间目标和航路点轨迹。操作 VLA 在一次前向传播中，将图像、语言和机器人状态映射为由 8 步连续动作组成的动作块。该 VLA 在 15 种机器人形态上联合训练，在 4 套 LIBERO 测试中取得 96.2% 的平均成功率，在 RoboCasa-GR1 桌面任务中取得 45.7% 的成功率；在采用 TensorRT FP16 的 Jetson AGX Orin 上，生成动作块的耗时不到 50 ms。这些结果表明，LFM3-VL-2B 可作为紧凑的机器人基础模型，覆盖从高层规划到低层控制的任务，并能在嵌入式硬件上实时生成动作。
观看这段演示视频，了解 LFM3-VL-2B 如何处理感知、导航和操作。
开始使用 LFM3
所有 LFM3 模型均开放权重，现已在 Hugging Face 上提供：
下载：访问 Hugging Face 上的 LFM3 模型合集，其中包括可供你自行进行后训练的 LFM3-1.7B-Base。
微调：使用我们的微调笔记本，让 LFM3 适应你的任务。
在你的测试框架中使用：请参照我们的指南，了解如何运行 OpenClaw、Hermes Agent 和 Pi 等本地智能体。
我们迫不及待想看到你会构建出什么。
引用
如果你使用了这项工作，请引用发布博客：