Liquid AI 发布 LFM3 系列模型，含 1.7B 文本、视觉、音频与 Omni 版本

我们如何构建更具表现力的主干网络

LFM2 表明，短卷积与注意力的混合架构可以在不牺牲质量的前提下于设备端快速运行。对于 LFM3，我们利用硬件在环架构搜索，针对智能体用例重新设计了该架构，这类用例需要更高的每参数能力，以及在长上下文上的快速推理。该搜索现在覆盖 14 种设备与后端组合，从手机和 Raspberry Pi 5 到笔记本电脑、云端 CPU、GPU 以及 Qualcomm Hexagon NPU。

LFM3-1.7B-Base 有 24 层，包含四项主要改动：

三混合层组合：13 个门控短卷积层、5 个窗口为 256 token 的滑动窗口注意力（SWA）层，以及 6 个全局注意力层。卷积的核大小从 LFM2 的 3 提升到 7。

逐头门控注意力：一个 sigmoid 门控对每个头的输出进行缩放，因此当某个头没有可补充的信息时可以被关闭。这有助于抑制损害量化的激活离群值。

部分 RoPE：全局注意力层只对每个头中频率最高的那一半进行旋转，因此另一半无论距离远近都按内容匹配。SWA 层保留完整的 RoPE。

三明治归一化：每个块对其输入和输出都进行归一化，以保持激活值处于良好尺度。

收益在长上下文上显现出来。按参数计，LFM3-1.7B 在各类边缘设备上的短提示上与 LFM2-1.2B 相当，而在上下文为 8K token 时约快 25%。LFM3-1.7B-Base 在 22T token 上预训练，使用与 LFM2.5-8B-A1B 相同的 128K 词表。最后的 3.5T token 是在精选数据上进行的中训练阶段，其中智能体轨迹和工具调用的占比更高，这同时将上下文窗口扩展到 256K token。

一个主干，六个模型

每个 LFM3 模型都从 LFM3-1.7B-Base 分支而来。你无需运行一个大型通用模型，而是选择适合你输入的那个模型，对其进行定制，并在设备端运行。

视觉和音频模型还配备了两个新的自研编码器：

视觉编码器：它结合了卷积和注意力，计算量比之前 LFM VL 模型中的 SigLIP2 编码器少 3 倍。我们 164M 参数的编码器在准确率上与 Qwen3.5-2B 的视觉编码器相当，而所需 FLOPs 少 2.2 倍（两者均使用相同的 LFM2.5-230M 语言主干测量）。对于视频，它将每对采样帧嵌入为一个时间切片，使时间序列长度减半。

音频编码器与 LiquidCodec：音频编码器混合了滑动窗口注意力和短卷积，并且完全因果，因此模型可以在你说话时进行预填充，首 token 时间低至 50 ms。LiquidCodec 是我们新的音频分词器，在 Apple M4 Max 的单 CPU 线程上以约 87 倍实时速度将生成的 token 转换为语音，并支持流式解码。

如何使用 LFM3 模型

每个模型都在 transformers 中运行。下面的代码片段来自模型卡，模型卡还列出了每个模型支持的其他推理引擎。

LFM3-1.7B

当你需要本地智能体、工具调用、结构化输出，或用于领域特定微调的基础模型时，请选用 LFM3-1.7B。它经过后训练，可在 Hermes Agent、Pi 和 OpenClaw 等智能体框架中运行。它以少 35% 的参数超越了前代 LFM2.5-2.6B，最大的提升出现在智能体任务上：在 WebArena-Verified 上，它得分 38.42，而前代为 3.02，甚至在浏览器和商业应用中的长任务上超过了 Qwen3.5-9B。你可以在 LFM3-1.7B 模型卡中找到更多细节。

要运行 LFM3-1.7B，请安装最新版本的 transformers：

然后加载并运行模型：

有关本地智能体设置，请参阅 Agent Harnesses 指南。

LFM3-VL-2B

当你需要设备端视觉理解时，请选用 LFM3-VL-2B。它是首个接受视频输入的 LFM 视觉模型；它在回答前逐步推理，并能找到物体并推理它们的摆放方式，这为机器人技术奠定了坚实基础。与 LFM2.5-VL-3B 相比，它的参数更少（1.9B 对 3.1B），却将 62 项视觉基准的平均分从 57.6 提升到 71.4，与 Gemma 4 12B 相当，而后者规模是其六倍多。你可以在 LFM3-VL-2B 模型卡中找到更多细节。

要运行 LFM3-VL-2B，请安装 transformers>=5.21.0 及其视觉依赖项：

然后加载并运行模型：

有关工具调用、工具搜索以及使用 llama.cpp 进行设备端推理，请参阅 LFM3-VL-2B 模型卡。

LFM3-Audio-2B

当你需要在笔记本电脑或边缘设备上进行语音聊天、语音识别、语音合成或 18 种语言之间的翻译时，请选用 LFM3-Audio-2B。它接受文本或音频作为输入，并以文本、语音或两者兼有的方式回应，还能将口头请求转化为工具调用。与 LFM2.5-Audio-1.5B 相比，它使用了新的自研音频编码器和语音编解码器，语音质量更高（UTMOSv2 3.83 对 3.22），并新增了音频理解、通用音频推理和工具调用。你可以在 LFM3-Audio-2B 模型卡中找到更多细节。

要运行 LFM3-Audio-2B，请安装 transformers>=5.20.2 及其音频依赖项：

直接从 Hugging Face Hub 加载模型和处理器：

然后大声提问，并以文本和语音获得回复：

有关实时语音识别、语音合成、音频理解和工具调用，请参阅 LFM3-Audio-2B 模型卡。

LFM3-Omni-2B

当你需要一个能看、能听、还能回话的端侧模型，用来替代单独的 ASR 模型、视觉语言模型、LLM 和 TTS 模型时，请选用 LFM3-Omni-2B。它可以回答关于图像的口头提问，同时观看并聆听视频，还能把它看到和听到的内容转化为工具调用。这是我们的首个全模态模型，支持文本、视觉和音频输入，以及文本和语音输出，并保留了独立 LFM3 模型的核心能力，包括视觉问答、语音识别、语音合成和指令遵循。与 LFM3-Audio-2B 一样，它通过 LiquidCodec 发声，该编解码器将生成的 token 转换为语音的速度快于实时，因此语音回复会随模型生成而流式输出。在音视频视频理解方面，它在 Daily-Omni、WorldSense 和 AV-SpeakerBench 上击败了参数量最高达 10.7B 的模型，例如 Qwen2.5-Omni-7B。你可以在 LFM3-Omni-2B 模型卡中找到更多细节。

要运行 LFM3-Omni-2B，请安装 transformers>=5.20.2 及其视觉和音频依赖项：

然后通过语音对照片提问：

有关语音输出、带音轨的视频以及工具调用，请参阅 LFM3-Omni-2B 模型卡。

d1-2B 和 d1-omni-2B

当你需要快速、结构化的决策而非生成的文本时，请选用 d1 模型。给它们一个情境（一张支持工单、一张发票、一个应用界面、一张照片、一条语音留言）和一组问题，它们便能在单次前向传播中回答所有问题，每个答案都带有校准后的概率。除了是/否、选项和分数之外，它们现在还能指向物体、从文档中读取数值、估算带范围的数字，并选出所有适用选项。你可以在 d1-2B 和 d1-omni-2B 的模型卡中找到更多细节。

在两个 d1 模型之间：

d1-2B：当输入为文本、图片和视频时选择它。它以少三分之一的参数取代 d1-3B，并在我们全部四个决策套件上得分更高，例如在 ImajevBench 上为 75.5 对 64.0。

d1-omni-2B：当你的输入包含音频时选择它。如果你用语音而非文字提问，它几乎能保持全部准确率。

要运行 d1-2B，请安装 transformers>=5.19 及其视觉依赖项：

然后加载 d1-2B，并在单次传播中就一张支持工单向它提出多个问题：

为简洁起见，我们只包含 d1-2B 的示例。有关音频片段和口头提问，请参阅 d1-omni-2B 模型卡。

针对你的任务微调 LFM3

LFM3 生来就是为了被专门化。前沿模型是强大的通才，但它们未必是你用例中的专家。LFM3 将额外容量装入一个小而快的模型，因此一次简短的微调就能借助你的数据、术语和工具，把它变成你任务上可靠的专家。由于它体积小，你可以将微调后的模型部署在应用运行的地方，从设备到私有基础设施再到云端。

每个模型都可以在单块 GPU 上微调，这些 notebook 将带你完成文本、视觉、音频和全模态模型的完整任务，从数据准备到评估。

示例：教 LFM3 行动

我们将 LFM3-VL-2B 改编为三个互补的机器人模型，分别用于编排、导航和操作。编排器通过工具调用操作机械臂：它通过指向来定位物体，用深度工具测量它们，调用运动规划器，并在后续相机图像中检查结果。导航器利用最近的 RGB 观测遵循路线描述，仅用五个 token 预测空间目标和航点轨迹。操作 VLA 在单次前向传播中将图像、语言和机器人状态映射为八步的连续动作块。该 VLA 在 15 种具身形态上联合训练，在四个 LIBERO 套件上平均成功率达到 96.2%，在 RoboCasa-GR1 桌面任务上达到 45.7%，并在搭载 TensorRT FP16 的 Jetson AGX Orin 上以不到 50 毫秒生成动作块。这些结果凸显了 LFM3-VL-2B 作为紧凑机器人基础模型的潜力，涵盖从高层规划到低层控制，并能在嵌入式硬件上实时生成动作。

在这段演示视频中观看 LFM3-VL-2B 如何处理感知、导航和操作。

所有 LFM3 模型均为开放权重，现已在 Hugging Face 上提供：

下载：Hugging Face 上的 LFM3 集合，包括用于你自己后训练的 LFM3-1.7B-Base。

微调：使用我们的微调 notebook 让 LFM3 适配你的任务。

在你的 harness 中使用：遵循我们的指南运行本地智能体，例如 OpenClaw、Hermes Agent 和 Pi。

我们迫不及待想看到你构建的作品。

引用

如果你使用本工作，请引用发布博客：

本文提及的模型 8

LiquidAI/LFM2.5-8B-A1B

LiquidAI/LFM3-1.7B