Liquid AI 发布 LFM3 系列模型,含 1.7B 文本、视觉、音频与 Omni 版本
Liquid AI 发布 LFM3 系列开放权重模型,全部从 LFM3-1.7B-Base 分支而来,覆盖文本、视觉、音频、Omni 以及 d1 决策模型。LFM3-1.7B-Base 采用三混合层结构,预训练 22T token,最后 3.5T token 的中训练阶段加入更多智能体轨迹与工具调用数据,上下文窗口扩展到 256K token。官方称 LFM3-1.7B 在 8K 上下文下比 LFM2-1.2B 快约 25%,WebArena-Verified 得分 38.42 对 3.02;LFM3-VL-2B 在 62 项视觉基准上平均分从 57.6 升至 71.4。所有模型已在 Hugging Face 开放下载,并提供单卡微调 notebook。
要运行 LFM3-Audio-2B,请安装 transformers =5.20.2 及其音频依赖项: 直接从 Hugging Face Hub 加载模型和处理器: 然后大声提问,并以文本和语音获得回复: 有关实时语音识别、语音合成、音频理解和工具调用,请参阅 LFM3-Audio-2B 模型卡。 LFM3-Omni-2B 当你需要一个能看、能听、还能回话的端侧模型,用来替代单独的 ASR 模型、视觉语言模型、LLM 和 TTS 模型时,请选用 LFM3-Omni-2B。它可以回答关于图像的口头提问,同时观看并聆听视频,还能把它看到和听到的内容转化为工具调用。这是我们的首个全模态模型,支持文本、视觉和音频输入,以及文本和语音输出,并保留了独立 LFM3 模型的核心能力,包括视觉问答、语音识别、语音合成和指令遵循。与 LFM3-Audio-2B 一样,它通过 LiquidCodec 发声,该编解码器将生成的 token 转换为语音的速度快于实时,因此语音回复会随模型生成而流式输出。在音视频视频理解方面,它在 Daily-Omni、WorldSense 和 AV-SpeakerBench
匹配字段正文
