Liquid AI 发布实时推理引擎 RIPL，端到端延迟低于 50 ms

在 Google 上添加为首选来源

Liquid AI 刚刚发布了 Liquid RIPL，全称为实时推理流水线（Real-time Inference Pipeline）。RIPL 是一个低延迟引擎，可在实时请求路径中服务 Liquid 基础模型（LFM）。它能在 50 毫秒以内端到端返回完整的生成响应。它还声称，在峰值负载下流量持续到达时，延迟仍能保持稳定。对开发者而言，信息很简单：用生成式模型替换梯度提升树，同时保持延迟预算不变。

TL;DR

引擎：服务 230M 至 2.6B 参数的 LFM2.5 模型

运行于：NVIDIA H100、H200、B200 和 RTX PRO 6000 GPU 上的企业部署。基准测试使用单张 B200。

性能：根据 Liquid 自测，p95 延迟比运行在 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍。

最佳：LFM2.5-1.2B 达到 155.8 ms p95，而 Qwen3.5-0.8B 为 4,431 ms，差距 28.4 倍（输入 256，输出 128）。

最差：LFM2.5-2.6B 仅提升 5.6 倍（449.1 ms 对 2,499 ms）。在较长请求上无法达到 50 ms 以下。

Liquid RIPL 解决了什么问题？

大多数服务栈面向大批量和长时间智能体任务。在那里，每个请求几秒钟是可以接受的。搜索排序、欺诈检测和支付授权需要在毫秒级给出答案。Liquid AI 认为，团队在这些路径上默认使用经典模型，是因为 LLM 服务太慢。RIPL 的构建目标就是消除这一权衡。

开源 OmniParseBench · 由 Datalab 提供 · Apache 2.0

在表格、数学、表单和手写内容上对任意文档解析器进行基准测试。按页面对文本、表格和布局类别进行是/否测试。在 Hugging Face 数据集或你自己的 PDF 上，使用 score 和 predict 原语对供应商解析器评分。

★ 在 GitHub 上加星多栏、旋转文本、退化扫描件 · 按文字系统和语言标记

github.com/datalab-to/omni_parse_bench Fork 它 · 添加你的解析器

RIPL 如何工作？

Liquid AI 将 RIPL 描述为优化从请求到达至完成响应的完整路径。在若干工作负载中，Liquid AI 将同一模型 LFM2.5-350M 分别绘制在 vLLM 和 RIPL 上。在每种情况下，RIPL 的 p95 线都远低于 vLLM 的线。这将部分增益归因于引擎本身，而不仅仅是模型架构。

LFM2.5 模型本身是混合架构。LFM2.5-1.2B-Instruct 有 16 层：10 个双门控卷积块和 6 个 GQA 块。LFM2.5-2.6B 有 30 层：22 个卷积块和 8 个 GQA 块。

RIPL 基准测试：相比 vLLM 有多快？

Liquid 在单张 B200 上，在开环泊松到达下测量了 p95 端到端延迟。LFM 运行在 RIPL 上。基线模型（包括 MiniCPM5 和 Granite 4.2）运行在 vLLM 上。

工作负载负载RIPL 上的 LFM2.5（p95）vLLM 上的 Qwen3.5（p95）差距

1B 级，输入 32 → 输出 321,000 请求/秒34.6 ms（1.2B）498 ms（0.8B）14.4 倍

1B 级，输入 256 → 输出 128400 请求/秒155.8 ms（1.2B）4,431 ms（0.8B）28.4 倍

2B 级，输入 32 → 输出 321,000 请求/秒76.4 ms（2.6B）586.8 ms（2B）7.7 倍

2B 级，输入 256 → 输出 128300 请求/秒449.1 ms（2.6B）2,499 ms（2B）5.6 倍

来源：Liquid AI 博客，图 2。自报数据。

Liquid AI 还将 6 个实时工作负载映射到固定预算：

广告技术查询重写：输入 32，输出 32，预算 50 ms，LFM2.5-350M。

搜索意图分类：输入 128，输出 1，预算 20 ms。

搜索重排序：输入 1k，输出 1，预算 30 ms。

支付风险评分：输入 512，输出 16，预算 50 ms，LFM2.5-1.2B。

信贷决策：输入 8k，输出 64，预算 150 ms。

图像替代文本：输入 512×512 图像和 64 个 token，输出 16，预算 100 ms，LFM2.5-VL-450M。

竞品对比

特性RIPL 上的 LFM2.5-1.2BvLLM 上的 Qwen3.5-0.8BRIPL 上的 LFM2.5-2.6BvLLM 上的 Qwen3.5-2B

参数1.17B0.8B2.69B2B

上下文32,768262,144131,072262,144

许可证（权重）LFM Open License v1.0Apache 2.0LFM Open License v1.0Apache 2.0

模态文本文本、图像、视频文本文本、图像、视频

默认模式Instruct非思考始终推理非思考

服务引擎RIPL（企业版）vLLM（开源）RIPL（企业版）vLLM（开源）

p95，32→3234.6 ms498 ms76.4 ms586.8 ms

p95，256→128155.8 ms4,431 ms449.1 ms2,499 ms

RIPL 是否用于生产环境？

是的，据 Liquid AI 称。Shopify 正在对延迟敏感的商务工作负载中部署 LFM。在搜索增强中，LFM 在生产流量上以低于 20 ms 的推理延迟运行。根据 Liquid AI 的博客，它们使用的参数比替代方案少约 50%，并提供快 2 至 10 倍的推理。

关键要点

RIPL 是 Liquid AI 用于实时请求路径中 LLM 的引擎。

Liquid 声称其 p95 延迟比运行在 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍。

同模型测试（LFM2.5-350M）显示 RIPL 本身优于 vLLM。

Shopify 在生产搜索中以低于 20 ms 运行 LFM。

仅限企业、闭源，且所有数据均为自报。

Asif Razzaq网站 | + 文章简介 ⮌

Asif RazzaqGradium 以 Apache 2.0 开源 Phonon，一个 31M 参数的端侧 TTS 模型

Asif RazzaqIBM AI 发布 Granite Speech 5.0 2B，用于多语言转录和翻译

Liquid AI 发布实时推理引擎 RIPL，端到端延迟低于 50 ms

推荐理由

主题

标签

正文 · AI 翻译