←新闻详情

The New Stack更新于 10月26日 22:22

MiniMax M3.1 Flash 与 M3 实测对比:成本更低但速度与效果未提升

MiniMax M3.1 Flash vs. MiniMax M3: One is cheaper, but not faster or better

AI 导读

作者在 OpenRouter 上用三个智能体任务各跑一次,对比 MiniMax M3.1 Flash 与 M3。两项可评分任务两者得分相同,长上下文任务两者首轮均未给出答案;Flash 估算总成本 0.15 美元,低于 M3 的 0.27 美元,但总耗时 661.6 秒多于 M3 的 465.0 秒。作者认为除成本更低外,这几次运行看不出 Flash 在速度或效果上的改进,并指出三次单轮测试不足以验证 MiniMax 所称的基准表现。

推荐理由

AI 评分 60

作者用三个自建智能体任务对比两款模型,给出成本、耗时与工具调用差异,可作为选型参考。

主题

标签

正文 · AI 翻译

MiniMax 于 2026 年 10 月 19 日发布 M3.1 Flash,并称其将智能体任务的总体成本降低 70%,在线推理速度比 M3 快近三倍。MiniMax 将 Flash 的定价列为每百万输入 token 0.15 美元、每百万输出 token 0.60 美元。

这相当于 M3 折扣价的一半:对于输入 token 不超过 512K 的请求,M3 的折扣价为 0.30 美元和 1.20 美元;缓存输入和更长的 M3 请求另有单独定价。在线推理速度与完成一个使用工具的任务所需的时间并不相同。

Artificial Analysis 独立评测给 M3.1 Flash 在 AutomationBench-AA 上打出 72.5% 的分数,该测试衡量在模拟商业应用中完成多步骤工作的能力。该分数衡量的是在未违反护栏规则的情况下完成的任务目标占比,与 Zapier 自家 AutomationBench 排行榜上完成整个任务的百分比并不相同。

我本人没有运行 AutomationBench。作为替代,我在三个较小的智能体任务上对比测试了 M3.1 Flash 与 M3,以观察它们在我更熟悉的工作中的表现。每个任务只运行一次,样本太小,无法衡量准确率、成本或速度上的普遍提升。

测试方法

我通过 OpenRouter 将两个模型各运行一次,固定路由到 MiniMax 自己的服务器,使用默认设置。测试时我使用的是 OpenRouter 的免费 Flash 端点,因此下面 Flash 的美元金额是按 MiniMax 标价估算的,并非我实际支付的费用。我没有直接使用 MiniMax API,因为其最低充值额度对这个小测试来说太高了。我限制了每个模型完成任务可用的轮数。

通过 OpenRouter 运行的结果可能与通过 MiniMax API 运行的结果不同,即使路由到 MiniMax 的服务器也是如此。我使用 OpenRouter 是因为它让我能在一个地方测试两个模型。

智能体缺陷修复——一个 Python 作业队列库,包含三个相互影响的缺陷和一个错误的测试。模型通过工具读取、编辑并运行测试,轮数上限为 25 轮。

事故调查——一次故障期间 20 个模拟服务的日志、指标和部署历史。原因是隐藏在两次诱饵部署和一台走慢的服务器时钟背后的配置变更。

长上下文——一个约 50 万 token 的模拟工程 wiki,包含三个关于其服务如何相互依赖的问题。

智能体缺陷修复测试

两个模型都没有拿到满分,最终都是 6 分中的 5 分,但各自漏掉的地方不同。Flash 修复了全部三个缺陷且没有破坏任何东西。随后它在写出最终答案之前用完了轮数,因此从未报告那个错误的测试。M3 报告了错误的测试,但漏掉了第二个缺陷的一个用例。

工具日志显示出两种不同的工作风格。Flash 在前 14 轮中读取了 37 个文件,才做出第一次编辑。到第 16 轮时它已修复所有缺陷,然后用最后四轮编写一个临时测试来复核文档。M3 运行了一次测试,并在第 4 轮做出第一次修复。

Flash 的方法把三个缺陷都改对了,但它把轮数都花在读取和检查上,始终没来得及写出它的发现。

Flash 的方法把三个缺陷都改对了,但它把轮数都花在读取和检查上,始终没来得及写出它的发现。M3 行动更快,但漏掉了一个用例。Flash 使用的输入 token 超过两倍,但在此任务上的估算成本约低 23%,这得益于缓存输入的折扣。

数据如下:

Flash:25 轮,输入 538,718,输出 7,056,0.017 美元,129.0 秒,55 token/s。

M3:17 轮,输入 203,639,输出 4,327,0.022 美元,36.8 秒,118 token/s。

事故调查测试

两个模型都拿到 10 分中的 10 分。它们都找到了配置变更,排除了两次诱饵部署,发现了走慢的时钟,并按顺序列出了全部九个受影响的服务。

它们做出了相同的 63 次工具调用,但 Flash 每轮打包了更多调用,在 17 轮内完成,而 M3 用了 24 轮。Flash 使用的输入 token 更少,在此测试上的估算成本约低 68%,接近 MiniMax 所称的智能体任务成本降低 70%。仅凭轮数无法解释这一差异;缓存使用和 token 价格也有影响。

Flash 在这里使用的输入 token 更少,但输出 token 略多。

数据如下:

Flash:17 轮,输入 367,401,输出 13,175,0.020 美元,146.2 秒,90 token/s。

M3:24 轮,输入 592,377,输出 12,061,0.062 美元,72.2 秒,167 token/s。

长上下文测试

两个模型都没有给出答案。Flash 用完了我允许的 64,000 个输出 token,在写出任何内容之前就耗尽了。M3 也在约 29,000 个输出 token 后停止,没有给出答案。MiniMax 为 M3 标称约 100 万 token 的上下文窗口,但这一容量在本次运行中并未转化为一个完整的答案。

MiniMax 为 M3 标称约 100 万 token 的上下文窗口,但这一容量在本次运行中并未转化为一个完整的答案……

我额外运行了一轮,将推理设置为低,并对两个模型使用相同的 28,000 token 输出上限。这次 Flash 给出了答案,但只找到 33 个受影响服务中的 3 个。M3 再次在给出答案前耗尽。

在我的设置下,两个模型都无法可靠地回答这个大型文档问题。Flash 在第一次运行中触及了我设置的 64,000 token 输出上限。当我要求它以更少的输出作答时,它漏掉了 33 个服务中的 30 个。对于这类任务,我不会依赖其中任何一个结果。

测试结果

测试MiniMax M3.1 FlashMiniMax M3

智能体缺陷修复6 分中的 5 分6 分中的 5 分

事故调查10 分中的 10 分10 分中的 10 分

长上下文无答案无答案

总 token 数(输入/输出)1,401,606 / 84,2311,291,477 / 45,214

总成本(Flash 估算)$0.15$0.27

总模型耗时661.6 秒465.0 秒

两个模型在两项可评分任务上得分相同,且两者在第一轮均未回答长上下文问题。M3 整体速度更快。Flash 的估算总成本更低,尽管它使用了更多的输入和输出 token。缓存使用情况和不同的 token 价格会影响这一比较,因此仅凭 token 总量无法说明在相同费率下哪个模型成本更低。

我如何看待?

我注意到 MiniMax M3 与 M3.1 Flash 之间存在差异,但除了估算成本更低之外,我不会称这些运行中的变化为改进。Flash 整体速度更慢,且两个模型在可评分任务上得分相同。

……除了估算成本更低之外,我不会称这些运行中的变化为改进。

三次一次性测试无法确定 MiniMax 的基准声明是否适用于其他工作。在选择任一模型之前,我会测试更多自己的任务,并且我会持续关注 MiniMax 未来的更新。

文章《MiniMax M3.1 Flash 与 MiniMax M3:一个更便宜,但并未更快或更好》首发于 The New Stack。

来源

The New Stack