DeepSeek V4.1-Flash-1017 与 Claude Haiku 5.5 实测对比：准确率略高、成本更低

DeepSeek于10月17日发布了V4.1-Flash-1017，作为其Flash模型的更新版本。其变更日志称，此次更新缩短了任务运行时间和输出长度。日志列出了11项基准测试成绩，其中包括Terminal-Bench 4.0上的42.3分。

开发者可以通过DeepSeek的API或OpenRouter等服务使用它。由于它是开放权重模型，开发者也可以从Hugging Face下载并在自己的服务器上运行。我通过OpenRouter在DeepSeek自己的服务器上、按DeepSeek的价格对它进行了测试。

DeepSeek的模型卡将此次更新与多个竞品进行了比较，但没有与Haiku 5.5比较，因此我选择它来进行这次实测对比。Anthropic于10月7日发布了Claude Haiku 5.5，这是其标准速度下最快的模型，面向分类、摘要和数据库查询等高吞吐量任务。

Anthropic指出，其Opus模型在Fast模式下运行更快。Anthropic报告的成绩是Terminal-Bench 4.0上的39.2分，比DeepSeek报告的成绩低3.1个百分点。这些都是厂商报告的结果，而非受控的正面对比测试。

对于不超过100,000个token的提示词，Haiku的价格为每百万输入token 0.10美元、每百万输出token 0.50美元；超过该阈值后分别为0.50美元和2.50美元。DeepSeek的错峰价格为每百万未缓存输入token 0.15美元、每百万缓存输入token 0.003美元、每百万输出token 0.60美元；高峰价格是这些金额的两倍。

就比较未缓存输入和输出价格而言，Haiku在短提示词上更便宜，DeepSeek在长提示词上更便宜。实际费用还取决于分词方式、缓存和提供商路由。

我围绕两家公司各自宣称其模型擅长的方面设计了三项测试，以观察哪一个在实践中表现更好。

测试

我通过OpenRouter将两个模型分别固定到DeepSeek和Anthropic自己的服务器上，在默认设置下每项测试各运行一次。我将DeepSeek固定到模型ID 1017，并在错峰时段运行所有测试。一个脚本根据我构建的答案键对每个回答进行评分，并在任一模型看到这些答案之前用第二种方法进行了核对。

智能体缺陷修复：一个Python作业队列库，包含三个相互影响的缺陷和一个错误的测试。模型通过工具读取、编辑并运行测试，最多25轮。

数据库查询：一个模拟CI平台数据库，包含20个问题，通过编写SQL来回答。陷阱包括软删除、大小写混用、重试构建、时区和货币换算。有两个问题无法根据数据回答。

工单分类：400条开发者错误报告，每条都需要给出类别、严重程度、服务和团队。共1,600个评分字段。该提示词在DeepSeek上计为153,082个输入token，在Haiku上计为216,811个，超过了Haiku的100,000 token价格阈值。

智能体缺陷修复

DeepSeek开局强劲，在第一项测试中准确率超过Haiku。DeepSeek得分为6/6。Haiku得分为5/6。尽管错误指向了错误的文件，两者都找到了第一个缺陷，修复了第三个缺陷，没有破坏回归测试，并标记了错误的测试而未改动它。Haiku在第二个缺陷上漏掉了六个隐藏测试中的一个，而DeepSeek没有漏掉。

Haiku用了八轮、21.6秒完成。DeepSeek用了12轮、49.6秒，但成本仍然更低，因为它自动缓存了大部分重复输入。我没有开启Anthropic的提示词缓存，该功能需要主动选择启用。这里比较的是这些运行中使用的缓存设置；启用Haiku的缓存可能会改变成本对比。

数据如下：

DeepSeek：12次调用，输入190,139，输出7,877，$0.009，49.6秒。

Haiku：8次调用，输入100,461，输出3,255，$0.012，21.6秒。

数据库查询

这是唯一一项两个模型准确率打平的测试，均为20/20。两者都识别出了每一个陷阱，并对数据无法回答的两个问题都回答“unknown”，而不是编造答案。Haiku用更少的调用和更短的时间得出了答案。DeepSeek的成本约为其一半。

数据如下：

DeepSeek：12次调用，输入75,151，输出4,608，$0.004，34.9秒。

Haiku：7次调用，输入55,304，输出5,917，$0.009，28.4秒。

工单分类

这里准确率差异最为明显。DeepSeek全部1,600个字段都正确。Haiku正确1,596个。其失误中有两个是严重程度评级。路由指南规定，如果报告影响的用户少于50人或错误率低于1%，则评为sev4。Haiku将一份影响49名客户的报告评为sev3，将另一份错误率为0.8%的报告也评为sev3。两者本都应为sev4。

Haiku的另外两个失误是路由错误。指南指出，某项服务已于8月1日迁移到新团队，报告应按其头部日期进行路由。Haiku将两份8月1日之后提交的报告发送给了旧团队。每份报告正文中都提到了更早的7月日期，但仅凭输出无法解释Haiku为何选择旧团队。

同一提示词在DeepSeek上计为153,082个token，在Haiku上计为216,811个。由于模型使用不同的分词器，相同的文本可能产生不同的token计数。这使Haiku落入更高的长提示词价格档。其费用为$0.28，而DeepSeek为$0.06。

数据如下：

DeepSeek：输入153,082，输出58,923，$0.058，188.3秒。

Haiku：输入216,811，输出69,354，$0.282，228.9秒。

结果

测试DeepSeek V4.1-Flash-1017Claude Haiku 5.5

智能体缺陷修复6/65/6

数据库查询20/2020/20

工单分类字段1,600/1,6001,596/1,600

总token输入/输出418,372 / 71,408372,576 / 78,526

总成本$0.07$0.30

总模型时间272.8秒278.9秒

在准确率上，DeepSeek 和 Haiku 不相上下。DeepSeek 在缺陷修复和工单分类任务上略胜一筹，两者在数据库查询上打成平手。速度也接近：Haiku 在基于工具的测试中更快，而 DeepSeek 在大型工单分类提示词上更快。成本才是真正的差异所在。DeepSeek 为 $0.07，而 Haiku 为 $0.30，这一差距主要来自那个长提示词，它把 Haiku 推入了更高的费率档。

我怎么看？

就这三次运行而言，我会选择 DeepSeek V4.1-Flash-1017：它在我设定的评分标准上拿到了满分，而且在我使用的设置下成本更低。Haiku 在两项基于工具的测试中都更快，而 DeepSeek 在工单分类上更快，三项合计也略快。每个模型每项测试我只运行了一次，因此这些结果并不能证明普遍的准确率或速度优势，也无法说明任一模型在规模化场景下的表现。在做出生产环境选择之前，我会在自己的工作负载上对两者都进行测试。

文章《DeepSeek V4.1-Flash-1017 vs. Claude Haiku 5.5：准确率更高，价格却低得多》首发于 The New Stack。