Fireworks 评测 DeepSeek V4 Pro 与 Fable 5、Kimi K3

简而言之；DeepSeek V4 Pro 0813 在我们的 SWE-Bench 和 LiveCodeBench 测试中位居榜首，每解决一个任务的成本仅为 Fable 5 的三分之一，而且事实证明，它是比 Kimi K3 更好的路由搭档。训练功能已上线。

上周，我们在 Fireworks 上启用了 Deepseek，提供无服务器端点、专用部署和训练支持。该模型提供 100 万 token 的上下文窗口，支持原生工具调用并保留推理历史，面向长周期智能体工作负载。

我们用 7 月测试 Kimi K3 时使用的同一套评测套件对 DeepSeek V4 Pro 0813 进行了测试。我们在四个基准系列上对 Deepseek 与 Kimi K3 和 Fable 5 进行了评估：SWE-Bench Verified、LiveCodeBench v6、Aider Polyglot v1 和 Terminal-Bench 2.1。在四个系列中的两个上，Deepseek V4 Pro 是本次综合评测中最强的单一模型。

基准Kimi K3Deepseek V4 Pro 0813Fable 5SWE-Bench Verified（500）92.6%95.2%85.4%LiveCodeBench v6（100）88.0%92.0%91.0%Aider Polyglot（225）76.4%73.8%88.0%Terminal-Bench 2.1（89）80.9%76.4%76.4%

在标准代码任务上，Deepseek V4 Pro 相比 Fable 5 具有巨大的成本优势：在 SWE-bench 上每解决一个任务花费 $0.309（Fable 5 为 $0.808），在 LiveCodeBench 上为 $0.040（Fable 5 为 $0.225）。

在 Terminal-Bench 上，关于 Fable 5 的性能和成本有两点需要注意：

Fable 5 得分相同，但需要多次尝试，使任务成本达到 $16.85。我们展示这一设置是为了与我们已发布的 K3 基准保持一致。

若按首次尝试计分，Fable 5 达到 74.2%，而每任务成本跃升至 $75.40。内部评估依赖这一首次运行基线。

Deepseek V4 Pro 相对较弱的地方是多语言广度。正如我们在 K3 与 Fable 5 的对比分析中所展示的，模型的专业化程度因生态系统而异，差异很大。在 Aider Polyglot 上，V4 Pro 在 Rust（90.0%）和 C++（80.8%）上保持强劲，但在 Java 上降至 48.9%（Java 是最大的部分，共 47 个任务），而 Fable 5 为 74.5%。

Java 性能几乎构成了全部差距。如果你运行的是以 Java 为主的代码库，使用单一模型可能会遇到瓶颈。正如我们在 K3 测试中发现的那样，多模型是比单模型架构更好的解决方案。将任务动态路由到专业模型，能以极低的成本获得更好的整体准确率。

路由会改变你的账单

我们测试了 DeepSeek V4 Pro 与 Fable 5 之间的 oracle 路由，为每个任务挑选更好的模型，平局时倾向于成本更低的一方。快速回顾一下：oracle 路由是一种衡量最佳理论性能的方法，它让任务分别经过每个模型运行，然后挑选成本最优的正确选项，以确定成本和性能的上限。

在 409 个任务的合并队列上，路由达到 92.4%，而单用 Fable 5 为 86.6%。这比前沿模型高出 5.9 个百分点，每任务成本为 $0.279，而 Fable 为 $4.510。成本低十六倍，而且效果更好。并且 86.3% 的任务被路由到 V4 Pro，这才是真正的发现：昂贵的模型是例外，而非默认。

每一种 V4 Pro 配对都优于对应的 K3 配对。LiveCodeBench 达到 94.0%，而 K3 配对为 92.0%；Aider 达到 93.3%，而 K3 配对为 91.6%；合并队列为 92.5%，而 K3 配对为 91.1%。尽管 K3 在 CyberGym 上得分更高，V4 Pro 仍是比 K3 更好的路由搭档，因为 V4 Pro 的优势落在 Fable 5 失手的任务上。

图 2：每任务成本

值得说明的是 oracle 路由是什么：它是事后计算出的上限，而不是你今天就能部署的策略。真实路由器只能捕获其中的一部分。这一点很重要，因为差距的大小告诉你还有多少提升空间。

想构建针对你特定领域的专用模型吗？DeepSeek V4 Pro 训练已在 Fireworks 上线，全面支持 SFT、DPO 和 RFT。你可以获得前沿级基础设施来提升模型性能，而不会遇到人为的平台限制。训练运行结束后，你可以一键将微调后的检查点部署到生产环境。由于训练和推理运行在同一套协同优化的后端上，你的生产性能每次都与训练基准一致。

关于 Deepseek 的 Harness，你需要了解什么

Deepseek 自己发布的基准运行使用 DeepSeek Harness（dsh），这是一个原生智能体运行时，处理从模型适配器到核心执行循环的一切。它使用 Deepseek V4 的原生工具语义，而不是通过通用的 OpenAI 风格接口来路由调用。对于这个模型，Deepseek 也没有发布标准聊天模板，因此微小的序列化不匹配可能会悄无声息地降低模型性能。

在 Fireworks 上测试期间，我们发现“最小优先”的设置比直接跳到完整的标准目录能产生更一致的工具调用。从裸 bash 和编辑器界面开始，再升级到 dsh 标准，能让 DeepSeek V4 Pro 更接近 DeepSeek 在自己基准运行中使用的设置。

无论你是想降低自主智能体的单位成本、运行零拒绝的安全审计，还是构建专用领域模型，DeepSeek V4 Pro 都能以每解决任务一半的成本为你提供前沿级能力。在 840 次有记录的对抗性安全运行中，它实现了零拒绝和零输出长度截断，保证你的智能体完成工作负载，而不会撞上意外的护栏。

以下是你今天就可以开始构建的方式：

无服务器与专用 API：直接在 Fireworks 无服务器上启动 deepseek-v4-pro-0813，或为生产工作负载配置专用容量。

训练：带上你的领域数据，使用我们协同优化的 SFT、DPO 和 RFT 基础设施训练专用检查点，一键直接部署到生产环境。

查看我们对 Deepseek 的安全评估：此处

在 Fireworks 上部署 Deepseek v4 Pro 0813

模型发布

基准测试