Kimi K3.1 Pro 在 Artificial Analysis 网络安全指数得 64%,居开放可用模型首位
Kimi K3.1 Pro is the new #1 openly-available model for agentic cyber defense, behind only trusted-access model GPT-6 Sol (Daybreak Blue) on the Artificial Analy
Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 上得分 64%,比此前的开放可用模型领先者 DeepSeek V4.1 Flash 1017(57%)高 7 分,比仅通过 OpenAI 可信访问计划提供的 GPT-6 Sol(Daybreak Blue,max,69%)低 5 分。该指数由 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三项基准组成,K3.1 Pro 在 CyberGym-E2E-AA 上拿到 95%,高于 GPT-6 Sol(Daybreak Blue)的 93%。其单任务成本为 2.81 美元,高于 GPT-6 Sol(Daybreak Blue,max)的 1.77 美元和 DeepSeek V4.1 Flash 1017 的 0.42 美元,原因是每 token 价格虽比 Kimi K3 低 33%,但输入 token 用量约为 2 倍。
正文 · AI 翻译
Kimi K3.1 Pro 是智能体网络防御领域新的排名第一的开放可用模型,在 Artificial Analysis 网络安全指数上仅次于可信访问模型 GPT-6 Sol(Daybreak Blue)
@Kimi_Moonshot 的 Kimi K3.1 Pro 在 Artificial Analysis 网络安全指数上得分 64%,比此前的开放可用模型领先者 DeepSeek V4.1 Flash 1017(57%)高 7 分,比 GPT-6 Sol(Daybreak Blue,max,69%)低 5 分,后者仅通过 OpenAI 的可信访问计划提供。一旦 K3.1 Pro 的权重发布,K3.1 Pro 也将成为网络防御领域领先的开放权重模型。
Artificial Analysis 网络安全指数衡量智能体网络防御任务上的能力,由三项基准组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。该指数主要通过模型公开可访问的 API 进行评估,反映开发者可用的网络能力。
来自 OpenAI、Anthropic 和 Google 的专有模型可能具有更强的网络能力,但因安全拒答而失分:通过 OpenAI 可信访问计划提供的 GPT-6 Sol(Daybreak Blue,max)比其公开版本高 32 分。Kimi K3.1 Pro 未遇到任何安全拒答。
关键结果:
➤ 开放可用模型排名第一、总体排名第二:Kimi K3.1 Pro 得分 64%,比 Kimi K3(41%)提升 23 分,并领先于 DeepSeek V4.1 Flash 1017(57%)。只有可信访问的 GPT-6 Sol(Daybreak Blue,max,69%)得分更高
➤ CyberGym-E2E-AA 得分在所有模型中最高:K3.1 Pro 在 CyberGym-E2E-AA 上得分 95%,领先于 GPT-6 Sol(Daybreak Blue,93%)以及下一个开放可用模型 Mistral Large 4(82%)。在 DeepsecBench-AA 上,K3.1 Pro 得分 37%,落后于 GPT-6 Sol(Daybreak Blue,48%)和 GPT-6 Sol(46%)。在 CWE-Bench-AA 上它得分 61%,比 GPT-6 Sol(Daybreak Blue,65%)低 4 分,而 DeepSeek V4.1 Flash 1017 以 69% 领先
➤ 尽管 token 价格更低,单任务成本仍增加 15%:K3.1 Pro 的单任务成本为 2.81 美元,高于 GPT-6 Sol(Daybreak Blue,max,1.77 美元)和 DeepSeek V4.1 Flash 1017(0.42 美元)。Kimi K3.1 Pro 每 token 价格比 Kimi K3 便宜 33%(每 100 万输入/输出 token 分别为 2 美元/10 美元与 3 美元/15 美元),但输入 token 用量约为 2 倍,导致单任务成本高出 15%(2.81 美元 vs. 2.45 美元)