DeepSeek V4.1 Flash 1017 登顶 Artificial Analysis 网络安全指数开放模型榜
DeepSeek V4.1 Flash 1017 is the new #1 openly-available model in the Artificial Analysis Cyber Index. Other proprietary models may offer better cyber defense pe
DeepSeek V4.1 Flash 1017 在 Artificial Analysis Cyber Index 上以 57% 的得分成为开放可用模型中的第一名,总榜排名第二,落后于通过可信访问计划提供的 GPT-6 Sol(69%)12 分。该指数由 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三项基准组成,主要评测智能体网络安全防御任务。相比前代 DeepSeek V4.1 Flash 的 41%,新版本提升 16 分,主要来自 CyberGym-E2E-AA 从 23% 升至 76%;其每任务成本为 0.42 美元,位于能力与成本帕累托前沿。
推荐理由
AI 评分 58
Artificial Analysis 的 Cyber Index 把安全拒答计入分数,读者可据此理解开放权重模型在网络安全评测中排名靠前的部分原因。
主题
正文 · AI 翻译
DeepSeek V4.1 Flash 1017 是 Artificial Analysis Cyber Index 上新的排名第一的开放可用模型。其他专有模型可能提供更好的网络防御性能,但访问受限。
@deepseek_ai 最近发布了 DeepSeek V4.1 Flash 1017,这是对其旗舰开放权重模型 DeepSeek V4.1 Flash 的更新。DeepSeek V4.1 Flash 1017 在 Artificial Analysis Cyber Index 上得分为 57%,是网络防御能力方面排名第一的开放可用模型。
Artificial Analysis Cyber Index 衡量智能体网络防御任务上的能力,由三项基准组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。该 Cyber Index 主要通过模型公开可访问的 API 对其进行评估,反映开发者可用的网络能力。
许多模型,尤其是来自 OpenAI、Anthropic 和 Google 的专有模型,可能具有更强的防御性网络能力,但会遇到安全拒绝,从而降低其总体得分。通过 OpenAI 可信访问计划提供的 GPT-6 Sol(Daybreak Blue,max)领跑该指数,由于拒绝次数更少,其得分比公开版本高出 32 分。DeepSeek V4.1 Flash 1017 未遇到任何安全拒绝。
主要结果:
➤ DeepSeek V4.1 Flash 1017 在 Artificial Analysis Cyber Index 上获得公开可用模型中的最高分,总榜排名第二。DeepSeek V4.1 Flash 1017(max)得分为 57%,领先此前领先的公开可用模型 Grok 4.7(xhigh)和 MiMo-V2.6-Pro 1 分。它总榜排名第二,可信访问模型 GPT-6 Sol(Daybreak Blue,max)以 69% 的得分领先 12 分
➤ DeepSeek V4.1 Flash 1017 较其前代 DeepSeek V4.1 Flash 提升了 16 分。DeepSeek V4.1 Flash 1017(max)从 41% 提升至 57% 的 16 分提升,主要来自 CyberGym-E2E-AA 上 53 分的大幅提升,从 23% 升至 76%。在 CWE-Bench-AA 和 DeepsecBench-AA 上,其得分分别为 69% 和 25%,而 DeepSeek V4.1 Flash(max)分别为 68% 和 31%
➤ DeepSeek V4.1 Flash 1017 的每任务成本为 0.42 美元,位于能力与成本帕累托前沿。DeepSeek V4.1 Flash 1017 每任务成本为 0.42 美元,是 MiMo-V2.6-Pro(56%)每任务 0.18 美元的两倍多,但比 GPT-6 Sol(Daybreak Blue,max,69%)每任务 1.77 美元便宜 4 倍