文章解析 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 如何通过 KV 共享、分层注意力预算、mHC 与压缩注意力降低长上下文成本。Gemma 4 E2B 在 128K 上下文中可节省 2.7 GB KV cache，DeepSeek V4-Pro 在 1M-token 上下文下的单 token 推理 FLOPs 和 KV cache 分别降至 DeepSeek V3.2 的 27% 和 10%。这些设计显示 Transformer 架构正以更复杂但更具针对性的改动提升长上下文推理效率。
匹配字段摘要、正文
文章梳理现代开放权重大语言模型采用的注意力变体，包括 MHA、GQA、MLA、滑动窗口注意力、DeepSeek Sparse Attention、门控注意力与混合注意力。作者结合 DeepSeek、Qwen、Gemma、Kimi 等架构，比较各方案在 KV cache、长上下文成本、建模表现和实现复杂度上的差异。文章还介绍了一个包含 45 个条目的大语言模型架构图库。
匹配字段摘要、正文
Vapi 博客介绍 Google 于 2025 年发布的开源权重模型 Gemma 3，它基于 Gemini 2.0 研究，支持文本、图像和视觉输入，可在单 GPU/TPU 上运行，支持 140+ 语言和最高 128k token 上下文，并提供 1B、4B、12B、27B 四种尺寸。文章称 Gemma 3 在人类偏好评测中优于 Llama3-405B 和 DeepSeek-V3，27B 版本在 LMArena Elo 榜得 1338 分，高于 DeepSeek-V3 的 1318 和 o3-mini 的 1304。经量化感知训练后，1B 模型显存占用最低 861 MB（INT4），27B 为 19.9 GB（INT4）；该模型已内置在 Vapi 控制台的 LLM 下拉菜单中。
匹配字段摘要、正文
Artificial Analysis报告称,Kimi K3.1 Pro在Artificial Analysis Cyber Index上得分64%,居开放可用模型首位。该指数由CWE-Bench-AA、DeepsecBench-AA和CyberGym-E2E-AA三项基准组成;K3.1 Pro在CyberGym-E2E-AA上拿到95%,高于GPT-6 Sol(Daybreak Blue)的93%。其单任务成本为2.81美元,高于GPT-6 Sol(Daybreak Blue,max)的1.77美元和DeepSeek V4.1 Flash 1017的0.42美元。同日早先,Artificial Analysis将DeepSeek V4.1 Flash 1017列为开放可用模型第一,得分57%,总榜第二,落后通过可信访问计划提供的GPT-6 Sol(69%)12分;该版本较前代DeepSeek V4.1 Flash的41%提升16分,主要来自CyberGym-E2E-AA从23%升至76%。
匹配字段标题
ARC Prize公布了DeepSeek V4.1 Flash 1017在ARC-AGI验证集上的成绩:ARC-AGI-2得分78.1%,每任务成本0.16美元;ARC-AGI-1得分94.5%,每任务成本0.06美元。该机构同时列出DeepSeek Flash系列在ARC-AGI-2上的最好成绩变化:V4 Flash 0731为61.4%,V4.1 Flash为72.9%,V4.1 Flash 1017升至78.1%。此前一天,Guillermo Rauch宣布Vercel将DeepSeek v4.1 Flash (1017)纳入Token Pass,采用DeepSeek新权重,支持1M上下文窗口且无需改动配置;他称该模型速度快、价格极低并提供零数据保留,适合运行由更大更贵模型规划任务的子智能体。目前公开信息为上述成绩与纳入Token Pass两项。
匹配字段标题
ARC Prize公布了DeepSeek V4.1 Flash 1017在ARC-AGI验证集上的成绩:ARC-AGI-2得分78.1%,每任务成本0.16美元;ARC-AGI-1得分94.5%,每任务成本0.06美元。该机构同时列出DeepSeek Flash系列在ARC-AGI-2上的最好成绩变化:V4 Flash 0731为61.4%,V4.1 Flash为72.9%,V4.1 Flash 1017升至78.1%。此前一天,Guillermo Rauch宣布Vercel将DeepSeek v4.1 Flash (1017)纳入Token Pass,采用DeepSeek新权重,支持1M上下文窗口且无需改动配置;他称该模型速度快、价格极低并提供零数据保留,适合运行由更大更贵模型规划任务的子智能体。目前公开信息为上述成绩与纳入Token Pass两项。
匹配字段标题
2026年8月26日,Fireworks AI公布了对DeepSeek V4 Pro 0813在CyberGym安全基准上的评测结果。测试覆盖697个共同有效任务,DeepSeek V4 Pro的奖励率为53.7%,每个成功任务成本2.502美元,约为Kimi K3的一半。同一批结果中,Kimi K3奖励率最高,为68.4%,每个成功任务成本4.914美元;GPT-5.5奖励率47.6%,每个成功任务成本9.641美元;Claude Opus 4.8奖励率5.9%,每个成功任务成本33.275美元。Fireworks AI还称,DeepSeek V4 Pro在840个任务上全部产生原生工具调用,没有出现拒答或输出截断;一旦通过第一阶段验证,它完成完整补丁的比例为94.7%。目前没有后续进展。
匹配字段标题
Artificial Analysis 已将 DeepSeek Search 纳入其搜索指数评测。2026年10月22日的评测结果显示,DeepSeek Search 在该指数上得分69,在27个搜索产品中排第17名,是榜单上价格最低的付费搜索API:每1k次搜索收费0.75美元,单任务成本约0.032美元,在27个产品中排第5便宜。准确率方面,其在AA-Omniscience上为70%、排第10,但需要多跳推理的BrowseComp仅63%、排第25。此外,每次搜索返回约7k token,使模型成本升至榜单第2高。目前尚无后续发展。
匹配字段标题
Artificial Analysis 已将 DeepSeek Search 纳入其搜索指数评测。2026年10月22日的评测结果显示,DeepSeek Search 在该指数上得分69,在27个搜索产品中排第17名,是榜单上价格最低的付费搜索API:每1k次搜索收费0.75美元,单任务成本约0.032美元,在27个产品中排第5便宜。准确率方面,其在AA-Omniscience上为70%、排第10,但需要多跳推理的BrowseComp仅63%、排第25。此外,每次搜索返回约7k token,使模型成本升至榜单第2高。目前尚无后续发展。
匹配字段标题
2026年10月17日,DeepSeek发布DeepSeek-V4.1-Flash-1017,官方称其基准表现更强、任务完成更快、输出更短,在性能与成本上实现帕累托改进,已在官网、App和API上线;同日该模型在OpenRouter上线。官方还宣布Search与Fetch API向所有人开放,每个端点每1000次调用收费0.75美元,通过DeepSeek Harness、Claude Code和Codex中的服务端工具发起的调用暂时免费,计费自2026年10月31日16:00 UTC开始。10月17日,Thomas Wolf评论称DeepSeek将此次称为“minor update”,但Terminal-Bench 4.0从31.2升至42.3。10月19日,Arena宣布该模型以1670分成为Code Arena: WebDev排名最高的开源模型。10月20日,OpenCode将其在Go和Free中更新至1017版本;Unsloth发布可在本地运行的GGUF,1-bit量化版保留约88.2%准确率、体积从508GB降至250GB;Arena又宣布其登顶Agent Arena开源模型榜
匹配字段标题
2026年10月17日,DeepSeek发布DeepSeek-V4.1-Flash-1017,官方称其基准表现更强、任务完成更快、输出更短,在性能与成本上实现帕累托改进,已在官网、App和API上线;同日该模型在OpenRouter上线。官方还宣布Search与Fetch API向所有人开放,每个端点每1000次调用收费0.75美元,通过DeepSeek Harness、Claude Code和Codex中的服务端工具发起的调用暂时免费,计费自2026年10月31日16:00 UTC开始。10月17日,Thomas Wolf评论称DeepSeek将此次称为“minor update”,但Terminal-Bench 4.0从31.2升至42.3。10月19日,Arena宣布该模型以1670分成为Code Arena: WebDev排名最高的开源模型。10月20日,OpenCode将其在Go和Free中更新至1017版本;Unsloth发布可在本地运行的GGUF,1-bit量化版保留约88.2%准确率、体积从508GB降至250GB;Arena又宣布其登顶Agent Arena开源模型榜
匹配字段标题
2026年10月17日,DeepSeek发布DeepSeek-V4.1-Flash-1017,官方称其基准表现更强、任务完成更快、输出更短,在性能与成本上实现帕累托改进,已在官网、App和API上线;同日该模型在OpenRouter上线。官方还宣布Search与Fetch API向所有人开放,每个端点每1000次调用收费0.75美元,通过DeepSeek Harness、Claude Code和Codex中的服务端工具发起的调用暂时免费,计费自2026年10月31日16:00 UTC开始。10月17日,Thomas Wolf评论称DeepSeek将此次称为“minor update”,但Terminal-Bench 4.0从31.2升至42.3。10月19日,Arena宣布该模型以1670分成为Code Arena: WebDev排名最高的开源模型。10月20日,OpenCode将其在Go和Free中更新至1017版本;Unsloth发布可在本地运行的GGUF,1-bit量化版保留约88.2%准确率、体积从508GB降至250GB;Arena又宣布其登顶Agent Arena开源模型榜
匹配字段标题
2026年10月14日,Artificial Analysis将DeepSeek V4.1 Flash加入其智能体推理性能基准AA-AgentPerf,并给出NVIDIA与AMD硬件的实测结果。在每用户100 tokens/s下,NVIDIA GB300以约261M tokens/s每兆瓦居首,其后为B300(约220M)、B200(约193M)、GB200(约178M)和MI355X(约128M)。V4.1 Flash在Artificial Analysis Intelligence Index上得分39,高于此前的V4 Pro 0813(36),参数量约为其三分之一(552B backbone、16B激活,对比1.6T与49B),最少可在2张GPU上运行,相比V4 Pro 0813在每用户100 tokens/s下每兆瓦吞吐提升约1.3倍(GB300)至6.2倍(B200)。2026年10月15日,Artificial Analysis又将AMD MI355X加入AA-AgentPerf,在单台8-GPU节点上测试Kimi K3、GLM-5.2/5.3和DeepSeek V4 Pr
匹配字段标题
Artificial Analysis 加入 DeepSeek V4.1 Flash
English translation is being prepared.
匹配字段标题
2026年10月14日,ARC Prize公布DeepSeek V4.1 Flash在ARC-AGI-3的评测成绩。据ARC Prize发布的结果,该模型在ARC-AGI-3上得分为3.3%、成本878美元(provider adapter harness),在标准harness下为0.9%、成本1.2k美元。ARC Prize称,这是其评测过的首个在ARC-AGI-3上以低于1k美元总评测成本得分超过3%的模型。该帖同时给出排行榜、公开结果复现方式、测试政策以及完整的DeepSeek V4.1 Flash结果链接。ARC Prize还提及此前关于DeepSeek V4.1 Flash在ARC-AGI-1和ARC-AGI-2上成绩的帖子。
匹配字段标题
ARC Prize 公布评测成绩 DeepSeek V4.1 Flash在ARC-AGI-3的成绩
English translation is being prepared.
匹配字段标题
2026年9月14日,Fireworks AI 发布并评测 DeepSeek-V4.1-Flash。据其公布结果,该模型在 DeepSWE 上 pass@1 为 74.34%,与 GPT-6-Astra 的 74.12% 处于同一水平;单任务成本 0.43 美元,约为 Astra 的 1/15。该模型为 552B 参数 MoE,采用输入 8B、输出 16B 的分离激活预算,KV Cache 的 HBM 占用降至上一代 V4 的 1/4。在 HLE 上它得分 34.52%,低于 Astra 的 50.40%,Fireworks 认为它更适合智能体编码而非高难推理。9月28日,Fireworks AI 发布首个缓存感知路由器 FireRouter with Opus,已在 CLI 上线并首次作为独立路由模型提供,可在 Claude Opus 5.5、GLM 5.3 和 GLM 5.3 Flash 之间按任务适配度、提示词缓存成本和切换代价选择模型;其一个多月内部 A/B 测试显示,编码任务每次会话成本从 15.36 美元降至 6.63 美元,降幅 57%(±19 个百分点),准确率为纯 O
匹配字段标题
2026 年 8 月 26 日,Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测结果,并宣布该模型的训练支持已在 Fireworks 上线,支持 SFT、DPO 和 RFT。评测使用 SWE-Bench Verified、LiveCodeBench v6、Aider Polyglot 和 Terminal-Bench 2.1 四组基准。Fireworks 称,DeepSeek V4 Pro 在 SWE-Bench Verified 上得分 95.2%,高于 Kimi K3 的 92.6% 和 Fable 5 的 85.4%;在 LiveCodeBench v6 上得分为 92.0%。成本方面,该模型在 SWE-Bench 上每解决一个任务花费 0.309 美元,Fable 5 为 0.808 美元;在 LiveCodeBench 上分别为 0.040 美元和 0.225 美元。在 409 个任务的合并样本上,DeepSeek V4 Pro 与 Fable 5 的 oracle 路由准确率为 92.4%,高于单用 Fable 5 的 86.6%,每任务成
匹配字段标题
2026年9月14日,Fireworks AI 发布并评测 DeepSeek-V4.1-Flash。据其公布结果,该模型在 DeepSWE 上 pass@1 为 74.34%,与 GPT-6-Astra 的 74.12% 处于同一水平;单任务成本 0.43 美元,约为 Astra 的 1/15。该模型为 552B 参数 MoE,采用输入 8B、输出 16B 的分离激活预算,KV Cache 的 HBM 占用降至上一代 V4 的 1/4。在 HLE 上它得分 34.52%,低于 Astra 的 50.40%,Fireworks 认为它更适合智能体编码而非高难推理。9月28日,Fireworks AI 发布首个缓存感知路由器 FireRouter with Opus,已在 CLI 上线并首次作为独立路由模型提供,可在 Claude Opus 5.5、GLM 5.3 和 GLM 5.3 Flash 之间按任务适配度、提示词缓存成本和切换代价选择模型;其一个多月内部 A/B 测试显示,编码任务每次会话成本从 15.36 美元降至 6.63 美元,降幅 57%(±19 个百分点),准确率为纯 O
匹配字段标题
2026 年 8 月 26 日,Fireworks AI 发布对 DeepSeek V4 Pro 0813 的评测结果,并宣布该模型的训练支持已在 Fireworks 上线,支持 SFT、DPO 和 RFT。评测使用 SWE-Bench Verified、LiveCodeBench v6、Aider Polyglot 和 Terminal-Bench 2.1 四组基准。Fireworks 称,DeepSeek V4 Pro 在 SWE-Bench Verified 上得分 95.2%,高于 Kimi K3 的 92.6% 和 Fable 5 的 85.4%;在 LiveCodeBench v6 上得分为 92.0%。成本方面,该模型在 SWE-Bench 上每解决一个任务花费 0.309 美元,Fable 5 为 0.808 美元;在 LiveCodeBench 上分别为 0.040 美元和 0.225 美元。在 409 个任务的合并样本上,DeepSeek V4 Pro 与 Fable 5 的 oracle 路由准确率为 92.4%,高于单用 Fable 5 的 86.6%,每任务成
匹配字段标题