评测与基准

SSwyx13:23观点

AI 评分76

swyx 评 Gemini 4 Carbon 登顶 AA 智能指数：前沿实验室数量翻倍

swyx 转发 Artificial Analysis 的评测结果，Gemini 4 Carbon 在 Intelligence Index v5 上以 59 分登顶，在 Coding Agent Index 上仅次于 Claude Opus 5.5。他表示这让他很久以来第一次打开 Antigravity，正在获取早期评测并会随后反馈。他还提到，相比 saranormous 上次登上 aie 舞台时，前沿实验室数量大约翻了一倍，认为这是对 bitter lesson 的一个奇特反例。

推荐理由作者以 Gemini 4 Carbon 登顶 AA 智能指数为引子，讨论前沿实验室数量翻倍与 bitter lesson 的反例。

YYuchen Jin12:58观点

AI 评分65

Yuchen Jin：Artificial Analysis 数据显示 Gemini 4 Carbon 比…

Yuchen Jin 引用 Artificial Analysis 的数据称，Gemini 4 Carbon 比 Opus 5.5 更聪明，且每个任务的成本更低。他提出一点保留：该评测是用 Antigravity CLI 跑的 Gemini 4 Carbon，而他已数月未用 Antigravity，也不急于安装，打算改在 Codex 和 Omnigent 中试用，看看实际表现如何。

推荐理由作者转述第三方评测结论的同时，点出测试所用工具这一变量，读者可据此判断该对比的可信边界。

AArena12:57解读

AI 评分70

Gemini 4 Carbon 在 Agent Arena 排名第 2，净提升 16.2%

Arena.ai 称 Gemini 4 Carbon 在基于真实任务的 Agent Arena 中排名第 2，净提升 16.2%，并在成本、时间和每任务输出 token 上处于帕累托前沿。相比排名第 7、提升 11% 的 Gemini 4 Argon，Carbon 高出 5 个名次和 5.2 个百分点，提升主要来自好评与投诉比 +13.2 个百分点、确认成功 +5.6 个百分点、可操控性 +4.8 个百分点。Arena 表示 Carbon 的可用性将由 Google DeepMind 公布。

推荐理由Arena 的实测数据把 Carbon 相对 Argon 的提升拆到可操控性、任务完成率和用户情绪三个信号上，便于判断差距来源。

AArtificial Analysis12:57模型发布

AI 评分72

Mistral Large 4 开放权重，成为非中国开源模型第一

Mistral AI 更新并开放旗舰模型 Mistral Large 4 的权重，总参数 1.05T、激活参数 52B，在 Artificial Analysis Intelligence Index v5 上得分 26，比 Preview 版高 1 分，以 1 分优势领先美国开源模型 Muse Spark Open（25）。该模型每项任务输出 82K token，比 Preview 的 135K 少 39%，AA-Omniscience v1.1 幻觉率从 41% 降至 28%，但准确率仍为 26%。定价为每 1M 输入/输出 token 0.70/2.10 美元，较 Preview 下降约 50%，采用 MEOW 许可证，运营 Model-as-a-Service 业务需另行获得商业授权。

推荐理由Artificial Analysis 的评测显示，Mistral Large 4 开放权重后 token 效率提升 39%、幻觉率从 41% 降至 28%，可据此判断开源模型的性价比位置。

AArena12:57解读

AI 评分65

GPT-6.1 Terra 在 Agent Arena 排名第 8，单任务中位成本 0.62 美元

Arena 基于近 9000 次智能体会话的实测结果显示，OpenAI 的 GPT-6.1 Terra (Max) 在 Agent Arena 排名第 8，净提升 +10.6%，单任务中位成本 0.62 美元。该成本比第 7 名 Gemini 4 Argon (High) 的 1.09 美元低 43%，比第 6 名 GPT-6.1 Sol (Max) 的 0.89 美元低 30%，比第 5 名 GPT-6 Astra (Max) 的 5.16 美元低 88%。分项上它在 Bash Reliability 排第 3（+13.2%），Steerability 排第 7（+13.3%），Praise vs Complaint 排第 9（+16.8%）。

推荐理由榜单给出 GPT-6.1 Terra 在 Agent Arena 的排名与每任务成本对比，可据此判断其性价比位置。

AARC Prize12:53一手解读

AI 评分62

ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 上的评测结果

ARC Prize 公布 Meta 的 Muse Spark Open 在 ARC-AGI 上的验证成绩：ARC-AGI-1 为 89.0%、每任务 $0.29，ARC-AGI-2 为 57.5%、每任务 $0.73，ARC-AGI-3 在标准 harness 下为 0.1%、$3.9K。ARC Prize 称其 v1/2 得分与 Haiku 5.5 和 GPT-6 Luna 相近，但成本约为后者的 9 倍；该模型在 OpenRouter 上定价为每百万输入 $1.25、每百万输出 $4.25。随推理档位提升，ARC-AGI-2 从 medium 的 29.4%（平均 55k tokens/任务）升至 xhigh 的 57.2%（180k tokens/任务）。

推荐理由ARC Prize 给出 Meta 新模型在 ARC-AGI 三个版本上的成绩与单任务成本，可与同分竞品直接对比。

PPromptArmor12:53一手解读

AI 评分60

PromptArmor 测试发现 DeepSeek、Kimi、GLM、Qwen 遭网络攻击的易感度比…

PromptArmor 将自家传播最广的攻击样本在多个模型上测试，发现 DeepSeek、Kimi、GLM 和 Qwen 模型对网络攻击的易感度比 GPT、Claude 和 Gemini 模型高 88%。测试覆盖钓鱼、数据外泄和运行恶意软件的倾向等多个网络风险维度，作者称差异显著。

推荐理由PromptArmor 用自家高传播攻击样本横评多款模型，给出中外模型在钓鱼、数据外泄和运行恶意软件上的差异。

PPydantic AI 官方文章12:47一手解读

AI 评分68

Pydantic 用 5,276 次运行对比 code mode 与工具调用

Pydantic 的 Michael Pfaffenberger 用 5 个小型 Pydantic AI 应用、8 个模型做了 5,276 次评分运行，对比 code mode 与直接工具调用。长任务上 code mode 平均成本降 58%、耗时降 51%、成功率提高 16 个百分点；但 5 条目的短任务在 5 个任务中有 3 个反而贵了 21% 到 38%。作者认为模型写循环比充当循环更擅长，差距随任务变长而扩大。

推荐理由作者用 5,276 次运行对比 code mode 与工具调用，给出长任务成本、耗时和正确率随规模变化的曲线。

AArtificial Analysis10:36解读

AI 评分65

Artificial Analysis 发布 Intelligence Index v5，60% 评测基于私有数据集

Artificial Analysis 发布 Intelligence Index v5，新增 FrontierCode 2.0 和 Terminal-Bench-Science 两个基准，升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2，移除 GDPval-AA v2.1、SciCode 和 AA-LCR v1.1，60% 的指数改为基于私有测试集或留出答案的评测。同时推出 Progress Index v1，用统一尺度追踪模型能力随时间的变化。结果显示 Claude Opus 5.5（max）以 58 分居首，GPT-6 Astra（max，57）和 GPT-6.1 Sol（max，55）紧随，Gemini 4 Argon（high）为 50 分；开源权重模型与领先者的差距从 3 分扩大到 12 分，已发布权重中 DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先。前十名模型单任务成本相差超过 13 倍，GPT-6.1 Terra（max）最低为 $0.96，Claude Fable 5.1（max）最高为 $13.04。

推荐理由原文列出 v5 指数新增与升级的基准及移除项，并给出头部模型分数与单任务成本差距，可据此比较各模型能力与开销。

AAi2 Blog09:25一手研究

AI 评分65

Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断研究想法新颖性并不可靠

Ai2 发布 Old Ideas, Novel Problems 研究与配套基准，测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个模型判断研究想法新颖性的可靠性。结果显示评估设置的小改动会带来剧烈差异：GPT-5.4 在 Human+Generated 数据上换用更简单的提示词后，准确率从 93.5% 降到 40.9%，低于随机水平。研究还发现检索与额外推理并不稳定提升判断质量，两个专门构建的新颖性评估系统表现不如简单的 Claude Opus 4.6 提示词基线，且成本更高。

推荐理由Ai2 用 ICLR 2026 评审信号构建基准，量化了提示词微调就能让新颖性判断准确率大幅翻转的不稳定性。

AArtificial Analysis 完整文章08:00一手解读

AI 评分82

Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一，在 9 项评测中的 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience、AutomationBench-AA 四项领先。在 Coding Agent Index 上，搭配 Antigravity CLI 的 Gemini 4 Carbon（high）得 59 分，落后 Claude Code 搭配 Claude Opus 5.5（max，62 分）3 分。该模型上下文窗口为 1M tokens，支持文本、图像、视频和语音输入，标准定价为每百万输入/输出 tokens 4/20 美元，目前向部分用户开放并提供 50% 折扣。

推荐理由Artificial Analysis 的独立评测给出 Gemini 4 Carbon 在 Intelligence Index v5 登顶及与 Claude Opus 5.5 的分项对比。

AArtificial Analysis02:42模型发布

AI 评分88

OpenAI 发布 GPT-6.1 Terra，价格减半且幻觉率降至 38%

OpenAI 发布 GPT-6.1 Terra，输入/输出价格为每百万 token 1 美元/5 美元，低于 GPT-5.6 Terra 的 2 美元/12 美元，缓存写入降至 1.25 美元、缓存输入降至 0.05 美元。Artificial Analysis 测得该模型在最大 effort 下智能指数比 GPT-5.6 Terra 高 6 分，单任务成本 0.40 美元对 1.40 美元，低 effort 档提升 7 至 13 分。在 AA-Omniscience 中，模型遇到不知道答案的问题时猜测比例为 38%，此前为 88%，同时准确率提高 2 分；Coding Agent Index v2.0 得分 48，Terminal-Bench 4.0 提升约 20 分。

推荐理由第三方评测机构给出 GPT-6.1 Terra 在智能、成本与幻觉率上的具体对比，可据此判断其性价比位置。

AArena23:22解读

AI 评分67

Kimi K3.1 Pro (Max) 在 Agent Arena 排名第 11，较 Kimi K3 提升 6 个百分点

Kimi K3.1 Pro (Max) 在 Arena 的 Agent Arena 中排名第 11，基于 4K 多真实智能体会话取得 +7.6% 净提升，较 Kimi K3 (Max) 的第 25 名上升 6 个百分点。其每任务中位成本为 $1.03，比上一版本低 13%，在 Work、Code、Chat 三个类别中分别排第 8、第 9 和第 10。Arena 表示该模型开放权重即将发布，届时将成为 Agent Arena 中排名第一的开源模型，超过 DeepSeek-v4.1-Flash。

推荐理由Arena 给出 Kimi K3.1 Pro 在 Agent Arena 的排名、成本与分项信号，可据此判断其智能体能力位置。

AArena08:23模型发布

AI 评分77

Kimi K3.1 Pro 发布，Code Arena WebDev 升至第 8

月之暗面发布 Kimi K3.1 Pro，在 Code Arena WebDev 以 1692 分位列第 8，与 Claude Opus-5 (Max) 持平而成本低 70%，较 Kimi K3 (Max) 的第 17 名提升 9 位。该模型定价为每百万输入/输出 token 2/10 美元，单任务成本中位数 1.23 美元，比 Kimi K3 低 29%，并将在 11 月 4 日开放权重。Kimi 官方称其为 3T 级开源权重模型，具备 1M token 上下文、2.8T 总参数/104B 激活参数的 MoE 多模态架构，幻觉率下降 65%。

推荐理由Kimi K3.1 Pro 在 Code Arena 的排名与成本数据，可与 Claude Opus-5 及前代 K3 直接对照。

TThe Elec08:23模型发布

AI 评分82

月之暗面发布 Kimi K3.1 Pro，AA 智能指数 55 分超过 GPT-6 Astra

月之暗面发布 Kimi K3 的升级版 Kimi K3.1 Pro，采用 MoE 架构，总参数 2.8 万亿、激活参数 1040 亿，896 个专家中每次激活 16 个。据 Artificial Analysis 评测，该模型以 55 分位列 Intelligence Index 第四，高于 GPT-6 Astra 的 53 分，前代 Kimi K3 为 44 分。它在 Terminal Bench 4.0 以 67% 排名第一，前代为 13%，Claude Sonnet 5.5 为 64%；定价为每百万输入 token 2 美元、每百万输出 token 10 美元，但输出速度 73 tokens/s 低于 81 tokens/s 的平均水平。

AArtificial Analysis08:23解读

AI 评分71

Kimi K3.1 Pro 在 Artificial Analysis 网络安全指数得 64%，居开放可用模型首位

Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 上得分 64%，比此前的开放可用模型领先者 DeepSeek V4.1 Flash 1017（57%）高 7 分，比仅通过 OpenAI 可信访问计划提供的 GPT-6 Sol（Daybreak Blue，max，69%）低 5 分。该指数由 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三项基准组成，K3.1 Pro 在 CyberGym-E2E-AA 上拿到 95%，高于 GPT-6 Sol（Daybreak Blue）的 93%。其单任务成本为 2.81 美元，高于 GPT-6 Sol（Daybreak Blue，max）的 1.77 美元和 DeepSeek V4.1 Flash 1017 的 0.42 美元，原因是每 token 价格虽比 Kimi K3 低 33%，但输入 token 用量约为 2 倍。

推荐理由榜单给出了分项得分与单任务成本，可对比开放权重模型与受限访问模型在网络安全任务上的差距。

NNathan Lambert08:23模型发布

AI 评分85

Kimi K3.1 Pro 发布，智能指数 55 分位列第四

Kimi K3.1 Pro 在 Artificial Analysis 智能指数上得分 55，排名第四，比 Kimi K3 的最高分 44 提升 11 分。该模型在智能体能力上提升明显，GDPval-AA 得分 1,846 Elo，比 K3 高 312 Elo，Terminal-Bench 4.0 得分 67%，高于 K3 的 13%。模型上下文窗口为 1M tokens，总参数 2.8T、激活参数 104B，支持文本和图像输入，定价为每 1M 输入、输出、缓存命中 token 分别 $2、$10、$0.20，比 K3 低 33%；权重尚未发布，Moonshot 预计在发布后不久放出。

AArtificial Analysis 完整文章08:15一手模型发布

AI 评分78

Kimi K3.1 Pro 发布，智能指数排名第 4，权重开放后将领先开源模型

月之暗面发布推理模型 Kimi K3.1 Pro，在 Artificial Analysis 智能指数上得分 55，排名第 4，比 Kimi K3 的 44 分提升 11 分，仅次于 Claude Opus 5.5（58）、Claude Sonnet 5.5（56）和 Muse Wonder Full（56）。其智能体能力提升明显，GDPval-AA 得分 1,846 Elo 排第 3，Terminal-Bench 4.0 得分 67%（Kimi K3 为 13%），AutomationBench-AA 从 58% 升至 73%。模型上下文窗口 1M tokens，总参数 2.8T、激活参数 104B，支持文本和图像输入，定价为每 1M 输入/输出/缓存命中 token 2/10/0.20 美元，三项均比 Kimi K3 低 33%；权重尚未公布，发布后将成为得分最高的开源权重模型，开源与闭源领先模型的差距将从 12 分缩小到 3 分。

推荐理由评测机构给出 Kimi K3.1 Pro 在智能指数与智能体基准上的具体分数，并对比其与闭源头部模型的差距。

英英国 AI Security Institute：Blog21:56一手研究

AI 评分71

英国 AISI 评估前沿 AI 智能体在多步网络攻击场景中的表现

英国 AI Security Institute 在自建网络靶场上评估了 2024 年 8 月至 2026 年 2 月发布的七款模型，发现每一代模型在固定 token 预算下都优于前代：在 32 步企业网络攻击靶场中，10M token 预算下平均完成步数从 GPT-4o 的 1.7 步升至 Opus 4.6 的 9.8 步。将推理算力从 10M 提升到 100M token 可带来最高 59% 的增益且未见平台期，按当前价格 Opus 4.6 单次 100M token 尝试约需 80 美元。在 7 步工控系统靶场中模型进展有限，10M token 下多数模型完成零步，100M token 下 Opus 4.6 平均 1.4 步。

推荐理由英国 AISI 用自建网络靶场对比七款模型的多步攻击能力，给出了推理算力与攻击进度的量化关系。

UUnite.AI06:07研究

AI 评分85

微软 MAI-DxO 诊断系统在 Science 研究中准确率超过全科医生

微软 MAI-DxO 诊断系统在发表于 Science 的同行评审研究中，对《新英格兰医学杂志》病例记录的诊断准确率为 83.2%，使用参考资源的全科医生为 36.1%。研究提出 Sequential Diagnosis Benchmark（SDBench），将 304 个期刊病例和 325 个 MIMIC-IV-ED 急诊病例转为可逐步提问、开检查的分步诊断任务，并按准确率和检查成本计分。DxO 搭配 GPT-5 在无预算约束下平均每例成本 5,431 美元，作者同时说明该对比不涉及专科医生、多学科团队或真实临床实践。

推荐理由论文给出分步诊断基准与成本约束下的准确率对比，可看多智能体编排在临床推理中的实际增益。