Artificial Analysis解读
AI 评分58DeepSeek V4.1 Flash 1017 登顶 Artificial Analysis 网络安全指数开放模型榜
#评测/基准#安全/对齐#DeepSeek
N全部新闻
全部新闻
- Artificial Analysis解读AI 评分71
Kimi K3.1 Pro 在 Artificial Analysis 网络安全指数得 64%，居开放可用模型首位
#评测/基准#Agent#安全/对齐
- Artificial Analysis解读AI 评分60
Artificial Analysis：Kimi K3.1 Pro 在智能体知识与编码基准领先，AA-3D 排名或偏低
#评测/基准#Agent#编码
- Artificial Analysis解读AI 评分62
Artificial Analysis 实测 Meta Muse Spark Open 推理吞吐
#评测/基准#推理#部署/工程
- SemiAnalysis解读AI 评分64
SemiAnalysis 实测 Trainium3 的 PyTorch 训练与 Neuron Explorer 剖析器
SemiAnalysis 工程团队在 Trainium3 上实测了原生 PyTorch 训练栈 TorchNeuron 与 TorchTitan，用 Qwen3-32B 在 16 颗 Trainium2 上训练，eager 模式达 11,099 tokens/s、23.89% MFU，compiled 模式达 14,156 tokens/s、30.47% MFU。作者认为 Neuron Explorer 剖析器优于 Nvidia 和 AMD 的方案，但首次编译耗时过长，gpt-oss 训练配方首步编译用了 27 分 17 秒。FlexAttention 测试通过 96 个用例中的 89 个，7 个失败均因编译超时而非数值错误。
#行业动态#数据/训练#部署/工程
- AWS Machine Learning一手解读AI 评分58
Amazon SageMaker AI 多轮强化学习实操指南：用 Wordle 示例训练 gpt-oss-20b
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习（MTRL）的实操指南，以 Wordle 为例，把智能体与奖励函数部署到 Amazon Bedrock AgentCore，训练作业通过 GRPO 更新 LoRA 适配器。示例中 gpt-oss-20b 在默认推理强度下对留出单词的解题率从 61% 提升到 84%，训练 token 花费约 339 美元，AgentCore 运行时约 79 美元。文章还给出奖励设计的两处反转错误、并发下 token 失效、工具调用退化为纯文本等失败细节，并建议在最终服务的解码设置下做评测。
#教程/实践#Agent#推理
- 阿里云开发者社区 AI解读AI 评分53
用房价预测比喻讲清模型、参数、训练与推理
文章用房价预测公式解释模型本质是一个系数从数据中学来的数学函数，50、0.2、25 这类学来的数值就是参数，其中权重是连接强度、偏置是常数项。作者区分了训练与推理，并对比房价小模型、GPT-3 的 1750 亿参数和 Llama 2 70B 版本的显存占用，指出模型是算答案而非像数据库那样查答案。文中还提醒模型预测的是模式而非事实，预测质量取决于训练数据的质量与多样性。
#教程/实践#推理#数据/训练
- 邵猛解读AI 评分65
Claude Fable 5.1 与 GPT-6 Astra 图像隐写实验：截图后仍能解出约八成
#论文/研究#安全/对齐#多模态
- 邵猛解读AI 评分63
Coding Agent 榜单升级 v2.0：Claude Opus 5.5 以 61.7 领跑
Announcing Artificial Analysis Coding Agent Index v2.0: FrontierCode v1.1 from Cognition replaces DeepSWE, SWE-Atlas-QnA grading is revised, and Claude Opus 5.5 in Claude Code leads at 61.7 Today we are launching v2.0 of the Coding Agent Index. The Index evaluates models together with their agent harnesses, now across 290 tasks covering software engineering, terminal use, and repository Q&A, with the three benchmarks weighted equally. Changelog (Index v1.5 → Index v2.0): → FrontierCode v1.1 replaces DeepSWE v1.1. FrontierCode is a benchmark from @cognition with a private test set: 100 software engineering tasks on real open-source repositories, graded on whether a maintainer would merge the change. An attempt that fails a blocking check scores zero, and one that passes them all scores between 70% and 100% depending on the non-blocking checks it meets. We also scan each trajectory with a modified version of Cognition's rule-based scanner, and any attempt flagged for accessing solution material scores zero. → Revised SWE-Atlas-QnA grading, now SWE-Atlas-QnA-AA. Scale AI's 124 repository Q&A tasks are unchanged. We reworded 127 of the 1,306 rubric criteria for more consistent verdicts and moved to GPT-6 Luna (xhigh) as the judge, with five votes per criterion. The dataset and judge configuration are published on Hugging Face. Key results: ➤ Claude Opus 5.5 leads the Index: Claude Code with Claude Opus 5.5 (max) scores 61.7, followed by Claude Code with Claude Sonnet 5.5 (max) at 59.3, Muse Code with Muse Wonder Full (max) at 58.9 and Claude Code with Claude Fable 5.1 (max with fallback) at 57.6. ➤ FrontierCode v1.1 is where Opus 5.5 pulls ahead: Opus 5.5 scores 56.0% on FrontierCode, ahead of Codex with DeepSeek V4.1 Flash (max) at 52.6%, Codex with GPT-6.1 Sol (max) at 49.4% and Codex with GPT-6 Astra (max) at 49.3%. Below the top, FrontierCode scores are tightly packed: 15 of the 24 configurations on the Index score between 43% and 49%. ➤ SWE-Atlas-QnA-AA grading is stricter and more consistent: across the 21 configurations evaluated on both Index versions, the mean score falls 1.7 points, from 58.8% to 57.1%, with 14 of 21 moving down. Individual configurations move by up to 7 points: Muse Code with Muse Spark Open (xhigh) falls 7.0, Kimi K3 in Kimi Code CLI and Codex with GPT-6 Luna (max) 6.2, and Muse Code with Muse Wonder (max) 5.6, while Codex with GPT-6.1 Sol (max) gains 2.1. ➤ Four configurations sit on the cost frontier: Codex with DeepSeek V4.1 Flash (max) scores 47.3 at $0.39 per task, Codex with GPT-6.1 Sol (max) 54.1 at $1.50, Codex with GPT-6 Astra (max) 54.7 at $7.04 and Claude Code with Claude Opus 5.5 (max) 61.7 at $11.42. Costs are pay-per-token API costs, not subscription prices. We will keep updating the Coding Agent Index incrementally, with more evaluations and agents to come.
#评测/基准#Agent#编码
- MarkTechPost解读AI 评分60
TinyFish 拆解生产级智能体搜索架构与深度研究经验
TinyFish 发布两份技术指南，一份定义生产级智能体搜索架构，一份总结深度研究系统的构建经验。架构基于 TinySearch、TinyFetch、TinyBrowser 和 TinyAgent 四个网页原语，围绕基础模型运行七阶段控制循环，涵盖任务定义、检索规划、工具路由、证据评估与失败重试。在固定 gpt-5.6-sol 模型和 100 个任务的 OpenBenchmarks 测试中，TinyFish 搜索加抓取完成率 79.0%，中位任务成本 0.050 美元、耗时 24 秒；纯搜索配置下完成率为 59.3%。
#论文/研究#Agent#搜索
- 阿里云开发者社区 AI解读AI 评分52
robots.txt 对 AI 爬虫能管住什么、管不住什么
robots.txt 只是一份抓取许可声明，不是访问控制，它只能约束愿意遵守的爬虫抓哪些路径，管不住不遵守的爬虫、已流出的内容和不经过爬虫的获取方式。文章按 RFC 9309 说明 User-agent、Allow、Disallow 和 500 KiB 读取上限等规则，并给出按 UA 屏蔽 GPTBot、CCBot、ClaudeBot、Bytespider 的 robots.txt 写法，以及用 nginx 按 UA 做差异化限速、用日志统计各爬虫请求量、用 curl 验证限速是否生效的做法。作者强调 robots.txt 表达意愿、服务端限速控制成本、日志看清事实、授权协议解决法律问题，四件事各管一段。
#教程/实践#部署/工程#数据/训练
- The New Stack解读AI 评分66
OpenAI 公布 COBOL 迁移与 MultiLangBench 基准成绩
OpenAI 公布两项基准结果：在自有的 COBOL 迁移测试中，GPT-6.1 Sol 在低推理强度下达到 86.6% 准确率，高于 GPT-5.6 Sol 的 5.4%，成本降低 39%，高推理强度下达到 97.9%。另一项 MultiLangBench 测试模型用 20 种语言从零构建兼容 SQLite 的数据库引擎，GPT-6 Astra 平均通过率 87.4%，GPT-5.6 Sol 为 26.8%，低成本版本 GPT-6 Luna 为 40.3%。OpenAI 已在 GitHub 发布 MultiLangBench 的设置与测试套件，但未公开 COBOL 迁移评测的测试用例，外部无法独立核查该结果。
#评测/基准#编码#OpenAI
- ARC Prize一手解读AI 评分73
DeepSeek V4.1 Flash 1017 在 ARC-AGI-2 得分 78.1%
#评测/基准#推理#DeepSeek
- Claude Blog一手解读AI 评分57
Anthropic 分享何时把子智能体折叠进主智能体循环
Anthropic 应用 AI 团队在多个企业部署对比中发现，带技能（skills）的单一智能体在质量上常优于子智能体架构，且单任务成本和延迟更低，并给出把子智能体折叠进主循环的迁移方法。文章指出子智能体仍适用于上下文膨胀导致性能下降、需要并行处理独立任务、或工具选择与指令冲突的场景，并建议先把子智能体作为工具调用，再逐个转成技能和 MCP 工具，用端到端评估对比前后表现。文中提到 Claude Code 面向更先进模型的系统提示词缩减了超过 80%，并配套提供 build-eval、prompt-audit、hillclimb、cost-optimize 等 Claude API 技能。
#教程/实践#Agent#MCP/工具调用
- CNET解读AI 评分51
我用 Gemini 4 Argon 在 18 小时内从提示词做出 3D 打印护甲
CNET 编辑 James Bricknell 用 Gemini 4 Argon 通过对话生成一个可调整护甲尺寸的网页应用，经过约 10 次迭代到 KeriForge 8.2，再导出 STL 并用 TPU 75A 打印，全程约 18 小时，其中打印 7 小时。作者称 Gemini 4 Argon 完成复杂任务的速度明显快于他常用的 Gemini 3.5 Flash-Lite，并能理解他想要离线使用网页应用而非开发 iPad 应用的意图。最终打印件尺寸与他的前臂和手腕吻合，表面缺陷来自 TPU 材料过软和模型打印过高，而非模型本身。
#教程/实践#编码#Google
- The New Stack解读AI 评分55
DeepSeek V4.1-Flash-1017 与 Claude Haiku 5.5 实测对比：准确率略高、成本更低
作者用智能体修 bug、数据库查询和 400 条工单分类三项测试对比 DeepSeek V4.1-Flash-1017 与 Claude Haiku 5.5，DeepSeek 在修 bug 和工单分类上准确率更高，数据库查询两者均为 20/20。三项测试总成本 DeepSeek 为 $0.07、Haiku 为 $0.30，差距主要来自长提示词让 Haiku 进入更高价位。作者说明每项只跑一次，结果不足以证明普遍的准确率或速度优势。
#评测/基准#模型发布#推理
- The New Stack解读AI 评分60
AI 智能体上线后由谁值班：生产归属的九个工程步骤
The New Stack 发文讨论生产环境 AI 智能体的归属问题，指出团队常把精力放在提示词、检索、工具和模型选择上，却忽略了谁对该系统负责。文章给出九个可落地的步骤，包括为智能体定义负责人和升级通道、用工具白名单默认拒绝未授权操作、设置执行步数与工具调用预算、记录模型调用日志、区分失败与升级、高风险操作需人工审批、提供健康检查接口、安全控制失效时默认阻断，以及制定凌晨故障时的降级运行手册。
#教程/实践#Agent#部署/工程
- 邵猛解读AI 评分62
Prompt Caching 与 Semantic Caching 两层缓存如何节约 LLM 成本
LLM Prompt Caching Versus Semantic Caching Caching LLM costs is two different problems: reuse the prefix with prompt caching, reuse the answer with semantic caching, and never confuse one for the other https://t.co/vuFGgKiIvJ
#教程/实践#RAG#部署/工程
- 阿易 AI NotesAI 评分65
用智能体画状态图配合 TLA+ 穷举抓 bug 的方法
there's something really cool about asking your agent to draw a statechart (hypothetical example in this image), then using the /create-formal-verification-skill you made with pstack to find bugs through something like TLA+. you can both understand your code better and how the user flow should work, and fix issues users would otherwise see
#教程/实践#Agent#开源生态
- 阿里云开发者社区 AI解读AI 评分59
Google 公开 Agent 评测路径：从人工读 Trace 到发布门禁
Google 开发者博客公开了一套 Agent 评测路径，从关键用户旅程、模拟用户和人工 Trace 审阅，逐步走到自动评测与合并门禁。文章指出 Agent 可能陷入循环、重复调用工具并消耗大量 Token，最终仍给出通顺答案，因此只断言最终输出不足以证明可上线。文中把该路径拆成 Day 0 人工读 10 至 20 条高风险链路 Trace、Day 1 分单元测试与确定性指标及 LLM Judge 和集成测试四层、Day 2 设总体基线与核心风险项零回归两条门禁，并给出基于 pytest 的最小断言示例。
#教程/实践#Agent#评测/基准