Ahead of AI解读
AI 评分72从零理解 LLM 评估的四种主要方法
文章讲解评估 LLM 的四种主要方法，包括多项选择、验证器、排行榜和 LLM 评审，并配有从零代码实现。不同方法分别侧重知识准确率、可验证任务、用户偏好和整体回答质量，各有成本、偏差与适用范围，因此模型评估应组合多种方法，并使用贴合目标领域的数据。
#教程/实践#评测/基准#推理
N全部新闻
全部新闻
- Anthropic Engineering一手解读AI 评分63
Anthropic 谈 AI 智能体的有效上下文工程
Anthropic 应用 AI 团队撰文提出上下文工程，将其视为提示词工程的延续，核心是在 LLM 有限的注意力预算内挑选最小的高信号 token 集合。文章指出随着上下文 token 增多，模型准确召回信息的能力会下降，即上下文衰减，因此系统提示词、工具、示例和消息历史都应保持信息充分而紧凑。针对长周期任务，文章介绍了压缩、结构化笔记和多智能体架构三种绕开上下文窗口限制的做法，并提到 Claude Code 采用即时检索与预加载结合的混合策略。
#教程/实践#Agent#MCP/工具调用
- Anthropic Engineering一手解读AI 评分60
Anthropic 工程团队分享如何为智能体编写高效工具
Anthropic 工程团队发布文章，介绍为 LLM 智能体编写高效工具的流程：先搭建工具原型并在本地测试，再用贴近真实场景的评测任务衡量表现，最后借助 Claude Code 分析评测记录并迭代改进。文章给出的原则包括只实现少量针对高价值工作流的工具、用命名空间区分功能边界、只返回高信号上下文、通过分页与截断控制 token 消耗，以及像向新同事介绍那样提示词工程化地写工具描述。文中提到 Claude Code 默认将工具响应限制在 25,000 tokens，并称在精确改进工具描述后 Claude Sonnet 3.5 在 SWE-bench Verified 上达到 SOTA。
#教程/实践#Agent#MCP/工具调用
- Ahead of AI解读AI 评分58
从零理解并实现 Qwen3
作者用纯 PyTorch 从零实现 Qwen3，通过代码讲解其架构组件，并提供可用于实验或项目的构建模块。文章还介绍了 Qwen3 的 Apache License v2.0 许可，以及从 0.6B 稠密模型到 480B 参数 MoE 模型的多种规模。
#教程/实践#编码#数据/训练
- vLLM 官方博客一手解读AI 评分61
深入 vLLM：高吞吐 LLM 推理系统架构解析
文章系统解析 vLLM V1 如何从单 GPU 离线推理扩展到多 GPU、多节点异步服务。内容涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、P/D 分离及分布式请求链路，并说明如何用 vllm bench 衡量延迟与吞吐量。分析基于 2025 年 8 月 9 日的 commit 42172ad。
#教程/实践#部署/工程#开源生态
- Linear：Now一手解读AI 评分57
Linear 如何构建 Triage Intelligence
Linear 结合语义搜索、排序和大语言模型推理构建 Triage Intelligence，用现有积压事项识别重复与相关问题，并推荐标签、负责人等属性。团队从 GPT-4o mini 和 Gemini 2.0 Flash 转向 GPT-5 与 Gemini 2.5 Pro，采用可补充上下文的智能体方案，同时通过推理说明、思考面板和 Additional Guidance 提升透明度与可控性。该功能已作为技术预览向 Business 和 Enterprise 套餐开放。
#产品更新#Agent#推理
- Johann Rehberger / Embrace The Red解读AI 评分60
Windsurf MCP 集成缺少安全控制，用户面临风险
安全研究者 Johann Rehberger 实测发现，Windsurf 添加 MCP 服务器后，工具调用默认处于完全自动执行状态，没有人工确认环节，也无法配置为让 AI 先建议、由用户审核后再执行。他用 Windsurf MCP Store 中的 Slack MCP 服务器演示：一段藏在代码注释里的恶意指令即可劫持智能体，把私密 Slack 频道的消息发到公开频道，全程零点击。该问题已于 2025 年 5 月 30 日报告给 Windsurf 并获确认，作者称 Windsurf CEO 已联系他表示正在修复；目前用户可用的缓解手段是逐个禁用有副作用的工具。
#安全/对齐#MCP/工具调用#Agent
- vLLM 官方博客一手解读AI 评分57
vLLM 详解 torch.compile 的工作原理与集成方式
vLLM 介绍了 torch.compile 的工作原理，以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力，部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。
#教程/实践#部署/工程#推理
- vLLM 官方博客一手解读AI 评分59
如何使用 vLLM 加速 GLM-4.5 与 GLM-4.5V 推理
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
#教程/实践#部署/工程#Agent
- vLLM 官方博客一手解读AI 评分59
vLLM 使用 CUDA Core Dump 调试非法内存访问问题
vLLM 介绍了如何启用 CUDA core dump，在非法内存访问发生时保存 GPU 状态，并用 cuda-gdb 定位出错的 CUDA kernel。文章给出推荐的环境变量组合，演示其定位普通 kernel 启动和 CUDA graph 内异常的流程，并说明生产环境性能影响、无法触发转储的错误类型及调试符号配置。
#教程/实践#部署/工程
- Ahead of AI解读AI 评分79
从 GPT-2 到 gpt-oss：解析 OpenAI 开放权重模型的架构演进
文章解析 OpenAI 的 gpt-oss-20b 和 gpt-oss-120b，并将其架构与 GPT-2、Qwen3 对比。两款模型采用 MoE、GQA、滑动窗口注意力、RMSNorm 和 MXFP4，其中 20B 模型可装入 16 GB 显存，120B 模型可在单张 80 GB H100 上运行。作者还讨论了宽度与深度、专家规模、推理强度控制及模型幻觉等问题。
#教程/实践#推理#部署/工程
- Linear：Now一手解读AI 评分59
Linear 如何构建 Agent Interaction SDK
Linear 通过 Agent Interaction SDK，让 AI 智能体以独立用户身份进入工作区，并以明确权限参与任务。SDK 使用 OAuth actor=app、app:assignable 和 app:mentionable 管理身份与交互范围，以 agent sessions 传递结构化上下文并跟踪状态。Linear 还采用 delegation 区分人类责任与智能体执行，使问题保留人类负责人，同时委派智能体采取行动。
#教程/实践#Agent#部署/工程
- Mistral AI一手解读AI 评分53
通过微调释放视觉语言模型在卫星图像上的潜力
Mistral AI 微调 Pixtral-12B 后，将 AID 卫星图像分类的总体准确率从 0.56 提升至 0.91，并把无效类别幻觉率从 5% 降至 0.1%。实验使用 8,000 个训练样本和 2,000 个测试样本，覆盖 30 个类别，预算不超过 $10。
#教程/实践#多模态#数据/训练
- vLLM 官方博客一手解读AI 评分52
MiniMax-M1 混合架构如何借助 vLLM 实现长上下文快速推理
vLLM 通过内存管理与底层计算优化支持 MiniMax-M1 的混合架构，实现长上下文高效推理与部署。MiniMax-M1 总参数量为 456B，推理时动态激活约 45.9B 参数；其 Lightning Attention 已通过 Triton 集成至 vLLM。文章还提供了使用 vLLM 和 Docker 部署该模型的快速指南。
#教程/实践#部署/工程#推理
- Anthropic Engineering一手解读AI 评分74
Anthropic 如何构建多智能体研究系统
Anthropic 工程团队公开了 Claude Research 功能背后的多智能体架构：由主智能体规划并派生并行子智能体搜索，采用 orchestrator-worker 模式。内部评测显示，以 Claude Opus 4 为主智能体、Claude Sonnet 4 为子智能体的多智能体系统在内部研究评测上比单智能体 Claude Opus 4 高出 90.2%，但多智能体系统消耗的 token 约为普通对话的 15 倍。文章还给出提示词设计、工具描述、LLM-as-judge 评估以及生产环境可靠性方面的具体经验。
#教程/实践#Agent#部署/工程
- Vapi Blog一手解读AI 评分52
什么是 Gemma 3？Google 开源权重模型的能力与部署解析
Vapi 博客介绍 Google 于 2025 年发布的开源权重模型 Gemma 3，它基于 Gemini 2.0 研究，支持文本、图像和视觉输入，可在单 GPU/TPU 上运行，支持 140+ 语言和最高 128k token 上下文，并提供 1B、4B、12B、27B 四种尺寸。文章称 Gemma 3 在人类偏好评测中优于 Llama3-405B 和 DeepSeek-V3，27B 版本在 LMArena Elo 榜得 1338 分，高于 DeepSeek-V3 的 1318 和 o3-mini 的 1304。经量化感知训练后，1B 模型显存占用最低 861 MB（INT4），27B 为 19.9 GB（INT4）；该模型已内置在 Vapi 控制台的 LLM 下拉菜单中。
#产品更新#多模态#端侧
- Mario Zechner 原创博客解读AI 评分69
把提示词当代码：用 port.md 和 JSON 状态做跨语言代码移植
作者提出把 LLM 视为一台缓慢且不可靠的计算机，用自然语言编写程序：提示词是程序，JSON 和 Markdown 文件是持久状态，工具调用是 I/O。他以 Spine 运行时从 Java 到 C++ 的移植为例，用 port.md 定义工作流、用 porting-plan.json 记录每个类型的 portingState 以便随时恢复，并借助 jq 精确读写状态、通过 MCP 扩展在 VS Code 中保留人工检查点。原本需要 2-3 周的移植工作现在缩短到 2-3 天，但复杂类型层级和执行流仍需人工判断。
#教程/实践#Agent#编码
- Noam ShazeerAI 评分33
Noam Shazeer 使用“Copy Canvas”添加手势
Noam Shazeer 展示了使用“Copy Canvas”添加手势，并称该功能让协作和构建变得非常容易。原文未提供更多功能细节或可用性信息。
We may be delaying AGI if we keep playing this game, but OK! I used Copy Canvas and here is my addition to the Cartographer. Coding this in two sentences... drastic & wild times! @NoamShazeer I nominate you : ) https://t.co/aSnBdVELBc https://t.co/vhnzxOkumb
#大佬观点#多模态
- Johann Rehberger / Embrace The Red解读AI 评分56
ChatGPT 记忆与聊天历史功能如何运作：一次系统提示词实测
Johann Rehberger 用 ChatGPT o3 和两个独立账号实测了 ChatGPT 的记忆与聊天历史功能，发现系统提示词中新增了 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topics Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata 等区块。其中 Recent Conversation Content 保存约 40 条最近对话，包含时间戳、对话摘要和用户输入的全部消息，但不含 ChatGPT 的回复；作者尝试用一年前的特定话题提问，ChatGPT 无法检索到这些历史对话，说明该功能并非全文搜索或 RAG 检索。作者还指出用户无法查看 ChatGPT 具体存储了哪些信息，认为应提高透明度并允许删除条目。
#安全/对齐#OpenAI#Agent
- vLLM 官方博客一手解读AI 评分55
vLLM 如何集成 Transformers 建模后端
vLLM 集成 Transformers 建模后端，让兼容模型在沿用 Transformers 实现的同时获得 vLLM 的吞吐量与延迟优化。该后端现已支持视觉语言模型，并可通过 model_impl="transformers"、OpenAI 兼容 API 或 LLM API 部署；对于 vLLM 尚未原生支持的兼容模型，系统也可自动切换到 Transformers 实现。
#教程/实践#部署/工程#多模态