LMSYS 发布博客，介绍 SGLang 智能体辅助开发的初步探索，把 CUDA 崩溃调试、内核集成、测试、CI、性能剖析、生产排障等仓库级流程写成可执行的 SKILL.md 与脚本。文中给出 llm-torch-profiler-analysis 与 llm-pipeline-analysis 两个剖析技能，前者输出 kernel、overlap、fuse 三类固定表格，后者按前向传播与层拆分 trace。基于 KDA-Pilot 的 10 个 B200 扩散内核任务中，多数在提取的生产行上取得 1.1341x 至 2.7499x 的 wall-geomean 加速，截至 2026 年 6 月 27 日已有三个优化合入 SGLang 上游。
#教程/实践#Agent#部署/工程
ElevenLabs 研究工程师 Angelos Perivolaropoulos 介绍了如何通过标准工程优化，将语音推理的单 GPU 服务能力从 1 名用户提升至 70 名，架构级改造则可达到约 140 名。连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache 是主要手段，其中 KV cache 缩小 2.5x 后，吞吐量从 28 名用户增至 70 名。各项技术会引入延迟、内存上限或质量损失，实际选择取决于具体工作负载。
#教程/实践#语音#部署/工程
Sebastian Raschka 演示了如何用 Ollama、本地开放权重 LLM 和 Qwen-Code 搭建可读写文件、运行命令并验证修改的本地编码智能体。文章还介绍了安全审计、性能测试及 Codex、Claude Code 的接入方式；其小规模评测中，Codex 使用更少 token，而 Claude Code 在部分模型组合上取得更高任务成功率。
#教程/实践#Agent#编码
Revolut 通过统一网关和按 AI 用例治理的控制层，在受监管的银行环境中运行生成式 AI，并为每个生成式产品设置模型回退链。其平台支撑的生成式用例约为传统机器学习用例的两倍，按任务选择满足要求的较小模型可将成本最多降低 8 倍且不损失质量。语音服务已覆盖 20 个国家、每月处理约 25,000 通电话，AIR 则结合交易数据分析支出并回答金融相关问题。
#大佬观点#部署/工程#Agent
Browser Use 重建了云浏览器基础设施，把每个浏览器会话从每小时 0.06 美元降到 0.02 美元，并让新会话在 1 秒内启动。它改用 Firecracker 在普通 EC2 上为每个会话运行独立微型 VM，通过 2MB 大页、自定义 userfaultfd 处理等把恢复 VM 到可接受命令的时间从 9.8 秒降到 3.1 秒，页错误处理次数从约 10 万次降到约 1100 次。VM 冷启动低于 400ms，公开 API 的浏览器创建延迟为 p50 825ms、p99 1.35s，该基础设施已上线。
#教程/实践#部署/工程#Agent
Linear 工程师通过 Skills、Automations 和 Datadog 集成，让 Linear Agent 自动调查并尝试修复进入 triage 的软件缺陷。它几乎每次都能一次完成失效功能旗标的清理，但对失败率超过 0.2% 的后台任务，正确修复率约为三分之一。团队通过缩小任务范围、提供日志与代码规范，并要求智能体在修改前证明已理解问题，减少无效 PR 和 token 消耗。
#教程/实践#Agent#编码
Linear 介绍了团队如何使用 Diffs 应对 AI 智能体带来的代码评审量增长，将评审重点从逐行查错转向判断改动是否解决正确的问题。1 月至 3 月，其创建的 issue 总数和合并的 PR 数量均增长 50%。评审者可结合需求背景、预览构建、引导式 diff 和内置智能体处理反馈，并把更多时间用于边界情况、用户体验和替代方案。
#产品更新#编码#Agent
Browser Use 用开源 Browser Use 库在 BU Bench V1 上测试 Anthropic 的 Claude Fable 5，得分 80.0%，比第二名 GPT 5.5 高出 12 分。100 个任务中通过 80 个，20 个失败里 16 个判定错误、4 个触发 30 分钟超时，平均每任务耗时 6 分 53 秒，100 个任务 API 成本为 580.87 美元。Fable 的失败主要来自提取错误事实或选错实体、无法充分访问或搜索来源、答案缺乏轨迹支撑，与 GPT 5.5 常因多步骤任务未完成而失败的模式不同。
#评测/基准#Agent#OpenAI
作者整理了 2026 年 1 月至 5 月收藏的 LLM 研究论文，并明确表示这不是完整收录，而是基于个人工作兴趣筛选的参考清单。内容侧重推理模型、强化学习和高效推理，同时涵盖 Agent 框架、工具使用、长上下文、扩散语言模型及服务基础设施。
#教程/实践#推理#Agent
Anthropic 总结了内部构建和扩展数百个 Claude Code 技能的经验，将其归纳为九类，并介绍设计、分发、组合与衡量方法。团队发现产品验证类技能对 Claude 输出质量的改善最易衡量，而高质量技能应突出易错点，利用文件系统渐进披露上下文，并通过脚本、配置和按需 hooks 提升可靠性。
#教程/实践#Agent#编码
Together AI 优化了 MiniMax M3 的生产级推理服务，使其支持 1M-Token 上下文、原生多模态与智能体工作流。MiniMax Sparse Attention 让预填充和解码分别提速超过 9 倍和 15 倍，其他优化使常见智能体流量下的性能提升 81%–125%。M3 开放权重发布后，Together AI 将提供开发者端点。
#教程/实践#部署/工程#多模态
Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。
#教程/实践#语音#部署/工程
Claude Code 团队成员分享了用 HTML 替代 Markdown 生成规划、代码审查、原型和报告的方法，以获得更高的信息密度、视觉清晰度、可分享性与交互能力。用户只需提示 Claude Code 创建 HTML file 或 HTML artifact，也可结合文件系统、MCP、浏览器和 git history 汇集上下文。文章还建议为定制编辑界面加入 copy as JSON、copy as prompt 等导出功能，让调整结果能够返回 Claude Code 或写入文件。
#教程/实践#编码#Agent
Together Inference Engine 在 Kimi K2.5 编码智能体负载下，以相同的 4× NVIDIA B200 硬件实现了比 TensorRT-LLM 高 31% 的 TPS，并在饱和时保持约 2 倍更优的 TTFT。测试采用约 45k–200k Token 的长提示词和平均 450 Token 的输出；SGLang 因 TP4 内存不足改用 8× B200。性能提升来自 ThunderMLA、定制内核重写及真实流量下的端到端分析。
#评测/基准#编码#部署/工程
文章解析 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 如何通过 KV 共享、分层注意力预算、mHC 与压缩注意力降低长上下文成本。Gemma 4 E2B 在 128K 上下文中可节省 2.7 GB KV cache，DeepSeek V4-Pro 在 1M-token 上下文下的单 token 推理 FLOPs 和 KV cache 分别降至 DeepSeek V3.2 的 27% 和 10%。这些设计显示 Transformer 架构正以更复杂但更具针对性的改动提升长上下文推理效率。
#教程/实践#部署/工程#推理
Augment Code 在 Terminal Bench 2.0 和 SWE-Bench Pro 上对比了 Auggie CLI 与 Claude Code 使用 Opus 4.7 的表现，Auggie 通过更精准的上下文检索减少约 32% 的 token 消耗，成本降低约 33%，通过率略高。在私有代码库测试中，Auggie 每个通过任务的成本为 3.90 美元，低于 Claude Code 的 6.49 美元。
#评测/基准#编码#Agent
Together AI 推出完全开源的 Violin 视频翻译工具，通过 ASR、大语言模型翻译和 TTS 语音合成生成译制视频。它还支持基于音视频内容的多模态问答和自然语言选声，不提供声音克隆，并默认以低音量保留原声。GUI、后端模型与智能体技能均以 MIT 许可证开放。
#开源/仓库#视频#多模态
Modal 官方工程博客详解其无服务器 GPU 方案，通过云缓冲、自定义文件系统 ImageFS、CPU 检查点恢复和 CUDA 检查点恢复四项优化，把 AI 推理服务副本的启动时间从约 2000 秒缩短到 50 秒，提速 40 倍。其中 GPU 内存快照让 vLLM 或 SGLang 服务约 1 GiB 模型（Qwen 3 0.6B bf16）的冷启动典型提速 4-10 倍，Reducto 的冷启动从约 70 秒降到约 12 秒。作者称该技术栈已在数千万个副本规模上运行，过去三个月有数百家组织使用 CPU 和 GPU 快照。
#教程/实践#部署/工程#端侧
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。
#教程/实践#DeepSeek#部署/工程
Browser Use 官方博客公开了其开源库在生产环境运行的架构，采用 FastAPI on ECS Fargate 接收任务、单条标准 SQS 队列传递消息、Lambda 作为 worker 执行 Agent，并将检查点、截图、日志和输出文件存入 S3。由于 Lambda 有 15 分钟硬限制，系统在截止前两分钟优雅停止、将状态写入 S3 并重新入队，由新的 Lambda 调用恢复继续执行，continuation 计数器上限为 12，约合三小时墙钟时间。失败处理直接复用 Lambda 重试与 SQS 死信队列，三次失败后进入 DLQ 且不自动重投；作者还提到 Lambda 的 /tmp 在热实例间不会自动清理，因此每次调用开始时清空工作区。
#教程/实践#Agent#部署/工程