←搜索结果

搜索“推理”

按匹配度 · 共 199 条结果 清除搜索

星期四

  1. A6 a6-051 · Cerebras：Blog精选

    Cerebras 发布 GLM 4.7 迁移指南：10 条提示词与参数调优规则

    Cerebras 发布 GLM 4.7 迁移指南，称其为 Z.AI 最新开源模型，在 LiveCodeBench 上超过 Anthropic 和 OpenAI 模型、仅次于 Gemini 3，并在 GPQA 和 AIME 上超过 Claude Sonnet 4.5。指南给出 10 条使用规则，包括把强制指令放在系统提示词最前、使用 MUST 等明确措辞、显式指定回复语言、为智能体设定角色，以及把任务拆成小步骤以弥补其不支持交错思考。在 Cerebras 上 GLM 4.7 支持约 131K 上下文和最多约 40k 输出 token，可通过 disable_reasoning 和 clear_thinking 控制推理，推荐 temperature=1、top_p=0.95，并兼容 OpenAI Python SDK。

    Cerebras 发布 GLM 4.7 迁移指南，称其为 Z.AI 最新开源模型，在 LiveCodeBench 上超过 Anthropic 和 OpenAI 模型、仅次于 Gemini 3，并在 GPQA 和 AIME 上超过 Claude Sonnet 4.5。指南给出 10 条使用规则，包括把强制指令放在系统提示词最前、使用 MUST 等明确措辞、显式指定回复语言、为智能体设定角色，以及把任务拆成小步骤以弥补其不支持交错思考。在 Cerebras 上 GLM 4.7 支持约 131K 上下文和最多约 40k 输出 token，可通过 disable reasoning 和 clear thinking 控制推理，推荐 temperature=1、top p=0.95，并兼容 OpenAI Python SDK。

    匹配字段摘要

    #a6-editorial#教程/实践#推理#编码

星期二

  1. Inception Labs Blog

    Inception 公布 Mercury 2 在 PinchBench 上的评测结果

    Inception Labs 公布 Mercury 2 在 PinchBench 上的评测结果：任务成功率 78%，高于 GPT-5 Mini 的 75%、Gemini 2.5 Flash 的 71%、DeepSeek Chat 的 72% 和 GPT-4o 的 71%，并在同准确率档位中执行时间最快。定价为每 100 万 token 输入 0.25 美元、输出 0.75 美元，约为 Claude 4.5 Haiku 输入输出的四分之一。PinchBench 基于 OpenClaw 构建，考察工具调用、多步推理和真实任务完成情况，Mercury 2 的速度来自并行细化而非逐 token 生成。

    匹配字段摘要

    #lab#评测/基准#Agent#推理

星期五

  1. Google Developers Blog精选

    Google 用 Tunix 在 TPU 上实现自主 LLM 后训练

    Google Developers Blog 介绍 autofinetune 项目，把自主研究循环用于 LLM 后训练，基于 Tunix、Gemma 和 Cloud TPU，由 Antigravity CLI 与 Gemini Flash 3.7 编排。第一个实验中智能体在 Cloud TPU v5e-1 上对 functiongemma-270m-it 自动调整 LoRA rank/alpha、优化器和学习率等，几小时内完成 20 次实验；第二个实验基于 Tunix 官方 GRPO 示例训练 Gemma 3 1B 做数学推理，在 Cloud TPU v6e-1 上跑 40 次实验，总奖励提升约 10%。代码、示例运行和 program.md 模板已放在 autofinetune GitHub 仓库。

    Ai-1-banner (9)

    匹配字段摘要

    #engineering#教程/实践#Agent#数据/训练

星期三

  1. Together AI Blog

    Together AI 详解开源 AI 技术栈：从模型到 harness 的分层实践

    Together AI 发布《The Open Source AI Stack》一文，把开发者从闭源转向开源模型所需的技术栈拆成模型、推理服务商或网关、harness、上下文四层，并称各层相互独立，换模型通常只需改一个配置值。文中以 Kimi K3（1.8T 总参数、104B 激活参数）和 GLM 5.3 Flash（320B 总参数、18B 激活参数）为例说明大模型与小模型的取舍，并列出 OpenRouter、Vercel AI Gateway、LiteLLM 等网关以及 skills、MCP 等扩展方式。作者还建议用大模型规划、小模型实现、大模型审查的三段式工作流，并强调切换模型或任务时新开会话以控制上下文。

    匹配字段摘要

    #company#教程/实践#开源生态#部署/工程

星期三

  1. Meta Engineering Blog精选

    Meta 工程博客：如何构建从专家反馈中学习的组织级第二大脑智能体

    Meta 工程博客介绍了一个面向合规领域的 AI 智能体，把组织知识拆成 200 多个结构化文件，并用可组合的 recipes 分离知识与推理流程。专家反馈经诊断、编译、验证后以文本编辑形式落地，无需重训模型，每个修复都会自动加入回归测试集。系统在六周三个开发冲刺后，将单项评估耗时从数天缩短到数分钟，改进周期内零回归。

    匹配字段摘要

    #company#产品更新#Agent#RAG
  2. Google Developers Blog

    Google 总结 AI Agents Challenge 高分提交的 4 个工程模式

    Google for Startups AI Agents Challenge 评审结束后，Google Developers Blog 从高分提交中提炼出四个工程模式：双向 MCP（智能体既是自己工具的客户端，也是其他智能体可调用的服务端）、事件驱动并发（智能体并行响应同一信号而非串行调用链）、同标准回退（小模型顶替过载模型时仍走同一校验函数）、分层路由（先用正则和廉价模型做确定性检查，再交给完整推理模型）。其中一个团队用正则加 10 token 的 Gemini 分类调用，在真正模型调用前处理了超过 40% 的入站消息。这些模式多出现在基于 Agent Development Kit（ADK）并通过 Agents CLI 驱动的提交中。

    Gemini_Generated_Image_5wdk45wdk45wdk45

    匹配字段摘要

    #engineering#教程/实践#Agent#MCP/工具调用

星期五

  1. LMSYS Blog精选

    LMSYS 公开 infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程方法

    LMSYS 发布 infer-forge 方法论文，介绍围绕 SGLang 的推理工程系统，由 MonoRepo、Harness、Task Loop 和 Task Graph 四层结构组成，用于让跨仓库的推理优化工作可复现、可验证。该系统为内部工程系统，并非 SGLang 或 LMSYS 官方组件，目前不开源，文章公开的是构建方法论，供团队交给 AI 编码工具并结合自身系统上下文搭建适配实现。文中给出使用记录：一位工程师 4 月至 7 月的在飞任务峰值从 2 个升至 9 个，DeepSeek-V4-Pro 服务项目中 38 个可独立验证的任务节点被组织成任务图。

    The inference deployment space stacks five layers of static configuration. Model shows Ling, Qwen, DeepSeek, Kimi, GLM, and MiniMax. Serving Scenario runs Modality (text, image, video) into Traffic Shape (input and output length, media count, resolution, QPS, concurrency, cache reuse) into SLO (TTFT, TPOT, throughput, E2E latency). Serving Topology separates Deployment Architecture—Colocated PD, PD Disaggregation, and EPD Disaggregation, each listing the node roles it is built from — Prefill and Decode together, then Prefill and Decode as separate roles, then Encoder alongside them — from Parallelism—TP, PP, DP, and EP—because the two are chosen independently. Versioned Runtime Profiles is a stack of tabbed cards labelled Service A rev. 12, Service B rev. 7, and Service C rev. 21, plus a fourth paler card behind them all, blank and showing only its top edge, whose narrow tab carries an ellipsis for the profiles not drawn, the front card holding an Engine Configuration and a Container I

    匹配字段摘要

    #company#教程/实践#部署/工程#Agent

星期五

  1. 蚂蚁百灵：Developer Blog

    蚂蚁百灵用 Ling-3.0-tiny 与 AReno 打通单机 Agentic RL 闭环

    蚂蚁百灵发布实践文章，介绍在 DGX Spark 上用本地后训练工具包 AReno 对 Ling-3.0-tiny 做 Agentic RL，以井字棋为最小验证任务跑通基线评测、Reward 定义、后训练与同环境复测四步闭环。实验使用 GSPO 训练 400 个 step，rollout/rewards_mean 从约 -0.5 升到 0.4 左右，response_len 降至约 850 tokens，复测中工具调用与落子选择更稳定。Ling-3.0-tiny 为 7.9B 总参数、1.3B 激活参数的混合推理模型，已开源 BF16、FP8 和 INT4 版本，AReno 提供 Docker 复现教程。

    图

    蚂蚁百灵发布实践文章，介绍在 DGX Spark 上用本地后训练工具包 AReno 对 Ling-3.0-tiny 做 Agentic RL，以井字棋为最小验证任务跑通基线评测、Reward 定义、后训练与同环境复测四步闭环。实验使用 GSPO 训练 400 个 step，rollout/rewards mean 从约 -0.5 升到 0.4 左右，response len 降至约 850 tokens，复测中工具调用与落子选择更稳定。Ling-3.0-tiny 为 7.9B 总参数、1.3B 激活参数的混合推理模型，已开源 BF16、FP8 和 INT4 版本，AReno 提供 Docker 复现教程。

    匹配字段摘要、正文

    #engineering#教程/实践#Agent#开源生态

星期五

  1. Together AI Blog

    Together AI 对比 Kimi K3 与 Claude Fable 5 的 DeepSWE 编码表现与成本

    Together AI 在 DeepSWE 基准上对比 Kimi K3 与 Claude Fable 5：Fable 5 在 xhigh 设置下 pass@1 为 69.9%，Kimi K3 max 为 68.5%，但 Kimi K3 在 pass@2（82.0 对 80.2）和 pass@4（89.4% 对 88.5%）上反超。成本方面，Kimi K3 每次 rollout 为 4.65 美元，Fable 5 为 13.41 美元，每 100 美元分别完成 14.7 与 5.3 个任务。Kimi K3 是 Moonshot AI 的开源权重模型，可自托管或通过推理服务商部署。

    匹配字段摘要

    #company#评测/基准#编码#开源生态

星期六

  1. Ahead of AI

    LLM 研究论文清单：2026 年 1 月至 5 月

    作者整理了 2026 年 1 月至 5 月收藏的 LLM 研究论文，并明确表示这不是完整收录，而是基于个人工作兴趣筛选的参考清单。内容侧重推理模型、强化学习和高效推理，同时涵盖 Agent 框架、工具使用、长上下文、扩散语言模型及服务基础设施。

    匹配字段摘要

    #newsletter#教程/实践#推理#Agent

星期二

  1. Together AI Blog精选

    Together AI 如何高效服务 MiniMax M3：支持 1M-Token 上下文与原生多模态

    Together AI 优化了 MiniMax M3 的生产级推理服务，使其支持 1M-Token 上下文、原生多模态与智能体工作流。MiniMax Sparse Attention 让预填充和解码分别提速超过 9 倍和 15 倍，其他优化使常见智能体流量下的性能提升 81%–125%。M3 开放权重发布后，Together AI 将提供开发者端点。

    Together AI 优化了 MiniMax M3 的生产级推理服务，使其支持 1M-Token 上下文、原生多模态与智能体工作流。MiniMax Sparse Attention 让预填充和解码分别提速超过 9 倍和 15 倍，其他优化使常见智能体流量下的性能提升 81%–125%。M3 开放权重发布后，Together AI 将提供开发者端点。 · Together AI optimized production inference for MiniMax M3, enabling 1M-token context, native multimodality, and agentic workflows. MiniMax Sparse Attention delivered more than 9x faster prefill and 15x faster decoding, while broader optimizations improved performance by 81%–125% under common agentic traffic. Together AI

    匹配字段摘要

    #company#教程/实践#部署/工程#多模态

星期六

  1. Ahead of AI

    近期大语言模型架构进展解析：KV 共享、mHC 与压缩注意力

    文章解析 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 如何通过 KV 共享、分层注意力预算、mHC 与压缩注意力降低长上下文成本。Gemma 4 E2B 在 128K 上下文中可节省 2.7 GB KV cache，DeepSeek V4-Pro 在 1M-token 上下文下的单 token 推理 FLOPs 和 KV cache 分别降至 DeepSeek V3.2 的 27% 和 10%。这些设计显示 Transformer 架构正以更复杂但更具针对性的改动提升长上下文推理效率。

    匹配字段摘要

    #newsletter#教程/实践#部署/工程#推理

星期二

  1. Modal 官方工程博客

    Modal 如何实现真正的无服务器 GPU

    Modal 官方工程博客详解其无服务器 GPU 方案，通过云缓冲、自定义文件系统 ImageFS、CPU 检查点恢复和 CUDA 检查点恢复四项优化，把 AI 推理服务副本的启动时间从约 2000 秒缩短到 50 秒，提速 40 倍。其中 GPU 内存快照让 vLLM 或 SGLang 服务约 1 GiB 模型（Qwen 3 0.6B bf16）的冷启动典型提速 4-10 倍，Reducto 的冷启动从约 70 秒降到约 12 秒。作者称该技术栈已在数千万个副本规模上运行，过去三个月有数百家组织使用 CPU 和 GPU 快照。

    Diagram indicating latency to scale up an inference server in a baseline cloud system and on Modal

    匹配字段摘要

    #company#教程/实践#部署/工程#端侧

星期二

  1. METR Notes

    METR 用 Opus 4.6 复刻《杀戮尖塔》与《小丑牌》CLI 版的观察

    METR 用简单 ReAct 脚手架让 Opus 4.6 复刻《杀戮尖塔》和《小丑牌》的 CLI 版本，给出 6000 万 token 总量、64,000 token 上下文窗口和 max 推理强度，结果两个游戏都基本可玩但存在不少缺陷。作者各试玩约两小时，发现卡牌效果偏差、地图导航混乱、部分遗物与事件缺失、优惠券逻辑错误等问题，并估计自己达到同等质量需 2 到 8 周。作者在 7 月 27 日的更新中表示深入检查《杀戮尖塔》成品后发现了更多初看不易察觉的问题。

    匹配字段摘要

    #company#评测/基准#Agent#编码

星期三

  1. Ahead of AI精选

    DeepSeek V3 至 V3.2 模型技术演进全览

    DeepSeek V3.2 延续 V3 系列架构，并引入 DeepSeek Sparse Attention、自验证、自改进及多项 GRPO 训练调整。文章梳理了 V3、R1、V3.1、V3.2-Exp、DeepSeekMath V2 和 V3.2-Speciale 的演进，解释 MLA、RLVR 与混合推理模式等关键机制。更新部分还介绍了用于改善训练稳定性和收敛表现的 mHC 残差路径研究。

    匹配字段摘要

    #newsletter#教程/实践#推理#数据/训练

星期二

  1. Ahead of AI

    标准 LLM 之外有哪些替代架构

    Sebastian Raschka 梳理了标准自回归 Transformer 之外的线性注意力混合架构、文本扩散模型、代码世界模型和小型递归 Transformer。文章比较了这些路线在长上下文效率、生成质量、代码建模和专用推理上的取舍，并认为通用项目目前仍应优先采用成熟的自回归 Transformer。

    匹配字段摘要

    #newsletter#教程/实践#推理#编码
  2. Modal 官方工程博客

    Modal 用 Pipecat 和开源模型实现一秒内语音到语音延迟

    Modal 工程博客介绍了如何用 Modal、开源框架 Pipecat 和开源权重模型搭建语音 AI 聊天机器人，在客户端与容器就近部署时实现约一秒的中位语音到语音延迟。方案采用 Parakeet-tdt-v3 做语音转文字、Qwen3-4B-Instruct-2507 配合 vLLM 做 LLM 推理、Kokoro 做语音合成，并用 ChromaDB 与 all-minilm-l6-v2 完成 RAG 检索。作者还分享了用 Modal Tunnels 绕过输入平面降低网络延迟、通过区域固定和独立自动扩缩容控制成本的做法，代码已在 GitHub 仓库公开。

    Diagram depicting a person speaking to a voice bot composed of STT, LLM, and TTS services

    匹配字段摘要

    #company#教程/实践#语音#部署/工程

星期日

  1. vLLM 官方博客精选

    vLLM Sleep Mode 如何实现模型零重载切换

    vLLM Sleep Mode 通过保留进程、内存分配器、CUDA 图和 JIT 内核，将多模型切换从完整重载的 30-100+ 秒缩短至秒级或亚秒级。Level 1 将权重卸载到 CPU RAM，Level 2 丢弃权重并在唤醒时从磁盘重载；两种模式的切换速度比完整重载快 18-200x，预热模型的推理速度比冷启动快 61-88%。

    匹配字段摘要

    #engineering#产品更新#部署/工程#开源生态

星期三

  1. Linear：Now

    Linear 如何构建 Triage Intelligence

    Linear 结合语义搜索、排序和大语言模型推理构建 Triage Intelligence，用现有积压事项识别重复与相关问题，并推荐标签、负责人等属性。团队从 GPT-4o mini 和 Gemini 2.0 Flash 转向 GPT-5 与 Gemini 2.5 Pro，采用可补充上下文的智能体方案，同时通过推理说明、思考面板和 Additional Guidance 提升透明度与可控性。该功能已作为技术预览向 Business 和 Enterprise 套餐开放。

    An array of icons with doodles suggesting searching through issues to find similar ones.

    匹配字段摘要

    #ai-news#产品更新#Agent#推理

星期三

  1. vLLM 官方博客

    vLLM 详解 torch.compile 的工作原理与集成方式

    vLLM 介绍了 torch.compile 的工作原理，以及它如何通过编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理。vLLM V1 默认在在线与离线推理中启用该能力，部分融合优化可带来最高 15% 的性能提升。文章还说明了缩短启动时间、改用更稳定 API 和探索 MPK/Mirage 编译器集成等后续方向。

    匹配字段摘要

    #engineering#教程/实践#部署/工程#推理