Together AI 扩展微调服务，支持工具调用、推理和视觉
Together AI 扩展 Together Fine-Tuning，新增工具调用、推理轨迹和视觉语言模型微调支持。升级后的训练栈可更高效处理 100B+ 参数模型，吞吐量最高提升 6×，并支持最大 100GB 的数据集。服务还新增训练前成本估算和训练中 ETA；推理微调支持 Qwen 与 Z.AI，VLM 微调支持 Qwen、Google 和 Meta 模型。
匹配字段标题、摘要
←搜索结果
搜索“推理”
SGLang 首日支持 NVIDIA Nemotron 3 Super，面向多智能体系统推理
SGLang 宣布在发布当天支持 NVIDIA Nemotron 3 Super，并给出安装与推理部署步骤。Nemotron 3 Super 是 120B 参数的混合 MoE 模型，每次前向仅激活 12B 参数，支持 1M token 上下文，官方称其吞吐效率最高可达上一代 Nemotron Super（Llama Nemotron Super 1.5）的 5 倍，并支持 Multi-Token Prediction 与 Thinking Budget。模型权重已在 Hugging Face 提供 BF16、FP8 和 NVFP4 版本，可配合 SGLang 在 4xH200 等配置上部署。
匹配字段标题、摘要
Browser Use 发布 0.8.0 与 ChatBrowserUse 网关，推理延迟降低 6 倍
Browser Use 发布 0.8.0，推出 ChatBrowserUse 网关，称在保持相同性能的前提下把延迟降低 6 倍，智能体可达每分钟 20 步。官方称 BU 1.0 准确率约 65%，与 Claude Sonnet 4、Claude Sonnet 4.5、Gemini 2.5 Computer Use、OpenAI Computer-Using Model 等计算机使用模型相当，但速度快 4 倍，单条轨迹纯 LLM 推理时间约 68 秒，其他模型约 225 至 330 秒。使用时只需配置 BROWSER_USE_API_KEY 一个环境变量即可接入。
匹配字段标题、摘要
vLLM Semantic Router 推进 LLM 智能推理路由
vLLM Semantic Router 为 vLLM 推理引擎提供开源的意图感知路由层，按查询复杂度选择快速路径或 CoT 推理模式。试验中，该设计使准确率提高约 10%、延迟降低约 50%、token 减少约 50%，并支持通过 Kubernetes 和 Envoy 部署。v0.1 路线图包括语义缓存、多因素路由、性能测试和路由策略可视化。
匹配字段标题、摘要
Mistral AI 为 Le Chat 加入深度研究、语音和多语言推理功能
Mistral AI 为 Le Chat 新增 Deep Research（预览）、Voxtral 驱动的语音模式、Magistral 驱动的多语言推理、Projects 及与 Black Forest Labs 合作的高级图像编辑。用户可在 chat.mistral.ai 或移动应用中免费试用，无需信用卡。
匹配字段标题、摘要
Prime Intellect 开源分布式推理栈，面向消费级 GPU 与公网高延迟
Prime Intellect 发布分布式推理栈预览，并开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE 三个代码库，目标是让消费级 GPU 通过公网连接运行推理。文章指出流水线并行通信需求最低，适合分布式环境，但同步流水线会因 100ms 级跨洲延迟形成吞吐上限，而异步微批调度在内存带宽受限的解码阶段无法带来训练那样的加速。团队称已可用私有硬件通过公网跑推理，正把组件接入自家栈，用于 SYNTHETIC-2 合成数据运行。
匹配字段标题、摘要
vLLM 推出开源 Kubernetes 推理控制平面 AIBrix
vLLM 宣布开源由字节跳动开发的 AIBrix，为 Kubernetes 上的大规模 LLM 推理提供部署、管理与扩展能力。初始版本支持 LoRA 管理、LLM 路由与自动扩缩容、分布式推理和 KV cache、异构 GPU 服务及硬件故障检测，并已用于字节跳动多个业务场景。
匹配字段标题、摘要
vLLM 发布面向 Kubernetes 的开源推理栈 production-stack
vLLM 与 LMCache 团队发布开源参考实现 vLLM production-stack，将单节点 vLLM 扩展为可在 GPU 集群运行的完整推理服务。它支持 KV cache 共享与存储、前缀感知路由、TTFT 和 TBT 等指标观测及自动扩缩容，并可通过 Helm chart 部署到 Kubernetes。多轮问答基准结果显示，该方案在首个 token 延迟和 token 间延迟方面优于 vLLM + KServe 与一个商业端点服务。
匹配字段标题、摘要
vLLM 发布基于 PagedAttention 的开源 LLM 推理与服务库
vLLM 发布开源 LLM 推理与服务库，利用 PagedAttention 管理 KV cache，无需修改模型架构即可实现比 HuggingFace Transformers 最高 24x 的吞吐量。实验中其吞吐量比 TGI 最高提升 3.5x，内存浪费降至 4% 以下；LMSYS 部署后将服务所需 GPU 数量减少 50%。
匹配字段标题、摘要
Browser Use 上线 BU Ultrafast 浏览器智能体，中位任务 22 秒、成本 0.0064 美元
Browser Use 将最快的浏览器智能体 BU Ultrafast 从等待名单开放到美国所有 Cloud 套餐，免费版也包含。官方数据显示其任务中位耗时 22 秒、单次成本 0.0064 美元，而默认智能体在 GPT-6 Luna 上为 79 秒、0.0098 美元。使用时只需把 model 设为 bu-ultrafast；需要更多逐步推理可改用同一智能体的 bu-fast，后者按标准费率计费。
匹配字段摘要、正文
新芯航途发布大模型芯片 X7 Ultra，算力 700 TOPS
新芯航途（XHEART）发布面向十亿参数级智驾大模型的新一代芯片 X7 Ultra，算力 700 TOPS。官方称用合作伙伴的 Transformer 量产智驾模型实测，计算利用率 98.7%，在模型表现相当的前提下对标行业旗舰芯片内存带宽消耗下降 80%、推理能效提升 100%。X7 系列量产 8 个月累计出货 20 万颗，搭载 10 款量产车型，首发车型为上汽大众 ID.ERA 9X；同场 Momenta 发布参数量比上一代提升 5 到 10 倍的 R7 Ultra 世界模型。
匹配字段摘要、正文
Anthropic 为 Claude 加入回答后自评估，标记对话中的潜在滥用
Anthropic 训练 Claude 在每次回答后对对话做初步安全评估，这项名为 self-assessment 的技术自 6 月启用以来已发现其他防护机制未能覆盖的滥用行为。该机制利用 Claude 已读过对话的优势，成本低于分类器，且能随模型改进而提升准确度。Rohan Paul 补充称，Anthropic 最准确的滥用检测器是需先读全部安全政策的 Claude Mythos Preview 分类器，运行成本过高；Anthropic 因此训练 Claude 在不读政策和推理过程的情况下复制其判断，在 Fable 5 流量上该副本匹配检测器 78% 的标记，高优先级案例升至 94%，误报率为 1%。
匹配字段摘要、正文
Artificial Analysis 发布 Progress Index…
Artificial Analysis 发布 Progress Index，并同步推出 Intelligence Index v5。Progress Index 用项目反应理论，从全部评测（含已退役或未纳入 Intelligence Index 的任务）中为每个模型估算一个通用能力分，用于跨时间比较；Intelligence Index 仍用于衡量当前模型智能水平。其数据显示，推理模型出现后前沿每年提升约 65 至 70 分，约为 2023 年速度的两倍；开源权重模型通常比闭源模型落后约 4 个月，DeepSeek V4.1 Flash 1017 以 324 分居开源权重最高。
匹配字段摘要、正文
微软通过 Foundry 开放 Copilot agent harness 公测
微软通过 Microsoft Foundry 的 Foundry Agent Service 开放 GitHub Copilot agent harness 公测，提供内置沙箱、可复用技能、MCP 集成和子智能体支持，同一 harness 已支持 Copilot Code、Copilot Studio、GitHub Copilot、CLI 和 VS Code。创建 prompt agent 时必须选定该 harness 且之后无法更改，CPU、内存和空闲时长由微软控制，也不支持自带模型。该服务在 2026 年 12 月 1 日前免费，之后按每 vCPU 小时 0.0994 美元、每 GiB 小时 0.0118 美元计费，模型推理和部分工具另计。
匹配字段摘要、正文
Prime Intellect 发布 Prime Mega MoE 训练内核，前向最高提速 3.11 倍
Prime Intellect 发布 Prime Mega MoE，在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播，使其可用于训练而非仅推理。在 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%，比 TorchTitan 快 48% 至 55%；单层前向最高提速 3.11 倍（12.0 ms 降至 3.9 ms），但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8，以 Apache 2.0 随 prime-rl 发布，通过 mega_moe 分发后端启用。
Prime Intellect 发布 Prime Mega MoE，在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播，使其可用于训练而非仅推理。在 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%，比 TorchTitan 快 48% 至 55%；单层前向最高提速 3.11 倍（12.0 ms 降至 3.9 ms），但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8，以 Apache 2.0 随 prime-rl 发布，通过 mega moe 分发后端启用。
匹配字段摘要、正文
Mistral 推出 Responses API 公开预览版，面向智能体构建
Mistral 发布 Responses API 公开预览版，用于在 Mistral 上构建智能体。每次响应会把模型回答、推理过程和工具调用作为独立条目返回，比 Chat Completions 更便于应用逐步处理。该 API 适用于 Mistral 托管的全部聊天模型，包括 Large 4。
匹配字段摘要、正文
逐际动力开源 FluxVLA Engine 更新，打通具身智能数据训练评测部署全流程
逐际动力开源的具身智能工程底座 FluxVLA Engine 于 10 月 22 日完成重要更新，技术报告显示其已把 OpenVLA、π0.5、DiT4DiT、GR00T 等异构策略纳入同一套数据、训练、评测与部署流程。在英伟达 AGX Orin 64GB 上，GR00T 推理频率从 3.2Hz 提升到 7.4Hz，π0.5 从 1.4Hz 提升到 4.4Hz；配合 RTC 和轨迹后处理三步机制衔接真机执行。在线 RL 方面，SmolVLA 在 LIBERO-10 上成功率从 66.2% 升至 76.2%，在 RoboTwin Clean 的 10 个任务上从 45.9% 升至 61.3%。
匹配字段摘要、正文
微软在 GitHub Universe 发布 Copilot Fusion、Foundry 托管服务与…
微软在 GitHub Universe 上发布多项更新，称正在为智能体时代重新定义 SDLC。GitHub Copilot Fusion 号称达到前沿水平的质量，速度提升 40%，成本最多降低 77%；统一的 Copilot harness 已进入 Foundry，作为托管服务用于构建可推理、调用工具并完成工作的长时运行智能体；Copilot Projects 提供跨仓库多智能体协作的编排循环。微软同时表示正在扩充容量并强化 GitHub 架构。
匹配字段摘要、正文
GitHub 新增 400 万 CPU 核心，并发布 Copilot Fusion 多模型路由
GitHub 宣布在 8 月扩容基础上再增加 400 万以上 CPU 核心和 160 PB 存储，并重建 Git 架构以解耦计算与存储，称可带来最高 35 倍吞吐提升。GitHub Universe 大会上，Copilot Fusion 正式可用，按任务难度在 Standard、High、Max 三档间调度前沿模型，官方称 Max 档在把推理成本控制在基线模型 1.1 倍以内的同时提升任务完成率。GitHub 还推出 AI 代码扫描、可达性分析和 npm 包防火墙，Copilot Projects、Connectors（原生集成 MCP）与 Automations 也已上线，Copilot 访问扩展至全部 GitHub Enterprise 用户且无需额外购买席位。
匹配字段摘要、正文
MiniMax M3.1 Flash 获 SGLang 与 Miles 首日支持
MiniMax 宣布 M3.1 Flash 从推理到 RL 均已就绪，SGLang 与 Miles 在发布首日即提供支持。据 SGLang 介绍，该模型在 SGLang 上 bs1 decode 超过 1K tok/s，支持 NVIDIA Blackwell 与 Hopper（GB300/B300/B200/H200）以及 AMD Instinct MI350X 和 MI355X，并支持 MiniMax 的 DSpark 草稿模型与 HiCache、多模态输入。
匹配字段摘要、正文