搜索“推理”

Modal 优化 SGLang 多模态推理调度器

Modal 优化 SGLang 调度器多模态推理性能

查看事件：Modal 优化 SGLang 多模态推理调度器

Together AI介绍高效推理研究

Together AI 介绍 规模化推理优化研究与技术栈

查看事件：Together AI介绍高效推理研究

goose 发布内置本地推理

2026年4月24日,goose 发布内置本地推理能力,该能力基于 llama.cpp,集成于 goose 桌面应用中。用户在应用内选择 Local provider 后,可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行,无需 Ollama、Docker 或外部服务器,也无需 API key,可离线使用。官方说明指出,本地模型首次请求需 30–120 秒加载,上下文多为 4K–8K token,工具调用是最大短板,Gemma 4 表现较好,而模拟模式仅限 shell 命令;官方建议从小模型起步并使用 Code Mode。目前该事实尚无后续发展。

goose 发布内置本地推理

goose 发布 内置本地推理（基于 llama.cpp）

查看事件：goose 发布内置本地推理

Redwood Research分析AI推理成本趋势

2026年3月28日,Redwood Research 发布一项分析,考察 AI 推理成本与能力提升之间的关系。该分析基于 METR 的数据指出,当前前沿模型在其 50% 可靠性时间跨度上完成任务时,推理成本约为人类成本的 3%,且这一比例并未随能力提升而上升。研究还发现,在成功完成的任务中,更长的任务并未带来更高的成本比;即使将每任务 AI 支出限制在人类成本的 1/32,时间跨度趋势仍约每 3 个月翻倍。作者据此认为,成本并非能力之外的额外瓶颈,自动化时间点可参照 METR 能力趋势线预测。

Mamba-3发布并开源推理内核

Mistral AI发布Mistral Small 4开源多模态推理模型

2026年3月17日,Mistral AI发布Mistral Small 4,这是Mistral Small系列的下一个主要版本,也是Mistral首个把Magistral的推理、Pixtral的多模态和Devstral的智能体编码能力统一到单一模型中的版本,采用Apache 2.0许可。该模型为MoE架构,128个专家、每token激活4个,总参数119B、每token激活6B(含嵌入和输出层为8B),上下文窗口256k,支持文本与图像输入,并可通过reasoning_effort参数在快速响应与深度推理之间切换。官方称相比Mistral Small 3,端到端完成时间减少40%,每秒请求数提升3倍;推理模式下在三项基准上匹配或超过GPT-OSS 120B,且输出更短。目前尚无后续发展事实。

Redwood Research 辨析推理扩展与更大任务

2026年2月12日,Redwood Research 发表分析文章,讨论推理成本上升的两种不同原因。文章指出,一种原因是 LLM 承担了人类耗时更长的更大任务,另一种原因是在同一任务上消耗了相对人类成本更高比例的算力。作者认为只有后者才算推理扩展,前者只是更大任务消耗更多 token。文章以 50% 可靠性时间跨度与人类成本占比构成的帕累托前沿进行分析,并推测 2025 年前沿主要以前一种方式移动。

推理时扩展方法分类与实验进展

2026年1月24日,Sebastian Raschka 梳理了用于提升大语言模型答案质量与准确性的推理时扩展方法,重点关注无需改变模型权重的训练后技术。他将相关方法归纳为思维链提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进及解题路径搜索等类别。材料显示,相关实验经过超参数调优并运行数千次后,基础模型准确率由约15%提升至约52%。

Redwood Research分析AI推理成本趋势

Redwood Research 发布分析 AI推理成本与能力提升的关系

查看事件：Redwood Research分析AI推理成本趋势

Runway 与 Modal 合作支撑 Characters 实时推理

2026年3月26日,Runway 宣布与 Modal 合作,由 Modal 的无服务器计算平台为 Runway Characters 提供实时推理支持。据 Modal 官方工程博客介绍,Runway Characters 是基于通用世界模型 GWM-1 的实时视频智能体 API,可从单张图片生成数字人形象且无需微调,已服务财富 10 强科技公司、好莱坞制片厂等数千家机构。借助 Modal,Runway 团队在 30 天内从概念验证推进到生产环境,并通过一行代码将容器扩展为支持 RDMA 网络的多节点 GPU 集群。目前该合作已进入生产环境阶段,暂无后续发展事实。

Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

2026年3月6日,Sarvam AI 开源发布 Sarvam 30B 与 Sarvam 105B 两款从零训练的推理模型。据官方信息,两款模型预训练分别使用 16T 和 12T token,训练全程在印度完成,采用 IndiaAI mission 提供的算力。架构上两者均为 MoE:30B 仅 2.4B 激活参数并使用 GQA,105B 采用 MLA。权重可从 AI Kosh 和 Hugging Face 下载,并支持 Transformers、vLLM、SGLang 本地推理。官方称两者在印度语言基准上取得领先结果,30B 已用于对话智能体平台 Samvaad,105B 用于 AI 助手 Indus。目前尚无后续发展事实。

SGLang在GB300 NVL72上实现最高25倍推理性能提升

2026年2月20日,SGLang宣布与NVIDIA合作,在InferenceXv2基准上于GB300 NVL72运行DeepSeek R1时,相比H200实现最高25倍推理性能提升,该对比基于50 TPS/user的低延迟场景。据LMSYS Blog介绍,这一提升借助NVFP4 GEMM、计算通信重叠和NVIDIA Dynamo等优化实现。同一来源还提到,SGLang在GB200 NVL72上的性能在不到4个月内提升最高8倍。后续计划推进GB300 NVL72的MTP支持以及Qwen 3.5等模型的调优。目前该事件尚无其他独立发展事实。

Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

2026年1月26日,Qwen 团队发布旗舰推理模型 Qwen3-Max-Thinking。据 Qwen Blog 介绍,该模型通过扩大参数规模并投入大量算力做强化学习,在事实知识、复杂推理、指令遵循、人类偏好对齐和智能体能力上均有提升,在 19 项基准上表现与 GPT-5.2-Thinking、Claude-Opus-4.5、Gemini 3 Pro 相当。模型新增自适应工具调用能力,可在对话中自主调用内置的 Search、Memory 和 Code Interpreter,已在 chat.qwen.ai 上线;同时采用经验累积的多轮测试时扩展策略,在 GPQA、HLE、LiveCodeBench v6 等基准上优于标准并行采样。API 模型名为 qwen3-max-2026-01-23,兼容 OpenAI 与 Anthropic 接口协议,可直接配合 Claude Code 使用。目前尚无后续发展事实。

Runway 与 Modal 合作支撑 Characters 实时推理

Runway 合作 Runway Characters 的实时推理

查看事件：Runway 与 Modal 合作支撑 Characters 实时推理

Mamba-3发布并开源推理内核

Together AI等研究团队 发布并开源 Mamba-3及其推理内核

查看事件：Mamba-3发布并开源推理内核

Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

Sarvam AI 开源发布 Sarvam 30B 与 Sarvam 105B 模型

查看事件：Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

SGLang在GB300 NVL72上实现最高25倍推理性能提升

SGLang 实现 在GB300 NVL72上运行DeepSeek R1相比H200最高25倍性能提升

查看事件：SGLang在GB300 NVL72上实现最高25倍推理性能提升

Redwood Research区分推理扩展与更大任务

Redwood Research 发表 关于推理扩展与更大任务使用更多算力之区别的分析文章

查看事件：Redwood Research 辨析推理扩展与更大任务

Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

Qwen Team 发布 Qwen3-Max-Thinking

查看事件：Qwen 发布旗舰推理模型 Qwen3-Max-Thinking