搜索“推理”

Prime Intellect开源分布式推理代码库

Prime Intellect 开源 PRIME-IROH、PRIME-VLLM、PRIME-PIPELINE三个分布式推理研究代码库

查看事件：Prime Intellect开源分布式推理代码库

vLLM扩展Llama 4推理支持

2025年4月5日,vLLM宣布从v0.8.3起支持Llama 4 Scout(17B-16E)和Maverick(17B-128E),可部署长上下文原生多模态推理。在8张H100上,Scout支持100万上下文,Maverick约为43万;配置相应参数后,每次请求最多可输入10张图像。A100已支持bf16版本,AMD MI300X可通过源码构建运行;Scout的单张H100 INT4量化版本仍在开发中。

字节跳动开源大模型推理平台AIBrix

2025年2月21日,vLLM宣布在其项目下开源由字节跳动开发的AIBrix。该项目是面向Kubernetes大规模大语言模型推理的控制平面,提供部署、管理和扩展能力。初始版本支持LoRA管理、LLM路由与自动扩缩容、分布式推理和KV cache、异构GPU服务及硬件故障检测。AIBrix已应用于字节跳动多个业务场景。

vLLM推出集群级推理服务方案

2025年1月21日,vLLM团队与LMCache团队发布开源参考实现vLLM Production Stack,将单节点vLLM扩展为可在GPU集群运行的完整推理服务。该项目支持KV cache共享与存储、前缀感知路由、TTFT和TBT等指标观测以及自动扩缩容,并可通过Helm chart部署到Kubernetes。多轮问答基准结果显示,其首个token延迟和token间延迟优于vLLM与KServe组合及一个商业端点服务。

vLLM 0.6.0提升推理性能

2024年9月5日,vLLM发布v0.6.0。与v0.5.3相比,该版本吞吐量提升1.8至2.7倍:Llama 8B吞吐量提升2.7倍、每输出令牌时间加快5倍;Llama 70B吞吐量提升1.8倍、每输出令牌时间减少2倍。优化包括拆分API服务器与推理引擎、多步批量调度、异步输出处理、对象缓存及非阻塞数据传输。目前,多步调度仍可能导致令牌间延迟波动,并在请求率较低时增加首令牌延迟。

伯克利开源高效推理库vLLM

2023年6月20日,UC Berkeley发布开源大语言模型推理与服务库vLLM。该库通过PagedAttention管理KV cache,无需修改模型架构。官方实验显示,其吞吐量最高可达HuggingFace Transformers的24倍、TGI的3.5倍,并将内存浪费降至4%以下。LMSYS部署后,提供服务所需的GPU数量减少了50%。

vLLM发布生产级推理栈

vLLM团队与LMCache团队 发布 开源项目vLLM Production Stack

查看事件：vLLM推出集群级推理服务方案

Browser Use向所有美国云计划开放BU Ultrafast

Browser Use于2026年10月31日将最快的浏览器智能体BU Ultrafast从等待名单开放至美国所有Cloud套餐,免费版也包含在内。官方数据显示,BU Ultrafast任务中位耗时22秒、单次成本0.0064美元;作为对比,默认智能体在GPT-6 Luna上为79秒、0.0098美元。使用时只需把model设为bu-ultrafast;需要更多逐步推理可改用同一智能体的bu-fast,后者按标准费率计费。目前尚无后续发展。

OpenRouter上线新版提供商路由器

2026年10月30日,OpenRouter上线新版提供商路由器。据OpenRouter发布的信息,这是其自成立以来对提供商路由器最大的一次改进。新路由器不再主要按价格排序,而是按请求的实际成本奖励质量最好的推理,让请求保持低价的同时兼顾速度和可靠性。OpenRouter表示,提供更高价值的提供商会自动获得更多流量,从而有动力持续改进,而提供商变好也会同步提升用户在OpenRouter上的推理体验。目前该路由器已上线,暂无后续发展信息。

Anthropic训练Claude标记对话中的潜在滥用

Anthropic公开了Claude的“自我评估”隐藏机制:模型在回答用户后,会在后台追加约10个Token生成风险评级并上报。据凤凰科技报道,该机制自今年6月Claude Fable 5发布起默认全开,推理开销增加不到2%。Anthropic在安全博客中介绍,该机制复用已有上下文和KV cache,在Fable 5上捕获了重型分类器可标记的78%违规对话,高危滥用检出率达94%,误判率1%;评估结果不展示给用户、不进入后续对话,主要用于离线聚合筛查,实时拦截仍由其他安全分类器负责。官方称在24条越界测试轨迹中有21条被后台识别,用户需签署企业级零数据保留协议才能关闭该审查。

Mistral AI推出Responses API公开预览

2026年10月28日,Mistral AI推出Responses API公开预览版,面向在Mistral平台上构建智能体的开发者。据Mistral AI在X发布的信息,该API每次响应会把模型回答、推理过程和工具调用作为独立条目返回,比Chat Completions更便于应用逐步处理。该API适用于Mistral托管的全部聊天模型,包括Large 4。目前该事件仅有这一条证据,尚无后续发展。

Mistral在Hugging Face发布Large 4权重

2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。

Microsoft通过Foundry开放Copilot agent harness公开预览

2026年10月30日,Microsoft通过Microsoft Foundry的Foundry Agent Service开放GitHub Copilot agent harness公测。该harness提供内置沙箱、可复用技能、MCP集成和子智能体支持,同一harness已支持Copilot Code、Copilot Studio、GitHub Copilot、CLI和VS Code。创建prompt agent时必须选定该harness且之后无法更改,CPU、内存和空闲时长由微软控制,也不支持自带模型。该服务在2026年12月1日前免费,之后按每vCPU小时0.0994美元、每GiB小时0.0118美元计费,模型推理和部分工具另计。

Prime Intellect发布Prime Mega MoE训练内核

Prime Intellect 发布 Prime Mega MoE 训练内核。该内核在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。在 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%,比 TorchTitan 快 48% 至 55%;单层前向最高提速 3.11 倍(12.0 ms 降至 3.9 ms),但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8,以 Apache 2.0 随 prime-rl 发布,通过 mega_moe 分发后端启用。

逐际动力开源FluxVLA Engine工程底座

2026年10月28日,逐际动力开源具身工程底座FluxVLA Engine。同日,量子位报道称,逐际动力更新了该开源工程底座的第二版技术报告,相较9月首版新增在线强化学习后训练实验,并扩展仿真评测与真机部署覆盖范围。报告显示,SmolVLA经在线强化学习后,在LIBERO-10和RoboTwin Clean十项任务上的成功率分别提升10.0和15.4个百分点;8组模型与设备组合的推理频率提升至2.31–9.64倍。真机侧在ALOHA、双臂Franka、Rebot和自研人形机器人LimX Oli上验证了从模型checkpoint到闭环执行的部署链路。目前该工程底座已开源,并附有第二版技术报告。

Google发布世界模型Genie 4

2026年10月27日,Google DeepMind发布世界模型Genie 4,主打实时交互模拟,并首次在该系列中引入原生音频。官方介绍称,该模型基于Gemini家族能力,Gemini Omni负责让模拟贴合真实世界的外观与行为,其他Gemini模型提供维持模拟连贯性所需的复杂推理;用户可用自然语言实时操控场景,每个世界还会即时生成环境音、音乐和交互对话。次日,Google DeepMind进一步说明,Gemini 3.8 Flash在循环中拆解目标、检查画面以维持多步事件的因果连贯,Gemini 4 Argon也已用于与Gemini Robotics联合模拟任务;官方称其仍属早期实验模型,长时运行下物体恒常性与复杂物理交互仍会漂移,生成内容均带SynthID水印,目前先向可信测试者开放预览。10月28日,Ethan Mollick发帖称Genie 4能运行DOOM,并实测其边生成边产出游戏式环境,表示体验并不完美。10月29日,Peter Yang用Genie 4实时构建5个世界,认为世界模型是LLM之后AI的下一个大方向。

OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra

2026年10月27日,OpenAI发布并上线GPT-6.1 Terra,主打快速高效、视觉推理与精确的电脑操作,写作也更清晰自然,当日向ChatGPT Work和Codex中的Plus、Pro、Enterprise与Edu用户推送。同日,Arena宣布该模型进入Agent Arena与Code Arena;OpenRouter上线该模型,称其在Agents' Last Exam上与GPT-6 Astra持平,每token价格为其十分之一;OpenClaw也宣布可选用该模型。OpenAI联合创始人Greg Brockman表示,Terra的computer use已跨过质变门槛,用起来比他本人独立操作电脑还快。fal则用fal Codex插件测试了把Blender 3D内容制作成Seedance 2.5电影级画面。10月28日,Arena公布Terra在Code Arena: WebDev以1671分排第14,每任务中位成本0.40美元,比GPT-5.6 Terra低28%。OpenAI系统卡确认Terra整体比旧模型更安全,但在隐瞒不确定性、绕过限制、数据外泄和破坏性操作等项上标记率

OpenAI正式开放Decisions API

2026年10月22日,OpenAI正式开放Decisions API。该接口基于GPT-6 Luna构建,面向答案范围明确的问题,可协助应用与智能体基于文本、图像及结构化输入做出准实时决策。据IT之家报道,其响应速度比通过Responses API调用GPT-6 Luna提升高达10倍;定价为输入每百万token收费0.1美元,命中缓存的输入每百万token收费0.01美元,仅按输入token计费、输出token免费;自公测以来新增原生GPT-Live集成、Prompt缓存以及美国和欧盟的推理数据驻留支持,单次请求最多可提交400个问题。智东西同日报道称,该接口面向所有客户开放,部分场景响应时间由1至3秒缩短到100至180毫秒,可用于内容分类、请求分流和决定AI智能体下一步行动,并列举Datadog、Ramp、Speak等使用案例。目前该API已正式开放,尚无进一步有证据的发展。

Modal发布开源Tinker兼容训练服务器Spindle

2026年10月22日,Modal发布开源训练服务器Spindle,该服务器兼容Tinker API。据Modal官方工程博客介绍,Spindle可在自家Modal workspace中运行,按GPU时长而非token计费,部署只需执行spindle deploy,支持全参数训练和多LoRA,覆盖多种开源模型。官方给出的对比中,DAPO-math单轮任务在8卡H200训练、8卡H200推理、8个客户端共享时,价格为每百万输出token 1.99美元,较Tinker降低80%。目前尚无后续发展事实。

LMSYS发布SGLang AWS Trainium插件Beta

2026年10月22日,LMSYS与AWS合作发布SGLang Trainium插件Beta,该插件基于新发布的TorchNeuron构建,在Trainium2和Trainium3上支持LLM推理服务与RL rollout生成。初始覆盖Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4和GLM-5.2/5.3,并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8和异步调度。首次端到端异构RL运行中,SGLang在Trainium3上为Qwen3-MoE-30B-A3B生成rollout,Miles在单台H200节点上用Megatron训练GRPO策略。Beta目前仅限少量团队参与。次日,Amazon宣布开源TorchNeuron,这是一个把PyTorch代码转换为可在AWS Trainium上执行的操作的后端,已在其他加速器上运行的PyTorch代码几乎无需改动即可迁移。