搜索“推理”

Fireworks开放Kimi K3训练预览

2026年7月26日,Fireworks AI 宣布 Kimi K3 已在 Fireworks Serverless Training 中开放 Multi-LoRA 训练与部署的私有预览。官方称 K3 是总参数量约 2.8 万亿的 MoE 模型,为首个达到 3T 参数规模的开源权重模型,训练只需改动一行代码;并给出成本示例:约 20 步、86 万训练 token 的小型强化学习运行约 65 美元,30 到 60 分钟完成,多轮 Agent 运行因 KV cache 复用,重复上下文按标准 prefill 价格的 20% 计费。次日(7月27日)的报道称,Fireworks 在 Kimi K3 开源当天提供 Day-0 推理与训练支持,推出仅限美国区域的 Serverless 端点和零数据保留,Serverless 推理默认速率限制提升 10 倍以上,Serverless Training 进入私有预览;该报道还称 K3 采用 Kimi Delta Attention 与 Stable Latent MoE,激活 896 个专家中的 16 个,扩展效率是 Kimi K2 的 2.5 倍,

Unsloth发布AMD硬件支持版本

2026年7月20日,Unsloth发布AMD版本Unsloth for AMD,用户可在AMD硬件上训练和运行大语言模型。该版本与AMD合作实现,支持在AMD GPU上训练和运行500多个模型,覆盖Windows、WSL和Linux平台,并可在3GB显存下训练Qwen、Gemma等模型。官方称借助自研Triton kernel和数学算法,在Radeon、Instinct、Ryzen及数据中心GPU上最高提速2倍、显存占用减少70%且无精度损失,同时提供针对GGUF与Safetensors推理优化的ROCm构建。

xAI开源编码智能体Grok Build

2026年7月15日,xAI将编码智能体与TUI工具Grok Build开源,源码已发布在GitHub。据xAI News公布的信息,公开代码涵盖智能体循环、工具调用分发、终端UI,以及skills、plugins、hooks、MCP servers和subagents等扩展系统。Grok Build现可完全本地运行,用户可自行编译并指向本地推理,通过config.toml驱动。目前该事件尚无进一步的有证据发展,后续状态有待观察。

Unsloth发布Gemma 4 NVFP4量化版本

2026年7月14日,Unsloth发布Gemma 4的NVFP4量化版本,称在GPU上推理速度提升1.5倍。官方表示该NVFP4方案面向Blackwell平台,可实现更快、更准确的4-bit推理。其中Gemma-4-12B NVFP4可在11GB显存上运行,26B-A4B在B200上达到13K tok/s。

Gemini 3.5 Flash内置计算机操作

2026年6月24日,Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash。此前该能力仅以独立的 Gemini 2.5 computer use 模型形式提供。开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 使用它,构建能跨浏览器、移动端和桌面环境感知、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。为降低实时环境中的提示词注入风险,官方对 computer use 做了针对性对抗训练,并发布两套可选的企业级防护系统。目前该事实仅有官方来源,尚无其他独立来源的后续发展。

Prime Intellect发布prime-rl 0.6.

2026年6月22日,Prime Intellect发布prime-rl 0.6.0版本。该版本面向重智能体负载,支持训练万亿参数规模模型,采用异步强化学习,将训练与推理解耦。官方称其能在28个H200节点上以最高131k序列长度训练GLM-5完成SWE任务,步时间低于5分钟,批量256条rollout。版本还包含FP8推理、Wide EP、P/D分离、KV cache分层卸载、router replay以及FSDP、EP、CP三维并行等优化细节,并称这些优化同样适用于Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16等其他大型MoE模型。

xAI 的 Grok 4.3 正式上线 Amazon Bedrock

2026年6月17日,xAI 宣布 Grok 4.3 在 Amazon Bedrock 正式可用,开发者可通过 Bedrock 的推理引擎调用该模型。据 xAI 公布的信息,Grok 4.3 支持 100 万 token 上下文窗口,推理强度可配置为 none、low、medium、high 四档,定价为输入每百万 token 1.25 美元、输出每百万 token 2.50 美元。xAI 还称该模型在 Artificial Analysis Omniscience 基准上取得最低幻觉率,并在 Tau2 Telecom、Vals AI Case Law 与 Corporate Finance 基准上排名第一。目前该事件尚无后续发展事实,状态为正式上线。

Prime Intellect Lab支持Nemotron 3 Ultra后训练

2026年6月4日,Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持,可在 Blackwell B200/B300 上进行托管强化学习训练,配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境,并支持 SWE-bench Verified、BrowseComp、τ2-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测,以及 LoRA 与全权重适配器的一键推理。同日,Prime Intellect 还宣布加入 NVIDIA Nemotron 联盟,贡献 2,500+ 开源 RL 环境、verifiers 框架、Prime Sandbox 及 NeMo Gym 集成,以 Apache-2.0 / CC-BY-4.0 随 Nemotron 模型发布同步开源。此外,NVIDIA Nemotron 3 Ultra 同

Linear推出内置代码审查工具

2026年5月28日,Linear发布代码审查工具Diffs,允许用户直接在Linear内审查拉取请求,并把代码变更与相关issue、项目及客户反馈并列展示。其引导式审查可将大型diff按照推理顺序拆分成多个章节,结构化高亮则用于过滤格式调整等噪声。该功能自发布当天起向所有Linear套餐开放。

Hermes Agent接入Grok订阅

2026年5月15日,xAI宣布即日起可在Nous Research的开源自我改进智能体Hermes Agent中直接使用Grok订阅。接入后,用户可用Grok 4.3进行文本对话与高级推理,用Grok Text-to-Speech生成语音回复,用Grok Imagine生成图像和视频,所有订阅档位均可使用。Hermes Agent可持久运行在任意电脑、沙箱或VPS上,跨会话建立长期记忆,并能连接WhatsApp、Discord、Telegram、Signal等消息平台。用户通过hermes model选择xAI Grok OAuth并浏览器登录即可启用。目前该消息由xAI官方发布,尚无后续发展事实。

Prime Intellect开源renderers库

2026年5月12日,Prime Intellect 开源了 renderers,一个独立的 Python 库,目标是让开发者完全控制强化学习与多轮推理中的对话格式化。该库把聊天模板变成可编程对象,支持将渲染消息暴露为 token id、把补全解析为结构化助手消息、为损失掩码归属 token,以及在不重新渲染模型采样历史的情况下扩展多轮 rollout。据其介绍,renderers 已用于 Prime Intellect 的 Lab 产品、verifiers 和 prime-rl,内置 Qwen3、Qwen3.5、GLM-4.5、GLM-5、MiniMax-M2、DeepSeek-V3、Kimi K2 / K2.5、Nemotron-3 和 GPT-OSS 的渲染器,并已在 PyPI 发布,代码托管于 github.com/PrimeIntellect-ai/renderers。

Prime Intellect推出Lab训练平台

2026年5月7日,Prime Intellect宣布其训练平台Lab结束beta测试并正式开放。该平台面向自我改进智能体,将任务定义、harness、评测、奖励信号训练、rollout检查、adapter部署和推理整合到一处,以环境为基本单元。其中Hosted Training负责大规模强化学习,按token计费而非按集群小时计费。正式版首批支持来自NVIDIA、OpenAI、Meta和Qwen的14个模型,参数规模在1B到70B之间。据披露,beta期间已有数百名用户运行超过10,000次训练任务,训练完成的LoRA adapter可通过Prime Inference以OpenAI兼容API部署。

Augment Code推出Prism模型路由

2026年5月3日,Augment Code推出Prism模型路由选项,在模型选择器中自动为每个用户轮次选择最合适的底层模型,声称每月可节省约2万美元或降低30%成本,同时质量与前沿推理模型相当。Prism采用缓存感知路由,仅在切换收益超过缓存驱逐成本时切换模型,并在内部多轮编码基准、Terminal Bench 2.0和SWE-Bench Pro上验证了质量与成本表现。

Diffusers原生支持Nunchaku Lite

Hugging Face Diffusers 原生支持 Nunchaku Lite四比特扩散模型推理

查看事件：Diffusers原生支持Nunchaku Lite

Modal 推出开源集成 modal-devin

2026 年 7 月 21 日,Modal 推出开源集成 modal-devin,使 Devin Outpost 会话运行在 Modal Sandbox 中。据 Modal 官方工程博客,Cognition 同日推出 Devin Outposts,将 Devin 的执行环节迁入用户自控环境,推理仍留在 Cognition 云端;Modal 作为发布伙伴提供该集成,具备快速冷启动、自定义镜像、快照和百万级沙箱扩展能力,自 7 月 21 日起进入 alpha。modal-devin 提供 CLI,一条 uvx modal-devin init 命令即可搭建 outpost,并预装 Devin CLI、FFmpeg 和 Chromium。目前尚无后续发展事实。

Modal 推出 Auto Endpoints

2026年6月23日,Modal 推出 Auto Endpoints,提供 OpenAI API 兼容、生产可用的 LLM 推理服务。据 Modal 官方工程博客,该服务底层是用户可见可控的 Modal App,可通过 CLI 或点击部署 GLM 5.2 等开放模型。官方称不隐藏代码与指标,自动提供投机解码接受长度、每副本引擎侧 token 延迟分位数等数据,并同步推出面向超低延迟路由的 Modal Servers,HTTP 请求开销约 5ms。其部署配方基于 SGLang、FlashAttention-4 等开源引擎的补丁与上游贡献,并采用 Z Lab 的 DFlash 块扩散 drafter 架构。目前尚无后续发展事实。

MiMo-V2.5 在 OpenCode 上线并限时免费

2026年5月28日,小米 MiMo 宣布 MiMo-V2.5 已在 OpenCode 上线,并限时免费。此前,小米 MiMo 于5月26日宣布 MiMo-V2.5 系列 API 永久降价,相比此前定价最高降幅达 99%,并对所有上下文长度统一计价;MiMo Token Plan 同步升级,同等价格下可用 token 增加 5–8 倍,现有 Token Plan 额度将全部重置,MiMo-V2.5-TTS 仍限时免费。新价格于5月26日18:00 PDT 生效,官方称后续会发布推理优化技术博客。目前 MiMo-V2.5 在 OpenCode 的限时免费为最新进展。

LMSYS 宣布 SGLang 与 Miles 发布日支持 DeepSeek-V4

2026年4月25日,LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持,覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重,团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制,并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练,已在 32 张 GB300 上完成 285B 模型训练,首步 rollout 与训练 log-prob 偏差约 0.023。目前尚无后续发展事实。

Mistral发布统一智能体Vibe

2026年5月28日,Mistral AI发布统一工作与编码智能体Vibe,将Le Chat升级为覆盖工作与编码场景的统一AI智能体,原有对话、设置和订阅方案全部保留。据Mistral AI介绍,Work Mode支持企业知识搜索、结构化数据分析、文档报告生成、多步骤任务定时执行和可复用技能,每一步推理与工具调用均可展开查看;Code Mode在网页端启动远程编码智能体,可连接GitHub并运行至提交pull request。Vibe同时发布VS Code扩展并更新CLI,支持技能命令、子智能体、会话级权限和/teleport会话迁移。定价为免费、Pro 14.99美元/月、Team 24.99美元/用户/月及Enterprise定制。目前尚无后续发展事实。

Together AI上线DeepSeek V4 Pro

Together AI 上线 DeepSeek V4 Pro推理服务

查看事件：Together AI上线DeepSeek V4 Pro