微软 AI 公布面向智能体工作负载的 MAI 模型在 GitHub Copilot 和 Excel 中的部署情况。MAI-Code-1-Flash 自 6 月在 GitHub Copilot 上线以来已有数百万开发者使用，在 VS Code 中代码接受率比 GPT 5.4 Mini 和 Claude Haiku 4.5 高约 10%，中位 token 用量低 10%。在 Excel 中，基于该 checkpoint 继续强化学习得到的模型在常见任务上质量与 GPT-5.6 相当，且可运行在 Nvidia H100 和 A100 上，降低部署成本。微软表示正将这一方法扩展到 Copilot Chat、Outlook、PowerPoint 等产品。
匹配字段摘要、正文
Black Forest Labs 发布 FLUX 3 早期版本，并与机器人公司 mimic 合作推出视频-动作模型 FLUX-mimic，已在 Audi 测试和部署。FLUX 3 从训练之初就联合训练图像、视频和音频，视频预测占总算力成本 95% 以上；加入动作预测后，文生视频和图生视频的人类评分一度下降最多 10%，3500 步后恢复原有质量并同时预测动作。FLUX-mimic 在冻结 FLUX 主干的情况下，动作解码器表现超过此前的视觉-语言-动作模型，微调后达到 SOTA 成功率；主干在单张 NVIDIA RTX 5090 上从输入到世界表征耗时不到 80ms，整套机器人系统反应时间为 101ms。
匹配字段摘要、正文
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。
Hugging Face 在 Diffusers 中原生支持 Nunchaku Lite，可直接加载采用 SVDQuant 的 4-bit 扩散模型，无需自定义管线、独立推理引擎或本地编译。在 RTX 5090 上，示例模型生成 1024x1024 图像约需 1.7 秒，峰值显存约 12 GB，而 BF16 管线约为 24 GB。NVFP4 检查点要求 NVIDIA Blackwell GPU，早期架构可使用 INT4，但 Volta 和 Hopper 目前不受支持。 · Hugging Face added native Nunchaku Lite support to Diffusers, allowing SVDQuant-based 4-bit diffusion models to load without a custom pipeline, separate inference engine, or local compilation. On an RTX 5090, the example model generates a 1024x1024 image in abo
匹配字段摘要、正文
LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。
匹配字段摘要、正文
Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。
Microsoft 与 Hugging Face 将经过许可与安全审查的数千个开放模型引入 Foundry Model Catalog，目前以预览版提供，并每周更新。模型可通过统一端点部署到配备 NVIDIA A100、H100 或 AMD MI300X 的 Managed Compute，运行时升级和 CVE 修补由平台自动完成；后续将扩展模型与加速器覆盖，并支持 Bring Your Own Weights。 · Microsoft and Hugging Face have brought thousands of license- and security-screened open models to the Foundry Model Catalog in preview, with weekly updates. The models can be deployed through a unified endpoint on Managed Compute using NVIDIA A100, H100, or AMD MI300X accelerators, with
匹配字段摘要、正文
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。
Hugging Face 与 Cerebras 搭建了开放、模块化的实时语音到语音管线，以 Nvidia Parakeet 识别语音、在 Cerebras 上运行 Google DeepMind Gemma 4 31B，并通过阿里巴巴 Qwen3TTS 生成语音回复。Cerebras 旨在缩短并稳定模型推理延迟；该管线已用于超过 9,000 台 Reachy Mini 机器人，开发者可体验 Demo 并查看 huggingface/speech-to-speech 仓库。 · Hugging Face and Cerebras built an open, modular real-time speech-to-speech pipeline using Nvidia Parakeet for speech recognition, Google DeepMind’s Gemma 4 31B running on Cerebras, and Alibaba’s Qwen3TTS for spoken responses. Cerebras is intended to reduce a
匹配字段摘要、正文
Prime Intellect 发布 prime-rl 0.6.0，可在重智能体负载下训练万亿参数规模模型，并称能在 28 个 H200 节点上以最高 131k 序列长度训练 GLM-5 完成 SWE 任务，步时间低于 5 分钟、批量 256 条 rollout。该版本采用异步 RL，将训练与推理解耦，并给出 FP8 推理、Wide EP、P/D 分离、KV cache 分层卸载、router replay 以及 FSDP、EP、CP 三维并行等优化细节。这些优化同样适用于 Kimi-K2.7-Code、NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 等其他大型 MoE 模型。
匹配字段摘要、正文
Tensordyne 公布其 Napier AI 推理引擎架构，核心思路是把数据转成对数后用加法替代矩阵乘法，官方称相比 Nvidia 和 AWS 的混合架构性能提升一个数量级以上，价格与功耗更低。Napier 采用 3nm 工艺、1380 亿晶体管，支持 NVFP4、FP8、FP16，FP8 稠密算力 2.1 petaflops，配备 144 GB HBM4 和 256 MB SRAM，单芯片功耗 300 瓦，对比 B300 GPU 的 1200 瓦。公司计划 2026 年底开放云端访问，2027 年第一季度向客户交付 beta 版 TDN Pod 系统，2027 年第二季度末开始出货。
匹配字段摘要、正文
Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4_K_M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。
Ollama 更新 MLX 引擎，称这是其在 Apple Silicon 上的最高性能表现，模型响应更快、占用内存更少。新引擎支持 NVIDIA 的 NVFP4 格式，在 Gemma 4 12B 上相比 q4 K M 约将量化质量损失减半，同时通过 Metal kernel 融合等优化使输出速度最高提升 20%。此外新增快照系统，为多智能体、思考型模型和分支重试保存模型状态，避免重复处理相同上下文。
匹配字段摘要、正文
Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持，可在 Blackwell B200/B300 上做托管 RL 训练，配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境，并支持 SWE-bench Verified、BrowseComp、τ²-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测，以及 LoRA 与全权重适配器的一键推理。文中称 Ramp 用 Lab 后训练 35B 检索子智能体 FastAsk，在自有财务表格工作流上达到 66.25% 精确匹配，高于 Claude Opus 4.6 的 61.88%。
匹配字段摘要、正文
Prime Intellect 宣布 Lab 结束 beta 并正式开放，这是一个面向自我改进智能体的训练平台，把任务定义、harness、评测、奖励信号训练、rollout 检查、adapter 部署和推理整合到一处。平台以环境为基本单元，Hosted Training 负责大规模强化学习，按 token 计费而非按集群小时计费，正式版首批支持来自 NVIDIA、OpenAI、Meta 和 Qwen 的 14 个模型，参数规模在 1B 到 70B 之间。beta 期间已有数百名用户运行超过 10,000 次训练任务，训练完成的 LoRA adapter 可通过 Prime Inference 以 OpenAI 兼容 API 部署。
匹配字段摘要、正文
Ollama 发布预览版，在 Apple Silicon 上改用 Apple 的机器学习框架 MLX，利用统一内存架构加速，在 M5、M5 Pro 和 M5 Max 上借助 GPU Neural Accelerators 提升首 token 时间与生成速度。测试于 2026 年 3 月 29 日使用阿里 Qwen3.5-35B-A3B 模型进行，Ollama 0.19 在 int4 量化下可达 1851 token/s prefill 和 134 token/s decode。该版本还引入 NVIDIA NVFP4 格式以降低内存带宽和存储需求，并升级缓存以复用跨对话缓存、在提示词中设置智能检查点并延长共享前缀存活时间，需 Mac 统一内存超过 32GB。
匹配字段摘要、正文
LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。
LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep size=dp size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。
匹配字段摘要、正文
Ollama 上线新的模型调度系统，运行前会精确测量所需显存，取代此前版本的估算方式。官方称这能显著减少显存不足导致的崩溃、把更多显存分配给 GPU 以提升 token 生成与处理速度，并改善多卡及不同型号 GPU 混用时的调度表现，nvidia-smi 与 ollama ps 的显存读数也将一致。新引擎中的模型默认启用该功能，已支持 gpt-oss、llama4、gemma3、qwen3、mistral-small3.2 等，llama3.2、llama3.1、qwen3-coder 等将陆续迁移。
匹配字段摘要、正文
vLLM 现已支持在 NVIDIA Blackwell、Hopper 以及 AMD MI300x、MI355x GPU 上运行 gpt-oss。其针对 MXFP4 MoE、高效注意力和混合 KV cache 集成了专用内核与内存管理方案，并通过 OpenAI Responses API、gpt-oss toolkit 或外部 MCP 工具服务器支持工具调用。
匹配字段摘要、正文
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。 · Mistral AI announced Mistral Compute, a private, integrated AI infrastructure offering spanning GPUs, orchestration, APIs, products, and services in configurations ranging from bare-metal servers to fully managed PaaS. It supports training and serving AI workloads and will offer Mistral AI’s t
匹配字段摘要、正文
Ollama 发布 Secure Minions，把本地 Ollama 模型与云端前沿模型的协作通信做成端到端加密，连云服务商也无法读取明文。该协议基于 NVIDIA Hopper H100 的机密计算模式，通过远程证明建立安全飞地，本地消息加密后送入 GPU 飞地解密处理，输出再加密返回。在约 8k token 长提示和 Qwen-32B 等大模型下，额外延迟低于 1%，并提供了 streamlit 交互演示和 Python 调用示例。
匹配字段摘要、正文
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 `VLLM_USE_V1=1` 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 VLLM USE V1=1 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。
匹配字段摘要、正文
Ollama 在 Windows 上推出预览版，可在原生 Windows 环境中拉取、运行和创建大语言模型。该版本内置 GPU 加速，支持 NVIDIA GPU 以及 AVX、AVX2 等 CPU 指令集，无需配置或虚拟化；同时提供完整模型库（含 LLaVA 1.6 等视觉模型，图片可拖入 ollama run）和后台运行的 Ollama API（http://localhost:11434），并保持与其他平台一致的 OpenAI 兼容性。
匹配字段摘要、正文
Ollama 成为 Docker 官方赞助的开源镜像，用户可在 Docker 容器中运行大语言模型，所有交互在本地完成，不向第三方服务发送私有数据。在 Linux 上，Ollama 可在容器内借助 Nvidia GPU 加速运行，需先安装 Nvidia container toolkit；在 Mac 上则需以独立应用方式运行，因为 Docker Desktop 不支持 GPU。容器内可直接运行 Llama 2 等模型，更多模型见 Ollama library。
匹配字段摘要、正文