Modal 上线 NVIDIA RTX Pro 6000 Blackwell GPU，配备 96GB 显存，适合推理与微调负载；仪表盘新增 Command K 命令面板，Sandbox Filesystem API 进入 Beta，支持读取 5GB 文件、任意大小写入与双向流式传输。SDK 1.4.0 新增 modal app logs 与 modal container logs 历史日志查询、--strategy recreate 部署策略，并开始移除 1.0 前旧 API 的向后兼容。
匹配字段摘要、正文
Ollama 发布预览版，在 Apple Silicon 上改用 Apple 的机器学习框架 MLX，利用统一内存架构加速，在 M5、M5 Pro 和 M5 Max 上借助 GPU Neural Accelerators 提升首 token 时间与生成速度。测试于 2026 年 3 月 29 日使用阿里 Qwen3.5-35B-A3B 模型进行，Ollama 0.19 在 int4 量化下可达 1851 token/s prefill 和 134 token/s decode。该版本还引入 NVIDIA NVFP4 格式以降低内存带宽和存储需求，并升级缓存以复用跨对话缓存、在提示词中设置智能检查点并延长共享前缀存活时间，需 Mac 统一内存超过 32GB。
匹配字段摘要、正文
LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。
LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep size=dp size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。
匹配字段摘要、正文
感谢 Jensen 和 @nvidia 团队的支持。我们正携手部署至少 1GW 的 Vera Rubin 系统，将可适配的协作式 AI 带给每一个人。 https://t.co/FiOL7SRbut https://t.co/WdUkeLl7sL
感谢 Jensen 和 @nvidia 团队的支持。我们正携手部署至少 1GW 的 Vera Rubin 系统，将可适配的协作式 AI 带给每一个人。 https://t.co/FiOL7SRbut https://t.co/WdUkeLl7sL
匹配字段摘要、正文
Cognition 公布 SWE-1.6 的早期预览，该模型与 SWE-1.5 基于同一预训练模型做后训练，推理速度同为 950 tok/s，当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%。团队称通过改进 RL 配方和扩展基础设施获得两个数量级算力，训练步骤比 3 个月前快 6 倍，并使用低至 NVFP4 的精度和 NVIDIA Multi-Node NVLink 加速。目前该模型向少量用户开放早期访问以收集反馈，团队同时指出大规模 RL 带来了过度思考、过多轮次等影响模型使用体验的行为。
匹配字段摘要、正文
SGLang-Diffusion 自 2025 年 11 月初发布以来，经两个月优化后（docker 镜像 lmsysorg/sglang:dev-pr-17247）比初版快 2.5 倍，在 NVIDIA GPU 上比其他方案最高快 5 倍。新增对 Flux.2、Qwen-Image-Edit-2511、Z-Image-Turbo、GLM-Image 等模型的 Day-0 支持，并集成 Cache-DiT、支持 LoRA 与 ComfyUI 自定义节点。
匹配字段摘要、正文
xAI 宣布完成 E 轮融资，规模达 200 亿美元，超过原定 150 亿美元的目标。投资方包括 Valor Equity Partners、Stepstone Group、Fidelity、卡塔尔投资局、MGX 和 Baron Capital Group 等，NVIDIA 与 Cisco Investments 作为战略投资方参与。xAI 称 Colossus I 和 II 超算年底达到超过 100 万 H100 GPU 等效算力，𝕏 与 Grok 应用月活约 6 亿，Grok 5 正在训练中。
匹配字段摘要、正文
METR 发布《前沿 AI 安全政策的共同要素》2025 年 12 月更新版，目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等 12 家公司发布前沿 AI 安全政策。报告梳理了各政策中的能力阈值、模型评估、模型权重安全与部署缓解措施，并新增对 EU AI Act 通用 AI 行为准则和加州 Senate Bill 53 相关指引的引用。
匹配字段摘要、正文
Prime Intellect 发布 INTELLECT-3，一个 106B 参数的 Mixture-of-Experts 模型，在 GLM-4.5-Air 基座上进行 SFT 和大规模 RL 训练，在数学、代码、科学和推理基准上取得同规模 SOTA。团队开源了模型权重、训练框架 prime-rl、verifiers 环境库及全部训练与评测环境，训练在 512 张 NVIDIA H200 GPU 上完成。模型可在 chat.primeintellect.ai 或通过 Inference API 使用。
匹配字段摘要、正文
Suno 宣布完成 2.5 亿美元 C 轮融资，投后估值 24.5 亿美元，由 Menlo Ventures 领投，NVentures（NVIDIA 旗下风投）、Hallwood Media、Lightspeed 和 Matrix 参投。Suno 称过去两年有近 1 亿人在其平台上创作音乐，资金将用于为专业用户提供更复杂的工具、优化普通创作者的体验，并建设创作者、听众与音乐社区共同参与的生态。
匹配字段摘要、正文
Cursor 宣布完成 2.3 亿美元 D 轮融资，投资方包括 Accel、Andreessen Horowitz、Coatue、Thrive、Nvidia 和 Google。Cursor 同时表示年化收入已超过 10 亿美元，并称其产出的代码量超过世界上任何其他智能体。这笔资金将用于加大研究投入，打造 Cursor 的下一个亮点功能。
匹配字段摘要
Modal 宣布 Volumes v2 进入公开 Beta，文件系统支持更高吞吐、改进随机访问性能，并可从数百个容器同时高并发写入，且不再限制文件数量。JavaScript/TypeScript 和 Go SDK 以 v0.5 进入 Beta，提供统一的 Client 对象并支持 Sandboxes、Functions、Images 和 Volumes。此外，Modal 还逆向解析了 Nvidia Flash Attention 4，该内核在 Blackwell GPU 上带来最高 20% 的 Transformer 注意力加速。
匹配字段摘要、正文
Ollama 上线新的模型调度系统，运行前会精确测量所需显存，取代此前版本的估算方式。官方称这能显著减少显存不足导致的崩溃、把更多显存分配给 GPU 以提升 token 生成与处理速度，并改善多卡及不同型号 GPU 混用时的调度表现，nvidia-smi 与 ollama ps 的显存读数也将一致。新引擎中的模型默认启用该功能，已支持 gpt-oss、llama4、gemma3、qwen3、mistral-small3.2 等，llama3.2、llama3.1、qwen3-coder 等将陆续迁移。
匹配字段摘要、正文
Mistral AI 完成 17 亿欧元 C 轮融资，投后估值达 117 亿欧元，将用于推进 AI 科研并解决战略行业的复杂技术挑战。此轮融资由 ASML 领投，双方计划开发 AI 产品与解决方案，并探索联合研究；DST Global、Andreessen Horowitz、NVIDIA 等现有投资者参投。
Mistral AI 完成 17 亿欧元 C 轮融资，投后估值达 117 亿欧元，将用于推进 AI 科研并解决战略行业的复杂技术挑战。此轮融资由 ASML 领投，双方计划开发 AI 产品与解决方案，并探索联合研究；DST Global、Andreessen Horowitz、NVIDIA 等现有投资者参投。 · Mistral AI has raised €1.7B in a Series C round at an €11.7B post-money valuation to advance AI research and address complex technological challenges in strategic industries. ASML led the round and plans to collaborate with Mistral AI on AI-enabled products, solutions, and potential joint research, with existing investors including DST Globa
匹配字段摘要、正文
AWS 正为 Anthropic 扩建多吉瓦级 AI 训练基础设施，三个接近完工的园区合计拥有逾 1.3GW IT 容量，最大园区将部署近百万颗 Trainium2。Trainium2 的多项性能落后于 NVIDIA 系统，但在单位内存带宽总拥有成本上具有优势，契合 Anthropic 侧重强化学习和训练后扩展的路线。Anthropic 还深度参与 Trainium 的系统设计，同时继续使用 Google TPU 和 NVIDIA GPU。
AWS 正为 Anthropic 扩建多吉瓦级 AI 训练基础设施，三个接近完工的园区合计拥有逾 1.3GW IT 容量，最大园区将部署近百万颗 Trainium2。Trainium2 的多项性能落后于 NVIDIA 系统，但在单位内存带宽总拥有成本上具有优势，契合 Anthropic 侧重强化学习和训练后扩展的路线。Anthropic 还深度参与 Trainium 的系统设计，同时继续使用 Google TPU 和 NVIDIA GPU。 · AWS is expanding multi-gigawatt AI training infrastructure for Anthropic, with three nearly completed campuses providing more than 1.3GW of IT capacity and the largest campus set to deploy nearly one million Trainium2 chips. Although Trainium2 trails NVIDIA systems on severa
匹配字段摘要、正文
微软 AI 发布首个高表现力语音生成模型 MAI-Voice-1，已在 Copilot Daily 和 Podcasts 中上线，并在 Copilot Labs 提供体验；该模型可在单张 GPU 上不到一秒生成一分钟音频。同时，微软 AI 首个端到端训练的基础模型 MAI-1-preview 已在 LMArena 开启公开测试，这是一个在约 15,000 块 NVIDIA H100 GPU 上完成预训练和后训练的 MoE 模型，未来数周将逐步用于 Copilot 的部分文本场景。
匹配字段摘要、正文
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 --cpu-offload-gb 16 ，遇到 flash infer 问题可暂用 VLLM ATTENTION BACKEND=XFORMERS 。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
匹配字段摘要、正文
vLLM 现已支持在 NVIDIA Blackwell、Hopper 以及 AMD MI300x、MI355x GPU 上运行 gpt-oss。其针对 MXFP4 MoE、高效注意力和混合 KV cache 集成了专用内核与内存管理方案，并通过 OpenAI Responses API、gpt-oss toolkit 或外部 MCP 工具服务器支持工具调用。
匹配字段摘要、正文
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。
Mistral AI 宣布推出 Mistral Compute，为客户提供涵盖 GPU、编排、API、产品和服务的私有一体化 AI 基础设施，形态从裸金属服务器到全托管 PaaS。该服务支持训练和部署各类 AI 工作负载，并将提供 Mistral AI 训练套件及最新 NVIDIA 参考架构，规划供应数万块 GPU。其强调数据主权、欧洲法规合规与使用脱碳能源，并继续通过合作伙伴提供本地部署和全球云服务。 · Mistral AI announced Mistral Compute, a private, integrated AI infrastructure offering spanning GPUs, orchestration, APIs, products, and services in configurations ranging from bare-metal servers to fully managed PaaS. It supports training and serving AI workloads and will offer Mistral AI’s t
匹配字段摘要、正文
Ollama 发布 Secure Minions，把本地 Ollama 模型与云端前沿模型的协作通信做成端到端加密，连云服务商也无法读取明文。该协议基于 NVIDIA Hopper H100 的机密计算模式，通过远程证明建立安全飞地，本地消息加密后送入 GPU 飞地解密处理，输出再加密返回。在约 8k token 长提示和 Qwen-32B 等大模型下，额外延迟低于 1%，并提供了 streamlit 交互演示和 Python 调用示例。
匹配字段摘要、正文