2026年4月24日,goose 发布内置本地推理能力,该能力基于 llama.cpp,集成于 goose 桌面应用中。用户在应用内选择 Local provider 后,可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行,无需 Ollama、Docker 或外部服务器,也无需 API key,可离线使用。官方说明指出,本地模型首次请求需 30–120 秒加载,上下文多为 4K–8K token,工具调用是最大短板,Gemma 4 表现较好,而模拟模式仅限 shell 命令;官方建议从小模型起步并使用 Code Mode。目前该事实尚无后续发展。
匹配字段摘要
2026年3月11日,SGLang 宣布在发布当天支持 NVIDIA Nemotron 3 Super,并给出安装与推理部署步骤。据 LMSYS Blog 同日发布的信息,Nemotron 3 Super 是 120B 参数的混合 MoE 模型,每次前向仅激活 12B 参数,支持 1M token 上下文,官方称其吞吐效率最高可达上一代 Nemotron Super(Llama Nemotron Super 1.5)的 5 倍,并支持 Multi-Token Prediction 与 Thinking Budget。模型权重已在 Hugging Face 提供 BF16、FP8 和 NVFP4 版本,可配合 SGLang 在 4xH200 等配置上部署。目前该事件尚无后续发展事实,状态停留在首日支持与部署说明。
匹配字段摘要
2026年2月24日,Liquid AI发布LFM2-24B-A2B早期检查点,这是其最大的LFM2模型,采用稀疏MoE架构,总参数24B、每token激活2.3B,设计上可放入32GB内存,权重已在Hugging Face开放。模型沿用LFM2-8B-A1B配方,层数从24增至40、每MoE块专家数从32增至64,保持top-4路由,前两层仍为稠密层。官方称在GPQA Diamond、MMLU-Pro、IFEval、IFBench、GSM8K和MATH-500等基准上,从350M到24B质量随规模呈对数线性提升;该模型已获llama.cpp、vLLM和SGLang首日支持,在单张H100 SXM5上用vLLM于1024并发请求下达到约26.8K tokens/s。3月5日,Liquid AI发布开源桌面智能体LocalCowork,完全在本地运行,模型、工具和数据都不离开设备,无需云端和API key。在Apple M4 Max、36GB统一内存笔记本上,模型以Q4_K_M GGUF经llama-server部署,占用约14.5GB内存,单次工具选择平均约385ms,在13个MCP服
2026年2月24日,Liquid AI发布LFM2-24B-A2B早期检查点,这是其最大的LFM2模型,采用稀疏MoE架构,总参数24B、每token激活2.3B,设计上可放入32GB内存,权重已在Hugging Face开放。模型沿用LFM2-8B-A1B配方,层数从24增至40、每MoE块专家数从32增至64,保持top-4路由,前两层仍为稠密层。官方称在GPQA Diamond、MMLU-Pro、IFEval、IFBench、GSM8K和MATH-500等基准上,从350M到24B质量随规模呈对数线性提升;该模型已获llama.cpp、vLLM和SGLang首日支持,在单张H100 SXM5上用vLLM于1024并发请求下达到约26.8K tokens/s。3月5日,Liquid AI发布开源桌面智能体LocalCowork,完全在本地运行,模型、工具和数据都不离开设备,无需云端和API key。在Apple M4 Max、36GB统一内存笔记本上,模型以Q4 K M GGUF经llama-server部署,占用约14.5GB内存,单次工具选择平均约385ms,在13个MCP服
匹配字段摘要
2025年12月3日,Mistral AI发布Mistral 3模型家族,包括3B、8B和14B的Ministral 3,以及采用稀疏MoE架构、含41B激活参数和675B总参数的Mistral Large 3,均以Apache 2.0许可证发布。Ministral 3提供base、instruct和reasoning版本,Mistral Large 3提供base与instruct版本并将推出reasoning版本;该系列现已登陆Mistral AI Studio、Amazon Bedrock、Azure Foundry、Hugging Face等平台。此前,Modal于2025年12月2日宣布为Mistral 3提供Day 0支持,开发者可在其无服务器基础设施上部署并自动扩缩容这些模型;Modal的GPU内存快照功能在Ministral 3 3B上把中位冷启动时间从约118秒降到约12秒,接近10倍提升。
匹配字段摘要
2025年10月23日,vLLM宣布支持部署NVIDIA Nemotron开放模型家族,使其可在数据中心及端侧硬件上运行智能体推理。其中,Nemotron Nano 2采用混合Transformer–Mamba架构,并提供可配置的thinking budget,开发者可据此调节精度、吞吐量和成本。相关模型权重及超过9万亿tokens的训练数据已在Hugging Face提供。
匹配字段摘要
2025年2月24日,vLLM宣布自v0.7.3起在AMD ROCm平台支持PTPC-FP8量化,Hugging Face模型无需预量化即可通过“--quantization ptpc_fp8”运行。MI300X测试显示,其吞吐量为逐张量FP8的1.01倍;Llama-3.1-8B-Instruct困惑度较BF16下降0.86%,Llama-3.1-70B-Instruct在GSM8K上取得87.3%的strict-match准确率。融合FP8逐行缩放GEMM操作相较朴素实现最高加速2.5倍。
2025年2月24日,vLLM宣布自v0.7.3起在AMD ROCm平台支持PTPC-FP8量化,Hugging Face模型无需预量化即可通过“--quantization ptpc fp8”运行。MI300X测试显示,其吞吐量为逐张量FP8的1.01倍;Llama-3.1-8B-Instruct困惑度较BF16下降0.86%,Llama-3.1-70B-Instruct在GSM8K上取得87.3%的strict-match准确率。融合FP8逐行缩放GEMM操作相较朴素实现最高加速2.5倍。
匹配字段摘要
PyTorch 基金会发布 PyTorch 2.15，所有使用 nccl 的进程组默认改用重写后的 NCCL 后端，并附带在集合通信挂起时转储现场信息的 flight recorder，可通过 TORCH_DIST_USE_NCCL2=0 或 nccl-legacy 回退。该版本还为 Apple Silicon 加入 float8_e4m3fn 与 _scaled_mm 支持，新的 grouped_mm 在 M3 Ultra 上让 MoE 解码吞吐提升 1.32–1.34 倍。默认 wheel 升级到 CUDA 13.2，同时提供 CUDA 13.4 wheel 并实验性支持 NVIDIA Rubin GPU，另新增 ROCm 10.0 wheel，且不再支持 Python 3.10 和 macOS 14。
.32–1.34 倍。若干线性代数求解器也经过了重写：512 x 512 矩阵的 QR 分解从约 7 秒降至 1.5 毫秒，三角求解现在也采用了分块实现。 （PRs 196071, 199687, 198611, 198495, 194933, 198721, 198725, 198732, 195944 以及 196900 作者：Irakli Salia，Hugging Face； 196922, 196241 以及 195369 作者：Nikita Shulga，Thinking Machines Lab； 193153 作者：Sunghyun Choi，韩国技术教育大学； 188473 作者：Shrivas Shankar，威斯康星大学麦迪逊分校） 核心特性 默认使用 CUDA 13.2 及 CUDA 13.4 Wheels 默认的 PyTorch wheel 升级到 CUDA 13.2（13.2.2 工具包），同时为 Linux x86 64、Linux aarch64 和 Windows 提供 CUDA 13.4 GA wheel。CUDA 13.4 wheel 新增了对 N
匹配字段正文
逐际动力开源的具身智能工程底座 FluxVLA Engine 于 10 月 22 日完成重要更新，技术报告显示其已把 OpenVLA、π0.5、DiT4DiT、GR00T 等异构策略纳入同一套数据、训练、评测与部署流程。在英伟达 AGX Orin 64GB 上，GR00T 推理频率从 3.2Hz 提升到 7.4Hz，π0.5 从 1.4Hz 提升到 4.4Hz；配合 RTC 和轨迹后处理三步机制衔接真机执行。在线 RL 方面，SmolVLA 在 LIBERO-10 上成功率从 66.2% 升至 76.2%，在 RoboTwin Clean 的 10 个任务上从 45.9% 升至 61.3%。
人本体之间，数据结构、动作语义、接口的差异客观存在，谁也抹不掉。FluxVLA 用标准接口和模块化设计，把这些差异集中到可检查、可适配的环节——组合出问题的时候，能让人知道具体出在哪里。在工程可靠性上，这种让问题暴露出来的姿态，比假装一切都兼容更有价值。作为一家具身智能主机厂，逐际动力在本体、算法研发和真机运行中踩过的坑、验证过的流程，本可以当作护城河，服务于自身产品，但他们选择将一线经验转化为开放的标准化工程底座，以企业级资源为外部开发者、算法团队和其他机器人平台提供了使用与协作的更多可能性。当然，这并不意味着开源项目已经自然形成了成熟的行业生态。真正的生态还需要外部团队持续使用、贡献适配、反馈问题，并在不同场景中验证其价值。但开放的接口与可复用的工具，至少为这样的协作提供了基础。FluxVLA Engine 代码仓库：https://github.com/FluxVLA/FluxVLA 技术报告：https://arxiv.org/abs/2609.17210Hugging Face：https://huggingface.co/limxdynamics/FluxVLAEngine
匹配字段正文
Replit 发布 Replit for Business，面向企业提供让智能体在受控边界内使用公司知识与系统的底座，目标是帮企业转型为自驱动公司。Replit 称 2026 年上半年其工程师代码产出接近三倍，评审时间、回滚和产品事故持平。客户 SMFL 表示原本需 6 人做 6 个月的开发流程由 1 人 1 周完成，全生命周期成本从约 30 亿日元降至 10 亿日元以下。
自己正在被取代。他们觉得自己正在获得晋升。 Replit 已经成为一家自驱动公司。 自驱动公司需要什么 如今，许多公司面临一个错误的选择。 把 AI 关在笼子里，它的影响范围有限，但用处也有限。或者把它放到野外，智能体可能失控：访问敏感数据、更改生产系统，或在没有正确权限或批准的情况下把信息发送到公司之外。一个错误可能演变成一场波及公司之外的安全事件，正如 Hugging Face 事件 所表明的那样。 一条路限制了能力。另一条路牺牲了控制。两者都无法让公司成为自驱动公司。 自驱动公司需要一个基础，让它既能拥抱 AI 的力量，又不必承担风险。 自驱动公司将 让智能体对每个人都可用。最接近问题的人应该能够把智能体投入工作，而不必成为工程师。如果只有技术团队能够参与，公司就不可能成为自驱动公司。 如今，大多数智能体都生活在某种混乱之中。它们运行在聊天窗口、个人账户和一次性脚本里，持有别人交给它们的任何凭据和数据。没有人决定过它们能接触什么，也没有人能看到它们做了什么。 随着智能体承担更多工作，它们需要一个 智能体栖息地： 一个让它们能够使用公司的知识和系统、与人和其他智能体协调，并在公司控
匹配字段正文
瑞典初创公司 Strawberry 结束测试，正式推出内置 AI 助手的浏览器，定位为企业版 ChatGPT 和 Claude 的替代方案。用户可在浏览器内为销售、招聘、客服和营销等任务搭建名为 companion 的智能体，产品不绑定特定模型，智能体运行在用户设备上。订阅价格为每月 20 美元、85 美元和 250 美元三档，另有免费版；公司此前完成 600 万美元融资，投资方包括 General Catalyst 和 EQT Ventures。
一家获得 General Catalyst 以及 Lovable 和 Hugging Face 创始人投资的瑞典初创公司，今天将其内置 AI 助手的 AI 浏览器从测试阶段正式推出，并将自身定位为面向企业的 ChatGPT 和 Claude 替代方案。 AI 助手领域竞争激烈，投资者纷纷押注 AI 应用层初创公司，而这些公司由大语言模型背后的 AI 巨头提供支持。 总部位于斯德哥尔摩的 Strawberry 拥有 12 人的团队，希望将 AI 从开发者这一关键用例扩展到企业中的非技术团队。其理念是，通过自动化日常业务任务，让员工腾出时间从事更高价值的工作。 Strawberry 成立于 2023 年，将 AI 直接嵌入浏览过程，使没有编程知识的员工也能为销售、招聘、客户支持和营销等特定业务任务构建智能体，Strawberry 将其称为“companion”（伙伴）。 Strawberry 不绑定特定 AI 模型，还为企业提供现成的智能体，用户可以要求这些智能体执行业务任务。这些虚拟智能体会学习企业其他部分的运作方式，智能体的工作成果会在整个企业内共享，因此正如 Strawberry 所
匹配字段正文
PyTorch 原生训练平台 TorchTitan 发布更新，新增 Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3 和 DeepSeek-V4 的完整训练栈支持，并引入强化学习组件 TitanRL。TitanRL 让预训练、后训练到 vLLM 推理共用同一份模型代码，支持异步 rollout 和长上下文、代码执行等智能体任务训练。性能方面，FlexShard 在 256 张 H100 上把 DeepSeekV3 的优化器耗时最多降低 79%，在 Llama3 405B 上把端到端训练步时最多降低 20%。
e remaining compatible with torch.compile. Each frontier model expands TorchTitan’s reusable toolkit, from multimodal data pipelines, sample packing, shared vision components, and Hugging Face checkpoint interoperability to composable 5D parallelism, declarative sharding, optimized Attention Gym and Helion kernels, and rigorous numerical validation. Developers can build on this foundation to bring newly released architectures to validated, scalable training faster, entirely in native PyTorch. Ti
匹配字段正文
Databricks 于 2026 年 10 月 21 日宣布 AI Runtime（AIR）正式可用，这是内置于 Databricks Lakehouse 的全托管无服务器 GPU 平台，用于在企业数据上训练和微调深度学习模型。Databricks 称已有数百家公司使用 AIR，平台经过超过 10 万 GPU 小时的训练运行，并支持通过一条 CLI 命令启动首个工作负载、用自然语言提示迁移 Kubernetes 或 SLURM 上的工作负载。Superhuman 的 Kostia Omelianchuk 表示，团队把训练从单节点 8 块 A100 扩展到多节点 16 块 H100，训练时间从约 7 天降到 48 小时。
isms that expose the host kernel, and that it supports PrivateLink and serverless egress controls, backed by its serverless security investments. The announcement cited the OpenAI Hugging Face incident as underscoring the risks of managing GPU infrastructure separately from governed enterprise data. AIR usage and costs appear in Databricks billing system tables alongside other Databricks workloads, with workload-level usage records showing which training runs consume GPU budget. Robert Macy III,
匹配字段正文
Nvidia 在 GTC Berlin 上把 Agent Knowledge Foundation 加入 Agent Toolkit，打包 Nemotron Retriever 模型、新的 Auto-Ontology 库、面向结构化数据的 Kumo 系列模型和 CUDA-X 数据处理库，数据仍留在原处并按企业既有权限管理。Nvidia 称 Nemotron Retriever 在开源 OpenSearch 环境测试中把搜索相关性提升 65%，SAP 微调的 reranker 运行速度接近三倍，ServiceNow 的 reranking 质量更好且延迟降低近 25%。Auto-Ontology 提供 REST API 和 MCP server 供智能体查询，Nvidia 表示不与 Snowflake 等数据平台竞争，而是与其合作。
公司可自动为企业数据创建语义层和本体。当时，一位Nvidia发言人告诉《Globes》，该团队的本体专业知识将帮助其构建“能够推动智能体AI在组织中落地的库和模型。” 从表格进行预测 Kumo 是 Nvidia 于 6 月收购的初创公司，The Information 对该交易的估值超过 4 亿美元，该公司为关系型数据构建基础模型。此后，Nvidia 已在 Hugging Face 上以开放权重形式发布了多个 Kumo 模型，包括 9 月的 Kumo Tabular。 El Hallak 表示，这些模型取代了数据团队过去“为每个分类、每个流失预测、每个情感分析”构建的逐任务流水线。 “本体的全部意义……在于在你创建这些知识图谱时带来协调统一，从而让各表之间保持[一致性]，然后你就可以用 Kumo 来驱动预测分析，”他说。 合作伙伴，而非竞争对手 “我并不想与，比如说，Snowflake 竞争。恰恰相反，我想与他们合作，”El Hallak 说。 Nvidia 自己的供应链团队通过 Palantir 的 Foundry 平台使用 Agent Knowledge Foundation，这建
匹配字段正文
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
cement, model, requirements). Persistent-agent services: LangChain’s Managed Deep Agents packages user-specific credentials, scoped memory, sandboxed execution and scheduled work; Hugging Face’s Agent Manager orchestrates persistent sessions across Claude Code, Codex and other harnesses (LangChain architecture, Agent Manager). Prompt caching: OpenAI added 12-hour API prompt caching, which can be mixed with the 30-minute default within a request. Longer retention carries extra cost but can benefi
匹配字段正文
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
cement, model, requirements). Persistent-agent services: LangChain’s Managed Deep Agents packages user-specific credentials, scoped memory, sandboxed execution and scheduled work; Hugging Face’s Agent Manager orchestrates persistent sessions across Claude Code, Codex and other harnesses (LangChain architecture, Agent Manager). Prompt caching: OpenAI added 12-hour API prompt caching, which can be mixed with the 30-minute default within a request. Longer retention carries extra cost but can benefi
匹配字段正文
Google 开源 TorchTPU，这是与 Meta 的 PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端，在 PyTorch Conference 2026 上宣布，现有代码通过 torch.device("tpu") 即可指向 TPU。Google 团队称 TorchTPU 取代 PyTorch/XLA，建议所有新工作负载使用；它基于 PrivateUse1 接口，提供 Strict、Debug、DeferAndFuse 三种 eager 模式，torch.compile(backend="tpu") 经 StableHLO 和 OpenXLA 编译。TorchTPU 在 PyPI 上为 v0.2.0，要求 Python 3.11+，Apache 2.0 许可，配套 vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 仓库；Google 自报 TorchTitan 在 Ironwood 上训练 Qwen 3 8B 达到 52% MFU，可扩展至 8,192 颗芯片。
rchTitan fine-tuning case, step time fell from 11.49s to 2.78s. DeferAndFuse alone gave 1.15x. Full torch.compile gave 3.80x. Model coverage: Google continuously tests about 5,000 Hugging Face models in eager and compiled modes. Fleet serving: Zenteiq grew daily output from 1.47B to 5.97B tokens per 1,000 TPU v6e chips. That gain came from llm-d routing on GKE, not TorchTPU alone. What integrations ship with TorchTPU? Hugging Face: Transformers v5 deploys to TPU with device map="tpu". Diffusers
匹配字段正文
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
nce stacks for any model, on any accelerator, in any cloud. Red Hat, IBM, and Google are the project’s lead maintainers and co-founded llm-d with CoreWeave and NVIDIA; AMD, Cisco, Hugging Face, Intel, Lambda, and Mistral AI have joined as contributors. The Cloud Native Computing Foundation (CNCF) hosts llm-d as a sandbox project. IBM describes the result as a vendor-neutral alternative for organizations that want what it calls frontier-class inference performance without depending entirely on on
匹配字段正文
IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。
LC are its lead maintainers. They co-founded the project last year with CoreWeave Inc. and Nvidia Corp. Other contributors include Advanced Micro Devices Inc., Cisco Systems Inc., Hugging Face Inc., Intel Corp. and Mistral AI SAS. The project offers organizations seeking more control over inference costs and infrastructure choices a way to reduce dependence on a single model provider, cloud or hardware platform. “At IBM Research, we are seeing that open large language models and llm-d can greatl
匹配字段正文
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
esource allocation across stages vLLM-Omni is flexible and easy to use with: Heterogeneous pipeline abstraction to manage complex model workflows Seamless integration with popular Hugging Face models Tensor, pipeline, data and expert parallelism support for distributed inference Streaming outputs OpenAI-compatible API server Full-duplex realtime serving with streaming audio input and output vLLM-Omni seamlessly supports most popular open-source models on HuggingFace, including: Omni-modality mod
匹配字段正文
Google 发布 LiteRT Tensor API，让开发者在 C++ 中逐算子构建计算图，同一份代码可经 LiteRT 跑在 CPU、GPU（ML Drift）和 NPU 上，或不经模型文件直接通过 XNNPACK 在 CPU 运行。官方用该 API 手写 SAM 2 并部署到浏览器 WebGPU，在 MacBook Pro 上比 Apple MLX 快约 1.5 倍，输出掩码与 Meta PyTorch 参考逐像素一致。该 API 还支持从 .safetensors 直接加载权重，并让预处理、推理与后处理通过共享加速器缓冲区串联，避免数据回传 CPU。
or-optimized LLM composite ops, such as scaled dot-product attention, RMSNorm, and KV-cache updates. Direct weight ingestion: load weights straight from model checkpoints, such as Hugging Face .safetensors files, without conversion scripts needed in between. Tensor-centric buffer interop: pre-processing, model partitions, and post-processing pass tensors to each other through shared accelerator buffers, so intermediate data stays on the accelerator with zero copies. Building blocks for AI agents
匹配字段正文