Survival LLM 发布一款完全在本地运行的免费开源 AI 助手与应急资料库，断网后仍可回答食物保存、烧伤处理、净水等问题，并列出答案所依据的文章。应用启动时会检测电脑内存并下载匹配的模型，从 16–31 GB 内存设备上的 IBM Granite 4.2 8B 到 128 GB 以上 Mac 上的 NVIDIA Nemotron 3.5 Super；资料库约 9 GB，含约 93 万篇 Wikipedia 文章、FEMA 与 CDC 指南、军事医学手册和 iFixit 维修指南。作者在 22 道停电与急救题上的盲测中，Nemotron 3.5 Super 与 Qwen3.8 27B 各答对 21 题，Granite 4.2 8B 答对 14 题。
匹配字段摘要
微星发布EdgeMesa N AI+迷你主机，体积1.3升，搭载NVIDIA RTX Spark N1X超级芯片和最高128GB LPDDR5X统一内存，把本地运行120B参数大模型作为首要设计目标。该芯片集成20核Grace CPU与6144 CUDA核心的Blackwell GPU，统一内存池让模型权重和KV缓存共享同一物理内存。参考同平台DGX Spark实测，120B级模型生成速度约15至59 tokens/s，受273GB/s内存带宽限制；官方尚未公布售价，文章估计可能落在3至4万元人民币区间。
匹配字段摘要、正文
MiniMax 宣布 M3.1 Flash 从推理到 RL 均已就绪，SGLang 与 Miles 在发布首日即提供支持。据 SGLang 介绍，该模型在 SGLang 上 bs1 decode 超过 1K tok/s，支持 NVIDIA Blackwell 与 Hopper（GB300/B300/B200/H200）以及 AMD Instinct MI350X 和 MI355X，并支持 MiniMax 的 DSpark 草稿模型与 HiCache、多模态输入。
匹配字段摘要、正文
Cohere 宣布 Model Vault 的机密计算功能进入公开测试，基于 Microsoft Azure 上的 NVIDIA H100 GPU 机密计算能力，为托管模型推理提供硬件级隔离。该功能把加密范围从静态存储和传输中的数据扩展到推理运行中的提示词、文档、响应和模型执行，应用负载端到端加密后只能在通过远程证明的机密环境中解密。客户可在发送敏感数据前用密码学方式核验硬件、固件和软件配置，不符合安全策略时客户端会拒绝发送请求，现有 Model Vault API 和请求格式保持不变。
匹配字段摘要、正文
Cohere 在 Model Vault 上推出机密计算功能，目前处于公开测试阶段，运行在 Microsoft Azure 的 NVIDIA GPU 上。该功能结合机密 CPU 与 GPU 执行、OHTTP 端到端加密请求内容和远程证明，让客户在释放敏感数据前先验证目标环境。Cohere 计划开源机密推理栈，并推进对 NVIDIA Blackwell 及 B200 GPU 的支持。
匹配字段摘要、正文
Hao AI Lab 宣布 FastVideo FastH3 Omni 可在 NVIDIA DGX Spark、RTX GPU 和 Apple MLX 上本地运行。用一张照片和一段提示词生成 5 秒 480p 视频约需 3 分钟，在两张 Spark 上约 2 分钟；FastH3 T2AV 在单张 Spark 上耗时 52.6 秒，两张 Spark 上为 30.7 秒。演示视频中的片段均由 DGX Spark 以 8 步 NVFP4 checkpoint 生成，并提供了博客、Cookbook 和 Hugging Face 链接。
匹配字段摘要、正文
DeepSeek 在 GitHub 开源内部推理框架 Deepinfer，目标是降低自行部署模型时的算力与能耗成本。该框架在推理阶段把负载更均匀地分配到可用处理器核心，用投机解码加快响应，并在输出前改善结果结构；目前仅支持 DeepSeek-V4.1-Flash，后续将开放更多自家模型。硬件上需要 SM100 架构的 Nvidia GPU 或华为 Ascend 950 NPU，因此并非面向个人用户。
匹配字段摘要、正文
DeepSeek 开源了内部推理框架 DeepInfer，称其支撑 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理。该框架同时支持 Nvidia 和华为昇腾硬件，具备分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。DeepSeek 还一并发布了 deepseek-recipe，一个与官方 API 完全对齐的生产级 tokenization 组件。
匹配字段摘要、正文
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer，并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源，vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段摘要、正文
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、首 token 平均 400ms、生成 230 tokens/s 等生产数据。该框架基于 vLLM 定制并采用 Apache 2.0 许可，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 称 KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开源，vLLM 团队则报告在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
匹配字段摘要、正文
Eagle Corp 发布开源灵活 drafter EAGLE-4，用于加速 LLM 推理。其核心是同一个 drafter 会根据 batch size、硬件和工作负载调整投机解码策略，并保持目标模型的输出分布。实测中 Qwen3.8-27B 搭配 EAGLE-4 draft 在 4 张 NVIDIA B300 上达到 961.6 tokens/s。
匹配字段摘要、正文
Hao AI Lab 的 FastVideo 开源了 MiniMax FastH3 Omni，并一并放出训练代码。官方称在 NVIDIA Blackwell 上实时生成速度提升 12 倍，Spark 与 RTX 支持 NVFP4/FP8，ComfyUI 首日支持。该项目与 NVIDIA AI、Nuva Lab 和 Reactor 合作完成。
匹配字段摘要、正文
fal 宣布与 Fireworks AI 合作提前上线 EAGLE-4，并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称 EAGLE-4 是其最快的版本，在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s（BF16、4× NVIDIA B300、TP4、单请求、T=0），并给出 GitHub 地址。
匹配字段摘要
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段摘要、正文
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段摘要、正文
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
匹配字段摘要、正文
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
匹配字段摘要、正文
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，本次聚焦离线推理，主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎，补齐调度、并行与投机解码等系统层，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
匹配字段摘要、正文
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
匹配字段摘要、正文
联想 YOGA Pro 15 RTX Spark 超级 AIPC 于 10 月 16 日全渠道开售，官方售价 29999 元起，搭载 NVIDIA RTX Spark N1X 超级芯片，集成 6144-core Blackwell RTX GPU 与 20-core Grace CPU，可释放 1 Petaflop FP4 本地 AI 算力。该机配备至高 128GB 统一内存与 2TB 存储，能跑通超千亿参数本地大模型，并搭载联想天禧 AI 个人超级智能体，其超能模式支持断网可用、零 Token 成本，本地模式功能将通过后续 OTA 升级实现。
匹配字段摘要、正文