2026年10月28日,Survival LLM发布一款完全在本地运行的免费开源AI助手与应急资料库,断网后仍可回答食物保存、烧伤处理、净水等问题,并列出答案所依据的文章。该应用启动时检测电脑内存并下载匹配模型,从16–31 GB内存设备上的IBM Granite 4.2 8B到128 GB以上Mac上的NVIDIA Nemotron 3.5 Super;资料库约9 GB,含约93万篇Wikipedia文章、FEMA与CDC指南、军事医学手册和iFixit维修指南。报道称,在22道停电与急救题盲测中,Nemotron 3.5 Super与Qwen3.8 27B各答对21题,Granite 4.2 8B答对14题。目前尚无后续发展。
匹配字段摘要
2026年10月23日,微星发布EdgeMesa N AI+迷你主机,机身体积为1.3升。该产品搭载NVIDIA RTX Spark N1X超级芯片和最高128GB LPDDR5X统一内存,把本地运行120B参数大模型作为首要设计目标。该芯片集成20核Grace CPU与6144 CUDA核心的Blackwell GPU,统一内存池让模型权重和KV缓存共享同一物理内存。报道援引同平台DGX Spark实测称,120B级模型生成速度约15至59 tokens/s,受273GB/s内存带宽限制。官方尚未公布售价,报道估计可能落在3至4万元人民币区间。目前尚无后续发展。
匹配字段摘要
2026年10月19日,MiniMax发布M3.1 Flash模型。官方称其成本为M3的三分之一、速度为3倍,API统一价格为每1M输入/输出token 0.15/0.60美元,缓存读取为每1M token 0.015美元;此前以Space Bunny之名在OpenRouter匿名测试,连续10天位居模型榜第一。10月20日,该模型在Ollama、GMI Cloud、Cline、OpenClaw等平台上线,其中Cline免费开放;第三方实测将其与Claude Opus 5.5对比,两者均一次跑通Three.js任务。10月21日,Parallel Web Systems搜索能力效率榜显示其位列第一。10月22日,MiniMax宣布Inferact成为其API发布合作伙伴,模型上线Runware。10月23日,MiniMax称SGLang与Miles在发布首日提供支持。
匹配字段摘要
Cohere 宣布 Model Vault 的机密计算功能进入公开测试。该功能基于 Microsoft Azure 上的 NVIDIA H100 GPU 机密计算能力,为托管模型推理提供硬件级隔离。据 Cohere 产品与研究博客介绍,加密范围从静态存储和传输中的数据扩展到推理运行中的提示词、文档、响应和模型执行;应用负载端到端加密后,只能在通过远程证明的机密环境中解密。客户可在发送敏感数据前用密码学方式核验硬件、固件和软件配置,不符合安全策略时客户端会拒绝发送请求。现有 Model Vault API 和请求格式保持不变。目前该功能处于公测阶段。
匹配字段摘要
Cohere于2026年10月22日在Model Vault上推出机密计算功能,目前处于公开测试阶段。该功能运行在Microsoft Azure的NVIDIA GPU上,结合机密CPU与GPU执行、OHTTP端到端加密请求内容和远程证明,让客户在释放敏感数据前先验证目标环境。Cohere还计划开源机密推理栈,并推进对NVIDIA Blackwell及B200 GPU的支持。
匹配字段摘要
Hao AI Lab宣布,FastVideo FastH3 Omni可在NVIDIA DGX Spark、RTX GPU和Apple MLX上本地运行。该实验室给出的运行数据包括:用一张照片和一段提示词生成5秒480p视频约需3分钟,在两张Spark上约需2分钟;FastH3 T2AV在单张Spark上耗时52.6秒,在两张Spark上为30.7秒。演示视频中的片段均由DGX Spark以8步NVFP4 checkpoint生成。该实验室同时提供了博客、Cookbook和Hugging Face链接。目前尚无后续发展事实。
匹配字段摘要
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段摘要
2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、
匹配字段摘要
2026年10月21日,Eagle Corp发布开源灵活草稿模型EAGLE-4,用于加速大语言模型推理。据Testing Catalog报道,该模型的核心是同一个drafter会根据batch size、硬件和工作负载调整投机解码策略,并保持目标模型的输出分布;实测中Qwen3.8-27B搭配EAGLE-4 draft在4张NVIDIA B300上达到961.6 tokens/s。同日,Rohan Paul的报道称,EAGLE-4在27B模型单请求下实现863.8 tokens/s解码速度,为DFlash 2的1.28倍、DSpark的1.40倍,测试环境约快3倍且输出结果一致;该报道还提到其保留草稿-验证循环,改进集中在草稿侧,采用自适应草稿结构和更廉价的草稿LM head。
匹配字段摘要
Hao AI Lab 的 FastVideo 开源了 MiniMax FastH3 Omni,并一并放出训练代码。官方称,在 NVIDIA Blackwell 上实时生成速度提升 12 倍,Spark 与 RTX 支持 NVFP4/FP8,ComfyUI 首日支持。该项目与 NVIDIA AI、Nuva Lab 和 Reactor 合作完成。目前尚无后续发展事实。
匹配字段摘要
fal 宣布与 Fireworks AI 合作,提前上线 EAGLE-4 推理加速方案,并附技术博客说明其原理及对创作工作流的意义。被引用的 Eagle 原帖称,EAGLE-4 是其最快的版本,在 Qwen3.8-27B 上使用 TokenSpeed 达到 961.6 tokens/s,测试条件为 BF16、4× NVIDIA B300、TP4、单请求、T=0,并给出 GitHub 地址。目前该消息来自 fal 于 2026 年 10 月 21 日发布的单一来源,尚无其他独立来源或后续进展。
匹配字段摘要
vLLM-Omni团队发布了vLLM-Omni技术报告。相关证据显示,蚂蚁inclusionAI在GitHub发布vLLM-Omni仓库,该框架在vLLM基础上扩展全模态模型推理与服务,支持文本、图像、音频、视频和动作数据处理,并支持DiT等非自回归架构。README显示其已迭代至0.30.0,对齐vLLM 0.30.0,新增MiniCPM-o 4.5与AURA的全双工会话服务、Mooncake AR-to-DiT跨阶段KV与多模态传输,以及在NVIDIA Blackwell和昇腾950上的MiniMax H3 Turbo实时推理。框架提供OpenAI兼容API服务、流式输出和分布式并行推理,并列出Qwen3-Omni、MiniMax H3、Wan2.2、π0.5等已支持模型。目前尚无后续发展事实。
匹配字段摘要
2026年10月15日,Artificial Analysis 公布 NVIDIA RTX Spark N1X 笔记本的首份 AA-AgentPerf-Local 结果。测试使用 128 GB 统一内存、6144 核 Blackwell GPU 的原型 15 英寸 Surface Laptop Ultra,售价 5899.99 美元,通过 llama.cpp 的 Windows 原生构建在 GPU 上运行模型。该机在 Qwen3.8 27B 上完成本地智能体负载耗时 18.7 分钟,接近 DGX Spark 的 17.3 分钟,比 MacBook Pro(M5 Pro)快 2.0 倍、比 AMD Ryzen AI Halo 快 1.8 倍;在 Qwen3.6 35B A3B 上耗时 7.6 分钟,在 124B 的 Ling 3.0 Flash 上耗时 15.3 分钟,后者无法装入 MacBook Pro 或 RTX 5090 的内存。10月16日,NVIDIA 宣布 RTX Spark 笔记本全球开售,由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出,起
匹配字段摘要
LMSYS于2026年10月16日宣布,SGLang已原生支持Reflection的Beam模型,并用于支撑其生产API。Beam是501B参数、每token激活23B的MoE模型,原生1M token上下文窗口,计划以Apache 2.0发布;SGLang为其提供BF16、NVFP4和动态FP8支持、DFlash2投机解码与混合注意力前缀缓存。在4张NVIDIA GB300 GPU上以NVFP4运行OpenHands多轮智能体编码回放,并发32时达到每GPU 127.6K tokens/sec、每用户185.87 tokens/sec(p50)。同日,Reflection发布Beam模型权重,Ollama作为day-zero合作方限时免费提供并采用零数据保留;Beam总参数量约5010亿、每token激活约230亿,上下文窗口100万token,以Apache 2.0许可发布。后续AWS方面信息称,Beam权重已在Hugging Face发布,提供BF16、FP8和NVFP4三种checkpoint,并已在Amazon SageMaker JumpStart上线,也可通过SageMa
匹配字段摘要
2026年10月17日,Unsloth宣布适配NVIDIA RTX Spark,可在笔记本上本地运行和训练120B+参数模型。据其发布的信息,借助针对ARM平台CUDA优化的kernel和二进制文件,训练扩散模型、决策模型和多模态模型的速度提升约2.7倍,全部在本地完成,统一内存最高128GB。目前该消息仅有Unsloth一方发布,尚无其他来源的独立证据,也没有后续发展事实。
匹配字段摘要
2026年10月13日,Workday 在拉斯维加斯 Workday Rising 大会上宣布,其 Trusted Agent Platform 实现无头化(headless),向外部 AI 智能体开放 HR 与财务数据。据 The New Stack 报道,MCP 服务器、对实时 Workday 数据的 SQL 访问以及智能体共享运行时正式可用,客户可在 Anthropic、Google、Meta、Mistral、Nvidia 和 OpenAI 的模型上运行自有智能体。其 MCP 服务器 Agent-Ready Tools 随 Workday Extend AI 提供,目前包含 275 个读取工具和 54 个写入或删除工具;用户以本人 Workday 凭证登录,智能体无法访问其账号权限之外的数据。Workday 称,过去四个月客户已用 Developer Agent 和 Agent-Ready Tools 构建了 500 多个智能体和 6000 多个应用。目前尚无进一步有证据的发展。
匹配字段摘要
World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。目前尚无后续发展事实。
匹配字段摘要
Moonshot AI(月之暗面)开源了 Kimi Vendor Verifier(KVV)项目,用于帮助开源模型用户校验推理实现的准确性。该项目随 Kimi K2.6 模型发布,包含六项基准测试,覆盖 API 参数约束预校验、OCRBench、MMMU Pro、AIME2025、K2VV ToolCall 与 SWE-Bench,其中 SWE-Bench 因依赖沙箱未开源。官方称已在 Two NVIDIA H20 8-GPU 服务器上完成全流程验证,顺序执行约需 15 小时,并已针对流式推理、自动重试和断点续跑优化脚本。目前尚无后续发展事实。
匹配字段摘要
2026年10月8日,微软与英伟达在旧金山Windows AI活动上宣布合作,为Windows PC的AI智能体协同设计软硬件,推进Windows下一阶段发展。微软宣布OS级智能体运行基础设施MXC正式可用;英伟达发布RTX Spark,把完整AI栈带入Windows笔记本和紧凑台式机,最高128GB统一内存、1 petaflop FP4 AI算力,可本地运行Qwen 3.8 Flash Next等模型。笔记本当日开启预售、10月16日上市,台式机11月开售。活动还预览了基于GB300 Grace Blackwell Ultra的NVIDIA DGX Station for Windows,提供748GB一致内存和最高20 petaFLOPS FP4算力。10月9日,Unsloth宣布与Windows合作,将mxc的OS级沙箱能力接入Unsloth用于沙箱化代码执行,额外开销不到100ms,微软同时开源了mxc仓库。
匹配字段摘要
Microsoft与NVIDIA 合作 Windows下一阶段发展
English translation is being prepared.
匹配字段摘要