Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 版本
推荐理由Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,并给出 64GB 内存的运行门槛,方便本地部署者评估。
与“开源/仓库”标签匹配的公开内容。
推荐理由Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,并给出 64GB 内存的运行门槛,方便本地部署者评估。
推荐理由原文给出了量化压缩后的精度保留比例和内存门槛,读者可据此判断本地部署的可行性。
Google 和 Meta 在 PyTorch Conference North America 2026 上开源 TorchTPU,这是面向 Google TPU 的原生 PyTorch 后端,取代 2020 年的 PyTorch/XLA,模型迁移只需把 model.to("cuda") 改为 model.to("tpu")。官方同时开源 TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 四个仓库,Hugging Face 模型可直接运行,vLLM 与 SGLang 推理引擎原生支持。Google 公布的结果包括在 8192 块 TPU v7x 上运行 Qwen3 235B MoE 模型、达到 28% 模型 FLOPs 利用率,但公告也说明一行改动只能让模型跑起来,要达到峰值性能仍需调整形状、分片和算子。
推荐理由原文交代了 TorchTPU 的接入方式、已开源仓库和实测规模,也点明一行改动只是起点、调优仍需投入。
Microsoft Research 开源 Agensh,一个去掉中心编排器的多智能体框架,每个 worker 自行认领子任务、共享发现并合并代码到同一个 Git 仓库。团队在 ProgramBench 上把规模从 1 个智能体扩展到 1024 个,5 个最难任务的平均通过率从 19.31% 升到 28.78%(128 个智能体),pandoc 单任务在 GPT-6.1-sol 配 32 个智能体时达到 79.59%。代码以 MIT 协议开放,默认单节点 8 个 worker,1024 智能体运行使用 16 个节点、每节点 64 个智能体。
推荐理由原文给出无中心编排器的多智能体协作机制与 1 到 1024 个智能体的扩展数据,可观察规模扩大后涌现的分工行为。
推荐理由原文给出了总参数与激活参数,并列出智能体、编码等基准分数,便于判断这一开源模型的定位。
Modal 发布开源训练服务器 Spindle,可在自家 Modal workspace 中运行,兼容 Tinker API,按 GPU 时长而非 token 计费。部署只需执行 spindle deploy,支持全参数训练和多 LoRA,覆盖多种开源模型。官方给出的对比中,DAPO-math 单轮任务在 8 卡 H200 训练、8 卡 H200 推理、8 个客户端共享时价格为每百万输出 token 1.99 美元,较 Tinker 降低 80%。

推荐理由原文给出了与 Tinker 兼容的开源训练服务器及多组成本对比,读者可据此判断自托管训练在规模化实验中的取舍。
推荐理由Unsloth 给出 Flint 的 GGUF 量化版本与本地运行指南,读者可据此在 24GB 内存设备上实际部署这个 39.8B 参数的 MoE 模型。
推荐理由FastVideo 开源了 MiniMax FastH3 Omni 并附训练代码,读者可据此了解实时视频生成在 Blackwell 上的加速与量化方案。
SGLang 团队联合 Google 和 Meta 开源 SGLang-TorchTPU,这是一个基于 PyTorch 的原生后端,把 SGLang 的完整服务栈带到 Google Cloud TPU,并已在 Meta 大规模生产环境使用。首发支持 Muse Spark Open、GLM-5.3、Kimi K3、DeepSeek V4、Qwen3.8、Gemma 4 等模型,覆盖投机解码、KV cache 卸载、PD 分离和 FP8 KV cache 等功能。团队还用 TorchTitan 与 Miles 在单台 4 芯片 TPU v7x 上完成 Qwen3-4B 的 GRPO 训练,奖励曲线与 6 张 H200 基线在随机波动范围内一致。

推荐理由原文给出插件架构、支持模型与 CI 覆盖范围,可据此判断 TPU 上跑 SGLang 的部署边界。
推荐理由这条内容给出了开源实时渲染器的输入类型、帧率和单卡部署规格,便于读者判断其可用性。
推荐理由原文给出完整技术栈与 OSWorld-v2 对比数据,可看清代码执行范式如何改变计算机使用智能体的效率与门槛。
DeepSeek 开源了支撑 DeepSeek-V4.1-Flash 的自研推理框架 DeepInfer,并公布单集群每天处理 155 万亿 token、96% 输入缓存命中、首 token 延迟 400ms、生成速度 230 tokens/s 的生产数据。该框架基于 vLLM 定制,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出,目标平台为 NVIDIA SM100 与华为昇腾 950。DeepSeek 同时说明 KV cache 管理和负载均衡等组件尚未完全开源,vLLM 团队则称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
推荐理由原文把 DeepInfer 的生产数据、缓存分层和 vLLM 复现对比放在一起,便于判断这套推理栈的可迁移边界。
推荐理由Unsloth 给出了 1-bit 量化后的精度保留比例和体积变化,读者可据此判断本地部署门槛。
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库,这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架,支持文本、图像、音频、视频和动作数据处理,并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0,对齐 vLLM 0.30.0,新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输,以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理,并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。

推荐理由原文列出 vLLM-Omni 从 0.14.0 到 0.30.0 的版本节奏与模型覆盖范围,可据此判断全模态推理服务的工程成熟度。
清华大学THUNLP实验室联合面壁智能、OpenBMB等团队开源智能体操作系统PilotDeck 2.0,以WorkSpace工作舱隔离不同任务的记忆与检索空间,并把记忆做成可查看、可修改、可删除的白盒链路。在Workbuddy Bench上,PilotDeck使用Qwen3.6-35B-A3B得分79.1,高于Claude Code的77.3;其Smart Routing让强模型负责规划、轻量模型执行杂活,在7个复杂任务测试中用主Sonnet 4.6加子MiniMax-M2.7得分70.6、成本$3.15,而单体Sonnet 4.6得分69.1、成本$18.36。系统还提供Dream模式回滚、Always-on常驻执行,原生支持MCP,采用AGPL-3.0许可证,支持macOS、Linux、Windows及Docker部署。
推荐理由原文给出白盒记忆、常驻执行和智能路由的具体机制与成本对比,可据此判断多智能体任务编排的省钱路径。
Perplexity 开源了支撑 Perplexity Computer 全部任务的沙箱平台 SPACE,代码以 Apache 2.0 协议发布在 GitHub,每个智能体任务运行在独立的 Firecracker microVM 中,凭证与出站流量在 VM 之外管控。该平台为 Rust 代码库,版本 0.8.0,需 Linux x86_64 主机并支持 KVM,生产环境中创建延迟中位数从 185 ms 降至 60 ms,90 分位从 447 ms 降至 89 ms。红队测试中 108 次 VM 逃逸尝试均未触及宿主机密钥,但修复前 54 次部分联网运行中有 11 次绕过出站策略,涉及 Claude Opus 5.0、GPT-5.6 Sol、GPT-5.6 Cyber 和 Kimi K3,修复后复测未出现已验证的绕过。
推荐理由原文给出生产环境延迟数据与红队测试结果,可据此判断自托管智能体沙箱的隔离边界。
Hugging Face 发布 Beam,一个 501B 参数的稀疏 MoE 开源模型,面向 1M 上下文的长文本推理与智能体任务,每个 token 仅激活约 23B 参数。模型采用 52 层混合注意力,43 层为 512 token 滑动窗口、9 层为全局注意力,KV cache 每 token 增长 36 KiB,约为全注意力方案的六分之一。官方提供 BF16、FP8 和 NVFP4 三种 checkpoint,NVFP4 可将权重从约 1 TB 压缩到约 280 GB,并已获 transformers、vLLM 和 SGLang 的 day-0 支持。
推荐理由原文给出 501B 稀疏 MoE 模型的架构取舍与多精度部署方案,可据此判断自托管长上下文推理的硬件门槛。
推荐理由官方给出 Step Code 在长任务中跟踪目标与校验结果的能力,可据此判断开源 agent harness 的迭代节奏。
推荐理由开源权重模型驱动的机器人智能体框架,给出了基准成绩、成本与真机初步结果,可对照前沿模型智能体方案。
Physical Intelligence 团队开源 openpi 仓库,包含基于流式扩散的视觉语言动作模型 π₀ 和基于 FAST 动作分词器的自回归 VLA 模型 π₀-FAST,均提供在 10k+ 小时机器人数据上预训练的 base checkpoint。仓库同时给出 DROID、ALOHA 等平台的微调与推理示例,推理需 8GB 以上显存,LoRA 微调需 22.5GB 以上,全量微调需 70GB 以上,目前仅测试过 Ubuntu 22.04,训练脚本尚不支持多节点训练。
推荐理由原文给出两类 VLA 模型的开源权重、显存门槛与微调流程,读者可据此判断能否在自己的机器人平台上复现。