GitHub 开源项目 Colibrì 用纯 C 实现分层推理，把 MoE 模型不常用的路由专家放在 NVMe SSD 上按需读取，让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB 左右 RAM 的机器上运行，GPU 不是必需品，项目已获 32k Star。作者最初的开发机只有 12 核 CPU 加 25GB RAM，冷缓存时速度约 0.05～0.1 token/s，靠 LRU 缓存、专家使用频次统计和提前一层预测专家（可预测性 71.6%）把速度提上来，128GB RAM 纯 CPU 桌面机约 1.8 token/s，6 张 RTX 5090 可达 5.8～6.8 token/s。目前它已覆盖 9 个模型家族，从 GLM-5.2/5.3、DeepSeek V4 Flash、Qwen 到 975B 的 Inkling 和 2.8T 参数的 Kimi K3，后者约需 1.6TB 存储、RAM 32GB 起步。
匹配字段标题、摘要、正文
斯坦福大学 Jacky Kwok 等人发布新方式 Contrastive Language Model（CLM）及基于 Qwen3-8B 的 CLM-v0.1-8B，用于让 AI 智能体从给定候选中快速选择下一步操作或工具。在计算机操作、游戏和工具调用任务中，CLM-8B 性能与 TypeSafe AI 的判断模型 Jev 相当，零样本评测下推理速度最高提升 9 倍，候选多或动作可复用时提速最明显。代码在 GitHub、模型在 Hugging Face 以 Apache 2.0 许可公开，团队还在训练多模态版 CLM-35B，计划 10 月上旬发布。
匹配字段标题、摘要
Debian 项目在 Scaleway 赞助下推出 Debian Inference Portal，持有 Salsa 账号的 DD 和 DM 可免费通过 API 调用 DeepSeek V4 Flash 与 GLM-5.2 两个模型。默认预算为 DD 每周 25 美元、DM 每周 10 美元，支持任何兼容 OpenAI API 格式的编辑器或工具接入，用途限于打包、缺陷分类修复、工具开发与文档撰写等贡献工作。
匹配字段标题
Modal 与卡内基梅隆大学 Full Stack Data Lab 合作推出面向 AI-SQL 的查询感知推理层 Quail，在单个 H100 GPU 上处理速度超过 10 亿 tokens/分钟，比同硬件的 vLLM 基线快 10 倍以上，Modal 上成本低于每 10 亿 tokens 6 美分。在 AI-SQL 查询基准上，Quail 几何平均比 vLLM 快 1.84 倍。其核心思路是利用结构化查询预先编排请求，改进 KV 缓存与淘汰，并降低小模型大量小请求的主机开销。
匹配字段标题、摘要
微软研究院发布首个针对机器人工作负载的系统性研究，聚焦移动机器人操作任务，评估语义建图与规划、导航、操作三类模型在机载、边缘和云端算力配置下的表现。结果显示，卸载推理可提升响应时间与准确率并延长续航：在内存足够的 GPU 上，建图与规划相比 A100 最多慢 383%，轻量 GPU 上导航的障碍物及时检测下降 30%，VLA 模型准确率下降 50%；用 Raspberry Pi-5 替代机载 GPU 后，Jetson Thor 等较大机载 GPU 最多消耗 160% 的电池。微软同时在 Physical AI Toolchain 中加入物理 AI 推理卸载能力，提供 SO-101 与 UR10e 的示例项目，并演示将 Rho 模型推理卸载到 Jetson Thor 以控制 Mobile Aloha 机器人。
匹配字段标题、摘要
NVIDIA 发布 SWE-Serve，用 53 个源自 83 个已合并 SGLang PR 的推理工程任务评测 AI 编码智能体，覆盖模型启用、解码、缓存、调度、服务 API 和分布式执行六类。在 19 个启动真实服务器的任务中，同一批补丁完整验证通过率为 45.9%，去掉实时服务检查后升至 69.4%，约三分之一补丁在真实服务路径上失败。11 个模型在 mini-swe-agent 闭卷条件下平均 pass@1 为 34.6% 至 75.5%，Claude Opus 5 与 GPT-5.6 Sol 最高约 75%。
匹配字段标题、摘要
Modal 官方工程博客复盘了为编码智能体提供推理服务的优化过程，以 Moonshot AI 的 Kimi K2.6 为例，单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。他们用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型，基于 SGLang 打补丁并回馈上游，通过 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存，再配合负载感知的有状态路由，把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。
匹配字段标题、摘要
NVIDIA 机密计算（CC）通过内存加密的机密虚拟机、机密 GPU 和加密 NVLink，让生产级 AI 推理运行在可信硬件上。在 8 块 NVIDIA B200 GPU 上运行 DeepSeek-R1 的受控对比中，CC 开启后保留了基线 96.1%–98.2% 的输出 token 吞吐，单 token 延迟（TPOT）仅增加 1.2%–4.3%（并发 1–16）。TensorRT LLM 为此改用可分页内存、异步 token 回读，并以 GPU %globaltimer 替代 CUDA events 做内核自动调优。
匹配字段标题、摘要
OpenRouter 上线 Batch API，把请求打包提交后由服务商在 24 小时窗口内自行安排完成时间，价格通常为正常每 token 单价的 50%，部分模型更低，目前支持 70 多个模型。两周 beta 期间完成的 23 万多个批次中，中位完成时间为 7 分钟，90% 在一小时内完成；太平洋时间 5 点至中午提交的批次明显更慢。该接口为异步设计，支持 chat completions、responses、messages 和 embeddings 等请求形态，输入与结果保留 30 天。
匹配字段标题
NVIDIA Dynamo-Triton 26.07 启用 TensorRT 后端的多设备推理能力，一个 KIND_MODEL 实例可占用多块 GPU 并通过单个 gRPC 端点对外提供分布式推理服务，TensorRT 11.0 起完整支持该能力。以 Cosmos 3 Nano 视频生成为例，Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU，端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒，transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验，但该基准未测量并发吞吐、单视频成本或 TCO。
匹配字段标题、摘要
SemiAnalysis 梳理了 MoE 模型映射到推理硬件时的计算与数据搬运问题，指出 MoE 改变了服务结构与推理经济性：每个 token 激活的张量不同，对本地带宽、网络链路和内存搬运的要求也不同。文章把推理流程拆为 Prefill、Midfill、Decode attention、Decode experts 四个阶段，并讨论聚合与分离部署的取舍。
匹配字段标题、摘要
9月19日，2026年清华人工智能青年大会开幕，会上发布由全球青年投票评选的《2026青年最关注的改变未来五大AI技术榜单》，多模态推理与生成大模型、具身智能基础模型、长程任务智能体与多智能体协同、递归自我改进、可交互世界模型五项技术上榜。大会同期，五位青年代表发起《全球青年人工智能创新发展合作倡议》，提出关注AI透明度、公平性与可信赖性，反对人为设置技术壁垒。
匹配字段标题、摘要、正文
NVIDIA 发布 AIPerf，作为 GenAI-Perf 的指定继任者并完全重写，采用多进程架构避免客户端在高并发 LLM 基准测试中成为瓶颈。该工具支持超过 15 种端点类型，以及 ShareGPT 和来自 Mooncake、Baseten、WEKA AgentX 的 trace replay 格式，并提供 constant、Poisson、gamma 等可配置到达模式。AIPerf 报告 TTFT、ITL、请求延迟和输出 token 吞吐量等核心指标，附带百分位细分，并在可用时通过 DCGM 或 pynvml 提供 GPU 遥测。
匹配字段标题
Anthropic 在最新 Science Blog 中介绍，Claude 为 30 多个生物领域开源模型优化推理，平均提速 4 倍，部分工作是为 GPU 编写定制软件。这些模型原本用于分子系统结构建模、类药分子设计和基因突变效应预测，但运行成本高，限制了实际影响。Anthropic 表示将开源全部优化代码。
匹配字段标题、摘要
唐杰（jietang）复盘了 GLM-5.3-Flash 从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程，端到端吞吐提升 3.2 倍，其中大量工作由基于 GLM-5.3 的 Infra Agent 完成。他指出智能体卡住的原因往往不是写不出代码，而是不知道性能为何变差，因此团队构建了可被直接调用的分层验证接口，即密集反馈，包括正确性、系统行为和性能三类信号。智能体据此发现并修复了 KDA 上下文并行路径的 TF32 精度漂移（修复已合入 Flash Linear Attention PR #1180）、KV 传输未与 DeepEP dispatch 重叠导致的开销（从超过 30% 降至 1% 以下），以及 decode kernel 重复计算归一化的问题（提速 1.71 倍）。他强调人类仍负责定义目标、搭建反馈环境和审查高风险改动，但工程师的角色正从解决问题转向设计反馈。
匹配字段标题
LiveKit 推出 Startup Program，为符合条件的早期创业公司提供约 23,000 美元总价值：7 家合作方的 7,000 美元推理积分、10,000 美元 LiveKit Cloud 积分，以及一年免费的 Cloud Scale 计划（原价 500 美元/月）。推理积分通过 LiveKit Inference 使用，覆盖 LiveKit Gemma 4 31B、Deepgram、Inworld、Rime、Fish Audio、AssemblyAI 和 Gradium，无需单独创建账号或管理 API key。申请门槛为员工少于 50 人、融资低于 500 万美元，且将语音、视频或物理 AI 作为产品核心。
匹配字段标题、摘要
LMSYS 在 SGLang 中实现了 NVFP4 KV cache，将 K/V 以 4 位 E2M1 加两级缩放存储，每 16 个值占 8 字节数据加 1 字节块缩放，约为 FP8 存储量的 56%。该实现覆盖初始 prefill、chunked prefill/extend 和 decode 三条注意力路径，decode 阶段在内核中直接读取 NVFP4 并即时反量化为 FP8。团队在 Qwen3.5-397B-A17B 和 Qwen3.8-27B 上用 GSM8K、GPQA-Diamond、AIME 2025 和 SWE-bench 对比了 FP8 与 NVFP4 KV cache 的精度。
匹配字段标题
NVIDIA Groq 3 LPX 的确定性执行模型可对全部 256 颗 LPU 芯片的计算与数据搬运做时钟周期级精确调度，配合 Preemptive Power（PEP）与 Clock Period Synthesis（CPS）将电压跌落降低 60% 以上，同一负载功耗下降低两位数百分比。Groq 3 LPX 与 Vera Rubin NVL72 组合，在 2T+ 参数模型的长上下文高交互场景下，每兆瓦吞吐量最高可达上一代 GB200 NVL72 的 35 倍。
匹配字段标题
SemiAnalysis 分析机器人推理的端侧与数据中心路线之争：当前通用机器人模型仍停留在数十亿参数级，如 Physical Intelligence 的 π0 约 3B、π0.7 为 5B、字节 GR-3 为 4B、NVIDIA DreamZero 为 14B。由于 100Hz 以上的动作与伺服控制回路无法离开本体，而规划层可低至 5Hz，作者认为需要真正智能的通用机器人将部分认知卸载到数据中心 GPU 更具优势。
匹配字段标题、摘要
快遇上开源。🚀 Qwen3.8-27B 现已在 @cerebras 上运行，推理速度飞快。立即试用！
匹配字段标题、摘要