腾讯混元开源语音生成与编辑基础模型 AuK，同步发布 4 步推理的 AuK-Flash
腾讯混元正式发布开源基础模型 AuK，面向统一的语音生成与编辑，采用自然语言指令加参考音频的单一接口，支持零样本 TTS、指令控制生成、内容编辑、耳语转换、去口音、音色风格情感编辑、语速音高控制、增强降噪、多说话人分离与音乐分离。同时发布 AuK-Flash，采用 4 步推理，在匹配条件下约快 4.5 倍。代码、权重与 demo 均已上线。
匹配字段标题、摘要
←搜索结果
搜索“推理”
Redwood Research 提出 NLS depth：衡量模型不可言说串行推理的代理指标
Redwood Research 提出 NLS depth（Natural-Language-rooted node-Separated depth），用于量化模型在不经过自然语言瓶颈的情况下能执行的串行认知量，是对 GDM 论文中“不透明串行深度”概念的具体化。该指标要求瓶颈节点由预训练先验初始化并输出自然语言（含代码、JSON、图像 patch），且不扩展输出空间，可在训练前仅凭架构与训练配方判定。作者认为 NLS depth 可与可监控性、无 CoT 能力追踪互补，但对其对后训练选择不敏感。
匹配字段标题
LiveKit 解读“推理慢于实时”警告：问题出在 VAD 而非 STT/TTS/LLM
LiveKit 发文解释语音智能体日志中的“inference is slower than realtime”警告：它指的是智能体进程内的 VAD 模型处理 32ms 音频窗口超时，与 LiveKit Inference 的 STT、TTS、LLM 无关。警告中的延迟表示 VAD 落后实时音频的时长，Python 以秒、Node.js 以毫秒上报。修复建议包括升级到最新版 LiveKit Agents 与 turn detector、使用 AgentSession 默认内置的 inference VAD，并排查阻塞事件循环与 CPU 负载。
匹配字段标题
GPT-6 Astra、循环 Transformer 与隐藏推理链解析
作者实测 GPT-6 Astra 后，分析其性能、计算机使用能力，以及循环 Transformer 是否会隐藏推理链。文章解释了循环 Transformer 通过重复使用相同权重增加有效深度，并指出 Astra 采用该架构仍未获官方确认，也没有充分证据表明循环机制会导致推理链更难监控。
匹配字段标题、摘要
Cohere 发布 North Mini Code Megakernel 推理服务引擎
Cohere 发布面向 North Mini Code 的 Megakernel 推理服务引擎，在单张 H100 上以 BF16 运行，端到端平均解码吞吐量比 vLLM 快 1.25× - 1.41×。该引擎支持连续批处理、分页注意力、流式输出、前缀缓存和工具调用，并提供 OpenAI 兼容接口；其代码已在 GitHub 开放。批大小为 1 时，Megakernel 达到 292 tok/s，为 vLLM 的 1.58×，但当前最大批大小为 8，且预填充仍由普通 PyTorch 内核运行并会暂停解码。
匹配字段标题、摘要
OpenAI 研究员谈数学推理的未来
a16z Infra 合伙人 Lisha Li 与 OpenAI 数学家 Mehtaab Sawhney、Mark Sellke 对谈，讨论 AI 数学能力的进展及近期结果对模型推理的启示。他们拆解了 OpenAI 模型在球体填充和非 sofic 群构造上的进展，指出模型推理轨迹与专家数学家高度相似，包括选择有前景的路径、失败时回溯以及跨文献整合思路。
匹配字段标题、摘要
SemiAnalysis 公布 TPUv7 Ironwood 第三方推理结果：每美元性能最高优于 B200/B300 50%
SemiAnalysis 在 InferenceX 官方预览中发布 TPUv7 Ironwood 的首批第三方推理结果，在与 B200/B300 的同等对比中，Ironwood 每美元性能最高提升 50%。在 100 tokens/s/user 交互性下，Ironwood 每百万 token 成本约 0.181 美元，低于 B200 的 0.222 美元和 B300 的 0.276 美元；在 20 tok/s/user 时其单芯片吞吐达 9,364 tokens/s，高于 B200 的 8,903 和 B300 的 8,925。文章还介绍了 TorchTPU 外部软件栈的进展，该栈预计 10 月左右结束私有测试并开源，首批使用 Qwen3.5 397B FP8 作为启动模型。
匹配字段标题、摘要
Lydia Hallie：Fable 5.1 中档推理约等于 Fable 5 高档
Lydia Hallie 表示，Fable 5.1 在 medium effort 下的表现约等于 Fable 5 在 high effort 下的水平，这是她第一次在 Claude Code 中把 medium 设为默认档位。她建议正在开发的人周末试试 /effort medium 并反馈感受。
匹配字段标题
Meta 发布 Muse Spark 1.3 max 推理版本，上线 Muse Code 与 Meta Model API
Meta 在 Muse Code 和 Meta Model API 上线 Muse Spark 1.3 max reasoning 版本。Alexandr Wang 表示该版本在编码和智能体任务上表现明显更强，即使已用过 muse spark 1.3 high 或 xhigh 也值得一试。
匹配字段标题
前沿推理走向边缘：如何在 NVIDIA Jetson 上部署与优化模型
NVIDIA 介绍在 Jetson 边缘设备上本地运行推理与智能体模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。Nemotron 3.5 Lightning 采用 MoE 架构，总参数 30B 但每 token 仅激活 3B；Qwen3.8-27B 为稠密模型，每 token 激活全部 27B。NVFP4 量化配合推测解码在 Jetson 上相较 BF16 最高带来 6.28x 解码吞吐提升，且最优推测解码配置因模型而异。
匹配字段标题、摘要
Unsloth 让 GLM-5.3-Flash 本地推理提速 3.3 倍
Unsloth 宣布 GLM-5.3-Flash 的本地 GGUF 推理速度提升 1.6–3.4 倍，配合优化解码与多 token 预测，整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行，官方同时提供了指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示，GLM-5.3-Flash 为 320B-A18B 模型，采用 MIT 许可，原生多模态并支持 1M token 上下文窗口。
匹配字段标题、摘要
NVIDIA 如何用投机解码协同设计 AI 模型以加速 LLM 推理
NVIDIA 提出用投机解码加速 LLM 推理：小草稿模型一次提议多个 token，由大目标模型并行验证，在不改变输出序列的前提下减少解码迭代次数。文章给出五条准则来选取最优草稿长度与机制，并比较外部草稿模型、EAGLE-3、MTP、DFlash、DSpark 及后缀/n-gram 方法。NVIDIA 的 SPEED-Bench 基准用于衡量编码、摘要等任务的接受长度，EAGLE-3、DFlash、DSpark 的训练示例已开放在 NVIDIA/Model-Optimizer 中。
匹配字段标题、摘要
NVIDIA 如何为 AI 推理与 TCO 合理配置 GPU 规模
NVIDIA 提出按 AI Chatbots/Copilots、AI Agents、内容生成、翻译应用四类用例映射推理负载，并依据模型选择、DAU、并发、ISL/OSL、缓存命中率、延迟目标和合同期限来规划 GPU 容量。其核心加弹性（core-and-flex）模式用本地或预留云 GPU 承载稳态流量，用公有云 spot 或按需 GPU 应对突发。NVIDIA Model Optimizer 的 FP8 训练后量化将 Llama-3.1-8B 权重内存减少 43.5%，对 Qwen3-8B 教师模型剪枝加蒸馏得到约 6B 参数学生模型。
匹配字段标题、摘要
AI 公司转向家庭分布式算力运行推理
IEEE Spectrum 报道，Far Labs、Evolving Edge、Bless Network、Salad、Gradient 等公司正把 AI 推理任务分散到家庭和小型企业的闲置算力上，并向设备所有者付费。Far Labs 的 Far AI 平台将在未来几周上线，Evolving Edge 处于公开测试阶段。这些平台主要运行较小的开源模型，通过 Ray 或自研软件把单个推理任务拆分到多台设备，Far Labs 称其平台延迟可低至 100 毫秒以内，并以开源节点软件和最小权限设计回应隐私与安全顾虑。
匹配字段标题、摘要
腾讯混元 Hy4 preview 自主发现推理瓶颈
关于 Hy4 preview 还有一件特别有意思的事。 在 AI 研究中，Hy4 preview 自主发现了推理瓶颈，并通过算子融合与通信优化将端到端吞吐量提升 31.8%——在不同上下文长度和并发下保持稳定。 更多内容：https://t.co/MXVjtIFxeh
匹配字段标题、摘要
LG AI Research 的 ReSQL：通过检索增强错误推理实现自我改进的 Text-to-SQL 框架（ACL 2026）
LG AI Research 提出 ReSQL，一个通过检索增强错误推理实现自我改进的 Text-to-SQL 框架，相关论文被 ACL 2026 Findings 收录。在 SPIDER 和 BIRD 基准的第二轮精炼后，该框架将歧义列引用错误减少 36.5%、多语句 SQL 错误减少 39.4%、ORDER BY 先于 UNION 的错误减少 73.1%，并完全消除了 GROUP BY 子句中的聚合函数错误。
匹配字段标题、摘要
Google Cloud 在 Cloud TPU 上为长上下文多模态嵌入推理提供企业级精度
Google Cloud 将原生 TPU 支持集成进 vLLM，并以 Qwen3 Embedding 系列为目标模型完成多项优化，使嵌入推理可处理 4K+ token 文本和 15K+ token 多模态输入。TPU 输出与 XPU 参考基线的余弦相似度达到文本 ≥0.999、多模态 ≥0.995，官方已在 AI-Hypercomputer 公共仓库开源 Qwen3-Embedding-8B 的部署与评测 recipe。
匹配字段标题、摘要
NVIDIA Dynamo 推出影子引擎恢复，LLM 推理故障恢复从 283 秒缩短到 7.3 秒
NVIDIA Dynamo 以预览功能形式推出影子引擎恢复，在同一批 GPU 上保留一个已完全初始化的空闲影子引擎，由 GPU Memory Service 共享已有权重而不在 HBM 中额外复制，活跃进程失败后影子引擎可在数秒内接管。在 NVIDIA B200 节点上的双 worker GLM-5.2 部署中，影子引擎恢复用 7.3 秒恢复服务，冷重启需要 283 秒，接近 39 倍差距。该功能要求 Kubernetes 1.34 或更新版本的 Dynamic Resource Allocation 并安装 NVIDIA GPU DRA 驱动，主要支持 vLLM 后端，当前预览版尚不支持将 GMS 用于 KV cache。
匹配字段标题
SemiAnalysis 实测 OpenAI 自研推理芯片 Jalapeño：每兆瓦吞吐超过 Blackwell
SemiAnalysis 在 OpenAI 实验室用 InferenceX 实测了 OpenAI 自研推理 ASIC Jalapeño，称其在多个开源模型上的每兆瓦 token 吞吐超过 NVIDIA Blackwell，且在 DeepSeek R1 上并发 1 时达到每用户 700 tokens/s 以上，全程未使用投机解码。该芯片由 OpenAI 与 Broadcom 合作、2024 年中启动设计，2025 年 11 月完成 CoWoS 流片，采用 HBM4、单封装 15.4TB/s 带宽，架构上不做 prefill 与 decode 分离，用统一芯片池应对变化的负载比例。文章认为更公平的对手是同样使用 HBM4 的 Rubin，两者每美元输出 token 数接近，但 Jalapeño 尚未启用投机解码，量产计划从 2027 年起逐步爬坡。
匹配字段标题、摘要
SemiAnalysis 发布 AgentX 1.0：百万上下文多轮智能体编码推理基准
SemiAnalysis 发布 AgentX 1.0，称其为全球首个完全开源、100 万上下文的多轮智能体编码推理基准，以 Apache 2.0 许可发布，数据集构建投入超过 300 万美元。该基准被纳入 InferenceXv3，用智能体编码流量替代此前 8k 输入 1k 输出的单轮场景，测试矩阵运行在约 2MW 算力、1000 多颗芯片上，覆盖 MI355X、GB300 NVL72、GB200 NVL72、B300、B200、MI325、MI300X、H200 与 RTX Pro 服务器。SemiAnalysis 称其首个成果是已推动 vLLM、SGLang、TensorRT-LLM、ATOM、AITER、Dynamo、LMCache 和 Mooncake 等项目的 70 多个上游 PR，并计划在三到四周后发布 AgentX 更新文章。
匹配字段标题、摘要