2026 年 9 月 30 日,韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4。官方称其 35B 总参数、3B 激活参数,在 3B 激活以下模型中创下 Intelligence Index 与激活参数的新帕累托最优点,比上一代旗舰 Solar Pro 3 高 16 分,价格降至每 1M 输入/输出 token 0.10/0.40 美元。Artificial Analysis 测得它在 AA-LCR v1.1 上得 83%,与 MiniMax-M3、GPT-6 Luna (max) 持平;但智能体编码较弱,Terminal-Bench 4.0 仅 1%、AutomationBench-AA 22%。该模型为专有模型、权重未公开,仅支持文本输入输出,知识截止 2026 年 2 月。目前尚无后续发展事实。
匹配字段标题
2026年9月23日,Modal 通过官方工程博客分享其为编码智能体服务 Kimi K2.6 推理的性能优化方法。据该博客,Modal 以 Moonshot AI 的 Kimi K2.6 为例复盘推理服务优化过程,称单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。其做法包括用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型,基于 SGLang 打补丁并回馈上游,采用 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存,再配合负载感知的有状态路由,把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。目前尚无后续发展事实。
匹配字段标题
Upstage 发布 Solar Mini 4
English translation is being prepared.
匹配字段标题
Sherwin Wu 于 2026 年 9 月 30 日发表调侃,表示期待看到当模型推理几乎瞬时完成时,人们接下来会抱怨哪些新的瓶颈,并称这种不满为“神圣的不满”。目前没有后续发展事实,该表态仍停留在其个人发言层面,未出现新的证据或进展。
匹配字段标题
Sherwin Wu 发表调侃 当模型推理近乎即时后人们会抱怨新的瓶颈
English translation is being prepared.
匹配字段标题
Cognition公布了GPT-6.1 Sol在低推理档位下的评测结果。其得分58.1%,单任务成本0.21美元,高于同档位GPT-6 Sol的50.5%。Cognition称,这是排行榜上单任务成本低于0.30美元的模型中得分最高的成绩,并同时给出了试用入口。目前没有后续发展。
匹配字段标题
2026年9月28日,Fireworks AI推出GLOBAL多区域推理部署选项,让单个部署可从多个区域获取兼容GPU容量,并通过单一端点统一管理。官方说明称,该架构把全局调度移出请求路径,由DNS就近选择健康网关,网关再按预先发布的记录路由,不增加每次请求的全局调度往返。在为期七天的生产观测中,可全球部署的客户部署请求成功率从单区域的99.269%提升到多区域的99.992%。官方同时指出,该设计不消除地理延迟。目前尚无后续发展。
匹配字段标题
2026年9月27日,Yuchen Jin发表关于模型推理档位命名的调侃观点。其相关表述以“我们造出了超智能模型。然后问人类:低、中、高、XHigh,还是 Max?”呈现,指向模型在推理档位选择上仍交由人类决定这一现象。该内容由Yuchen Jin本人于2026年9月28日发布,属于同一事实的代表性证据。目前没有后续发展事实,事件状态停留在该调侃观点本身。
匹配字段标题
2026年9月24日,微软在Physical AI Toolchain中新增机器人端外推理卸载能力,并发布首个针对机器人工作负载的系统性研究。该研究聚焦移动机器人操作任务,评估语义建图与规划、导航、操作三类模型在机载、边缘和云端算力配置下的表现。结果显示,卸载推理可提升响应时间与准确率并延长续航:在内存足够的GPU上,建图与规划相比A100最多慢383%;轻量GPU上导航的障碍物及时检测下降30%,VLA模型准确率下降50%;用Raspberry Pi-5替代机载GPU后,Jetson Thor等较大机载GPU最多消耗160%的电池。微软同时提供SO-101与UR10e示例项目,并演示将Rho模型推理卸载到Jetson Thor以控制Mobile Aloha机器人。
匹配字段标题
2026年9月23日,英伟达测试了TensorRT LLM在八张B200 GPU上运行DeepSeek-R1的机密计算性能。据英伟达开发者博客,机密计算通过内存加密的机密虚拟机、机密GPU和加密NVLink,让生产级AI推理运行在可信硬件上。在受控对比中,开启机密计算后保留了基线96.1%–98.2%的输出token吞吐,单token延迟(TPOT)仅增加1.2%–4.3%(并发1–16)。TensorRT LLM为此改用可分页内存、异步token回读,并以GPU %globaltimer替代CUDA events做内核自动调优。目前该测试结果由英伟达一方发布,尚无其他来源交叉印证。
匹配字段标题
2026年9月22日,OpenRouter发布Batch API,批量请求按每token价格通常收取50%甚至更低费用,目前支持70多个模型。该接口为异步设计,用户提交批量请求后,由服务商在24小时窗口内自行选择完成时间,支持chat completions、responses、messages和embeddings等请求形态,输入与结果保留30天。据官方披露,两周beta期间完成23万多个批次,中位完成时间为7分钟,90%在一小时内完成;另有报道称太平洋时间5点至中午提交的批次明显更慢。目前该故事尚无后续发展事实。
匹配字段标题
2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。
匹配字段标题
2026年9月18日,NVIDIA推出AIPerf,作为GenAI-Perf的指定继任工具。据NVIDIA Developer介绍,该工具完全重写,采用多进程架构,以避免客户端在高并发LLM基准测试中成为瓶颈。AIPerf支持超过15种端点类型,以及ShareGPT和来自Mooncake、Baseten、WEKA AgentX的trace replay格式,并提供constant、Poisson、gamma等可配置到达模式。在指标方面,AIPerf报告TTFT、ITL、请求延迟和输出token吞吐量等核心指标,附带百分位细分,并在可用时通过DCGM或pynvml提供GPU遥测。目前尚无后续发展事实。
匹配字段标题
Yuchen Jin 发表 关于模型推理档位命名的调侃观点
English translation is being prepared.
匹配字段标题
Colibri项目 开源 超大模型CPU与SSD推理框架
English translation is being prepared.
匹配字段标题
Microsoft 为Physical AI Toolchain新增 机器人端外推理卸载能力
English translation is being prepared.
匹配字段标题
Modal 分享 为编码智能体服务 Kimi K2.6 推理的性能优化方法
English translation is being prepared.
匹配字段标题
NVIDIA 测试 TensorRT LLM在八张B200上运行DeepSeek-R1的机密计算性能
English translation is being prepared.
匹配字段标题
OpenRouter 推出 Batch API
English translation is being prepared.
匹配字段标题
NVIDIA 在Dynamo-Triton 26.07中启用 TensorRT多设备推理能力
English translation is being prepared.
匹配字段标题