2026年10月12日,MangoBoost正式商用其AI推理平台Mango Inference。据The Elec报道,用户可通过API接入,按token消耗付费,平台支持DeepSeek、GLM和MiniMax等模型。公司称其定价比竞争对手低20%以上,并计划明年一季度在首尔江南建成1MW AI数据中心,可扩展至5MW,GPU由AMD供应。营收方面,公司今年预计约100亿韩元,明年目标超过1000亿韩元。目前该事件尚无后续发展事实,状态停留在平台发布及上述规划。
匹配字段标题
MangoBoost 推出 AI推理平台Mango Inference
English translation is being prepared.
匹配字段标题
英国 AI Security Institute 发布 AI网络任务推理扩展评测证据
English translation is being prepared.
匹配字段标题
Thinking Machines Lab 发布 关于 LLM 推理非确定性的技术文章
English translation is being prepared.
匹配字段标题
匹配字段标题
Meta 介绍 利用闲置推理容量提升广告推荐的系统
English translation is being prepared.
匹配字段标题
英国 AI Security Institute(AISI)发布 AI 网络任务推理扩展评测证据。AISI 与 Irregular 对 2025 年 11 月前后发布的前沿模型运行私有网络任务评测,发现模型可有效利用比常规评测大 10-50 倍的 token 预算,成功率随之提高,并首次解决此前未解任务。其中 AISI 使用 50M token 预算,约 8% 的任务只有在预算从 10M 提升到 50M 时才被解决;Irregular 使用 1000 轮次。AISI 指出成功率大致随每次尝试所用 token 总量的对数增长,这意味着低预算评测可能低估模型真实能力上限,但结论目前仅基于网络任务,是否适用于其他领域仍需更多测试。
匹配字段标题
2026年10月11日,Thinking Machines Lab 发布一篇关于 LLM 推理非确定性的技术文章。文章指出,LLM 推理不确定性的主因不是并发加浮点非结合性,而是内核缺少 batch invariance,导致请求结果随服务端负载和 batch size 变化。作者用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下生成 1000 条补全,得到 80 种不同结果;启用 batch-invariant 内核后,1000 条完全一致。相关内核已开源在 thinking-machines-lab/batch-invariant-ops,并给出 vLLM 确定性模式示例。文章还称该特性可让采样与训练结果逐位一致,实现真正的 on-policy RL。目前尚无后续发展事实。
匹配字段标题
清华大学、牛津大学和斯坦福大学研究团队发现,大语言模型在关闭思考后仍可能输出推理过程。该发现于2026年10月10日由论文披露,在开放式问题上尤其明显:关闭思考时,DeepSeek-V4-Flash在99.9%的开放式回答中仍写出了推理内容,缺少think标签或回复简短并不能证明模型跳过了推理。研究还显示,对5个模型强制只给答案可将开放式任务的遵从率提升到约40%,但准确率下降约15个百分点。论文地址为arxiv.org/abs/2610.11765。目前尚无后续发展。
匹配字段标题
2026年10月10日,清华大学提出逐Token大小模型路由服务系统TokenRouter。据相关报道,该系统在token级别对大小模型进行路由,让每个模型独占服务器并互相传递半成品答案,同时保留KV cache,并短暂挂起请求以凑成更大批次。报道称,在5种路由方法上,其吞吐量相比更强的现有方案提升2.01至64.15倍,最高达现有方案的64.15倍。目前该工作以论文形式公开,尚无后续进展披露。
匹配字段标题
2025年12月1日,DeepSeek发布DeepSeek-V3.2与DeepSeek-V3.2-Speciale两款面向智能体的推理优先模型。据官方信息,V3.2已在App、Web和API上线,定位日常使用、推理与长度更均衡,是DeepSeek首个将思考直接融入工具调用的模型,支持思考与非思考两种模式下的工具调用;Speciale暂仅提供API,主打极限推理能力,通过临时端点提供,价格与V3.2相同,不支持工具调用,可用至2025年12月15日15:59(UTC)。此前2025年9月29日,DeepSeek曾发布实验模型DeepSeek-V3.2-Exp,基于V3.1-Terminus构建,首次引入DeepSeek Sparse Attention(DSA),官方称基准测试显示其与V3.1-Terminus表现相当,同时API价格立即下调50%以上。
匹配字段标题
2026年10月9日,AWS 正式发布 Amazon Bedrock AgentCore payments,为 AI 智能体提供按需付费的托管能力,支持 x402 协议端点,其中包括 Amazon Bedrock 推理端点,使智能体可按次支付模型推理费用。据 AWS Machine Learning 发布的信息,Incarna 借助该服务让智能体逐次向 BlockRun 支付模型推理费用,集成工作从原计划的 2 至 3 个月缩短到 3 天,约 200 行应用代码。测试期间智能体已处理超过 1000 笔支付,单次金额在 0.001 至 0.05 美元之间,每笔在链上独立结算,花费上限由基础设施层强制执行。目前该能力已正式可用,尚无进一步发展事实。
匹配字段标题
2026年10月9日,NVIDIA Dynamo 通过统一的会话级标识符实现会话感知推理。据 PyTorch Blog 介绍,Dynamo 使用 session_id 与 parent_session_id,把请求级推理服务改造成程序感知系统,实现会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的缓存调度。Dynamo 可直接识别 Claude Code、Codex、OpenCode 等编码智能体发出的身份头,无需配置;其他 harness 可通过 X-Dynamo-Session-ID 头或 agent-plugins 仓库中的插件接入。目前尚无后续发展事实。
匹配字段标题
清华大学、牛津大学和斯坦福大学研究团队 发现 大语言模型在关闭思考后仍可能输出推理过程
English translation is being prepared.
匹配字段标题
2026年10月10日,Yann LeCun 提出判断:只要推理涉及搜索或优化,就能找到创造性的解决方案;AlphaZero 会执行搜索,而普通 LLM 不会。同日稍后,他进一步表示,自回归预测无论是否随机,都不构成搜索,因为搜索或优化需要考察多种配置并对其评估以找出一个好的,而 CoT 中没有这种事。目前该判断仍以 LeCun 本人公开发言为证据,暂无其他来源补充或官方回应。
匹配字段标题
Yann LeCun 提出判断 推理涉及搜索/优化时能产生创造性解法，而普通LLM不做搜索
English translation is being prepared.
匹配字段标题
Amazon Bedrock AgentCore 支持 AI智能体通过x402按次支付模型推理费用
English translation is being prepared.
匹配字段标题
NVIDIA Dynamo 使用统一会话标识实现 会话感知路由、调度与KV缓存管理
English translation is being prepared.
匹配字段标题
2026年9月23日,百度智能云联合SGLang社区举办Agent时代的推理基础设施Meetup。据新京报报道,百度智能云主任架构师黎世勇在会上透露,百度内部智能体平均上下文已达60k左右,并可能继续涨至100k、500k。百度百舸通过权重零冗余分布式部署、显存优化和MoE专家压缩支撑长上下文,测试中MoE专家压缩50%后,长输出与高并发场景输出吞吐峰值达原来的2.23倍;sglang-kunlun插件打通SGLang与昆仑芯,国产卡开发可复用70%至80%的CUDA生态经验。目前该活动暂无后续发展事实。
匹配字段标题
清华大学 提出 逐Token大小模型路由服务系统TokenRouter
English translation is being prepared.
匹配字段标题