Cohere 提出 CALIBER 方法,用于推理模型的置信度校准。该方法训练推理模型在推理前估计解题成功率、推理后评估具体答案的正确概率。在数学基准上,7B 模型的校准误差从最强单置信度基线的 0.059 降至 0.028,降幅 52.5%,AUROC 达 0.806、Brier 分数 0.130。研究用 30,000 道数学题训练 7B 和 30B 模型,并在 1,000 道留出题及三个问答基准上评测。目前该消息来自 Cohere 产品与研究博客,尚无后续发展事实。
匹配字段标题
Cohere 提出 CALIBER方法
English translation is being prepared.
匹配字段标题
蚂蚁 inclusionAI 在 GitHub 上线 sglang_ling_v3 仓库,其内容基于开源推理框架 SGLang。该仓库 README 介绍,SGLang 面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 进行优化。README 还显示,SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。目前该仓库已发布,尚无进一步开发动态。
蚂蚁 inclusionAI 在 GitHub 上线 sglang ling v3 仓库,其内容基于开源推理框架 SGLang。该仓库 README 介绍,SGLang 面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 进行优化。README 还显示,SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。目前该仓库已发布,尚无进一步开发动态。
匹配字段标题
蚂蚁 inclusionAI 在 GitHub 上线 sglang_ling_v3 仓库,其内容基于开源推理框架 SGLang。该仓库 README 介绍,SGLang 面向大语言模型、视觉语言模型和扩散模型,针对智能体负载、大规模服务与 RL rollout 进行优化。README 还显示,SGLang 支持 GPU、TPU、NPU、CPU 与 Apple Silicon,并内置图像视频生成引擎 SGLang Diffusion。目前该仓库已发布,尚无进一步开发动态。
匹配字段标题
Intel于10月16日发布Intel Inference Microservice,这是一款面向Xeon服务器CPU的容器化AI推理软件,目标是最大化CPU上的AI推理性能,并可快速为CPU优化大语言模型。报道称,该软件启动时会检测Intel处理器并套用预先验证调优的推理设置,默认推理引擎为开源vLLM,同时支持OpenAI SDK、LangChain、LlamaIndex、LiteLLM和Haystack等框架。Intel还计划将支持扩展到其全部GPU产品线,包括面向AI推理的D系列GPU。目前该事件仅有上述发布信息,尚无后续进展的合格事实证据。
匹配字段标题
美光(Micron)正在开发面向物理AI的边缘推理内存EIM,其做法是将LPDDR堆叠在逻辑裸片上,以降低AI推理延迟并提升带宽。美光副总裁Lee Cheol在SEDEX 2026上表示,公司正与主要客户讨论适配自动驾驶、人形机器人、AR/VR等新兴市场的产品,并计划将EIM应用于LPDDR6;业界预计2028年下半年量产。美光还预计,未来高性能人形机器人需要约200GB DRAM和4TB存储,而当前服务机器人仅12GB DRAM和256GB存储。目前该产品仍处于开发阶段,尚无进一步量产或客户落地的时间表披露。
匹配字段标题
Micron 开发 边缘推理内存EIM
English translation is being prepared.
匹配字段标题
Intel 发布 Intel Inference Microservice
English translation is being prepared.
匹配字段标题
2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB
匹配字段标题
2026年10月16日,Aravind Srinivas 提出判断,认为 Neoclouds 不能只出租 GPU,还需要拥有完整的智能体推理平台。他列举该平台应包含开放权重模型(SGLang)、微调模型(Miles、River)以及安全沙箱(SPACE),并表示期待与 Coreweave、Akamai、Crusoe 等伙伴合作。同一来源还提到,Perplexity 开源了其沙箱 SPACE,并与 Akamai、Coreweave、Crusoe 等合作推进 AI 安全。目前该判断尚无后续发展事实。
匹配字段标题
Aravind Srinivas 提出判断 Neoclouds 需要拥有完整智能体推理平台
English translation is being prepared.
匹配字段标题
2026年10月16日,Apple提出Selection-based Structured Reasoning(SSR)框架。该框架将推理从开放式生成改为从预设可复用自然语言候选中选择,无需辅助任务头,并借助共享上下文KV cache并行打分。在2B和4B模型、七个多模态搜索基准上,SSR平均成功率与同规模领先搜索智能体相当,单轮推理延迟降低超90%,每题模型总推理延迟降低28–54%。目前尚无后续发展事实。
匹配字段标题
LMSYS于2026年10月18日发布SGLang Low-Latency Mode,通过插件框架把专用kernel接入SGLang,在NVIDIA和AMD GPU上降低推理延迟。据LMSYS Blog介绍,在四块NVIDIA GB300上回放AgentX trace,单并发会话的P90每用户token生成速度从671.2提升到928.4 tokens/s,为1.38倍;在四块AMD MI355X上四并发会话从331.6提升到516.0 tokens/s,为1.56倍。NVIDIA侧kernel位于sgl-nvidia-mega,AMD侧位于sgl-amd-mono,均针对DeepSeek-V4.1-Flash与DSpark的验证和草稿执行做优化。目前尚无后续发展事实。
匹配字段标题
Apple Machine Learning Research 发布 最新版本 MLX
English translation is being prepared.
匹配字段标题
StepFun 表示 Step 5 Preview在NVIDIA GB300上展现出强劲推理性能
English translation is being prepared.
匹配字段标题
2026年10月15日,Inworld 推出 Inworld Inference,一个面向消费级 AI 应用的 LLM 推理 API。据 Testing Catalog 报道,该 API 支持 Gemma 4、GLM、DeepSeek 和 MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟为 0.17 秒,对比 OpenRouter 上其他供应商中位值 0.61 秒快 3.6 倍;95 分位为 0.31 秒对 2.42 秒,快 7.8 倍。开发者还可设置首个模型失败或耗时过长时自动切换到备用模型。目前尚无后续发展事实。
匹配字段标题
Inworld 推出 Inworld Inference 推理 API
English translation is being prepared.
匹配字段标题
2026年10月14日,HuggingFace CEO Clément Delangue 公开呼吁,把推理大模型之外的多元 AI 模型重新置于聚光灯下。他表示,很高兴看到 Google 的 Embedding Gemma 2 登上 HF 趋势榜。他认为媒体和硅谷只关注推理 LLM,但嵌入向量、决策模型、音频、视频、时间序列等 AI 模型同样极具影响力,HF 上已有超过 300 万个公开模型,应让它们重新获得关注。目前尚无后续发展事实。
匹配字段标题
Clément Delangue 呼吁 把推理大模型之外的多元 AI 模型重新置于聚光灯下
English translation is being prepared.
匹配字段标题
2026年10月14日,Qwen(通义千问)公开祝贺LightSeek取得TokenSpeed推理成果。据Qwen发布的信息,Qwen3.8-Flash-Next在Nvidia GPU上实现每用户685 output tokens/s,Qwen对此表示祝贺,并期待社区进一步释放Qwen的推理潜力。目前该事件仅有Qwen一方发布的信息,尚无其他来源的独立报道或后续进展。
匹配字段标题