搜索“推理”

Sam Altman谈本地推理的DRAM利用率问题

2026年10月30日,OpenAI CEO山姆·奥特曼在播客《Cheeky Pint》中提出观点:让每个人把全球紧缺的DRAM内存闲置在个人电脑里、使用率只有5%,从全球资源分配角度看相当糟糕,内存应集中到云端数据中心以实现最大化利用率。他还称内存短缺的解决进展“糟糕”,认为内存厂商因历史亏损周期而资本支出保守,“看不见的手”正在失灵。目前没有后续发展。

Sam Altman谈本地推理的DRAM利用率问题

2026年10月30日,OpenAI CEO山姆·奥特曼在播客《Cheeky Pint》中提出观点:让每个人把全球紧缺的DRAM内存闲置在个人电脑里、使用率只有5%,从全球资源分配角度看相当糟糕,内存应集中到云端数据中心以实现最大化利用率。他还称内存短缺的解决进展“糟糕”,认为内存厂商因历史亏损周期而资本支出保守,“看不见的手”正在失灵。目前没有后续发展。

查看事件：Sam Altman谈本地推理的DRAM利用率问题

Yuchen Jin感慨一年前图像模型推理引擎全靠手写

Yuchen Jin分享了他与朋友的一段对话:一年前,他们为图像模型构建的超快推理引擎,整个引擎都是手写完成的。他对此感慨“Holy shit. Just ONE year ago.”。目前没有更多后续发展。

Aravind Srinivas询问仍受智能瓶颈限制的推理任务

2026年10月29日,Perplexity CEO Aravind Srinivas 发帖提问:有哪些推理任务,人们仍然卡在智能水平上,而不是算力或资金上?该提问把关注点放在智能本身而非算力或成本约束,目前没有后续发展或回应被记录。

Ant Ling与NVIDIA优化Ling-3.0-flash单卡推理

2026年10月29日,蚂蚁百灵(Ant Ling)与NVIDIA AI团队合作,在单台NVIDIA DGX Spark上对开放权重模型Ling-3.0-flash的推理进行优化,采用三种技术。在1,319道GSM8K题目上,解码吞吐从37.81 tok/s提升至53.89 tok/s(+42.5%),平均延迟从15.21s降至11.49s(-24.5%),准确率无统计上可检测的变化。目前尚无后续进展。

Baseten成为Postman企业Agent推荐推理合作伙伴

Baseten于2026年10月30日成为Postman面向企业智能体的推荐推理合作伙伴,负责为通过Postman Agent Stack构建的智能体提供生产环境推理与后训练支持。Baseten在工程博客中称,其2026年发布的七款模型API在Artificial Analysis的吞吐与延迟排名中均进入前二,其中Beam 1.0、DeepSeek V4.1 Flash等位列第一。该博客还提到,Harvey使用Baseten后训练27B开源模型,在法律智能体基准上追平闭源前沿模型,而后者每任务成本约50美元。目前尚无后续发展事实。

Baseten成为Postman企业Agent推荐推理合作伙伴

Baseten于2026年10月30日成为Postman面向企业智能体的推荐推理合作伙伴,负责为通过Postman Agent Stack构建的智能体提供生产环境推理与后训练支持。Baseten在工程博客中称,其2026年发布的七款模型API在Artificial Analysis的吞吐与延迟排名中均进入前二,其中Beam 1.0、DeepSeek V4.1 Flash等位列第一。该博客还提到,Harvey使用Baseten后训练27B开源模型,在法律智能体基准上追平闭源前沿模型,而后者每任务成本约50美元。目前尚无后续发展事实。

查看事件：Baseten成为Postman企业Agent推荐推理合作伙伴

DeepSeek在GitHub开源推理引擎DeepInfer

2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。

查看事件：DeepSeek在GitHub开源推理引擎DeepInfer

Google升级Play services中LiteRT GPU推理

Google Developers Blog 于2026年10月28日发布消息,Google Play services 中的 LiteRT 迎来最大升级:基于 ML Drift 的 GPU 推理比旧版 GPU delegate 快约 1.4 倍,并通过新的 CompiledModel API 提供。切换到该运行时后,应用体积约缩小 8 MB,因为运行时随 Play services 统一分发而不再打包进 APK。目前已有超过 10 万个 Android 应用自带 LiteRT 或 TensorFlow Lite。该方案支持 Android 7 及以上、Wear OS 4+ 和 Android Automotive OS(Android 11+),NPU 支持仍在开发中。

Yuchen Jin感慨一年前图像模型推理引擎全靠手写

Yuchen Jin分享了他与朋友的一段对话:一年前,他们为图像模型构建的超快推理引擎,整个引擎都是手写完成的。他对此感慨“Holy shit. Just ONE year ago.”。目前没有更多后续发展。

查看事件：Yuchen Jin感慨一年前图像模型推理引擎全靠手写

Aravind Srinivas询问仍受智能瓶颈限制的推理任务

2026年10月29日,Perplexity CEO Aravind Srinivas 发帖提问:有哪些推理任务,人们仍然卡在智能水平上,而不是算力或资金上?该提问把关注点放在智能本身而非算力或成本约束,目前没有后续发展或回应被记录。

查看事件：Aravind Srinivas询问仍受智能瓶颈限制的推理任务

Ant Ling与NVIDIA优化Ling-3.0-flash单卡推理

2026年10月29日,蚂蚁百灵(Ant Ling)与NVIDIA AI团队合作,在单台NVIDIA DGX Spark上对开放权重模型Ling-3.0-flash的推理进行优化,采用三种技术。在1,319道GSM8K题目上,解码吞吐从37.81 tok/s提升至53.89 tok/s(+42.5%),平均延迟从15.21s降至11.49s(-24.5%),准确率无统计上可检测的变化。目前尚无后续进展。

查看事件：Ant Ling与NVIDIA优化Ling-3.0-flash单卡推理

OpenRouter宣布对所有推理请求进行CSAM筛查

OpenRouter于2026年10月27日宣布,将在请求处理过程中对所有推理请求进行儿童性虐待材料(CSAM)筛查。根据其公告,筛查包括将内容与已知CSAM的哈希值比对,也会保留未命中哈希但被分类器标记的疑似内容;被标记为疑似CSAM的内容可能被保留以供人工审核,并依法报告和保存。公告还说明,该筛查同样适用于OpenRouter零数据保留(ZDR)政策覆盖的请求,ZDR不豁免依法报告和保存的义务。目前尚无后续发展事实。

Google为A2UI推出可替换推理格式A2UI Express

Google于2026年10月27日为A2UI推出可替换推理格式,其中A2UI Express成为新的默认格式。据Google Developers Blog介绍,Express可将延迟降低至多3倍,生成同类UI所需token减少至多3倍;配合Jev等决策模型做布局决策时,延迟降幅可达80倍。该格式已登陆Python agent SDK(a2ui-agent-sdk 0.9.0)、TypeScript SDK(@a2ui/agent)和Dart SDK(a2ui_agent 0.0.1-wip004),开发者创建generator时用一个参数即可切换格式。目前尚无后续发展报道。

Google Play services中的LiteRT获GPU推理升级

Google Developers Blog 于2026年10月28日发布消息,Google Play services 中的 LiteRT 迎来最大升级:基于 ML Drift 的 GPU 推理比旧版 GPU delegate 快约 1.4 倍,并通过新的 CompiledModel API 提供。切换到该运行时后,应用体积约缩小 8 MB,因为运行时随 Play services 统一分发而不再打包进 APK。目前已有超过 10 万个 Android 应用自带 LiteRT 或 TensorFlow Lite。该方案支持 Android 7 及以上、Wear OS 4+ 和 Android Automotive OS(Android 11+),NPU 支持仍在开发中。

查看事件：Google升级Play services中LiteRT GPU推理

OpenRouter宣布对所有推理请求进行CSAM筛查

OpenRouter于2026年10月27日宣布,将在请求处理过程中对所有推理请求进行儿童性虐待材料(CSAM)筛查。根据其公告,筛查包括将内容与已知CSAM的哈希值比对,也会保留未命中哈希但被分类器标记的疑似内容;被标记为疑似CSAM的内容可能被保留以供人工审核,并依法报告和保存。公告还说明,该筛查同样适用于OpenRouter零数据保留(ZDR)政策覆盖的请求,ZDR不豁免依法报告和保存的义务。目前尚无后续发展事实。

查看事件：OpenRouter宣布对所有推理请求进行CSAM筛查

Google为A2UI推出可替换推理格式A2UI Express

Google于2026年10月27日为A2UI推出可替换推理格式,其中A2UI Express成为新的默认格式。据Google Developers Blog介绍,Express可将延迟降低至多3倍,生成同类UI所需token减少至多3倍;配合Jev等决策模型做布局决策时,延迟降幅可达80倍。该格式已登陆Python agent SDK(a2ui-agent-sdk 0.9.0)、TypeScript SDK(@a2ui/agent)和Dart SDK(a2ui_agent 0.0.1-wip004),开发者创建generator时用一个参数即可切换格式。目前尚无后续发展报道。

查看事件：Google为A2UI推出可替换推理格式A2UI Express

DeepSeek开源推理框架DeepInfer

2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。

Raschka分享八段推理模型从零实现视频课程

2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。

查看事件：Dongxi 东锡 NLP 推荐 Raschka 推理模型课程

Dongxi 东锡 NLP 推荐 Raschka 推理模型课程

2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。