AI 芯片约占台积电营收三分之一
The Next Platform 依据台积电 2026 年第二季度财报估算，AI 训练与推理芯片当季贡献约 133.1 亿美元营收，同比增长 68.3%，约占台积电总营收的三分之一、HPC 业务营收的一半。台积电当季营收创下 402 亿美元纪录，同比增长 33.7%，净利润 223.7 亿美元，同比增长 74.7%；公司同时宣布向亚利桑那州追加 1000 亿美元投资，使美国业务总投资达到 2650 亿美元。
匹配字段摘要
←搜索结果
搜索“推理”
Benedict Evans 谈 token 定价的思考方式
Benedict Evans 分析 token 定价的供需与成本结构，认为当前供给紧张是暂时的，所有变量都在变化，市场将在未来几年重新平衡。他指出推理毛利率约 40-50%，但训练成本远高于收入，且需求主要来自软件开发这一单一用例。他通过移动数据和半导体制造的类比，提出基础模型可能走向低利润的商品化基础设施，除非出现网络效应、监管干预或其他未预见的变化。
匹配字段摘要
GLM-5.2 是开源智能体的转折点
Interconnects 作者认为 GLM-5.2 是首个在编码智能体框架中真正好用的开源权重模型，社区基准显示它是唯一能与 OpenAI、Anthropic 最新模型同场竞争的开源模型。作者实测用 Fireworks API 在 Claude Code 中调用该模型，整体能力立刻感觉可用，但遇到框架向模型发送图片导致 API 会话中断、需手动清空上下文的问题。作者测算 Claude Opus 4.5 发布到 GLM-5.2 发布相隔 204 天，落在常说的 6 至 9 个月开源与闭源性能差距区间内，并认为这会加剧 token 消耗大户的定价压力，利好开源模型推理与微调生态。
匹配字段摘要、正文
antirez：AI 智能体正在开启软件测试的新时代
Redis 作者 antirez 提出用 AI 智能体做 QA 的新方法：编写一个 markdown 文件，让智能体扮演 QA 工程师，先检查新版本相对已发布版本的提交，再据此执行分布式推理、速度回归等手动测试。他在 DwarfStar 和 Redis Arrays 上实践了这一流程，认为自动 QA 有望提升新版本的质量门槛，部分抵消自动编程高速产出代码带来的质量下降。
匹配字段摘要
Redwood Research 评 Anthropic 多次意外对 CoT 训练：流程不足
Redwood Research 指出，Anthropic 在 Claude Mythos Preview 约 8% 的训练回合中意外将思维链暴露给奖励函数，同一技术错误还波及 Opus 4.6 和 Sonnet 4.6。文章称这是 Anthropic 至少第二次独立发生 CoT 暴露给监督信号的事故，此前 Opus 4.6 和 Opus 4 也出现过类似问题。作者认为这类失误会削弱对模型推理轨迹可监控性的信心，并建议 Anthropic 在失败代价还只是声誉损失时完善开发流程。
匹配字段摘要
什么是 AI 原生云？
Together AI 将 AI 原生云定义为围绕 AI 垂直整合的云平台，统一覆盖 GPU、互连、存储、编排、训练、微调和推理。它应支持数千块 GPU、持续集成前沿研究成果，并在突发需求下兼顾性能、成本与可靠性，让团队无需重写代码即可从本地实验扩展到大规模集群。
Together AI 将 AI 原生云定义为围绕 AI 垂直整合的云平台，统一覆盖 GPU、互连、存储、编排、训练、微调和推理。它应支持数千块 GPU、持续集成前沿研究成果，并在突发需求下兼顾性能、成本与可靠性，让团队无需重写代码即可从本地实验扩展到大规模集群。 · Together AI defines an AI Native Cloud as a vertically integrated platform spanning GPUs, interconnects, storage, orchestration, training, fine-tuning, and inference. It should support thousands of GPUs, continuously incorporate frontier research, and balance performance, cost, and reliability under bursty demand, allowing teams to scale from laptop experiments t
匹配字段摘要
开源 AI 为何可能靠专业化模型等到与前沿实验室的差距缩小
Charlie O’Neill 认为，开源 AI 无需在通用能力上追平前沿模型，只需通过领域数据、强化学习和更低推理成本扩大可经济自动化的工作范围。多数企业任务依赖专有数据与特定工作流，专业化的小模型可能比通用前沿模型更快、更便宜且更贴合实际分布。随着开放模型能力提高和服务成本下降，专业化层创造的收入还可能反哺后续模型训练。
匹配字段摘要
蚂蚁百灵实测 Moltbot：拆解通用 Agent 架构与安全成本问题
蚂蚁大模型团队在隔离 VM 中部署开源项目 Moltbot（原名 Clawdbot），用 Ling-1T 驱动并接入 Discord 测试，验证了角色扮演、文档调研、代码编写等任务。文章将其架构拆为动态上下文主循环、Channels 与 50+ Skills、Cronjob 加 Heartbeat 主动机制、以 Markdown 文件为中心的记忆与工作区四部分，并总结出通用 Agent 公式：强力基座模型加工具集合加上下文管理加长期记忆加调度策略。作者同时指出赋予完整 OS 权限存在指令注入风险，对抗测试中可被诱导读取 ~/.ssh 等敏感目录，且高频推理的 token 成本可能超过设备本身，认为它目前更适合作为开发者的实验田。
蚂蚁大模型团队在隔离 VM 中部署开源项目 Moltbot（原名 Clawdbot），用 Ling-1T 驱动并接入 Discord 测试，验证了角色扮演、文档调研、代码编写等任务。文章将其架构拆为动态上下文主循环、Channels 与 50+ Skills、Cronjob 加 Heartbeat 主动机制、以 Markdown 文件为中心的记忆与工作区四部分，并总结出通用 Agent 公式：强力基座模型加工具集合加上下文管理加长期记忆加调度策略。作者同时指出赋予完整 OS 权限存在指令注入风险，对抗测试中可被诱导读取 /.ssh 等敏感目录，且高频推理的 token 成本可能超过设备本身，认为它目前更适合作为开发者的实验田。
匹配字段摘要、正文
2025 年大语言模型回顾：进展、局限与未来预测
Sebastian Raschka 回顾 2025 年大语言模型发展，认为主要进展来自 RLVR、GRPO、推理时扩展、工具调用及架构效率优化，而非单纯扩大预训练规模。他指出公开基准已难以可靠反映真实能力，并预测 2026 年 RLVR 将扩展到数学和编码以外的领域，本地工具调用与智能体能力会逐步普及。文章同时主张将 AI 作为提升专业工作的伙伴，而非完全替代人的思考、编码与研究。
匹配字段摘要
又一次巨大飞跃：NVIDIA Rubin CPX 专用加速器与机架
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX，以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽，并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX，以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽，并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。 · NVIDIA introduced Rubin CPX for the prefill phase of inference, using a compute-heavy design and lower-cost memory to reduce wasted HBM and NVLink resources. Each chip provides 20 PFLOPS of dense FP4 compute, 128GB of GDDR7, and 2TB/s of memory bandwidth, with PCIe Gen 6 connectivity. It will be deploye
匹配字段摘要
大众智能：十亿人获得强大 AI 后会发生什么
超过十亿人已经常使用 AI 聊天机器人，模型成本下降和自动路由正让更多免费用户接触强大的推理模型。GPT-5 推出数日后，付费用户使用推理模型的比例从 7% 升至 24%，免费用户使用最强模型的比例从接近零升至 7%。这种“大众智能”在扩大知识和创作能力的同时，也将给教育、医疗、司法及信息信任带来新问题。
超过十亿人已经常使用 AI 聊天机器人，模型成本下降和自动路由正让更多免费用户接触强大的推理模型。GPT-5 推出数日后，付费用户使用推理模型的比例从 7% 升至 24%，免费用户使用最强模型的比例从接近零升至 7%。这种“大众智能”在扩大知识和创作能力的同时，也将给教育、医疗、司法及信息信任带来新问题。 · More than a billion people regularly use AI chatbots, while falling model costs and automatic routing are giving more free users access to powerful reasoning models. Within days of GPT-5’s launch, the share of paying users who had used a Reasoner rose from 7% to 24%, while the share of free users accessing the most powerful models increased f
匹配字段摘要
分析：GPT-5 为广告变现与消费级 SuperApp 铺路
SemiAnalysis 认为，GPT-5 的实时 Router 可按查询复杂度分配模型与算力，为 OpenAI 变现 700m+ 免费用户奠定基础。免费用户接触推理模型的数量首日增长 7 倍，付费用户增长近 3.5 倍；文章推测 OpenAI 或通过商业意图识别、智能体购物和交易抽成打造消费级 SuperApp，而非采用展示广告。
SemiAnalysis 认为，GPT-5 的实时 Router 可按查询复杂度分配模型与算力，为 OpenAI 变现 700m+ 免费用户奠定基础。免费用户接触推理模型的数量首日增长 7 倍，付费用户增长近 3.5 倍；文章推测 OpenAI 或通过商业意图识别、智能体购物和交易抽成打造消费级 SuperApp，而非采用展示广告。 · SemiAnalysis argues that GPT-5’s real-time Router can allocate models and compute according to query complexity, laying the groundwork for OpenAI to monetize its 700m+ free users. Exposure to reasoning models rose 7x among free users and nearly 3.5x among paying users on the first day; the article speculates that OpenAI could bu
匹配字段摘要
姚顺雨：AI 进入后半场，评估比训练更重要
姚顺雨在博客中提出 AI 已进入后半场，重心将从开发新训练方法与模型转向定义问题，评估变得比训练更重要。他认为 RL 终于能泛化，语言预训练提供的先验、把推理加入动作空间以及环境三者构成了通用配方，使基准被标准化攻克。由此他提出效用问题，指出评估假设与真实世界存在差异，例如评估默认自动运行且任务独立同分布，而现实中智能体需与人持续交互、任务按顺序累积。
匹配字段摘要
Sam Altman 谈 AI 经济学的三项观察与 AGI 的社会影响
Sam Altman 提出 AI 经济学的三项观察，认为模型智能随训练与推理资源投入增长，同等智能水平的使用成本约每 12 个月下降 10x，而智能提升带来的社会经济价值呈超指数增长。OpenAI 正开始推出最终可充当虚拟同事的 AI 智能体，但仍需大量人工监督和指导。文章还讨论了 AGI 对科学进步、商品价格、就业形态及资本与劳动权力平衡的潜在影响，并主张扩大个人对技术的控制与收益分配。
匹配字段摘要
vLLM 2024 年回顾与 2025 年愿景
vLLM 回顾了 2024 年的社区与技术进展，并提出面向 2025 年的推理扩展、生产部署和开放架构路线。其 GitHub stars 从 14,000 增至 32,600，贡献者从 190 增至 740，月下载量从 6,000 增至 27,000，支持的模型架构接近 100 种。项目还计划发布重新设计的 V1 架构，并继续推进 KV cache、MoE、长上下文、量化、推测解码和集群级部署能力。
匹配字段摘要
DeepSeek在GitHub开源推理引擎DeepInfer
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
vLLM博客发布Kimi K3推理优化技术复盘
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
vLLM博客发布Kimi K3推理优化技术复盘
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek开源内部推理框架DeepInfer。据Yuchen Jin引用DeepSeek披露的数据,单个集群每天处理155万亿token,每GPU小时产生38美元收入(非高峰定价),DeepInfer同时支持NVIDIA Blackwell和华为昇腾;36氪后续报道称其配套开源deepseek-recipe,支持英伟达SM100 GPU与华为昇腾Ascend 950 NPU。10月21日,swyx引用Latent.Space数据称单集群日处理155T tokens、输入缓存命中率96%,认为每块已售GPU生命周期价值上涨约30%。10月24日,Nathan Lambert称DeepSeek单集群日处理150T tokens,超过OpenRouter、Fireworks、Together和BaseTen开源模型推理量之和,并指出实际集群数量不明;同日LMSYS公布同硬件基准对比,称SGLang在DeepInfer自有基准上达到或超过DeepInfer,prefill吞吐最高1.04x,64x GB300上decode步长缩短1.1%–7.4%。
匹配字段标题
DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题