Anthropic 在 Messages API 推出 message threads 公测
Make long-running agents faster with message threads
Anthropic 在 Claude Platform 上线 Messages API 的 message threads 公测,智能体每轮只需发送新增内容,不必重发完整对话历史。对 500k 至 1M token 的请求,中位首 token 延迟(TTFT)下降约 35%,该功能已在多数 Claude Code 用户中默认开启。使用时在请求中加入 thread 参数,首轮发送完整对话并开启线程,后续只带新消息和上一响应 ID;线程在最后一次请求后 5 分钟过期,期间在内存中加密保存、不写入磁盘,token 用量不变。
推荐理由
AI 评分 52
原文给出了消息线程的机制、默认开启范围和 TTFT 降幅,读者可据此判断长会话智能体的延迟优化空间。
主题
正文 · AI 翻译
Messages API 新增功能:只需发送一次对话,此后每轮 API 仅接收新增内容。
消息线程(message threads)现已在 Claude Platform 上开放公测。借助消息线程,智能体无需在每一轮重新发送完整的对话历史,从而降低长时间运行会话的延迟。
消息线程的工作原理
一个编码智能体在一次会话中可能发起数百次请求,而每次请求都会重新发送此前所有的消息和工具结果。一旦对话达到数十万 token,重新发送全部内容会在 Claude 开始响应之前增加耗时。借助消息线程,智能体只发送自上一轮以来的新增内容,从而缩短首 token 时间(TTFT)。
由于大多数 Claude Code 用户已默认开启消息线程,500k 至 1M token 的请求中位 TTFT 下降约 35%。
要使用消息线程,请在 Messages API 请求中添加 thread 参数。首次请求包含完整对话并开启一个线程。此后的每次请求只包含新消息和上一响应的 ID。在轮次之间,我们会将每个线程保存在内存中,并在内存中加密,不写入磁盘。线程在最后一次请求后 5 分钟过期,随后你的客户端会重新发送完整对话以开启新线程。虽然使用消息线程后每次请求更小,但 Claude 在每一轮仍会读取完整对话,因此 token 用量保持不变。
消息线程最适合对延迟敏感的活跃会话,包括:
长时间运行的编码智能体,其中每个工具结果或文件编辑都会增加对话内容。
计算机使用智能体,其中截图保留在线程中,而无需在每一轮重新上传。
文档和图像密集型工作流,其中请求体积得以减小。
智能体携带的上下文越多,消息线程能减少的首 token 时间就越多。
快速开始
相关文章
探索更多产品新闻,以及为使用 Claude 构建应用的团队提供的最佳实践。
面向 Claude Enterprise 的智能报告、调研和共享团队预算
在许多组织中,成员已经发现了 Claude 能够释放的独特价值。下一步是将这项工作扩展到每个团队。
IDC 将 Quanta 引入 Claude,并在全公司范围采用 Claude
IDC 将 Claude 集成到其 Quanta 平台中,并已在整个企业内推广 Claude
推出面向法律工作的 artifacts
Claude for Legal 现已包含可直接用于法律工作的 artifacts,团队可以用自己的数据和连接器进行调整,并在整个企业内共享。
Claude for Financial Advisors
财务顾问现在可以将 Claude 连接到他们所依赖的托管机构、投资组合平台、CRM 和规划工具,并获得为财务顾问日常工作量身定制的新技能。
借助 Claude 转变组织的运营方式
产品更新、操作指南、社区聚焦等。每月发送到你的收件箱。
负责任披露政策
数据处理协议:美国 K-12
负责任披露政策
数据处理协议:美国 K-12