←新闻详情

Claude Devs更新于 11月3日 03:21

Claude Code 集成消息线程,长请求首 token 延迟降低约 35%

We recently integrated message threads in Claude Code. On requests with 500K to 1M tokens, median time to first token is about 35% lower.

AI 导读

Claude Code 集成消息线程后,在 500K 至 1M token 的请求上,首 token 中位延迟降低约 35%;长对话中单次请求的中位体积从约 800 KB 降至 1.8 KB。消息线程已在 Messages API 进入公开测试,服务端在轮次之间缓存对话,调用方只需发送新消息和上一条消息 ID,并需添加 thread 参数和 beta header,可在 Claude Platform、AWS 上的 Claude Platform、Microsoft Foundry 中的 Claude 以及 Google Cloud 上的 Claude 使用,按标准 token 价格计费。

推荐理由

精选AI 评分 60

官方给出消息线程在长上下文请求上的首 token 延迟与请求体积变化,可据此判断长对话场景的工程收益。

主题

标签

正文 · AI 翻译

我们最近在 Claude Code 中集成了消息线程。在 500K 至 1M token 的请求上,首 token 的中位时间降低了约 35%。

在长对话中,单次请求的中位体积从约 800 KB 降至 1.8 KB。

来源

Claude Devs