←新闻详情

Nathan Lambert更新于 10月25日 18:24

Nathan Lambert:DeepSeek 单集群日处理 150T tokens,超过多家开源推理平台总和

DeepSeek is serving 150T tokens a day on one cluster, more than the open model inference on OpenRouter, Fireworks, Together, and BaseTen combined.

AI 导读

Nathan Lambert 称 DeepSeek 在单个集群上每天处理 150T tokens,超过 OpenRouter、Fireworks、Together 和 BaseTen 上开源模型推理量的总和。他同时贴出了自己对这几家公司推理量报告的重构对比图,并提到这一数字只对应单个集群,DeepSeek 实际拥有多少个集群尚不清楚。

推荐理由

AI 评分 64

作者把多家推理服务商的公开吞吐数据放在一起对照,读者可据此了解 DeepSeek 单集群推理规模在开源模型生态中的位置。

主题

标签

引用

Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)

@teortaxesTex

@natolambert 直接来自本人之口 啊,对了。那是“单个集群”,谁知道他们有多少个 https://t.co/lruIKnDwCX https://t.co/Uq5rYyr5N0

查看原文

@natolambert right from the horse's mouth ah, right. That's "a single cluster", who knows how many they have https://t.co/lruIKnDwCX https://t.co/Uq5rYyr5N0

查看原帖

正文 · AI 翻译

DeepSeek 在单个集群上每天处理 150T tokens,超过 OpenRouter、Fireworks、Together 和 BaseTen 上开源模型推理量的总和。

以下是我对上述各公司多项推理量报告的重构。https://t.co/9Hp6wf5Gig

来源

Nathan Lambert