先了解这件事
AI 综述
2024年3月4日,Cartesia团队发布Based架构,通过结合滑动窗口注意力和线性注意力,在召回密集型任务上超越Mamba等次二次方模型,同时实现比FlashAttention-2高24倍的文本生成吞吐量。该架构使用二阶泰勒近似作为特征映射,并提供了IO感知的CUDA实现,代码和检查点已在GitHub和Hugging Face公开。
AI 根据公开报道生成
最新进展 · 正式报道
Cartesia 发布 Based 架构：线性注意力模型平衡召回与吞吐量事件进展
1 个已确认进展
- 来源：Cartesia 产品与研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
3月4日
Cartesia 产品与研究一手
Cartesia 发布 Based 架构：线性注意力模型平衡召回与吞吐量
Cartesia 团队发布 Based 架构，通过结合滑动窗口注意力和线性注意力，在召回密集型任务上超越 Mamba 等次二次方模型，同时实现比 FlashAttention-2 高 24 倍的文本生成吞吐量。该架构使用二阶泰勒近似作为特征映射，并提供了 IO 感知的 CUDA 实现，代码和检查点已在 GitHub 和 Hugging Face 公开。