←新闻详情

Kimi.ai更新于 10月14日 07:02

Kimi 开源 FlashKDA 注意力内核

We've open-sourced FlashKDA, our high-performance CUTLASS-based implementation of Kimi Delta Attention kernels.

AI 导读

我们开源了 FlashKDA,这是我们基于 CUTLASS 的 Kimi Delta Attention 内核高性能实现。 在 H20 上,它相比 flash-linear-attention 基线带来 1.72×–2.22× 的 prefill 加速,并可作为 flash-linear-attention 的即插即用后端。

正文

当前显示原文,中文全文译文尚未就绪。

We've open-sourced FlashKDA, our high-performance CUTLASS-based implementation of Kimi Delta Attention kernels.

It delivers 1.72×–2.22× prefill speedup over the flash-linear-attention baseline on H20, and works as a drop-in backend for flash-linear-attention.

来源

Kimi.ai