←新闻详情

Hacker News 热门更新于 10月31日 07:56

xarray-sql 基准:用 SQL 实现 Transformer 注意力并自动求梯度

xarray-sql/benchmarks/ml/01_attention.py at 6debe2495dcb4e8fac20ab97df5b89baae2a31a6 · xqlsystems/xarray-sql · GitHub

AI 导读

xarray-sql 仓库的 benchmarks/ml/01_attention.py 演示了用 SQL 表达因果注意力 softmax(Q·Kᵀ/√d)·V,并在 DataFusion、DataFusion 加 einfold、DuckDB 三个引擎上运行,结果与 JAX 实现对齐。einfold 无需针对注意力编写规则,就能从 SQL 中自动找到 FlashAttention 式的分块融合计划,ddx 则把损失对 Q、K、V 的梯度写成一条 SQL 语句,并由 jax.grad 校验。

正文

当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。

来源

Hacker News 热门