xarray-sql 基准:用 SQL 实现 Transformer 注意力并自动求梯度
xarray-sql/benchmarks/ml/01_attention.py at 6debe2495dcb4e8fac20ab97df5b89baae2a31a6 · xqlsystems/xarray-sql · GitHub
AI 导读
xarray-sql 仓库的 benchmarks/ml/01_attention.py 演示了用 SQL 表达因果注意力 softmax(Q·Kᵀ/√d)·V,并在 DataFusion、DataFusion 加 einfold、DuckDB 三个引擎上运行,结果与 JAX 实现对齐。einfold 无需针对注意力编写规则,就能从 SQL 中自动找到 FlashAttention 式的分块融合计划,ddx 则把损失对 Q、K、V 的梯度写成一条 SQL 语句,并由 jax.grad 校验。
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。