先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Exa 借助 AWS AI 芯片将嵌入吞吐量提升 50%,索引数十亿份文档事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
AWS Machine Learning一手
Exa 借助 AWS AI 芯片将嵌入吞吐量提升 50%,索引数十亿份文档
Exa 在 AWS Inferentia2 和 AWS Trainium2 上优化嵌入基础设施,将吞吐量提升约 1.5×,用于大规模文档索引。其为 300 亿份高优先级文档重新生成嵌入,并通过权重布局优化、autocast、NKI 内核及定制 SwiGLU MLP 内核降低计算与内存开销,输出与参考结果的余弦相似度达到 0.999。
AI 热点