先了解这件事
AI 综述
2026年9月1日,Zyphra 推出面向持续演化语料的增量模糊去重系统 PUFFER。据 Zyphra Research 发布的信息,该系统可在单进程 1.75 小时内完成 10 亿文档的索引层摄入,并已在超过 300 亿文档的生产环境中部署。在长达十小时的吞吐测试中,处理最多 10 亿文档时,PUFFER 相比现有基于 CPU 的去重方法实现 11x-35x 加速。该系统以 Apache 2.0 许可开源,支持中断任务确定性恢复和按数据集定向撤回。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 推出 PUFFER：面向持续演化语料的增量模糊去重系统事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月1日
Zyphra Research一手
Zyphra 推出 PUFFER：面向持续演化语料的增量模糊去重系统
Zyphra 发布 PUFFER，一个面向持续增长训练语料的增量模糊去重系统，可在单进程 1.75 小时内完成 10 亿文档的索引层摄入，并已在超过 300 亿文档的生产环境中部署。在长达十小时的吞吐测试中，处理最多 10 亿文档时，PUFFER 相比现有基于 CPU 的去重方法实现 11x-35x 加速。该系统以 Apache 2.0 许可开源，支持中断任务确定性恢复和按数据集定向撤回。