先了解这件事
AI 综述
2024 年 10 月 15 日,Zyphra 发布约 5 万亿 token 的宽松许可数据集 Zyda-2,并已在 HuggingFace 上开放。该数据集由 DCLM、FineWeb-Edu、Zyda-1 和 Dolma v1.7 的 Common Crawl 部分经跨数据集去重与模型过滤组合而成。Zyphra 表示,借助 NVIDIA NeMo Curator 的 GPU 加速,数据处理从 CPU 上的 3 周缩短到 2 天,总拥有成本降低 2 倍。Zyphra 还称,用 Zyda-2 退火训练的模型在 MMLU、Hellaswag 等聚合评测上优于 DCLM 和 FineWeb-Edu,其 Zamba2 系列模型即基于该数据集的早期版本训练。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月15日
Zyphra Research一手
Zyphra 发布 5 万亿 token 数据集 Zyda-2，用 NVIDIA NeMo Curator 将处理时间从 3 周缩短到 2 天
Zyphra 发布 Zyda-2，一个约 5 万亿 token 的宽松许可数据集，由 DCLM、FineWeb-Edu、Zyda-1 和 Dolma v1.7 的 Common Crawl 部分经跨数据集去重与模型过滤组合而成，已在 HuggingFace 上开放。借助 NVIDIA NeMo Curator 的 GPU 加速，数据处理从 CPU 上的 3 周缩短到 2 天，总拥有成本降低 2 倍。Zyphra 称用 Zyda-2 退火训练的模型在 MMLU、Hellaswag 等聚合评测上优于 DCLM 和 FineWeb-Edu，其 Zamba2 系列模型即基于该数据集的早期版本训练。