先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Parcae:用稳定循环模型以更少参数实现更高性能事件进展
1 个已确认进展
- 来源:Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
4月15日
Together AI Blog一手精选
Parcae:用稳定循环模型以更少参数实现更高性能
Together AI 发布稳定循环语言模型架构 Parcae,通过反复使用相同层来增加计算量,而不扩大参数规模。实验中,Parcae 的验证困惑度较参数和数据匹配的 RDM 最多降低 6.3%,770M 模型的下游表现接近参数量两倍的 Transformer;训练代码和模型已发布。