Meta 与 MIT 论文：循环复用 Transformer 层可胜过普通模型
New Meta and MIT paper finds reusing a transformer's layers in loops can beat a plain model.
AI 导读
Meta 与 MIT 新论文发现，循环复用 Transformer 层能让模型在不增加参数的情况下获得更深深度，并优于普通模型。研究训练了最高 1B 参数、最多 155B token 的稠密模型，发现循环整个堆栈在固定规模下质量最佳，训练算力紧张时循环中间层收益最高。每循环适配器仅增加 1.1%–4.3% 参数，而翻倍深度需增加 51.4%。
正文 · AI 翻译
Meta 与 MIT 的新论文发现，循环复用 Transformer 的层可以胜过普通模型。
循环会让相同的层运行多次，从而在不增加参数的情况下为模型带来更深的深度。但每次循环都会消耗计算资源，而且通常对每个 token 按顺序运行。
他们训练了最高 1B 参数、最多 155B token 的稠密模型，测试了在何处循环以及循环多少次。他们还加入了微小的每循环适配器，并修复了一种并行循环方法，使循环可以在解码时同时运行。
在固定规模下，循环整个堆栈能带来最佳质量；而在训练算力紧张时，循环中间层的收益最高。每循环适配器仅增加 1.1% 至 4.3% 的参数，而将深度翻倍则需增加 51.4%，并且随着循环次数增加，其帮助更大。