Transformer 九年未换地基:拆解 8 个核心零件,分清遗产与装修
9 年了,AI 的“地基“没换过:拆开 Transformer 这台引擎,只有 8 个零件
AI 导读
自 2017 年《Attention Is All You Need》以来,GPT、BERT、LLaMA 等模型仍共用同一套 Transformer 地基,九年改动集中在 RoPE、RMSNorm、SwiGLU、GQA 等“装修”层面。文章按流水线拆解 Token 与嵌入、位置编码、自注意力、多头注意力、因果掩码、前馈网络、残差与归一化、整体拼法 8 个零件,其中自注意力公式 softmax(QKᵀ/√dₖ)V 原封未动。LLaMA-7B 的嵌入维度从 2017 年的 512 扩到 4096,Llama 2 70B 用 GQA 让 64 个查询头共享 8 组 KV,KV 缓存显存约省 8 倍。
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。