AI 热点

AWS 为 SageMaker AI Serverless Model Customization 推出全量微调支持

Unite.AI更新于 11月19日 09:22

AWS Brings Full-Weight Training To Serverless SageMaker Customization

AI 导读

AWS 于 2026年11月18日为 SageMaker AI Serverless Model Customization 推出全量微调支持,用户无需配置 GPU、集群或分布式训练环境。AWS 使用 Qwen3-4B 和超过 100,000 条训练样本进行实验,语义正确率达到 90.0%,但另一项 LLM-as-Judge 比较中 LoRA 以 81.5% 高于 FFT 的 79.5%。测试还显示,学习率达到 5e-5 或更高时,MATH 分数降至 2–3%,MMLU 准确率降至 3.6%,表明激进设置会导致严重的灾难性遗忘。

推荐理由

AI 评分 65

材料同时呈现全量微调的性能收益、遗忘风险与算力代价,可用于权衡深度领域适配和通用能力保留。

主题

标签

正文 · AI 翻译

Amazon Web Services 于 2026年11月18日宣布,SageMaker AI Serverless Model Customization 现已支持全量微调(FFT)。AWS 还报告称,在一项使用超过 100,000 个训练样本的编码实验中,语义正确率达到 90.0%,但同时警告,激进的参数设置会导致通用知识严重丧失。

客户只需提供基础模型、数据集和超参数;该服务会分配计算资源并管理检查点,无需客户配置 GPU、搭建集群或设置分布式训练。在 AWS 的 SageMaker Python SDK 示例中,切换方法只需将 TrainingType.FULL 替换为 TrainingType.LORA,作业配置的其余部分保持不变。

FFT 会更新模型的每一个权重。相比之下,LoRA 会冻结预训练权重并插入低秩适配器矩阵,从而降低 GPU 容量要求,但也将更新限制在较小的表征空间内。AWS 解释称,随着数据集规模增长,全秩训练能够捕捉更复杂的领域适配,而不仅仅是增加可训练参数的数量。

受控编码测试

AWS 使用监督微调(SFT)对一个 Qwen3-4B 基础模型进行了测试,并在提示词、目标答案和评估代码完全相同的条件下比较这两种方法。Magicoder-Evol-Instruct-110K 数据集提供了涵盖算法设计、调试、数据结构和系统编程的编码指令—回答对。其中,99,000 条记录用于训练,5,500 条用于验证,另有 5,500 条作为留出测试集。

评估将任务表现与知识保留能力分开考察。Amazon Nova Pro 充当 LLM 评审器,将生成的代码与原始提示词一同读取,以评估其逻辑正确性。PRIMECODE 通过确定性的 BLEU、ROUGE-1/2/L 和 F1 指标衡量生成结果与参考答案的相似度,而 MMLU 则测试模型在 57 个学科领域中的通用知识。

AWS 报告称,其语义正确性得分在训练三个 epoch 时达到峰值,继续延长训练则会使所有受测变体的表现下降。在雷达图比较中,FFT 在展示的每个质量维度上均超过 LoRA 和基础模型,其中在 BLEU 和 ROUGE-2 上的领先幅度最大,这表明两者之间的差异并不局限于单一指标。

AWS 表示,它针对多个基础模型开展了数十次定制实验,调整了学习率、批量大小、预热比例、epoch 数和数据集规模;每次实验从提交作业到完成评估都需要数小时。生成的模型会自动以带版本号的 Model Package 形式注册到 SageMaker Model Registry 中,以供审核或部署。

AWS 提醒,FFT 并非在所有情况下都更优:FFT 和 LoRA 在 MATH 精确匹配指标上的表现均不及基础模型,而另一项 LLM-as-Judge 比较则更偏向 LoRA,其得分为 81.5%,FFT 为 79.5%。

激进的学习率造成了严重的能力损失。在 AWS 的测试中,当学习率达到 5e-5 或更高时,MATH 分数降至 2–3%,MMLU 准确率则降至 3.6%,这表明出现了灾难性遗忘——当特定领域的训练覆盖预训练知识时,模型会丧失更广泛的能力。其风险图将 2e-5 认定为大型数据集更安全的设置;在受测配置中,将该学习率与 5% 的预热比例和 8 的全局批量大小相结合的基线配置,在 MMLU 衡量的通用知识保留方面表现最佳。

批量大小也会影响知识保留。在学习率固定时,较小的批量会产生噪声更大的更新,其作用类似于更高的学习率,并会增加遗忘风险。较大的批量能够减少噪声,但也会减少优化步数,可能导致模型欠拟合。

部署方面的权衡

根据 AWS 的受支持模型列表,采用 FFT 的 SFT 可用于多种开放权重模型,包括 DeepSeek R1 Distill Qwen 1.5B、Google Gemma 4 26B A4B 和 NVIDIA Nemotron 3 Nano 30B (A3B)。

FFT 文档称,该方法使用与 LoRA 相同的数据集格式,但需要更多计算资源和更长的训练时间,会生成包含完整模型权重的更大制品,并且不兼容持续定制。它还消除了推理时的适配器开销。

无服务器运行模式改变了基础设施分配和检查点管理的责任方,但不会减少接受训练的权重数量。因此,此次发布让运行更深层次的定制变得更加容易,但其计算成本和质量收益是否划算,仍取决于特定任务上的增益能否抵消更繁重的训练成本以及更广泛能力可能出现的损失。

来源

Unite.AI