人工智能
在 SageMaker AI Serverless Model Customization 上进行全量微调(FFT)微调是指使用公司自有数据继续训练预训练大语言模型(LLM),使其适应特定领域、任务或风格,而不再仅仅依赖通用知识。对企业而言,其价值体现在两个方面。经过微调的模型在特定领域工作中能够实现显著更高的准确率,同时降低成本:一个规模较小的专业模型可以在您的任务上达到或超过前沿模型的表现,而每词元推理价格仅为后者的一小部分。在数百万次请求中,这些节省会不断累积。因此,对于希望以更低成本从 LLM 中获得更大价值的企业来说,微调已成为一项必不可少的流程。
低秩适应(LoRA)等参数高效微调(PEFT)方法已成为针对下游任务微调 LLM 的实用解决方案,它们仅更新 LLM 参数中的一小部分,从而降低 GPU 容量需求。LoRA 旨在兼顾效率与表达能力;然而,权重更新的低秩性质从根本上限制了 LoRA 微调模型的表征能力,可能会影响其在复杂任务上的表现。这种权衡削弱了 LoRA 方法捕捉多样化任务所需复杂模式的能力。为应对这些挑战,全量微调(FFT)会同时更新模型参数,突破低秩限制,使 LLM 能够充分吸收复杂的领域特定知识。
Amazon SageMaker AI Serverless Model Customization 现已支持 全量微调(FFT),因此您无需管理基础设施即可获得更出色的模型质量。无需预置 GPU、设置集群或配置分布式训练。本文将探讨 FFT 在哪些场景和方面能够持续优于 LoRA,涵盖各项关键基准测试;分析模型权重矩阵的频谱特性,以解释这种质量差距;基于使用 SageMaker AI Serverless Model Customization 开展的对照实验,提供实用的超参数调优指南;并介绍如何在 SageMaker AI 上开始使用 FFT。
全量微调:为何重要
LoRA 等模型定制类型会冻结预训练模型的权重,并向模型层中注入较小且相互独立的替代矩阵对(称为低秩矩阵),从而减少可训练参数。这种方法非常适合简单的适配,但低秩结构从根本上限制了微调模型的表征能力。随着任务变得更加复杂、数据集规模增长至数万条样本以上,LoRA 的准确率会进入平台期,此时即使提高秩(并相应增加可训练参数),也无法弥合其与标准微调之间的准确率差距。这一平台期表明,性能差距并不只是参数较少所致,其根源在于秩亏。低秩更新无法捕捉深度任务适配所需权重变化的全部复杂性。
然而,对于拥有大型高质量数据集的复杂任务和领域,全秩微调通过同时更新模型参数而表现出色。FFT 会均匀修改模型的权重矩阵,充分利用模型权重矩阵的全部表征能力,而不是将更新限制在一个较小的子空间内,同时也不会引入低秩方法特有的突兀局部畸变。这样可以实现更强的模型收敛、更好的模型层间激活对齐,并使模型既能忠实捕捉目标任务分布,又能保留其预训练知识的丰富性。FFT 的质量优势会随数据集规模扩大而增长:如下图所示,在超过 100K 条训练样本时,FFT 在代码生成任务的 LLM-as-Judge 语义正确率评估中达到了 90.0%。
图 1:随着训练数据扩展至超过 100K 条样本,不同训练方法的 LLM-as-Judge 语义正确率
此外,下方雷达图提供了整体视角:基础模型(最内层多边形)在所有坐标轴上的得分始终较低。LoRA(中间多边形)呈现出强劲且均衡的提升。FFT(最外层多边形)在每个维度上都延伸得更远,尤其在 BLEU 和 ROUGE-2 得分方面领先明显。这种多维度的质量优势证明,它并非某个特定指标造成的假象,而是全秩优化的一项根本优势。
图 2:在各个质量维度上比较基础模型、LoRA 和 FFT 的雷达图
我们将在以下各节中详细说明这些结果的得出过程、用于模型定制的编码数据集以及实验流程。
实验与基准测试结果
本文使用了 监督微调(SFT)技术 ,对 Amazon SageMaker AI Studio 中提供的 Qwen3-4B 基础模型进行训练,并使用 SageMaker AI Serverless Model Customization 完成了 LoRA 和 FFT 两种训练方法的全部微调实验。在每项实验中,两种方法使用的提示词、目标输出和评估代码均相同。
数据集:110K 组代码生成指令对
在所有实验中,我们使用 Magicoder-Evol-Instruct-110K 数据集对 Qwen3-4B 基础模型进行了微调。该数据集是一个经过筛选的语料库,包含 110,000 组编码指令与响应,涵盖算法设计、调试、数据结构和系统编程。我们按 90/5/5 的比例划分数据集:99,000 条记录用于训练,5,500 条用于验证,以便在定制作业期间监控收敛情况和训练损失,另有 5,500 条保留为独立测试集,用于无偏评估最终模型。该数据集已注册为 SageMaker AI 数据集资产,如下图所示。
图 3:在 SageMaker AI 数据集资产中注册的 110K 组指令对数据集
Serverless Model Customization 作业
本文中的所有模型定制实验均在 Amazon SageMaker AI Serverless Model Customization 上完成。SageMaker AI 的 Serverless Model Customization 让数据科学家和机器学习(ML)工程师能够专注于模型微调,而无需管理基础设施或规划 GPU 容量。您只需指定基础模型、数据集和超参数,该服务便会以无服务器方式自动处理计算资源分配和检查点管理。以下代码片段展示了一个此类实验,即使用 SageMaker Python SDK 在 Serverless Model Customization 上启动全量微调(FFT)作业。
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.FULL,
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
s3_output_path=output_path,
sagemaker_session=sess,
role=role,
)
# Configure hyperparameters as needed
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1
trainer.train(wait=False)
该代码会触发一个无服务器模型定制作业,如以下屏幕截图所示。训练性能指标会在作业中受到跟踪,并可在关联的 MLflow 应用中查看。
图 4:使用 MLflow 跟踪训练指标的无服务器模型定制作业
设置 TrainingType.FULL 为 TrainingType.LORA。其余代码保持不变:
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.LORA, # ← only change
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
...
)
模型评估与基准测试
我们使用 SageMaker AI Serverless Model Customization 内置的三种不同 评估方法 对由此得到的定制模型进行了测试:LLM-as-Judge、PRIMECODE 和 MMLU,如下图所示。它们分别针对模型质量的不同维度:语义正确性、代码生成保真度和通用知识保留情况。三者结合,可以全面反映模型定制质量。
图 5:SageMaker AI Serverless Model Customization 中的三种内置评估方法
LLM-as-Judge 指标使用前沿模型(本文使用 Amazon Nova Pro)作为自动评估器,读取模型生成的代码和原始提示词,并判断解决方案在逻辑上是否正确。在 Serverless Model Customization 上,您可以同时评估定制模型和基础模型,如下图所示。
图 6:使用 LLM-as-Judge 评估比较定制模型与基础模型
PRIMECODE 是一种自定义评分器评估方法,使用确定性的文本相似度指标来衡量模型生成的代码与参考解决方案的接近程度,这些指标包括 BLEU(n-gram 精确率)、ROUGE-1/2/L(侧重召回率的重合度)和 F1(精确率与召回率的平衡)。这些指标完全可复现,因此非常适合受控消融研究。我们将 PRIMECODE 作为衡量表层代码质量的主要指标,因为它可以量化模型对训练数据中的编码模式、格式约定和实现风格的学习程度。较高的 BLEU 得分意味着模型生成的代码在结构上与专家编写的解决方案相似,如以下结果所示。
图 7:定制模型的 PRIMECODE 文本相似度得分
MMLU(大规模多任务语言理解)是一项内置基准测试,涵盖从抽象代数和解剖学到营养学和哲学的 57 个学科,用于测试模型在特定领域微调后是否仍能保留广泛的通用知识,如下图所示。我们将 MMLU 用作检测遗忘的保护指标。针对代码进行微调可能会覆盖存储在模型权重中的通用能力。通过跟踪微调前后的 MMLU 准确率,我们可以准确量化模型为提升代码生成能力而牺牲了多少通用知识,以及所选超参数会加剧还是缓解这种权衡。
图 8:微调前后的 MMLU 准确率
快速开展大规模实验
SageMaker AI Serverless Model Customization 易于设置和使用,使我们无需重新配置基础设施即可快速开展实验。我们在 LoRA 和 FFT 之间切换训练类型、扫描超参数,并在多个基础模型上进行测试。在短时间内,我们针对 多个受支持的基础模型 (Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B)运行了数十项模型定制实验,系统地对学习率、批次大小、预热比例、训练轮数和数据集规模进行了消融研究。从提交作业到获得评估结果,每项实验均在数小时内完成;生成的微调模型会自动注册到 SageMaker Model Registry,成为带版本的 Model Package,可供审核或部署。
超参数选项
SageMaker AI Serverless Model Customization 支持多种超参数。本节将介绍其中几个重要的超参数,相关结论来自我们针对前述代码生成任务,在多种超参数配置下开展的一系列实验。虽然有效取值会因任务而异,但这些实验中观察到的规律可作为配置 FFT 模型定制作业时的实用起点。有关在启动 FFT 模型定制作业之前可以配置的超参数的更多信息,请参阅 超参数文档页面.
1. learning_rate
在全量微调中,学习率控制每个权重的更新幅度。LoRA 仅改变小型适配器矩阵,而 FFT 的学习率如果过高,则会永久覆盖预训练知识。在我们的实验中,以下“学习率 × 数据集规模”风险图显示,对于大型数据集(超过 10 万条数据),2e-5 的学习率处于安全区间。
图 9:全量微调的学习率与数据集规模风险图
2. max_epochs
在 FFT 中,训练轮数本质上关乎遗忘,而不是损失曲线。训练损失会持续下降,独立验证集的结果看起来也会很理想,因为它与训练数据具有相同的分布;但模型在所有未参与训练的任务上的能力会悄然退化。训练 3 轮时,LLM-as-Judge 正确性得分升至 90.0%;超过 3 轮后,我们实验的每种变体性能均有所下降。
3. global_batch_size
批次大小决定了每次梯度更新由多少个样本共同贡献。在学习率固定时,较小的批次会产生噪声更大的更新,其表现很像使用更高的学习率,从而增加遗忘风险。较大的批次可减少噪声,但也会减少优化步数,可能导致欠拟合。
图 10:全局批次大小对模型质量的影响
灾难性遗忘风险
FFT 会修改模型中的每一个参数,包括编码预训练期间所获通用知识的参数。当微调过程过于激进地将这些参数推向某个狭窄领域时,模型可能会“遗忘”其更广泛的能力,这种现象称为灾难性遗忘。我们使用 MMLU 对此进行了系统测试,衡量所有微调配置对通用知识的保留情况。如下图所示,采用 warmup=5 percent、批次大小为 8、LR=2e-5 的基线配置最能保留通用知识(MMLU)。
图 11:不同超参数配置下的 MMLU 通用知识保留情况
因此,需要特别指出的是,FFT 并非普遍优于 LoRA,其效果对超参数选择极为敏感。例如,在我们的实验中,FFT 和 LoRA 在 MATH 精确匹配指标上的表现均不及基础模型,凸显了在特定领域微调期间保留推理能力所面临的挑战。FFT 中激进的学习率(LR ≥ 5e-5)尤其具有破坏性,导致 MATH 得分暴跌至 2–3 percent,MMLU 准确率降至 3.6 percent,这是灾难性遗忘的明确证据。此外,LoRA 在 LLM-as-Judge 指标上的表现略优于 FFT(81.5 percent 对 79.5 percent),说明参数高效方法在主观质量评估方面仍可能占据优势。这些发现进一步表明,应通过审慎实验,并结合数据集特征以及对相关权衡的清晰认识,来决定选择 FFT 还是 LoRA。
结论
借助 Amazon SageMaker AI Serverless Model Customization 上的全量微调,当任务复杂度和数据规模有此需求时,您的模型可以充分吸收特定领域的知识。如果您的用例需要深度适配,例如专门的推理、代码生成或特定领域的语言理解,并且您拥有充足的高质量训练数据,那么 FFT 可以带来明显更强的效果。
您可以开始使用 SageMaker AI Serverless Model Customization ,借助无服务器训练和内置评测,无需规划基础设施或计算容量,因此您可以专注于数据和超参数选择。您可以使用 SageMaker Python SDK ,以编程方式配置并启动训练和评测作业。您可以查看 支持的基础模型文档 ,这些模型可在 Serverless Model Customization 上进行全量微调。
AI 热点