←事件详情

热点事件

AWS在SageMaker HyperPod上微调GPT-OSS-20B

1 篇正式报道1 条事件动态更新于 10月21日 01:48

先了解这件事

AI 综述

AWS 团队于 2026 年 10 月 21 日介绍在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 的工作,目标是解决该模型只用英文推理的问题。据其说明,基座模型在 50 例多语言推理测试中仅 22% 使用正确目标语言,其中英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%。训练采用 LoRA,数据为 HuggingFaceH4/Multilingual-Thinking,约 949 条训练样本、50 条验证样本,方法上结合 SFT 与 GRPO。其结论是 SFT 承担大部分工作,GRPO 只有在模型已有一定概率产出目标行为时才能带来可测量的增益。目前该工作以 AWS 官方技术介绍形式发布,尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

事件进展

1 个已确认进展

  1. AWS介绍在SageMaker HyperPod上微调GPT-OSS-20B

    来源:AWS Machine Learning

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月21日

  1. AWS Machine Learning一手

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    AWS 团队在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 微调 GPT-OSS-20B,解决其只用英文推理的问题:基座模型在 50 例多语言推理测试中仅 22% 用对目标语言(英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%)。结论是 SFT 承担大部分工作,GRPO 在模型已有一定概率产出目标行为时才能带来可测量的增益。训练使用 LoRA,数据为 HuggingFaceH4/Multilingual-Thinking(约 949 条训练、50 条验证)。

关联事件

  1. 相关事件i14将自定义架构迁移到AWS Trainium2
  2. 相关事件Thinking Machines Lab介绍on-policy蒸馏方法
  3. 相关事件AWS发布HyperPod多租户架构指南
  4. 相关事件NVIDIA推出生成式推荐工具栈