搜索“AWS”

AWS发布在SageMaker AI上为TTS推导自动扩缩容目标的教程

AWS于2026年10月23日发布教程,介绍在Amazon SageMaker AI上为TTS推导自动扩缩容目标的方法。教程以自定义容器在SageMaker AI实时端点部署82M参数的TTS模型Kokoro-82M,用实测的Q_max(单实例在SLO内可承受的最高并发)和T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与冷却时间,替代凭猜测设定的目标值。方案基于SageMaker AI原生发布的ConcurrentRequestsPerModel指标扩缩容,避免自定义指标无人上报的隐性故障。目前尚无后续发展。

AWS发布在SageMaker AI上为TTS推导自动扩缩容目标的教程

AWS于2026年10月23日发布教程,介绍在Amazon SageMaker AI上为TTS推导自动扩缩容目标的方法。教程以自定义容器在SageMaker AI实时端点部署82M参数的TTS模型Kokoro-82M,用实测的Q_max(单实例在SLO内可承受的最高并发)和T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与冷却时间,替代凭猜测设定的目标值。方案基于SageMaker AI原生发布的ConcurrentRequestsPerModel指标扩缩容,避免自定义指标无人上报的隐性故障。目前尚无后续发展。

查看事件：AWS发布在SageMaker AI上为TTS推导自动扩缩容目标的教程

LMSYS发布SGLang AWS Trainium插件Beta

2026年10月22日,LMSYS与AWS合作发布SGLang Trainium插件Beta,该插件基于新发布的TorchNeuron构建,在Trainium2和Trainium3上支持LLM推理服务与RL rollout生成。初始覆盖Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4和GLM-5.2/5.3,并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8和异步调度。首次端到端异构RL运行中,SGLang在Trainium3上为Qwen3-MoE-30B-A3B生成rollout,Miles在单台H200节点上用Megatron训练GRPO策略。Beta目前仅限少量团队参与。次日,Amazon宣布开源TorchNeuron,这是一个把PyTorch代码转换为可在AWS Trainium上执行的操作的后端,已在其他加速器上运行的PyTorch代码几乎无需改动即可迁移。

查看事件：LMSYS发布SGLang AWS Trainium插件Beta

AWS解决方案架构团队构建多智能体系统Deep Insight

AWS解决方案架构团队构建并开源了多智能体系统Deep Insight,该系统可将CSV数据与自然语言提示转化为带引用的.docx分析报告。系统由Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker等八个智能体分层协作,基于Strands Agents SDK的Graph与Agents-as-Tools模式控制执行流,并按角色分别选用Claude Haiku、Opus和Sonnet。生产部署依托Amazon Bedrock AgentCore运行时,LLM生成的代码在AWS Fargate的按会话临时容器中隔离执行,配套Web UI与Ops仪表盘。目前该事实仅有AWS Machine Learning单一来源报道,尚无后续发展事实。

AWS解决方案架构团队构建多智能体系统Deep Insight

AWS解决方案架构团队构建并开源了多智能体系统Deep Insight,该系统可将CSV数据与自然语言提示转化为带引用的.docx分析报告。系统由Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker等八个智能体分层协作,基于Strands Agents SDK的Graph与Agents-as-Tools模式控制执行流,并按角色分别选用Claude Haiku、Opus和Sonnet。生产部署依托Amazon Bedrock AgentCore运行时,LLM生成的代码在AWS Fargate的按会话临时容器中隔离执行,配套Web UI与Ops仪表盘。目前该事实仅有AWS Machine Learning单一来源报道,尚无后续发展事实。

查看事件：AWS解决方案架构团队构建多智能体系统Deep Insight

AWS在SageMaker HyperPod上微调GPT-OSS-20B

AWS 团队于 2026 年 10 月 21 日介绍在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 的工作,目标是解决该模型只用英文推理的问题。据其说明,基座模型在 50 例多语言推理测试中仅 22% 使用正确目标语言,其中英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%。训练采用 LoRA,数据为 HuggingFaceH4/Multilingual-Thinking,约 949 条训练样本、50 条验证样本,方法上结合 SFT 与 GRPO。其结论是 SFT 承担大部分工作,GRPO 只有在模型已有一定概率产出目标行为时才能带来可测量的增益。目前该工作以 AWS 官方技术介绍形式发布,尚无后续进展。

AWS介绍在SageMaker HyperPod上微调GPT-OSS-20B

AWS 微调 GPT-OSS-20B

查看事件：AWS在SageMaker HyperPod上微调GPT-OSS-20B

i14将自定义架构迁移到AWS Trainium2

i14 将其自定义架构迁移到 AWS Trainium2。2026 年 10 月 21 日,AWS Machine Learning 发布的信息显示,i14 与 AWS 合作,使用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B 模型。单台 trn2.48xlarge 的训练吞吐约为 120,000 tokens/s;该模型每序列循环状态固定为 29.5 MB,不随上下文长度增长;推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all_to_all 通信改造,将每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。目前尚无后续发展事实。

查看事件：i14将自定义架构迁移到AWS Trainium2

AWS介绍用Keyfactor EJBCA与AWS服务保障AI代理身份

2026年10月21日,AWS介绍了一套使用Keyfactor EJBCA结合AWS服务保障AI代理身份的方案。据AWS Machine Learning发布的文章,AWS与Keyfactor联合发布参考架构,用Keyfactor EJBCA的X.509 PKI为AI智能体建立可验证、可撤销的加密身份,以弥补MCP缺少内置认证标准的缺口。该方案结合Amazon Bedrock、AWS Strands Agents SDK、AWS Secrets Manager和Amazon RDS,通过签名请求信封、用户签名委托断言、RFC 8693受众限定token与实时OCSP吊销检查四层机制,覆盖用户认证、智能体间通信和MCP工具调用三个信任边界。目前该方案以参考架构形式对外介绍,尚无后续实施进展的公开事实。

查看事件：AWS介绍用Keyfactor EJBCA与AWS服务保障AI代理身份

AWS推出基于推送的NIXL KV传输连接器

AWS 于 2026 年 10 月 20 日推出基于推送的 NIXL 连接器,用于分离式推理中的 KV 传输。该连接器把 prefill 之后的传输协调与建立过程移出关键路径:在 pull 模式下,由 decode 实例发起 NIXL READ 的串行步骤,现改为由 prefill 侧后台线程发起 NIXL WRITE。AWS 表示,在 1P1D 的 Amazon EC2 P5en + EFA 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证,随后作为与加速器无关的特性贡献给 vLLM。目前尚无后续发展事实。

i14将自定义架构迁移到AWS Trainium2

i14 将其自定义架构迁移到 AWS Trainium2。2026 年 10 月 21 日,AWS Machine Learning 发布的信息显示,i14 与 AWS 合作,使用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B 模型。单台 trn2.48xlarge 的训练吞吐约为 120,000 tokens/s;该模型每序列循环状态固定为 29.5 MB,不随上下文长度增长;推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all_to_all 通信改造,将每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。目前尚无后续发展事实。

AWS介绍用Keyfactor EJBCA与AWS服务保障AI代理身份

2026年10月21日,AWS介绍了一套使用Keyfactor EJBCA结合AWS服务保障AI代理身份的方案。据AWS Machine Learning发布的文章,AWS与Keyfactor联合发布参考架构,用Keyfactor EJBCA的X.509 PKI为AI智能体建立可验证、可撤销的加密身份,以弥补MCP缺少内置认证标准的缺口。该方案结合Amazon Bedrock、AWS Strands Agents SDK、AWS Secrets Manager和Amazon RDS,通过签名请求信封、用户签名委托断言、RFC 8693受众限定token与实时OCSP吊销检查四层机制,覆盖用户认证、智能体间通信和MCP工具调用三个信任边界。目前该方案以参考架构形式对外介绍,尚无后续实施进展的公开事实。

AWS介绍vLLM双向KV传输降低多轮TTFT

AWS 于 2026 年 10 月 20 日介绍 vLLM 新增的双向 KV 缓存传输机制:在后续轮次中,decode 节点把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高改善 1.6 倍,zai-org/GLM-5-FP8 最高改善 3.3 倍。该能力最初在 AWS Trainium 集群上验证并贡献给 vLLM,作为与加速器无关的特性,需配合 KV-cache-aware 路由器协调跨轮复用。目前尚无后续发展。

Deepgram与AWS将Nova-3移植到Trainium2

Deepgram与AWS合作,将Nova-3语音转文字模型移植到AWS Trainium2。据AWS Machine Learning于2026年10月20日发布的信息,单台trn2.3xlarge实例可运行8个模型副本,在离线批处理场景下每美元处理的音频量比原有方案提升11%–70%。团队使用TorchNeuron完成PyTorch移植,并通过NKILib融合内核与手写NKI内核调优,其中FFN内核延迟降低2.0x、depthwise conv1d提速1.5x,conv2d内核解锁了32以上的批大小。目前尚无后续发展事实。

AWS介绍vLLM双向KV传输降低多轮TTFT

AWS 于 2026 年 10 月 20 日介绍 vLLM 新增的双向 KV 缓存传输机制:在后续轮次中,decode 节点把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高改善 1.6 倍,zai-org/GLM-5-FP8 最高改善 3.3 倍。该能力最初在 AWS Trainium 集群上验证并贡献给 vLLM,作为与加速器无关的特性,需配合 KV-cache-aware 路由器协调跨轮复用。目前尚无后续发展。

查看事件：AWS介绍vLLM双向KV传输降低多轮TTFT

AWS推出基于推送的NIXL KV传输连接器

AWS 推出 基于推送的NIXL连接器

查看事件：AWS推出基于推送的NIXL KV传输连接器

Deepgram与AWS将Nova-3移植到Trainium2

Deepgram与AWS合作,将Nova-3语音转文字模型移植到AWS Trainium2。据AWS Machine Learning于2026年10月20日发布的信息,单台trn2.3xlarge实例可运行8个模型副本,在离线批处理场景下每美元处理的音频量比原有方案提升11%–70%。团队使用TorchNeuron完成PyTorch移植,并通过NKILib融合内核与手写NKI内核调优,其中FFN内核延迟降低2.0x、depthwise conv1d提速1.5x,conv2d内核解锁了32以上的批大小。目前尚无后续发展事实。

查看事件：Deepgram与AWS将Nova-3移植到Trainium2

AWS新用户可通过新版登录体验直接进入SageMaker Studio

AWS宣布,新客户可通过新版AWS登录注册体验直接进入SageMaker Studio。据AWS Machine Learning于2026年10月20日发布的信息,新客户可使用Amazon、Apple、GitHub、Google账号或邮箱,在2–3步内完成AWS注册,并自动在约20秒内创建好SageMaker Studio环境,无需手动配置;多数客户无需填写信用卡。新客户可获得100美元AWS Free Tier额度,用于模型定制、训练任务、Studio notebook和端点部署,符合条件账户默认可用G5、G6、G4dn GPU实例。该体验仅面向新AWS账户,已有账户登录方式不变。目前尚无后续发展事实。

AWS新用户可通过新版登录体验直接进入SageMaker Studio

AWS 宣布 新客户可通过新版AWS登录注册体验直接进入SageMaker Studio

查看事件：AWS新用户可通过新版登录体验直接进入SageMaker Studio

AWS团队介绍基于AgentCore的智能体评估框架

2026年10月17日,AWS销售运营团队介绍了一套基于Amazon Bedrock AgentCore Evaluations搭建的、覆盖全生命周期的AI智能体评估框架,用于其服务全球AWS现场销售的多智能体系统。据AWS Machine Learning发布的信息,该团队在上线前评估Customer Insights Agent时发现,该智能体把410.08美元三个月营收报成“4.1008亿美元”等错误,而传统监控始终显示正常;一次预生产测试中,数据、工具与提示词变更错位更让通过率从78%跌至38%。目前该框架已用于上述多智能体系统的评估。