←搜索结果

按匹配度 · 共 224 条结果 清除搜索

星期六

  1. 华尔街见闻

    亚马逊CEO贾西:AWS的AI业务年化收入超250亿美元,2026年2200亿美元资本支出仍不够

    亚马逊CEO安迪·贾西在a16z播客中表示,生成式AI浪潮头三年,AWS的AI业务年化收入运行速率已超过250亿美元,是AWS初期约6000万美元的数百倍。他称2026年约2200亿美元的资本支出下,2026年产能已售罄、2027年基本售罄、2028年相当一部分也已售出,并认为推理成本仍贵了一个数量级,这是企业广泛应用AI的主要障碍。他还提到Bedrock团队用6名工程师、76天重构推理引擎,过去需要40人一年。

    匹配字段标题

  2. AWS Machine Learning

    用 AWS CDK 编排 SageMaker AI 端点自动扩缩容

    AWS 发布可复用 CDK construct,用 CloudFormation 自定义资源在 SageMaker AI 端点更新前后自动注销并重新注册 Application Auto Scaling 扩缩容目标,使实例类型、实例数或环境变量变更可在单次部署内完成。部署栈包含 3 个自定义资源、2 个 Step Functions 状态机和 12 个 Lambda 函数,其中 7 个由 CDK provider 框架生成。

    Four-step orchestration the construct runs during an endpoint update: deregister the scalable target, update the endpoint, register the scalable target, and attach the scaling policy

    匹配字段标题

星期五

  1. Hugging Face

    Hugging Face 上线 Space,可查询模型能否在 AWS Trainium 上运行

    Hugging Face 发布 torch-neuronx model support Space,可按下载量或趋势查看 Hub 上的模型能否在 AWS Trainium 上运行,并给出分片核数、含编译的耗时和峰值显存。目前只测试 Transformers 的文本生成与图文模型,且仅限能放进 4 台 Trainium2 设备(最多 16 核)的模型;每个模型生成 32 个 token 校验,单核时与 CPU 结果比对,分片时由小模型判断英文是否通顺。结果来自公开数据集 aws-neuron/torch-neuronx-model-support,Space 还提供运行脚本和跳过编译的 NEFF 缓存命令。

    匹配字段标题

  2. Amazon Science

    Amazon 发布 TorchNeuron:面向 AWS Trainium 的 PyTorch 后端

    Amazon 本周宣布开源 TorchNeuron,这是一个把 PyTorch 代码转换为可在 AWS Trainium 上执行的操作的后端,已在其他加速器上运行的 PyTorch 代码几乎无需改动即可迁移。它提供可选的 adaptive eager 模式,将操作分组编译并多级缓存 NEFF,在跨加速器的大语言模型测试中把首个训练步的时间缩短约三分之一。团队还用 AI 智能体扫描 Hugging Face 仓库,筛出 841 个代表性模型和数万个张量 shape,构建分层测试流程。

    匹配字段标题

  3. AWS Machine Learning精选

    AWS 为 SageMaker AI 无服务器模型定制推出训练会话正式版

    AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。该功能支持 SFT、DPO、RLVR、RLAIF 和多轮 RL,可选择 LoRA 或全量微调,目前支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。计费按 SageMaker AI 处理的 token 计,奖励函数在用户环境打分时停止计费,且无需预留容量。

    匹配字段标题

星期四

  1. LMSYS Blog

    LMSYS 发布 SGLang AWS Trainium 插件 Beta

    LMSYS 与 AWS 合作发布 SGLang Trainium 插件 Beta,基于新发布的 TorchNeuron 构建,在 Trainium2 和 Trainium3 上支持 LLM 推理服务与 RL rollout 生成。初始覆盖 Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 和 GLM-5.2/5.3,并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8 和异步调度。首次端到端异构 RL 运行中,SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout,Miles 在单台 H200 节点上用 Megatron 训练 GRPO 策略。Beta 目前仅限少量团队参与。

    匹配字段标题

  2. AWS Machine Learning

    AWS 团队开源多智能体系统 Deep Insight,拆解生产环境五大挑战

    AWS 解决方案架构团队构建并开源了多智能体系统 Deep Insight,可将 CSV 数据与自然语言提示转化为带引用的 .docx 分析报告。系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等八个智能体分层协作,基于 Strands Agents SDK 的 Graph 与 Agents-as-Tools 模式控制执行流,并按角色分别选用 Claude Haiku、Opus 和 Sonnet。生产部署依托 Amazon Bedrock AgentCore 运行时,LLM 生成的代码在 AWS Fargate 的按会话临时容器中隔离执行,配套 Web UI 与 Ops 仪表盘。

    Deep Insight architecture: the Strands Agents multi-agent layer on Amazon Bedrock AgentCore, with an Application Load Balancer routing code execution to AWS Fargate containers in a private VPC

    匹配字段标题

  3. AWS Machine Learning

    AWS PrivateLink 如何让 Amazon Quick 从企业内网安全访问数据

    AWS 发布方案,通过 AWS PrivateLink 的 VPC 端点与 VPC 连接,让 Amazon Quick 在不经过公共互联网的情况下访问企业防火墙后的本地数据源。用户与 API 流量走 VPC 端点,数据获取流量走 VPC 连接,并叠加安全组与端点策略做纵深防御。VPC 连接需 Amazon Quick Enterprise 订阅,Quick 网站 VPC 端点不支持 AWS 中国区域和 AWS GovCloud (US) 区域。

    Architecture diagram of private access to Amazon Quick from a corporate data center through a VPC endpoint over AWS Direct Connect

    匹配字段标题

  4. AWS Machine Learning

    用 torchtitan 在 AWS Trainium 上训练 Qwen3

    AWS 发布教程,演示在单台 trn2.48xlarge(16 颗 Trainium2、128 个物理 NeuronCores)上用 torchtitan 以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 作为建模后端、torchtitan 原生 Qwen3,以及接入 NKI MoE kernel。三种配置共用同一 torchrun 启动方式,以 64 个逻辑 NeuronCore 运行;从已发布权重加载时首步 loss 为 6.54,随机初始化则为 12.43。

    Training output showing a step 1 loss of 6.54 and the exported checkpoint loading with no missing or unexpected keys

    匹配字段标题

  5. Hugging Face

    剖析 TorchNeuron(第一部分):在 AWS Trainium 上进行系统级性能剖析

    AWS 发布 TorchNeuron 性能剖析指南第一部分,介绍如何用 NeuronConfig 与 NeuronProfiler 在 AWS Trainium 上采集系统级 trace,并通过 Neuron Explorer 查看设备时间线。以 RMSNorm 为例,朴素 PyTorch 实现的 Neuron 设备总耗时为 2.355 ms,而融合后的 torch.rms_norm 仅需 403.3 μs。

    匹配字段标题

  6. Hugging Face

    剖析 TorchNeuron(第一部分):在 AWS Trainium 上进行系统级性能剖析

    AWS 发布 TorchNeuron 性能剖析指南第一部分,介绍如何用 NeuronConfig 与 NeuronProfiler 在 AWS Trainium 上做系统级剖析,并通过 Neuron Explorer 查看系统 trace、设备时间线和各引擎分解。以 RMSNorm 为例,朴素 PyTorch 实现的设备总耗时 2.355 ms,而 torch.rms_norm() 融合为单个 Neuron kernel 后降至 403.3 μs。

    匹配字段标题

星期三

  1. AWS Machine Learning

    Smartsheet MCP Server 在 AWS 上为 AI 智能体提供工作管理上下文

    Smartsheet 已在 AWS 上推出正式可用的 MCP Server,AI 助手可通过标准化协议读写和管理 Smartsheet 数据,覆盖超过 40 个工具,用于探索、创建和管理 sheet、行、列与自动化。Amazon Quick 和 Kiro 可直接作为 MCP 客户端接入,用自然语言更新任务状态、创建行和调整项目结构。该服务提供三个区域端点,支持 Streamable HTTP 传输,并通过 OAuth 2.0 或 Personal Access Token 认证。

    Architecture diagram: the Smartsheet MCP Server connecting Amazon Quick and Kiro clients to the Smartsheet API and data layer

    匹配字段标题

  2. AWS Machine Learning

    i14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型

    i14 与 AWS 合作,用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B,单台 trn2.48xlarge 训练吞吐约 120,000 tokens/s。该模型每序列循环状态固定为 29.5 MB,不随上下文长度增长,推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all_to_all 通信改造把每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。

    NeuronCore-v3 internal architecture

    匹配字段标题

  3. AWS Machine Learning

    Smartsheet MCP Server 在 AWS 上为 AI 智能体提供工作流上下文

    Smartsheet 已正式发布 MCP Server,AI 助手可通过标准化协议读写和管理 Smartsheet 数据,覆盖超过 40 个用于探索、创建和管理 sheet、行、列及自动化的工具。该服务提供三个区域端点,支持 Streamable HTTP 传输和 OAuth 2.0 或 Personal Access Token 认证,可接入 Amazon Quick 和 Kiro 两个 MCP 客户端。

    Architecture diagram: the Smartsheet MCP Server connecting Amazon Quick and Kiro clients to the Smartsheet API and data layer

    匹配字段标题

  4. AWS Machine Learning

    AWS 如何用 X.509 PKI 保障 AI 智能体身份安全

    AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份,弥补 MCP 缺少内置认证标准的缺口。方案结合 Amazon Bedrock、AWS Strands Agents SDK、AWS Secrets Manager 和 Amazon RDS,通过签名请求信封、用户签名委托断言、RFC 8693 受众限定 token 与实时 OCSP 吊销检查四层机制,覆盖用户认证、智能体间通信和 MCP 工具调用三个信任边界。

    Three-layer PKI authentication architecture showing credential flow between the user, agents, and the MCP tool server

    匹配字段标题

  5. AWS Machine Learning

    AWS 发布 Agent Registry 运行时工具发现实践

    AWS 介绍 Agent Registry 的运行时工具发现方案,智能体通过语义与关键词混合搜索找到已审批的 MCP 服务器和 A2A 智能体,再按描述符即时构建客户端执行请求。示例代码基于 Amazon Bedrock AgentCore Gateway 与 runtime,把订单管理 MCP 服务器和定价、客服两个 A2A 智能体接入,并演示纯语义匹配的退货退款场景。注册表只返回连接元数据,调用凭证需另行通过 Cognito OAuth 或 IAM 获取,新增能力无需改动编排器代码。

    Comparison of hardcoded tool endpoints versus runtime discovery with AWS Agent Registry

    匹配字段标题

星期二

  1. Tessl:产品与工程博客

    从个人编码工具到开发平台:AWS Kiro 产品负责人谈 AI 编码中的信任与成本

    AWS 高级首席产品经理 Massimo Re Ferre 在 DevCon 上分享:团队给 AI 智能体放权的速度取决于验证其产出的成本,而非模型能力提升。智能体已从行级补全演进到自主挑选任务,成本也从固定按席位收费转为按任务消耗计费,约 80% 的开发者只花掉 20% 的预算,少数重度用户消耗其余部分。

    Massimo Re Ferre'

    匹配字段标题

  2. AWS Machine Learning

    用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层

    AWS 发布教程,演示用 AtScale 作为语义层、Amazon Bedrock AgentCore 托管 Strands 智能体,在 Amazon Redshift Serverless 上构建 Customer 360 场景。AtScale 以 YAML 格式的 Semantic Modeling Language 建模,单一模型同时通过 SQL、XMLA 和 MCP 三种协议暴露,并以 Anthropic Claude Sonnet 4.6 规划查询。教程还覆盖 AgentCore Gateway 注册 MCP 服务器、AgentCore Identity 传递用户身份及 AtScale 的 RBAC 与行级安全,基于 AtScale C2026.7 版本。

    Architecture showing the inbound authentication path and outbound query path between the client, Amazon Bedrock AgentCore, AtScale, and Amazon Redshift Serverless

    匹配字段标题

  3. AWS Machine Learning

    用 Strategy Mosaic 与 Amazon Bedrock AgentCore 在 AWS 上构建智能体语义层

    AWS 发布教程,演示用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体,通过 MCP 端点访问跨 Amazon Redshift 与 Amazon Aurora 的 C360 模型,无需 ETL。Mosaic 以维度模型统一发布 MCP、JDBC/ODBC over Trino、XMLA 和 REST 四种协议,指标定义与行列级安全留在 Mosaic 内而非提示词中。该能力在 Strategy One(2026 年 3 月)版本起默认可用。

    Reference architecture. Inbound authentication path and outbound query path between the client, Amazon Bedrock AgentCore components, the Strategy Mosaic MCP endpoint, the Mosaic engine, and Amazon Redshift plus Amazon Aurora.

    匹配字段标题

  4. AWS Machine Learning

    用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层

    AWS 发布教程,演示用 Denodo Platform 作为语义层、Amazon Bedrock AgentCore 托管智能体,通过 Denodo MCP Server 以 MCP 协议向智能体暴露受治理视图,智能体用 VQL 查询。方案将 Amazon Aurora、Amazon Redshift 与本地 PostgreSQL 的 rewards_account 表联邦为单一 customer 360 视图,无需 ETL 搬数据,并借助 AgentCore Identity 的 On-Behalf-Of 令牌交换传递终端用户身份,由 Global Security Policies 在查询时施加行列过滤。

    Figure 1. Inbound authentication path and outbound query path between the caller, Amazon Bedrock AgentCore components, the Denodo MCP Server, Denodo Virtual DataPort, and the three data sources.

    匹配字段标题