←搜索结果

搜索“AWS”

按匹配度 · 共 1528 条结果 清除搜索

星期二

  1. AWS Machine Learning

    Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化

    AWS 分享了在 Amazon SageMaker AI 上针对 fused MoE 模型的内核优化：通过 Swap-AB 让专家维度 N=8192 进入 WGMMA 首个操作数位置，在 H200 上带来 2–4% 端到端输出吞吐提升，该优化已合入 vLLM 0.24.0 或更高版本。此外，在 Hopper 上对 FP8 张量量化模型，Triton 后端在低并发 MoE 负载下持续优于默认的 FLASHINFER_CUTLASS 路径。

    Swap-AB transposition promoting the large expert dimension into the WGMMA operand-A slot for full Tensor Core utilization

    AWS 分享了在 Amazon SageMaker AI 上针对 fused MoE 模型的内核优化：通过 Swap-AB 让专家维度 N=8192 进入 WGMMA 首个操作数位置，在 H200 上带来 2–4% 端到端输出吞吐提升，该优化已合入 vLLM 0.24.0 或更高版本。此外，在 Hopper 上对 FP8 张量量化模型，Triton 后端在低并发 MoE 负载下持续优于默认的 FLASHINFER CUTLASS 路径。

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#推理
  2. AWS Machine Learning

    在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体

    SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线，支持可配置 reasoning effort、工具调用和结构化输出，并提供 500K token 上下文窗口。AWS 用三个需搜索推理的任务做了 72 次智能体运行，正确 67 次；xhigh 档 18 次全对，low 档 18 次对 15 次且输出 token 约为八分之一。

    匹配字段摘要、正文

    #lab#教程/实践#Agent#部署/工程
  3. AWS Machine Learning

    在 Amazon Bedrock 上通过全球跨区域推理访问 OpenAI GPT-6 模型（泰国、马来西亚、新加坡、印度尼西亚和台湾）

    Amazon Bedrock 面向泰国、马来西亚、新加坡、印度尼西亚和台湾五个 AWS Region 提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 的全球跨区域推理，其中 GPT-6 Astra 从亚太（新加坡）提供。用户通过传入 global.openai.gpt-6-sol、global.openai.gpt-6-luna 等推理配置文件 ID 调用，支持 Converse API、OpenAI 兼容 API 以及 ChatGPT 桌面应用和 Codex CLI，计费、配额、CloudTrail 和 CloudWatch 均保留在源 Region。Codex 报告这些配置文件支持 272,000 token 上下文窗口。

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#OpenAI
  4. The New Stack

    Kubernetes 上的 GPU 为何要自带全套可观测与计费能力

    The New Stack 分析指出，GPU 工作负载在 Kubernetes 上缺少 CPU 和内存那样现成的可见性，指标、配额、归属和计费规则都要自己搭建。DCGM 默认按物理设备上报，多 Pod 共享 GPU 时每个 Pod 都显示占用整卡，加总会出现 300% 的失真数据；计算份额在并行共享场景下无法准确归属，文章建议按显存计费、把计算利用率当作信号。文中还提到 AWS 上最便宜的 MIG 兼容 A100 实例约 22 美元/小时，spot 约 14 美元/小时，而同规格纯 CPU 实例约 5 美元/小时。

    匹配字段摘要、正文

    #hot-signal#教程/实践#部署/工程#数据/训练

星期三

  1. AWS Machine Learning

    Orca Security 用 Amazon Bedrock 构建自然语言安全查询

    Orca Security 与 AWS 合作，基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI，可将自然语言问题转换为 Sonar 查询。相比初始基线，查询成本降低 90%、输入 token 减少 93%、延迟降低 75%，目前每天处理数千次查询，响应时间 15 秒。该方案采用 RAG 与 schema 感知查询构建的九阶段流水线，并组合使用 Amazon Titan Text Embeddings 与 Cohere Rerank 3.5。

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#RAG
  2. AWS Machine Learning

    用托管权益管理 Amazon Bedrock 的私有定价优惠

    AWS 发布两种在 AWS License Manager 中激活 AWS Marketplace Private Pricing Offer（MPPO）权益的方式：轻量脚本用于一次性激活，CDK 自动化用于持续的事件驱动处理。CDK 方案通过 EventBridge 监听 aws.agreement-marketplace 事件，由 Lambda 校验卖家白名单并创建分布式授权，调用 CreateGrantVersion(Status=ACTIVE) 激活，协商价格在授权达到 ACTIVE 或 WORKFLOW_COMPLETED 后生效。

    AWS 发布两种在 AWS License Manager 中激活 AWS Marketplace Private Pricing Offer（MPPO）权益的方式：轻量脚本用于一次性激活，CDK 自动化用于持续的事件驱动处理。CDK 方案通过 EventBridge 监听 aws.agreement-marketplace 事件，由 Lambda 校验卖家白名单并创建分布式授权，调用 CreateGrantVersion(Status=ACTIVE) 激活，协商价格在授权达到 ACTIVE 或 WORKFLOW COMPLETED 后生效。

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#MCP/工具调用
  3. AWS Machine Learning

    Anchor Browser 与 Amazon Bedrock AgentCore payments 集成，让 AI 智能体自主完成 x402 支付

    Anchor Browser 与 Amazon Bedrock AgentCore payments 集成，让 AI 智能体在遇到 HTTP 402 Payment Required 时自主完成 x402 协议支付，无需人工介入。AgentCore payments 在基础设施层管理钱包连接、执行可配置支出限额，并通过 Amazon CloudWatch 提供支付尝试、批准、拒绝与结算的可观测性。该方案由 AWS Generative AI Innovation Center Partner Agent Factory 协作开发，现已在 AWS Marketplace 上线。

    Agent payment stack with eight embedded components connecting to an x402 API, showing a 402 challenge returning and a retry sent forward

    匹配字段摘要、正文

    #lab#教程/实践#Agent#MCP/工具调用

星期一

  1. Analytics India Magazine

    亚马逊洽谈以约 70 亿美元收购 AI 芯片兼容初创公司 Decart

    据《华尔街日报》报道，亚马逊正洽谈收购 AI 初创公司 Decart，交易估值可能约为 70 亿美元。Decart 开发让开发者可在不同 AI 芯片之间切换的软件，并正在研发可生成和模拟 3D 真实环境的 world models Lucy 和 Oasis。该公司 2023 年由 Dean Leitersdorf、Orian Leitersdorf 和 Moshe Shalev 创立，已从 Sequoia Capital、Benchmark 和 Radical Ventures 等投资方融资超过 4 亿美元，2026 年 5 月估值接近 40 亿美元。亚马逊 AWS 曾在 2025 年让 Decart 提前使用其 Trainium3 AI 芯片。目前收购谈判仍在进行，尚未宣布最终协议。

    匹配字段摘要

    #hot-signal#行业动态#数据/训练#部署/工程
  2. AWS Machine Learning

    使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载

    AWS 发布面向多节点部署的 Ray LLM Deep Learning Container，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，并将 prefill 与 decode 阶段分离在各自节点上，统一暴露一个 OpenAI 兼容端点。该容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈，通过 build_pd_openai_app 用一段 YAML 完成服务配置，无需编写应用代码。

    Architecture diagram: a user request reaches the Ray head on a CPU system node, and two GPU worker nodes run the prefill and decode phases on Amazon EKS

    AWS 发布面向多节点部署的 Ray LLM Deep Learning Container，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，并将 prefill 与 decode 阶段分离在各自节点上，统一暴露一个 OpenAI 兼容端点。该容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈，通过 build pd openai app 用一段 YAML 完成服务配置，无需编写应用代码。

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#推理
  3. AWS Machine Learning

    在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型

    AWS 发布面向 llama.cpp 的深度学习容器（DLC），可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。同一运行时还可扩展为 SemIf（原 OpenJev）子镜像，直接返回声明选项的概率而非生成答案 token。在 231 个公开 JevBench 任务上，GPU 端点相比 CPU 配置 p50 快 4.9 倍、p95 快 32.2 倍；示例默认保留 4B Q4_K_M 模型，2B 与 0.8B 候选准确率分别为 66.7% 和 58.4%。

    AWS 发布面向 llama.cpp 的深度学习容器（DLC），可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。同一运行时还可扩展为 SemIf（原 OpenJev）子镜像，直接返回声明选项的概率而非生成答案 token。在 231 个公开 JevBench 任务上，GPU 端点相比 CPU 配置 p50 快 4.9 倍、p95 快 32.2 倍；示例默认保留 4B Q4 K M 模型，2B 与 0.8B 候选准确率分别为 66.7% 和 58.4%。

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#开源生态

星期五

  1. LlamaIndex 产品、工程与评测

    MyMagic AI 批量推理集成 LlamaIndex：使用指南

    MyMagic AI 的批量推理 API 已集成进 LlamaIndex，支持 Llama 70B、Mistral 7B、Mixtral 8x7B、CodeLlama70b 及 Embedding 模型，可处理数据提取、摘要、分类、情感分析、训练数据生成和嵌入等任务。用户将文件放入 AWS S3 或 GCS 的 session 文件夹后，通过 LlamaIndex 封装发起请求，可动态指定 prompt、模型和 max_tokens；官方建议尽量使用异步 acomplete 接口，目前不支持 chat/achat 方法。其训练数据生成速度相比 GPT-3.5 可提升 5-10 倍。

    MyMagic AI 的批量推理 API 已集成进 LlamaIndex，支持 Llama 70B、Mistral 7B、Mixtral 8x7B、CodeLlama70b 及 Embedding 模型，可处理数据提取、摘要、分类、情感分析、训练数据生成和嵌入等任务。用户将文件放入 AWS S3 或 GCS 的 session 文件夹后，通过 LlamaIndex 封装发起请求，可动态指定 prompt、模型和 max tokens；官方建议尽量使用异步 acomplete 接口，目前不支持 chat/achat 方法。其训练数据生成速度相比 GPT-3.5 可提升 5-10 倍。

    匹配字段摘要、正文

    #engineering#教程/实践#RAG#部署/工程
  2. Muse

    Muse 回应钓鱼邮件反制：小心自食其果

    用户 TLM13 称收到钓鱼邮件后，让 @Muse 读取邮件头、追踪伪造域名并起草 AWS 下架报告，十分钟内完成反制。Muse 转发并评论：“careful what you phish for”（钓鱼前先想清楚后果）。

    匹配字段摘要

    #analysis#其他
  3. AWS Machine Learning

    如何用 Amazon SageMaker HyperPod 实现多团队共享 GPU 集群的隔离与公平

    Amazon SageMaker HyperPod 推出基于 EKS 的多租户参考架构，让多个团队共享同一 GPU 集群。该架构用 AWS IAM Identity Center 做集中认证、按团队划分 SageMaker AI 域和 Kubernetes 命名空间实现隔离，并通过 HyperPod Task Governance 公平分配资源、按命名空间分摊成本。

    Layered multi-tenant HyperPod EKS architecture from user identity through authorization to isolated team namespaces

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#数据/训练

星期四

  1. The Next Platform

    分布式 AI 训练如何改变数据中心之间的网络

    Google、微软、AWS、Meta 等已把大模型训练扩展到多个数据中心：Google 称 Gemini 采用跨集群同步训练，微软把威斯康星与佐治亚的 AI 数据中心连成一台分布式 AI 超级计算机，AWS 跨广域连接集群供 Anthropic 训练 Claude。Cisco 估计如今训练模型可能需要数万块 GPU 的集群，Epoch AI 预计到 2030 年最大单次前沿训练耗电可达 4-16GW；Cisco 建模显示分布式 AI 部署的聚合带宽需求约为传统 DCI 基线的 14 倍。

    匹配字段摘要、正文

    #hot-signal#行业动态#数据/训练#部署/工程
  2. MarkTechPost

    Anthropic 发布 Claude Haiku 5.5：1M 上下文，输入每百万 token 0.10 美元

    Anthropic 发布 Claude Haiku 5.5，这是其目前最便宜最快的小模型，保持 1M token 上下文窗口和最高 128K 输出 token，100K token 以内提示的输入价格为每百万 token 0.10 美元、输出 0.50 美元，比 Claude Haiku 4.5 低 90%。该模型已通过 Claude API、Amazon Bedrock、Google Cloud、Microsoft Foundry 和 AWS 上的 Claude Platform 正式提供，是首个带可调 effort 设置的 Haiku 级模型，自适应思考默认开启、effort 默认 medium。Anthropic 自报的基准中，OSWorld 2.1 为 72.4%，Terminal-Bench 4.0 为 39.2%，Humanity's Last Exam 无工具 45.9%、带工具 57.4%。

    匹配字段摘要、正文

    #ai-vertical#模型发布#Anthropic#部署/工程
  3. gihyo.jp

    Anthropic 发布 Claude Haiku 5.5，运行成本较 Haiku 4.5 平均降约 75%

    Anthropic 于 10 月 7 日发布 Claude Haiku 5.5，在编码、计算机操作和知识工作上较 Haiku 4.5 提升，运行成本平均降低约 75%，已在 Claude Platform、Claude Code 以及 AWS、Google Cloud、Microsoft Azure 上线。该模型面向摘要、分类、对话历史压缩、数据库查询等高频低成本任务，也可作为 Opus 5.5 或 Sonnet 5.5 的子智能体使用；上下文窗口从 20 万扩至 100 万 token，最大输出从 6.4 万增至 12.8 万 token，并首次在 Haiku 系列支持 effort 设置，默认 medium。评测方面，Terminal-Bench 4.0 得 39.2%（Haiku 4.5 为 0.0%，Sonnet 5.5 为 70.6%），OSWorld 2.1 离线评测得 72.4%（Haiku 4.5 为 15.7%，Sonnet 5.5 为 83.9%）。

    匹配字段摘要

    #hot-signal#模型发布#Anthropic#Agent
  4. The Decoder精选

    Anthropic 发布 Claude Haiku 5.5，价格最高降 90%

    Anthropic 发布 Claude Haiku 5.5，这是其目前最快、最便宜的小模型，平均价格比 Haiku 4.5 低约 75%，10 万 token 以内提示词最高降价 90%，超过 10 万 token 则贵 5 倍。基准测试显示其计算机使用能力提升明显，OSWorld-2.1 得分从 15.7% 升至 72.4%，Terminal-Bench 4.0 从 0 升至 39.2%，Humanity's Last Exam 无工具 45.9%、有工具 57.4%。该模型是首个支持可调推理等级的 Haiku 级模型，已在 AWS、Google Cloud 和 Microsoft Azure 上线，同时 Sonnet 5.5 的缓存读取费用从每百万 token 0.20 美元降至 0.10 美元。

    匹配字段摘要

    #ai-vertical#模型发布#Anthropic#OpenAI

星期二

  1. AWS Machine Learning

    用 Amazon Bedrock AgentCore、托管知识库和 Nova Sonic 构建语音旅行助手

    AWS 发布方案，用 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 为航空公司应用搭建语音旅行助手，旅客可通过语音查询行程、改座位、更新餐食偏好和咨询政策。方案通过 AgentCore Gateway 以 MCP 连接后端，用 Strands Agents 框架托管在 AgentCore runtime，并支持转接人工客服。前端由 AWS Amplify 托管，后端使用 Lambda、DynamoDB 和 API Gateway。

    End-to-end voice concierge architecture spanning the backend, AgentCore Gateway, AgentCore runtime, and front end

    匹配字段摘要、正文

    #lab#教程/实践#语音#Agent
  2. AWS Machine Learning

    直接在 SageMaker Studio 中管理 Amazon SageMaker HyperPod Spaces

    AWS 推出新功能，数据科学家和 ML 工程师可直接在 Amazon SageMaker Studio UI 中创建、配置、启停和打开 SageMaker HyperPod EKS 集群上的 Spaces，无需再依赖 HyperPod CLI 或 kubectl。新界面位于 HyperPod 集群详情页的 IDE and Notebooks 标签页，支持 JupyterLab、Code Editor 及通过 SSH-over-SSM 连接 VS Code，冷集群启动通常需几分钟，配合超配约 30–40 秒。

    匹配字段摘要、正文

    #lab#产品更新#部署/工程#数据/训练
  3. AWS Machine Learning

    Amazon SageMaker HyperPod 管理与治理最佳实践

    AWS 发布 Amazon SageMaker HyperPod 管理与治理最佳实践，提出组织、项目、集群、工作负载四层控制模型，用于在 SageMaker Unified Studio 中向 ML 团队提供已批准的加速计算资源。文章建议将集群、调度器和稀缺加速器容量集中在一个指定容量账户中，并通过 IAM、Amazon EKS RBAC 或 Slurm 控制、任务治理配额与抢占策略来管理共享容量。

    Figure 1: The four layers of control—organization, project, cluster, and workload. Each layer answers a different question and uses a different control, so review each at its own boundary.

    匹配字段摘要、正文

    #lab#教程/实践#部署/工程#数据/训练