←搜索结果

搜索“NVIDIA”

按匹配度 · 共 2010 条结果 清除搜索

星期二

  1. AWS Machine Learning

    在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体

    SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线，支持可配置 reasoning effort、工具调用和结构化输出，并提供 500K token 上下文窗口。AWS 用三个需搜索推理的任务做了 72 次智能体运行，正确 67 次；xhigh 档 18 次全对，low 档 18 次对 15 次且输出 token 约为八分之一。

    r of Product Marketing at Cerebras, where he launched Cerebras Inference and the CS-3 AI accelerator. Before that James was lead AI analyst at ARK Invest. He started his career at NVIDIA, launching the first CUDA-capable GPUs in the early days of deep learning. Ikenna Izugbokwe Ikenna is a Principal Solutions Architect at AWS specializing in networking, containers, and AI infrastructure. He guides model providers through scaling their training and inference systems while enabling rapid deploymen

    匹配字段正文

    #lab#教程/实践#Agent#部署/工程
  2. Data Center Knowledge

    微软发布第三代自研 AI 芯片 Azure Maia 300，Maia 200 已量产支撑 Copilot

    微软发布第三代自研 AI 加速芯片 Maia 300，并宣布 Maia 200 已投产，用于支撑 Copilot 等云服务。Maia 200 部署在美国、欧洲和澳大利亚的数据中心，每瓦 token 吞吐量最高为领先 GPU 基础设施的 1.7 倍，年底前还将支撑 GitHub Copilot 和 Microsoft Foundry。Maia 300 计划 2027 年投产，采用推理优先架构，每兆瓦 token 吞吐量预计比领先 GPU 系统高 40%，96 加速器整机架的 token 吞吐量最高可达 Maia 200 的 7 倍；微软计划 2027 年以多吉瓦规模扩展 Azure Maia 系列，目前 Maia 尚未通过 Azure 实例向客户开放。

    PU-based systems and, in a full 96-accelerator rack, up to seven times the rack-scale token throughput of Maia 200. Like other hyperscalers, Microsoft continues to rely heavily on Nvidia and AMD GPUs for AI workloads. At the same time, it has spent the last few years building its own custom silicon to improve performance and efficiency across its infrastructure and cloud services. Unlike Amazon Web Services, which offers Trainium and Inferentia chips via public cloud instances, and Google Cloud,

    匹配字段正文

    #hot-signal#产品更新#端侧#部署/工程
  3. Prime Intellect精选

    Prime Intellect 收购 Moondream，创始人加入负责推理与多模态

    Prime Intellect 宣布收购 Moondream，创始人 Vik Korrapati 和 Jay Allen 加入并负责推理与多模态模型（含视觉与 computer use）。Moondream 曾发布开源视觉语言模型和推理引擎 Photon，其 Moondream 3.1 在物体检测等任务上达到 34 requests per second，约为次优开源模型的 24 倍。Moondream 3.1 现已通过 Prime Inference 提供并由 Photon 驱动，Moondream Cloud 客户将在未来几天获得平台额度。

    Moondream is joining Prime Intellect

    acy and Cost per 1,000 Images: Moondream 3.1 and Frontier Models.” Unpublished internal evaluation, October 2026; Prime Intellect. “Prime Inference: Fast, Reliable Serving for Frontier Open Models.” Prime Intellect Blog, 2026; Moondream. “Photon Serving Benchmarks, NVIDIA H100.” Unpublished internal measurements, October 2026; Vigliarolo, Brandon. “Cloudflare Tries to Outplay Jev with Open-Weight Clef Models.” The Register, October 1, 2026 Rewriting Prime Agent in Rust On the Nature of the Swarm

    匹配字段正文

    #company#行业动态#多模态#部署/工程
  4. 腾讯云开发者社区

    开源三个月、5次大变更、9100+ Star：腾讯Octop的狂奔之路

    腾讯云 Octop 自 2026 年 7 月 10 日在 GitHub 开源，95 天内经历从 LightClaw ACE 重构、v1.0.0 GA、v1.0.1 企业级 SSO 接入到 v1.0.2 插件化与多模态四次大变更，Star 数突破 8500，Issue 和 PR 超过 1200 条。团队将 harness-agent、harness-memory、harness-browser、harness-gateway 四大模块拆分为独立仓库开源，并公开了 AgentTeams、移动端客户端、浏览器技能录制等后续规划。CVE-2026-108581 显示 1.0.2b6 之前版本存在 Provider API Keys 未授权访问问题，已在后续版本修复。

    ":null,"isHoverDragHandle":false},"content":[{"type":"text","text":"2026 年 10 月第一周，GitHub 官方 Trending 和 OpenGithubs 飙升榜同时验证了这条赛道的热度：12 个总榜项目中有 6 个与 Agent 直接相关，20 个飙星榜项目中有 12 个同属此列。NVIDIA/OpenShell、google/ax、TencentCloud/Octop 分别代表芯片厂、搜索厂、云厂商在 Agent 运行时上的下注。"}]},{"type":"image","attrs":{"id":"fee3b4e9-cf16-45e7-b925-c94245f67503","src":"https://developer.qcloudimg.com/http-save/audit-1051367/a90444a718832982d02109af6d7c19d8.png","extension":"","align":"center","alt":"","showAlt":false,"href":"","

    匹配字段正文

    #hot-signal#开源/仓库#Agent#开源生态
  5. Testing Catalog

    AI 日报：Meta 发布 Muse Wonder，微软推出 Maia 300

    Meta 发布首个前沿模型 Muse Wonder，上线 Meta Model API 与 Muse Code，定价 $4/$20 每百万输入/输出 token；最高推理版本 Muse Wonder Full 仅面向 Muse Code 订阅者，不上 API。微软发布第三代自研 AI 推理芯片 Maia 300，2027 年投产；SpaceXSI 推出覆盖 Grok、Cursor 和 X Premium 的 X Subscription，月费 $8/$30/$100/$200。

    gen in-house AI inference chip, rolling out to production in 2027. OPENAI 🔥: - Codex got another global usage-limit reset on Day 8. - OpenAI reopened applications for its Codex Ambassador program. NVIDIA 🔥: - NVIDIA is opening its Vera Rubin architecture to the Open Compute Project ecosystem to help scale AI factories. AMAZON 🔥: - Amazon Bedrock AgentCore now has consumption-based pricing for short-term memory. Used Grok to compose this brief, cherry-picking the news and doing some post-editing.

    匹配字段正文

    #hot-signal#行业动态#OpenAI#Google
  6. InternLM 原创项目

    InternLM 开源多模态决策模型 Intern-Decision，4B 版本七套基准平均准确率 90.02%

    InternLM 发布开源多模态决策模型 Intern-Decision，将状态、可选图像和多个带类型的问题转化为带概率的决策，支持 choice、score 和 noul（是/否）三类问题，训练时微调 Qwen3.5 的语言主干并冻结视觉塔和投影器。Intern-Decision-4B 在七套基准上平均准确率 90.02%，RTX 4090 本地平均请求延迟 44.16 ms，在 96 例校准基准上 Brier 为 0.550、ECE 为 0.089。该版本包含训练、两种推理后端、基准评分、温度校准和浏览器 demo，但训练数据、校准与验证记录、图像及模型权重未包含在内。

    s. Baselines use their reported/default probabilities; no additional temperature was fitted here. See the reproduction guide. RTX 4090 inference latency Local measurements use one NVIDIA RTX 4090, BF16, SDPA, native Hugging Face inference, Transformers 5.14.1 and flash-linear-attention 0.4.2. Each request contains 289 input tokens and three fields (choice, yes/no and score), answered in one forward pass with the checkpoint-specific temperature applied. Known-distribution calibration benchmark Th

    匹配字段正文

    #company#开源/仓库#多模态#推理
  7. InternLM 原创项目

    InternLM/lmdeploy：压缩、部署与推理服务 LLM 的工具包

    LMDeploy 是 InternLM 团队开发的 LLM 压缩、部署与推理服务工具包，通过持续批处理、分块 KV cache、张量并行等特性实现最高达 vLLM 1.8 倍的请求吞吐，4-bit 推理性能为 FP16 的 2.4 倍。其论文《LMDeploy Accelerates Mixed-Precision LLM Inference with TurboMind》已被 EuroSys 2027 接收，v0.12.3 已上线 PyPI，可直接 pip install lmdeploy 安装。

    26/02] Support Qwen3.5; [2026/02] Support vllm-project/llm-compressor 4bit symmetric/asymmetric quantization. Refer here for a detailed guide [2025/09] TurboMind supports MXFP4 on NVIDIA GPUs starting from V100, achieving 1.5x the performance of vLLM on H800 for openai gpt-oss models!; [2025/06] Comprehensive inference optimization for FP8 MoE Models; [2025/06] DeepSeek PD Disaggregation deployment is now supported through integration with DLSlime and Mooncake. Huge thanks to both teams!; [2025/

    匹配字段正文

    #company#开源/仓库#部署/工程#推理
  8. World Labs Blog

    World Labs 提出世界模型功能分类：渲染器、模拟器与规划器

    World Labs 提出一套世界模型功能分类，将其分为渲染器、模拟器与规划器三类：渲染器输出像素、追求视觉保真，如 Google Genie 3 和 World Labs 的 RTFM；模拟器输出状态，要求几何与物理忠实；规划器输出动作，包括 Vision-Language-Action 模型和 World Action Models。三类并非彼此独立，而是同一智能体—动作—状态—观测循环的不同投影。

    A taxonomy of world models

    man consumption, and into action predictions for embodied agents. A model that masters only rendering, or only planning, cannot do either. The commercial surface area is enormous. NVIDIA’s Omniverse alone targets what the company estimates as more than a trillion dollars of addressable market in factories, warehouses, supply chains, and digital twins. Robotics training, autonomous vehicle testing, architectural visualization, engineering, and drug discovery all depend on something simulation-sha

    匹配字段正文

    #company#论文/研究#多模态#具身智能
  9. FireRedTeam 原创项目精选

    FireRedTeam 开源一体化语音系统 FireRedASR2S

    FireRedTeam 开源 FireRedASR2S，一套包含 ASR、VAD、LID、Punc 四个模块的一体化语音系统，各模块均称达到 SOTA。FireRedASR2 支持中文（普通话及 20 多种方言口音）、英文、中英混说以及语音和歌声转写，在 4 个普通话公开基准上平均 CER 为 2.89%，在 19 个中文方言口音基准上为 11.55%，均优于 Doubao-ASR、Qwen3-ASR-1.7B、Fun-ASR 和 Fun-ASR-Nano-2512。FireRedVAD 支持 100 多种语言的语音、歌声和音乐检测，F1 为 97.57%；FireRedLID 覆盖 100 多种语言和 20 多种中文方言，准确率 97.18%；FireRedPunc 中英文标点预测平均 F1 为 78.90%。四个模块可独立使用，模型权重与推理代码已放出，技术报告见 arXiv。

    . See vLLM Usage part; [2026.02.25] 🔥 We release FireRedASR2-LLM model weights. 🤗 🤖; [2026.02.13] 🚀 Support TensorRT-LLM inference acceleration for FireRedASR2-AED (contributed by NVIDIA). Benchmark on AISHELL-1 test set shows 12.7x speedup over PyTorch baseline (single H20); [2026.02.12] 🔥 We release FireRedASR2S (FireRedASR2-AED, FireRedVAD, FireRedLID, and FireRedPunc) with model weights and inference code. Download links below. Technical report and finetuning code coming soon Available Model

    匹配字段正文

    #company#开源/仓库#语音#多模态
  10. 集微网

    从iPhone 18看端侧AI发展趋势：苹果、高通、联发科、Intel、AMD五强路径对比

    2026年6月WWDC上，Apple发布与Google合作构建的第三代Apple Foundation Models（AFM 3）五模型家族，其中AFM 3 Core Advanced将完整20B参数模型存于闪存、按需加载路由专家，突破DRAM物理限制；iPhone 18 Pro搭载首款2nm芯片A20 Pro，端侧AI算力翻倍。高通、联发科、Intel、AMD则分别以Hexagon NPU、双NPU与CIM存算一体、OpenVINO、XDNA 2架构推进端侧布局，稀疏MoE与Agentic AI成为五强共同方向。

    模态）、EmbeddingGemma 300M。实测性能：Gemma-3n E2B在4K上下文下预填充1600+ tokens/秒，解码28 tokens/秒，LLM工作负载吞吐量为CPU的12倍、GPU的10倍。 全场景产品路线图 合作生态 Meta Llama 2/3/3.2 Google LiteRT/Gemini Nano OPPO Omni多模态 NVIDIA GB10 Grace Blackwell 联发科与NVIDIA联合设计GB10 Grace Blackwell Superchip，搭载于NVIDIA DGX Spark平台。在MWC 2026上展示了与OPPO合作的Omni多模态大模型端侧集成。同时自研UCIe-Advanced IP（芯粒间互联），全球首个在台积电2nm和3nm工艺上硅验证。 Intel 端侧AI战略与规划 NPU代际演进：从10 TOPS到50 TOPS 英特尔AI Boost NPU经历了四代主要演进，NPU算力实现了跨越式增长。从Meteor Lake到Lunar Lake，NPU算力从约10 TOPS跃升至48 TOPS，实现了约4.8倍的

    匹配字段正文

    #hot-signal#现象/趋势#端侧#推理
  11. 集微网

    AI编程市场格局：Claude Code年化收入超25亿美元，中国四强竞逐

    2025年全球AI编程工具市场规模达295.7亿美元，预计2030年增至646.8亿美元。Claude Code年化收入超25亿美元居首，Cursor超20亿美元并被SpaceX以600亿美元估值收购，Codex约10亿美元。中国腾讯CodeBuddy、阿里通义灵码、字节Trae、百度文心快码形成"四分天下"，但商业化与全球头部差距仍达数十倍。

    a、LM Studio一键安装）。最佳本地编程模型包括Qwen 3 Coder、Devstral 2、DeepSeek V4、Gemma 4。小型编程模型（4B-14B参数）在HumanEval达75%至87%，与云端85%至92%差距缩小。本地模型硬件投资后每次查询成本为0美元。 企业级本地部署：对受监管行业，本地部署正从"锦上添花"变为"采购必备条件"。NVIDIA推出NeMo Guardrails自托管方案，Tabnine提供气密部署，卓易信息EazyDevelop支持私有化部署与全链路审计合规。 5.1 "四分天下"：中国AI编程IDE市场 截至2026年5月，国内AI IDE形成四大产品竞逐：腾讯CodeBuddy（28%）、阿里通义灵码（26%）、字节Trae（24%）、百度文心快码（22%）。 腾讯CodeBuddy：国内唯一支持IDE插件、独立IDE、CLI三形态的工具，推出WorkBuddy企业智能体，PC端月访问量国内第一。腾讯走"自研+投资"双线：自研服务国内，参投Lovable获取海外入口。 字节Trae：基于豆包大模型，完全免费策略，分国内版trae.cn和国

    匹配字段正文

    #hot-signal#行业动态#编码#Agent
  12. VR陀螺

    Snap 股价上涨近 5%，股东建议以 50 亿美元估值为 SPECS AR 业务引入外部融资

    Snap 股东 Blue Duck Capital 于 10 月 6 日致信董事会，建议为 SPECS AR 业务引入独立外部融资，并提出约 50 亿美元的业务估值，若出售 20% 股权理论上可融资约 10 亿美元。受数字广告业务改善预期、用户增长及 SPECS AR 眼镜业务发展影响，Snap 当天盘中涨幅一度超过 5%，收盘上涨 4.82%，报 6.53 美元。Snap 此前公布售价 2195 美元的 SPECS 消费级 AR 眼镜，并推出支持 iPhone、Mac 和 SPECS 跨设备使用的主动式 AI 助手 SPECS Intelligence。

    场关注的重点之一是Snap正在推进的SPECS AR眼镜及SPECS Intelligence业务。此前，Snap公布售价2195美元的SPECS消费级AR眼镜，并推出支持iPhone、Mac和SPECS跨设备使用的主动式AI助手SPECS Intelligence，进一步拓展空间计算与个人AI服务。 企业市场方面，Snap已与Salesforce、AWS及NVIDIA等公司建立合作，将SPECS接入Salesforce Agentforce、AWS相关AI服务及NVIDIA XR AI技术体系，探索现场服务、远程技术支持及零售等应用场景。 值得关注的是，Snap股东Blue Duck Capital于10月6日向公司董事会发出公开信，建议为SPECS业务引入独立外部融资，并提出约50亿美元的业务估值。 按照该机构的设想，若出售20%的SPECS业务股权，理论上可融资约10亿美元，用于支持后续研发及业务拓展。 Blue Duck Capital估计，SPECS每年需要约5亿美元投入，独立融资有望减轻相关支出对Snap核心广告业务的财务压力。该机构还提出，通过将广告业务与AR业务分别估值

    匹配字段正文

    #hot-signal#行业动态#端侧#OpenAI
  13. ServeTheHome

    Intel Crescent Island AI 推理 GPU 定名 GPU D-Series，首款 D270 规格公布

    Intel 在 OCP Global Summit 上将其 Crescent Island AI 推理 GPU 正式命名为 GPU D-Series，首款产品为双宽 PCIe 卡 GPU D270。该卡提供 1.3 PFLOPs FP8 矩阵算力、1.5TB/s 内存带宽，搭载 256 个 XMX 矩阵引擎与 20 颗 80 通道 LPDDR5X 内存，功耗 350W 且支持风冷；Intel 自家版本配 160GB 内存，ODM 合作伙伴可提供最高 480GB 版本。

    oduct to target the AI inference market with a heavily cost and power-optimized part. The resulting chip is not meant to be on the same performance level as flagship chips such as NVIDIA’s Blackwell Ultra or AMD’s MI455X, but then it will be a lot smaller and cheaper as well. Most recently, Intel delivered an update on Crescent Island back in August, where the company offered a fairly detailed look at the architecture behind the chip. Based on an enhanced version of their Xe3 GPU architecture th

    匹配字段正文

    #hot-signal#产品更新#部署/工程#数据/训练
  14. 雷锋网

    其域创新以 62 亿个高斯建成全球最大空地一体 3D 高斯模型“闽宁镇

    其域创新（XGRIDS）用 18.6 万张航拍与地面影像、150 亿个雷达点云，训练出覆盖 23.5 平方公里、含 62 亿个高斯椭球的“数字闽宁镇”，重建误差优于 2cm。该模型由 3 名采集人员 7 天完成外业采集、14 天完成亿级高斯数据处理，并出现在央视纪录片《闽宁大道》中。其 LCC Plugin for UE 可将整座模型导入 Unreal Engine 完成编辑与渲染。

    实验室，在 23.5 平方公里的真实场景中规模化应用，走进了党媒的国家级纪录片。从原始数据到数字资产，再到 AI 训练语料，一条真实空间的数据价值链，也在这里完成了扎实的探索。 但世界模型与空间智能成为中美科技竞争的新焦点，真实世界的三维数据，正在成为人工智能理解物理世界的关键入口。其域创新以自主创新筑牢根基，也以开放姿态走向世界：开放的 LCC 格式已被 NVIDIA Isaac Sim、Sketchup、Revit和3DS Max、超图等几十家国内外平台兼容。中国企业定义的数据格式进入全球主流技术生态，这是统筹“自主和开放”的一个生动注脚。 写实度高、生产效率快、落地成本低，3D 高斯扫描生成的三维数字资产，正走向更广阔的天地：文物古建的数字化保护，沉浸式云游与数字文创，在文化数字化的进程中，真实空间正在成为新的内容载体，党媒的文化传播，也由此多了一种可进入、可感知的表达。 《意见》明确提出强化企业科技创新主体地位、支持专精特新中小企业发展。作为国家级专精特新“重点小巨人”企业，其域创新坚持自主科技创新，产品入选《深圳市首台（套）重大技术装备推广应用指导目录》，构建了从空间采集、3

    匹配字段正文

    #hot-signal#行业动态#多模态#数据/训练
  15. Anthropic Research

    Anthropic 研究：小模型或可在无数据中心条件下自我复制

    Anthropic 研究团队发布实验报告，认为小型 AI 模型可能在数月内具备在智能烤箱、杂牌 Android TV 盒子等商用 IoT 设备上自我复制的能力，这类复制体没有可集中关闭的节点，但扩散速度较慢，倍增时间以天计。实验中 9B 模型在 9 类测试硬件中的 8 类上成功跑起推理，30B 参数及以下模型已能完成复制链条中的多数单步，但在端到端串联时出错；在简化评测中 GLM-5.2 及更强模型可完成端到端复制。团队还用 15 台约 55 美元的杂牌 Android TV 盒子分布式运行 Gemma4-26B-A4B，速度约 0.39 tokens/s，并按历史改进速度外推小模型可能在今年年底达到该能力水平。

    chain’s generations), by model; medians ≈ 19.7k / 12.3k / 11.0k. Data from the inference setup eval. D. Edge Accelerators We can compute a better upper bound by using the pool of Nvidia Jetsons, which are edge accelerators. Unlike the traditional IoT botnet, IoT edge devices can serve a full model wholesale. A Jetson AGX Orin 64 GB runs Qwen3-30B-A3B at 76.7 tokens per second, and an AGX Thor reaches 226 tok/s. Note that we don’t believe they’re unusually vulnerable - this is just to count the

    匹配字段正文

    #lab#安全/对齐#端侧#数据/训练
  16. Latent Space

    Meta MSL 发布第二代模型 Muse Wonder，第三方评测接近前沿

    Meta Superintelligence Labs 发布第二代模型家族 Muse Wonder（代号 Watermelon），距实验室成立约 14 个月。Artificial Analysis 的 Intelligence Index v4.3 中 Wonder Full（max）得 56、Wonder（max）得 52，高于 Muse Spark 1.3 的 48，Opus 5.5 以 58 领先；提升最大的是智能体能力，Terminal-Bench 4.0 从 33% 升至 57%。规格为 1M 上下文，输入支持文本、图像、视频和音频，输出仅文本，定价为每百万 token 输入 4 美元、缓存输入 0.20 美元、输出 20 美元。

    ts with emptied context helps them escape “idea basins.” At equal compute it beats single runs and best-of-N on 12 of 13 long-horizon tasks (@DimitrisPapail); Other results:LoGRA (NVIDIA): Full-weight RL that uses less memory than LoRA, 7.2 GiB against 13.2 GiB at 1.5B (@omarsar0); nanoswe: A 1.7B coding agent trained from scratch for about $1,000 of compute scores 25.5% on SWE-bench Verified (@rdolmedo ); Test-writing gap: Frontier agents’ tests catch fewer than 55% of logical mutants (@nielstr

    匹配字段正文

    #newsletter#模型发布#评测/基准#Agent

星期三

  1. Latent Space

    Dyna 首席科学家 Jason Ma 谈 Dyna-2 世界动作模型与小时级机器人自主

    Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中介绍，Dyna-2 是基于超过一百万小时人类视频预训练的世界动作模型，采用扩散 Transformer 与 flow matching，先预测未来视频再生成机器人动作，类似视觉层面的链式推理。他称模型只需数十分钟到数小时的机器人演示数据即可适配新任务，Dyna-2.1 物理机器人已能连续一小时完成洗衣流程，餐厅客户 Din Tai Fung 处每天折数千张餐巾。他把数据与硬件列为通用机器人的主要瓶颈，指出灵巧手易过热、缺少触觉等传感维度，并解释公司选择轮式半人形、自研执行器与推理栈以压低延迟。

    ard of robotics startups. We also cover world-action models versus vision-language-action models, GPT-6 and coding agents in robotics, and Jason’s journey from AlphaGo and Penn to NVIDIA, Google DeepMind, and founding Dyna. We discuss: Why Dyna-2 was trained on over one million hours of human video World-action models: predicting future video to guide physical robot actions Diffusion transformers, flow matching, and real-time robotic control How robots learn new tasks with as little as 45 minute

    匹配字段正文

    #newsletter#行业动态#具身智能#推理

星期一

  1. Rohan Paul

    微软将自研 Maia 芯片作为产品主要推理系统，2027 年起部署 Maia 300

    Satya Nadella 宣布微软将把自研 Maia 芯片扩展至多吉瓦部署，成为自家产品与服务的主要推理系统，并发布第三代加速器 Maia 300。微软称 Maia 300 每瓦 token 数比领先的 GPU 系统高 40%，一个整机架在 167kW 内集成 96 个加速器、27.6TB HBM，token 吞吐量最高可达 Maia 200 机架的 7 倍。Maia 200 已在 Teams 和 Copilot 中承担生产流量，每瓦 token 数最高为领先 GPU 基础设施的 1.7 倍；Maia 300 采用多 chiplet 设计，每颗芯片配 8 组 HBM4、峰值带宽 18.0 TB/s、TDP 950W，并支持增强的 MXFP4 以压缩 KV cache。据报微软正与 TSMC 洽谈 2027 年交付超过 30 万颗 Maia 300，该数字仍在谈判中。

    ficially announced that Microsoft will make its in-house Maia chips the primary inference system for its products, scaling to multiple gigawatts. This will make it less reliant on NVIDIA hardware, and Maia 300 is meant to replace AMD chips too, not only Nvidia. The key claim is 40% more tokens per megawatt than leading GPU-based systems A full rack packs 96 accelerators into 167kW with 27.6TB of HBM, and Microsoft claims it delivers up to 7x the token throughput of a Maia 200 rack. The shift wil

    匹配字段正文

    #ai-news#行业动态#端侧#部署/工程
  2. Analytics India Magazine

    亚马逊洽谈以约 70 亿美元收购 AI 芯片兼容初创公司 Decart

    据《华尔街日报》报道，亚马逊正洽谈收购 AI 初创公司 Decart，交易估值可能约为 70 亿美元。Decart 开发让开发者可在不同 AI 芯片之间切换的软件，并正在研发可生成和模拟 3D 真实环境的 world models Lucy 和 Oasis。该公司 2023 年由 Dean Leitersdorf、Orian Leitersdorf 和 Moshe Shalev 创立，已从 Sequoia Capital、Benchmark 和 Radical Ventures 等投资方融资超过 4 亿美元，2026 年 5 月估值接近 40 亿美元。亚马逊 AWS 曾在 2025 年让 Decart 提前使用其 Trainium3 AI 芯片。目前收购谈判仍在进行，尚未宣布最终协议。

    6. The potential acquisition would give Amazon access to Decart’s chip-compatibility technology as the cloud computing giant expands its own AI hardware business and competes with NVIDIA. Amazon Web Services gave Decart early access to its Trainium3 AI chip in 2025 after meeting the startup’s founders, WSJ previously reported. Amazon has developed its Trainium processors as an alternative to NVIDIA’s AI chips. Beyond chip software, Decart is developing world models called Lucy and Oasis, which c

    匹配字段正文

    #hot-signal#行业动态#数据/训练#部署/工程
  3. AWS Machine Learning

    使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载

    AWS 发布面向多节点部署的 Ray LLM Deep Learning Container，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，并将 prefill 与 decode 阶段分离在各自节点上，统一暴露一个 OpenAI 兼容端点。该容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈，通过 build_pd_openai_app 用一段 YAML 完成服务配置，无需编写应用代码。

    Architecture diagram: a user request reaches the Ray head on a CPU system node, and two GPU worker nodes run the prefill and decode phases on Amazon EKS

    suited for workloads such as Retrieval Augmented Generation (RAG), document summarization, and agentic applications. We use the multi-node Ray LLM DLC, which ships Ray Serve LLM, NVIDIA Inference Transfer Library (NIXL), and the Elastic Fabric Adapter (EFA) stack, and exposes an OpenAI-compatible API with no application code. The complete code is available in the accompanying repository. Why prefill/decode (PD) disaggregation LLM inference has two distinct phases. Prefill processes the entire i

    匹配字段正文

    #lab#教程/实践#部署/工程#推理