←搜索结果

按匹配度 · 共 3148 条结果 清除搜索

星期五

  1. Artificial Analysis

    NVIDIA Vera Rubin NVL72 智能体推理首测:每兆瓦吞吐最高约 5.7 倍于 GB300

    Artificial Analysis 在 AA-AgentPerf 上发布 NVIDIA Vera Rubin NVL72 的初步结果,在 DeepSeek V4 Pro 上每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍,DeepSeek V4.1 Flash 约 5.4 倍,GLM-5.2 约 3.0 倍,Kimi K3 约 2.8 倍。Vera Rubin 是 NVIDIA Blackwell 的继任者,NVL72 为机架级系统,含 72 颗 Rubin GPU 和 36 颗 Vera CPU,每颗 GPU 内存与 Blackwell Ultra 同为 288 GB,但内存带宽为 2.4 倍、NVLink 带宽 1.7 倍、密集 NVFP4 算力 2.3 倍。AA-AgentPerf 通过回放真实智能体编码会话衡量推理性能,Vera Rubin 在 DeepSeek V4.1 Flash 上创下 906 tok/s 的单用户速度纪录。

    匹配字段标题、摘要

  2. Apple Machine Learning Research

    Apple 提出 SSR:基于选择的结构化推理,多模态搜索智能体推理延迟降低超 90%

    Apple 提出 Selection-based Structured Reasoning(SSR),将推理从开放式生成改为从预设可复用自然语言候选中选择,无需辅助任务头,并借助共享上下文 KV cache 并行打分。在 2B 和 4B 模型、七个多模态搜索基准上,SSR 平均成功率与同规模领先搜索智能体相当,单轮推理延迟降低超 90%,每题模型总推理延迟降低 28–54%。

    Bottom banner

    匹配字段标题、摘要

  3. Apple Machine Learning Research

    Apple 用 MLX 在 M5 GPU 神经加速器上探索 LLM 推理

    Apple 在搭载 M5 芯片的 14 英寸 MacBook Pro 上,通过 MLX 框架利用 M5 GPU 的神经加速器运行 LLM 推理。基准测试显示,M5 相比 M4 在首个 token 生成时间(TTFT)上实现 3.33-4.06 倍加速,后续 token 生成速度提升 19-27%,得益于内存带宽从 120GB/s 提升至 153GB/s。测试涵盖 Qwen3-1.7B/8B/14B/30B-A3B 及 gpt-oss-20b 等模型,24GB 统一内存可轻松承载 8B BF16 或 30B MoE 4-bit 量化模型。

    Bottom banner

    匹配字段标题、摘要

  4. Apple Machine Learning Research精选

    Apple 用 MLX 与 RDMA 在 Mac Studio 上本地及分布式推理大模型

    Apple 介绍如何用最新版 MLX 在 Mac Studio 上运行大语言模型,并借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理。在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。

    The MLX logo

    匹配字段标题、摘要

星期四

  1. Thurrott

    Hugging Face 发布 Llama Windows 本地推理桌面应用

    Hugging Face 发布免费开源的 Windows 11 桌面应用 Llama Windows,把 llama.cpp 本地推理库带到 Windows,类似 Mac 上的 llama.app。用户可从 Hugging Face Hub 一键下载模型并在本地运行,无需终端、构建步骤或管理员权限,应用以系统托盘形式运行,也可用 Alt + Space 打开助手窗口。该应用原生支持 Windows 11 on Arm 和新的 Nvidia RTX Spark 平台,使用 WinUI3 编写,并内置 llama.cpp 服务器、Hugging Face Hub 客户端和模型目录的 .NET 库。

    匹配字段标题、摘要

  2. Latent Space

    Leash Bio 如何用 DEL 数据训练科学推理智能体

    Leash Bio 的 Ian Quigley 在 Latent Space 播客中介绍,团队用 DNA Encoded Libraries(DEL)收集的高通量蛋白质-小分子相互作用数据,可提供数万条“lab-in-the-loop”模拟,用于智能体的科学强化学习。该工作已发展为 Minos,并发布完整预印本、博客和开放数据集。其 Hermes 模型仅用 Leash 自有数据训练,在公开基准上可与 Boltz 保持同步。

    匹配字段标题

  3. Testing Catalog

    Inworld 推出面向消费级 AI 应用的推理 API Inworld Inference

    Inworld 推出 Inworld Inference,一个面向消费级 AI 应用的 LLM 推理 API,支持 Gemma 4、GLM、DeepSeek 和 MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟为 0.17 秒,对比 OpenRouter 上其他供应商中位值 0.61 秒快 3.6 倍;95 分位为 0.31 秒对 2.42 秒,快 7.8 倍。开发者还可设置首个模型失败或耗时过长时自动切换到备用模型。

    匹配字段标题、摘要

  4. Latent Space

    Leash Bio 的 Ian Quigley 谈 DEL 数据、模型作弊与智能体化学推理沙盒

    Latent Space 播客访谈 Leash Bio 联合创始人 Ian Quigley,讨论该公司如何驯服 DNA 编码化合物库(DEL)并从中提取干净可复现的蛋白质与小分子相互作用数据。访谈提到其 Kaggle 竞赛中约 2000 支队伍在未见化学库上无人超过随机水平,以及模型能从分子结构猜出化学家身份、Hermes 仅用自家数据在公开基准上与 Boltz 持平。Ian 还预告团队正把多年积累的数据做成数万个 lab-in-the-loop 模拟,供智能体做可验证的科学推理,该工作后来发展为 Minos 并发布预印本、博客和开放数据集。

    匹配字段标题、摘要、正文

  5. Aravind Srinivas

    Perplexity Computer 为 Max 订阅者上线 GPT-6 Astra 与 SOL 6.1 超高速推理

    Perplexity 宣布 GPT-6 Astra 和 SOL 6.1 的超高速版本已在 Perplexity Computer 面向 Max 订阅者开放。两款模型生成 token 更快,可更早完成耗时的 Computer 任务;用户在 Custom 中选择 Astra 或 SOL 6.1,再把速度设为 Ultrafast 即可使用。Aravind Srinivas 转发并提醒会较快消耗额度。

    匹配字段标题

  6. Artificial Analysis

    AMD MI355X 在 AA-AgentPerf 智能体推理基准上的首批结果

    Artificial Analysis 将 AMD MI355X 加入 AA-AgentPerf 智能体推理性能基准,在单台 8-GPU 节点上测试 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro,并与 NVIDIA B200/B300 对比。MI355X 在 DeepSeek V4 Pro 0813 上每 MW 吞吐量比 B200 高约 15% 至 40%(35 至 75 tok/s 每用户),但在 DeepSeek V4.1 Flash、GLM-5.2/5.3 和 Kimi K3 上随负载上升落后于 Blackwell。

    匹配字段标题、摘要

  7. Google Research

    Google 发布地理空间推理智能体技术报告,并开放 Google Earth 与 A2A 服务早期访问

    Google Research 发布地理空间推理智能体的技术报告,该智能体把 Gemini 与 Earth AI 基础模型、Google Maps Platform、Earth Engine 等数据连接,通过模块化技能、前置规划和独立空间工作区完成多步空间分析。报告在四个基准上对比四种配置,结果显示专用 Earth AI 技能对定量空间任务提升明显,而开放式任务还需要前置规划;团队同时发布 GeoKTools 和 GeoExpertQueries 两个新基准的开发集。Google 还扩大早期访问,在 Ask Google Earth 中预览深度分析能力,并向开发者提供实验性的 Agent-to-Agent API,WHO 非洲区域办事处、People in Need、GiveDirectly 等伙伴已参与测试。

    Putting Earth AI to work: Geospatial agents for our planet's biggest challenges

    匹配字段标题、摘要

星期三

  1. 智东西精选

    Google DeepMind 上线通用物理推理模型 Gemini 4 Argon

    Google DeepMind 正式上线通用物理推理模型 Gemini 4 Argon,并发布与 Apptronik Apollo 人形机器人合作的演示视频,机器人仅观看一段掷沙包示范视频后反复练习,最终连续投中 7 次。该模型具备视觉语义推理、物理理解和代码生成能力,可用于机器人控制、仿真环境构建、物理数据分析和动作优化,在纯推理模式下 ERQA 基准得分达 87%。演示还覆盖从机器人视角、人类视角视频及手绘草图生成 MuJoCo 仿真环境,以及用仿真数据把真实机器人抓取成功率从 56% 提升至 75%。

    匹配字段标题、摘要、正文

  2. François Chollet

    Chollet:自主机器人需重建因果与离散推理

    François Chollet 认为,仅靠自回归采样无法解决真实物理任务,物理世界对模型幻觉和近似模式匹配毫不宽容;要实现真正的自主机器人,必须把因果性和离散推理重新工程化进循环中。他称赞 Biwei 与 Aether AI 团队正在做的正是这类基础性、非共识的工作。

    匹配字段标题、摘要

  3. Clément Delangue

    HuggingFace CEO 呼吁关注 Embedding Gemma 2 等非推理模型

    HuggingFace CEO Clément Delangue 表示,很高兴看到 Google 的 Embedding Gemma 2 登上 HF 趋势榜。他认为媒体和硅谷只关注推理 LLM,但嵌入向量、决策模型、音频、视频、时间序列等 AI 模型同样极具影响力,HF 上已有超过 300 万个公开模型,应让它们重新获得关注。

    匹配字段标题、摘要

  4. Unite.AI

    Tensormesh 发布平台,通过 KV-Cache 复用降低 LLM 推理成本

    Tensormesh 于 2026 年 10 月 14 日发布 Tensormesh Platform,为企业自建 LLM 推理提供 KV 缓存管理,跨 GPU 内存、CPU 内存和存储复用推理状态,减少重复的 prompt 处理。该平台基于其开源项目 LMCache,提供安全、可观测性、弹性、策略管理和多租户五项能力,并支持 pin、定位、移动、压缩和清除缓存条目的 controller API。其 CacheBlend 技术在 EuroSys 2025 论文中报告首 token 时间快 2.2–3.3 倍、吞吐量高 2.8–5 倍。

    匹配字段标题、摘要

  5. 钛媒体 · AGI

    当世界模型实现实时推理,能给AI应用带来什么创业机会?

    Reactor 正构建面向实时交互式视频与世界模型的推理基础设施,开发者可通过统一 SDK 和 API 以 60FPS 以上帧率、低于 40 毫秒延迟运行模型。该公司累计融资达 7400 万美元,最新一轮由 NVIDIA 与 Sapphire Ventures 追加投资。其平台已汇集多款可实时运行的视频与世界模型,并在好莱坞制片厂、广告平台等媒体娱乐场景推进活跃项目。

    匹配字段标题、摘要、正文

  6. The Elec

    Intel 发布面向 AI 推理的 D 系列 GPU,首款 D270 提供 1.3 petaFLOPS FP8 算力

    Intel 在 OCP Global Summit 2026 上正式公布面向 AI 推理的 D 系列 GPU 详细规格,该系列此前代号 Crescent Island,是首个采用 Intel 最新 Xe3P GPU 架构的产品线。首款型号 D270 采用风冷设计和 PCIe 5.0 接口,无需专用机架或液冷即可装入数据中心,配备 32 个 Xe3P 核心和 256 个矩阵引擎,FP8 算力 1.3 petaFLOPS,功耗 350 瓦,支持 160GB 至 480GB LPDDR5X 内存,单卡可运行最高 3000 亿参数模型,八卡系统可支持最高 1 万亿参数模型,目前正向客户提供验证样品。Intel 同时推出面向智能体 AI 的机架设计,符合 OCP ORV3 标准,可容纳超过 46000 个 CPU 核心,基于 Xeon 6+ 的配置功耗为 133.45 kW。

    匹配字段标题、摘要

  7. Rohan Paul

    RouterPlus:小团队也能拿到批量推理价格

    RouterPlus 把多个团队的需求合并成与供应商的一笔大单,各团队按自身流量份额享受该批量单价,让非批量买家也能拿到批量定价。该服务还会用你的真实用量测试模型,挑出够用且成本最低的那个,避免所有任务都付费调用顶级模型。作者认为这种模式最适合热门开源模型,因为多个团队本就需要相同权重跑在同类硬件上。

    匹配字段标题

  8. The Next Platform

    微软公布 Clea Maia 300 推理 XPU 规格

    微软在 Open Compute Project Summit 2026 上公布第三代自研推理加速器 Clea Maia 300 的规格,采用台积电 2 纳米 N2P 工艺和 chiplet 架构,封装内含 7 颗芯片与 8 个 HBM4 堆栈,配备 288 GB HBM4 和 18 TB/sec 内存带宽。微软称一机架 96 颗 Maia 300 的 token 吞吐量最高可达一机架 48 颗 Maia 200 的 7 倍,每瓦性能提升 2.5 倍,单机架功耗约 167 千瓦。该芯片面向更大规模的智能体推理负载,ATL 2.0 网络可将 128 个机架、12,288 颗加速器连入同一一致性域。

    匹配字段标题、摘要