←搜索结果

搜索“推理”

按匹配度 · 共 499 条结果 清除搜索

星期二

  1. Hugging Face

    Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型

    Hugging Face 宣布 transformers 现已支持直接加载 llama.cpp 的 GGUF 量化权重，只需在 from_pretrained 中传入 gguf_file 即可，无需额外配置。在 MacBook Pro M2 Max 上对三个 GGUF checkpoint 的测试显示，transformers 的生成速度接近 llama.cpp，但前者包含 prefill 而 llama-bench 只统计解码吞吐。当前打包推理路径仅支持 MPS，覆盖 Qwen3.5 稠密与 MoE 架构，填充批处理性能仍有待改进。

    Hugging Face 宣布 transformers 现已支持直接加载 llama.cpp 的 GGUF 量化权重，只需在 from pretrained 中传入 gguf file 即可，无需额外配置。在 MacBook Pro M2 Max 上对三个 GGUF checkpoint 的测试显示，transformers 的生成速度接近 llama.cpp，但前者包含 prefill 而 llama-bench 只统计解码吞吐。当前打包推理路径仅支持 MPS，覆盖 Qwen3.5 稠密与 MoE 架构，填充批处理性能仍有待改进。

    匹配字段摘要

    #lab#产品更新#部署/工程#开源生态

星期四

  1. Baseten 工程博客

    Baseten 发布 Hosted Tools，首推网页搜索 Grounded Inference

    Baseten 发布 Hosted Tools，首个工具为网页搜索 Baseten Grounded Inference，首批接入 Exa、Keenable、Parallel 和 You.com 四家搜索服务商。开发者只需在 Messages、Chat Completions 或 Responses 请求中加一项配置即可启用，搜索在 Baseten 推理栈内服务端执行，模型按原生工具调用能力自行决定是否检索并迭代。Baseten 称其基准测试中端到端延迟比客户端工具方案降低 15%，该功能目前以 playground 预览形式开放，限速 25 RPM 并赠送 2 美元额度。

    Baseten hosted tools

    匹配字段摘要

    #editorial#产品更新#Agent#搜索

星期三

  1. Google Developers Blog精选

    Google 在 Gemini Enterprise Agent Platform 上线 Agent Anomaly Detection 私密预览

    Google 在 Gemini Enterprise Agent Platform 上推出 Agent Anomaly Detection 私密预览，通过分析智能体的推理轨迹、工具调用和执行流程来识别越界行为、可疑意图与策略违规。该功能异步运行不增加请求延迟，检测结果带严重等级、说明和处置建议并同步到 Security Command Center，内置检测器覆盖 OWASP Agentic Top 10 中的工具滥用、身份与权限滥用、级联失败和失控智能体等风险。用户还可通过 API 读取会话异常，在 ADK 回调或插件中按严重等级和概率阈值拦截后续工具调用。

    Blog_Banner_3

    匹配字段摘要

    #engineering#产品更新#Agent#安全/对齐

星期五

星期四

  1. DeepSeek

    DeepSeek 支持开源并扩展 V4.1-Flash 部署选项

    DeepSeek 将与开源社区合作支持 V4.1-Flash 推理，并探索更多部署选项。团队还面向计划使用 2,000 GPUs 和存储集群进行大规模部署的用户提供沟通渠道。

    DeepSeek 将与开源社区合作支持 V4.1-Flash 推理，并探索更多部署选项。团队还面向计划使用 2,000 GPUs 和存储集群进行大规模部署的用户提供沟通渠道。 · DeepSeek will work with the open-source community to support V4.1-Flash inference and explore additional deployment options. The team is also inviting discussions with users planning large-scale deployments involving 2,000 GPUs and a storage cluster.

    匹配字段摘要

    #editorial#产品更新#部署/工程#开源生态

星期三

  1. Google AI for Developers

    Google 用 Gemini 3.8 Flash 与 ThreeJS 构建交互式 3D 拆解可视化

    Google AI Developers 展示了用 Gemini 3.8 Flash 与 ThreeJS 在 Google AI Studio 中构建的交互式 3D 可视化工具，用于测试该模型的复杂推理能力。该模型能为硬件设备生成比例真实的拆解图，自动把设备分解成多个图层，用户可通过拆解滑块展开并查看各层结构。官方同时给出了开始使用 3.8 Flash 的链接。

    匹配字段摘要

    #engineering#产品更新#多模态#Google
  2. Cursor Blog精选

    Cursor 推出自托管机器，让云智能体在自有基础设施上运行

    Cursor 发布 Self-Hosted Machines，允许团队在自己的网络内运行云智能体，执行环境由用户管理，智能体循环、推理和规划仍在 Cursor 云端。团队可通过 Cursor CLI 启动 worker 连接基础设施，支持 My Machines 和 Pools 两种配置，Pools 能按需扩缩容并服务任意仓库。该功能与 AWS Lambda、Cloudflare、Coder、Daytona、E2B、Modal、Namespace 和 Vercel 等沙箱提供商合作，Linux 和 Mac 均支持浏览器控制。

    Decision guide for when to use Self-Hosted Machines versus Cursor-hosted cloud agents

    匹配字段摘要

    #company#产品更新#部署/工程#Agent

星期二

  1. Google DeepMind精选

    Google DeepMind 为 Gemini 3.7 Flash 等模型推出智能体视频理解功能

    Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出智能体视频理解功能，模型可动态扫描视频片段，token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。该功能已在 Google AI Studio 和 Gemini Enterprise Agent Platform 的 Gemini API 中上线，支持视频上传和 YouTube 视频，按标准 token 计费且不额外收费。相比固定 1 FPS 的静态处理，它结合模型推理与原生视频工具，按需检索画面、音频和转录文本，后续还将接入 Gemini 应用和 YouTube 的 Ask YouTube 功能。

    匹配字段摘要

    #lab#产品更新#多模态#视频

星期四

  1. NVIDIA Developer · Generative AI精选

    NVIDIA 在 GB300 NVL72 上实测 Qwen3.8-Flash-Next 智能体编码

    阿里发布 Qwen3.8-Flash-Next 权重，作为 Qwen4 架构预览供开发者实验评估，这是一个 125B 参数、每 token 激活 6B 的多模态 MoE 模型，原生上下文窗口 262,144 token，借助 YaRN 可扩展至 1M token。NVIDIA 提供 SGLang、vLLM 和 TensorRT LLM 的 Day 0 功能支持，并在 GB300 NVL72 上验证推理，单 GPU 吞吐超过 16K token/秒、单用户超过 200 token/秒。开发者可用 NVIDIA NeMo AutoModel 微调、用 NeMo RL 做强化学习，权重可从 Hugging Face 或 ModelScope 下载。

    Decorative image.

    匹配字段摘要

    #lab#产品更新#开源生态#部署/工程

星期三

  1. The Rundown AI

    OpenAI 首款 AI 芯片 Jalapeño 公布基准测试

    OpenAI 公布与 Broadcom 合作开发的首款自研推理芯片 Jalapeño，其内部测试显示，这款 700 瓦芯片比 NVIDIA 旗舰系统最高快 3.6 倍，每瓦工作量最高多 1.9 倍。该芯片不会对外销售，计划于今年晚些时候进入 OpenAI 数据中心，并在 2027 年扩大生产。

    OpenAI 公布与 Broadcom 合作开发的首款自研推理芯片 Jalapeño，其内部测试显示，这款 700 瓦芯片比 NVIDIA 旗舰系统最高快 3.6 倍，每瓦工作量最高多 1.9 倍。该芯片不会对外销售，计划于今年晚些时候进入 OpenAI 数据中心，并在 2027 年扩大生产。 · OpenAI released internal benchmark results for Jalapeño, its first in-house inference chip developed with Broadcom, showing that the 700-watt chip ran up to 3.6x faster than NVIDIA’s flagship systems and delivered up to 1.9x more work per watt. The chip will not be sold externally and is planned to reach OpenAI’s data centers later this year, with

    匹配字段摘要

    #newsletter#行业动态#OpenAI
  2. xAI News

    Grok 4.6 上线 Microsoft Foundry

    xAI 宣布 Grok 4.6 已在 Microsoft Foundry 上线。Grok 4.6 是 xAI 最新旗舰模型，面向长时间运行的智能体以及交互和视觉类任务，提供 500k 上下文窗口和可配置的推理强度（low、medium、high、xhigh）。Foundry 让企业可以在同一处将 Grok 4.6 与其他前沿模型对比评测、运行特定负载测试、部署托管端点，并在企业级安全与治理控制下运行。

    匹配字段摘要

    #lab#产品更新#Agent#部署/工程

星期一

  1. NVIDIA Developer · Generative AI

    NVIDIA Groq 3 LPX 在 Vera Rubin 上实现长上下文超快交互

    NVIDIA 发布面向 Vera Rubin 平台的交互式 AI 推理加速器 Groq 3 LPX，Artificial Analysis 在 100K 上下文下用 Gemma 4 31B 实测中位输出速度为 3,431 tokens/秒，10K 上下文下为 3,382 tokens/秒。该加速器采用确定性执行模型，由编译器预先调度芯片间通信并细粒度重叠计算与通信，可与 Vera Rubin NVL72 组合用于 prefill-decode 分离、attention-FFN 分离和外部草稿模型投机解码等配置。在 SPEED-Bench 编码基准上，同一系统用 Gemma 4 达到中位 4,767 tokens/秒、P80 为 5,520 tokens/秒。

    匹配字段摘要

    #lab#产品更新#部署/工程#推理

星期三

  1. xAI News

    xAI 的 Grok 4.6 在 Amazon Bedrock 正式可用

    xAI 宣布 Grok 4.6 已在 Amazon Bedrock 正式可用，Amazon Bedrock 用户可通过该平台调用这一旗舰模型。Grok 4.6 面向长时间运行的智能体和交互与视觉任务，提供 500k 上下文窗口以及 low、medium、high、xhigh 四档可配置推理强度。定价为输入每 100 万 token 2 美元、缓存输入每 100 万 token 0.50 美元、输出每 100 万 token 6 美元。

    匹配字段摘要

    #lab#产品更新#部署/工程#xAI

星期四

  1. NVIDIA Developer · Generative AI精选

    NVIDIA 在 GB300 NVL72 上部署 Qwen3.8-2.4T-A95B，单 GPU 吞吐超 4K tokens/s

    NVIDIA 发布在 GB300 NVL72 上部署阿里开源权重模型 Qwen3.8-2.4T-A95B 的方案，该模型总参数 2.4T、每 token 激活 95B，采用细粒度 MoE 与全注意力加线性注意力混合架构，上下文窗口最高 100 万 tokens。在 FP8 精度下 Day 0 即实现单 GPU 超 4K tokens/s、单用户超 350 tokens/s，NVFP4 优化预计带来进一步提升。SGLang、vLLM 和 NVIDIA Dynamo 提供开源推理配方，也可通过 NVIDIA NIM 容器部署，并可用 NeMo AutoModel 做全量 SFT 或 LoRA 微调。

    匹配字段摘要

    #lab#产品更新#开源生态#部署/工程

星期三

  1. The Next Platform

    Nvidia 发布 Nemotron 3.5 Lightning 模型与 NeMo Switchyard 路由库

    Nvidia 发布 Nemotron 3.5 Lightning 开源模型和 NeMo Switchyard 路由库，前者面向持续运行的智能体任务，官方称在同级中实现 4 倍吞吐、完成智能体任务速度提升 30%，并可在 Jetson、GeForce RTX、DGX Spark 和 DGX Station 上本地运行。Switchyard 让开发者自定义模型池、路由标准和策略，把推理密集型步骤交给前沿模型、把执行类任务交给 Lightning，官方称其以 Anthropic Opus 4.8 约三分之一成本取得更好准确率。Nvidia 同时公开训练数据与方法，并发布用于训练编码智能体的开放数据集 Nemotron-RL-Agentic-Terminal-Pivot。

    匹配字段摘要

    #hot-signal#产品更新#Agent#开源生态

星期二

  1. LMSYS Blog精选

    SGLang 为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持

    SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持，开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型，每 token 仅激活 3B 参数，支持 MTP、DFlash、DSpark 三种投机解码，并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本，官方称其在相近准确率下完成智能体任务最多快 30%。

    SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持，开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型，每 token 仅激活 3B 参数，支持 MTP、DFlash、DSpark 三种投机解码，并可通过 enable thinking 与 thinking budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本，官方称其在相近准确率下完成智能体任务最多快 30%。

    匹配字段摘要

    #company#产品更新#部署/工程#开源生态

星期一

  1. LMSYS Blog精选

    SGLang 为 Meta 多模态模型 Muse Glimmer 提供 Day-0 支持

    LMSYS 宣布与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持，并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上，SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度，DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署，提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。

    匹配字段摘要

    #company#产品更新#多模态#部署/工程

星期六

  1. Comfy Blog精选

    Wan Animate 2 在 ComfyUI 原生支持上线

    Wan 团队的新 SOTA 角色动画模型 Wan Animate 2 已在 ComfyUI 获得原生支持，驱动视频直接输入重新设计的 Diffusion Transformer，省去中间运动提取器，并支持文本驱动的视角控制。随模型上线两个节点：WanAnimate2ToVideo 负责接收参考角色与驱动视频，可选的 WanAnimate2Cache 缓存姿态分支，将生成时间大约减半。同系列还有面向流式角色动画的 Wan Animate 2 Lite，推理延迟降至实时水平，并支持视频续接与上下文窗口生成。

    Rob's avatar

    匹配字段摘要

    #company#产品更新#视频#开源生态

星期五

  1. Sarvam AI Blog

    Sarvam AI 在 Sarvam Epoch 发布 105B 模型更新、Vision 2.0、Saaras V4 与 Indus 智能体平台

    Sarvam AI 在首届 Sarvam Epoch 上公布全栈更新，包括 Sarvam 105B 面向对话与工作智能体的新变体、Sarvam Vision 2.0、Saaras V4 语音识别模型和 Bulbul V4 语音合成研究预览。Sarvam 105B 在自建印度对话生产基准上四项指标均领先 GPT 5.4 Mini 和 Gemini 3.5 Flash，混合 token 价格为每百万 0.80 美元，并已通过 Sarvam API 提供。公司同时推出印度本地推理层 Sarvam Inference、自服务智能体平台 Indus（含 Voice Agents、Work Agents、Content Studio）、早期测试的 Sarvam Code、安全智能体 Sarvam Cyber 预览，以及 Mac 版语音应用 Kivi。

    Voice Agents analytics dashboard with call distributions, conversation insights, and language breakdown

    匹配字段摘要

    #company#产品更新#语音#多模态

星期四

  1. Hugging Face

    Baseten 接入 Hugging Face Inference Providers

    Hugging Face Inference Providers 现已支持 Baseten，用户可通过网页、huggingface_hub >= 1.26.1、JavaScript SDK 及多种 Agent Harness 调用其托管模型。请求可使用供应商 API key 直连并由供应商计费，也可经 Hugging Face 路由且不加价；PRO 用户每月获 $2 推理额度，登录的免费用户享有少量免费配额。

    ing Face Inference Providers 现已支持 Baseten，用户可通过网页、huggingface hub = 1.26.1、JavaScript SDK 及多种 Agent Harness 调用其托管模型。请求可使用供应商 API key 直连并由供应商计费，也可经 Hugging Face 路由且不加价；PRO 用户每月获 $2 推理额度，登录的免费用户享有少量免费配额。 · Hugging Face Inference Providers now supports Baseten, allowing users to access Baseten-hosted models through the website, huggingface hub = 1.26.1, the JavaScript SDK, and multiple Agent Harnesses. Requests can use a provider API key for direct provider billing or be routed through Hugging Face

    匹配字段摘要

    #lab#产品更新#部署/工程#Hugging Face