←搜索结果

按匹配度 · 共 3176 条结果 清除搜索

星期三

  1. Hugging Face

    IBM 研究:智能体到底需要多少记忆?

    IBM 研究团队在 AppWorld 的 585 个多步任务上测试八款模型,发现智能体记忆存在三种模式:能力强的模型用完整指南集收益最大,DeepSeek-V3.2(671B MoE)任务完成率提升 9.5 个百分点;较弱模型用精选检索更有效,gpt-oss-120b(117B MoE)提升 16.1pp 且 token 只增加约 5%;已饱和的模型如 GLM-5(745B MoE)则没有可测收益。这里的记忆指 ALTK-Evolve 从智能体自身成功与失败轨迹中提炼的指南集,推理时注入上下文,不更新模型权重,因此可跨模型迁移。研究还指出生产环境中提示词缓存是主要成本杠杆,并计划训练基于结果信号的选择器、探索面向极弱模型的教师蒸馏记忆。

    匹配字段摘要

星期二

  1. Hugging Face

    同一集群利用率提升 33 个百分点:改变的是调度顺序

    Hugging Face 博客介绍一种 GPU 调度分配器,在五个竞争性基准场景中把利用率从 52–85% 提升到 72–88%,优先级加权价值平均提升 52%。在 8 GPU 的训练密集型场景中,利用率从 53.6% 升至 87.0%,价值提升 105%。该方案把实时推理需求当作随时步变化的曲线分配,批处理类任务则按优先级在整个调度周期内排布,而非按到达顺序。

    匹配字段摘要

星期一

  1. Interconnects

    教所有人自己钓 token:开源模型生态的经济困境

    Nathan Lambert 认为,开源模型生态正越来越依赖 Nvidia 的资助,Nvidia 目前据报为此投入 260 亿美元,用于 Nemotron 等近乎开源的模型。若这笔投入无法在几年内带来相称回报,开源模型可能转向效率、可修改性与专用化的长尾路线,而非追赶领先闭源模型。他还指出,训练重心正从后训练转向更不透明的推理训练,愿意发布基座模型的开源团队将继续减少。

    匹配字段摘要

  2. Georgi Gerganov

    Georgi Gerganov 谈智能体中的 inception 模式

    我发现 "inception" 模式在许多智能体用例中非常有用。你可以在指定的推理预算之后注入一个想法,从而在模型思考过久时强制它采取行动。 有助于处理那些让模型推理过久的欠明确任务。

    我发现 "inception" 模式在许多智能体用例中非常有用。你可以在指定的推理预算之后注入一个想法,从而在模型思考过久时强制它采取行动。 有助于处理那些让模型推理过久的欠明确任务。

    匹配字段摘要

星期五

  1. 蚂蚁百灵:Developer Blog

    蚂蚁百灵用 Ling-3.0-tiny 与 AReno 打通单机 Agentic RL 闭环

    蚂蚁百灵发布实践文章,介绍在 DGX Spark 上用本地后训练工具包 AReno 对 Ling-3.0-tiny 做 Agentic RL,以井字棋为最小验证任务跑通基线评测、Reward 定义、后训练与同环境复测四步闭环。实验使用 GSPO 训练 400 个 step,rollout/rewards_mean 从约 -0.5 升到 0.4 左右,response_len 降至约 850 tokens,复测中工具调用与落子选择更稳定。Ling-3.0-tiny 为 7.9B 总参数、1.3B 激活参数的混合推理模型,已开源 BF16、FP8 和 INT4 版本,AReno 提供 Docker 复现教程。

    图

    蚂蚁百灵发布实践文章,介绍在 DGX Spark 上用本地后训练工具包 AReno 对 Ling-3.0-tiny 做 Agentic RL,以井字棋为最小验证任务跑通基线评测、Reward 定义、后训练与同环境复测四步闭环。实验使用 GSPO 训练 400 个 step,rollout/rewards mean 从约 -0.5 升到 0.4 左右,response len 降至约 850 tokens,复测中工具调用与落子选择更稳定。Ling-3.0-tiny 为 7.9B 总参数、1.3B 激活参数的混合推理模型,已开源 BF16、FP8 和 INT4 版本,AReno 提供 Docker 复现教程。

    匹配字段摘要、正文

星期四

  1. DeepSeek

    DeepSeek 发布 DeepSeek-V4-Pro

    DeepSeek 发布 DeepSeek-V4-Pro,重点升级 Agent 能力,并为 V4-Pro 与 V4-Flash 提供 low、high 和 max 三档推理强度。该模型原生支持 OpenAI Responses API,并针对 Codex 优化;现已通过 app/web 的“Expert Mode”和 API 提供,模型名称保持不变。

    DeepSeek 发布 DeepSeek-V4-Pro,重点升级 Agent 能力,并为 V4-Pro 与 V4-Flash 提供 low、high 和 max 三档推理强度。该模型原生支持 OpenAI Responses API,并针对 Codex 优化;现已通过 app/web 的“Expert Mode”和 API 提供,模型名称保持不变。 · DeepSeek launched DeepSeek-V4-Pro with major Agent upgrades and low, high, and max reasoning-effort settings for V4-Pro and V4-Flash. The model natively supports the OpenAI Responses API and is optimized for Codex; it is now available through “Expert Mode” on the app and web, as well as via API, with model names unchange

    匹配字段摘要

  2. NVIDIA Developer · Generative AI精选

    NVIDIA 在 GB300 NVL72 上部署 Qwen3.8-2.4T-A95B,单 GPU 吞吐超 4K tokens/s

    NVIDIA 发布在 GB300 NVL72 上部署阿里开源权重模型 Qwen3.8-2.4T-A95B 的方案,该模型总参数 2.4T、每 token 激活 95B,采用细粒度 MoE 与全注意力加线性注意力混合架构,上下文窗口最高 100 万 tokens。在 FP8 精度下 Day 0 即实现单 GPU 超 4K tokens/s、单用户超 350 tokens/s,NVFP4 优化预计带来进一步提升。SGLang、vLLM 和 NVIDIA Dynamo 提供开源推理配方,也可通过 NVIDIA NIM 容器部署,并可用 NeMo AutoModel 做全量 SFT 或 LoRA 微调。

    匹配字段摘要

星期三

  1. Liquid AI 模型与工程博客精选

    Liquid AI 发布端侧视觉语言模型 LFM2.5-VL-3B

    Liquid AI 发布 LFM2.5-VL-3B,一款面向端侧的视觉语言模型,已在 Hugging Face 和官方 Playground 上线。相比上一代 LFM2-VL-3B,它在屏幕与 UI 理解、函数调用、grounding 和多图输入四方面提升,ScreenSpot-v2 平均 80.7,ToolSandbox 从 26.4 升至 59.5,RefCOCO precision@1 从 57.1 升至 87.9。模型为非推理模型,直接作答以降低延迟,在 Apple M5 Max 上解码 228 tokens/s、Galaxy S26 Ultra 上 20 tokens/s,占用约 3 GB 内存,并支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

    匹配字段摘要

  2. Google Research精选

    Google 将 AMIE 推进到实时视频问诊,随机研究显示达到专家级水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并同步进行诊断推理。研究采用异步多智能体架构,由三个专职智能体并行处理对话、推理与视听感知,以维持自然对话延迟。在 100 个场景、300 次实时问诊、30 名认证初级保健医生参与的随机 OSCE 研究中,临床评估者在病史采集、诊断准确性和沟通质量上给 AMIE (Video) 的评分与初级保健医生相当,在引导体格检查方面显著更高;患者演员更偏好视频界面。研究全部使用专业患者演员模拟场景,尚未在真实患者中验证。

    Advancing AMIE towards expert-level audio-visual clinical consultations

    匹配字段摘要

  3. The Next Platform

    Nvidia 发布 Nemotron 3.5 Lightning 模型与 NeMo Switchyard 路由库

    Nvidia 发布 Nemotron 3.5 Lightning 开源模型和 NeMo Switchyard 路由库,前者面向持续运行的智能体任务,官方称在同级中实现 4 倍吞吐、完成智能体任务速度提升 30%,并可在 Jetson、GeForce RTX、DGX Spark 和 DGX Station 上本地运行。Switchyard 让开发者自定义模型池、路由标准和策略,把推理密集型步骤交给前沿模型、把执行类任务交给 Lightning,官方称其以 Anthropic Opus 4.8 约三分之一成本取得更好准确率。Nvidia 同时公开训练数据与方法,并发布用于训练编码智能体的开放数据集 Nemotron-RL-Agentic-Terminal-Pivot。

    匹配字段摘要

星期二

  1. Hugging Face

    考虑 ACE?ALTK-Evolve 能以更少 Token 实现

    ALTK-Evolve 通过按模型能力调整指南投放量,在 AppWorld 内部对比中以更低推理成本取得与 ACE 相当或更好的准确率。强模型配置的成本约为 ACE 的 40%,弱模型以约七分之一成本获得 56.0 分,对比 ACE 的 54.8 分。两者都保留带计数的经验指南,但 ACE 每步注入完整 playbook,ALTK-Evolve 可选择性检索或投放完整集合。

    ALTK-Evolve 通过按模型能力调整指南投放量,在 AppWorld 内部对比中以更低推理成本取得与 ACE 相当或更好的准确率。强模型配置的成本约为 ACE 的 40%,弱模型以约七分之一成本获得 56.0 分,对比 ACE 的 54.8 分。两者都保留带计数的经验指南,但 ACE 每步注入完整 playbook,ALTK-Evolve 可选择性检索或投放完整集合。 · ALTK-Evolve adjusts guideline delivery to model capability, achieving comparable or better accuracy than ACE at lower inference cost in an in-house AppWorld comparison. Its strong-model configuration cost about 40% as much as ACE, while the weaker model scored 56.0 versus ACE’s 54.8 at roughly one-seventh th

    匹配字段摘要

  2. LMSYS Blog精选

    SGLang 为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持

    SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型,每 token 仅激活 3B 参数,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable_thinking 与 thinking_budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本,官方称其在相近准确率下完成智能体任务最多快 30%。

    SGLang 宣布为 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持,开发者可通过其 OpenAI 兼容推理栈部署该模型。Nemotron 3.5 Lightning 是从 Nemotron 3 Ultra 蒸馏而来的 30B 混合 MoE 模型,每 token 仅激活 3B 参数,支持 MTP、DFlash、DSpark 三种投机解码,并可通过 enable thinking 与 thinking budget 控制推理开关和深度。模型权重已在 Hugging Face 提供 BF16 和 NVFP4 版本,官方称其在相近准确率下完成智能体任务最多快 30%。

    匹配字段摘要

  3. 蚂蚁百灵:Developer Blog精选

    蚂蚁百灵开源 Ling-3.0-tiny:7.9B 总参数、1.3B 激活参数

    蚂蚁百灵正式开源 Ling-3.0-tiny,这是一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型,同步提供 BF16、FP8 和 INT4 三个版本。官方称其在 Artificial Analysis Intelligence Index 获 25 分,Agentic Index 达 16 分,输出速度超过 160 tokens/s。模型可在单台 NVIDIA DGX Spark 上完成 FP8 推理,权重约 7.85GB,并已完成 Apple Silicon 的 MacBook 与 Mac mini 本地运行适配。

    图

    匹配字段摘要、正文

  4. Amazon Science

    AWS Trainium Frontier 竞赛:在专用 AI 芯片上协同设计模型与内核

    AWS 发起 Trainium Frontier 竞赛,要求研究者在专用 AI 芯片 Trainium 上从零训练语言模型,探索硬件约束改变时最优架构的差异。竞赛分两阶段:Phase 1 在单块 Trainium2 芯片上训练 30 分钟,比拼验证 bits-per-byte;Phase 2 前 10 名团队在整台 Trainium2 服务器上训练 4 小时,并加入 CORE 上下文学习推理性能评分,最终成绩为 50/50 综合分。冠军奖金 25,000 美元,颁奖仪式将在 NeurIPS 2026 悉尼站举行。

    匹配字段摘要

星期一

  1. NVIDIA Developer · Generative AI精选

    Meta 发布 30B 开源模型 Muse Glimmer,可在单张 NVIDIA GPU 上跑本地智能体

    Meta 发布 Muse Glimmer,一个 30B 开源权重稠密模型,上下文窗口 120K+,面向本地 AI 智能体工作负载。该模型采用稠密架构,每个 token 激活全部参数,在 NVIDIA Blackwell Ultra 上以 BF16/NVF4 精度实现单 GPU 超过 20K tokens/s,可完整放入单卡显存,无需模型分片、CPU offload 或外部端点,覆盖 GeForce RTX 5090、DGX Spark、DGX Station 和 Jetson 平台。开发者可用 NeMo AutoModel 做全量 SFT 和 LoRA 微调,权重已上线 Hugging Face,并提供 SGLang、vLLM 推理方案和可下载的 NIM 容器。

    匹配字段摘要

  2. Fireworks AI精选

    Meta 的 Muse Glimmer 30B 上线 Fireworks,面向常驻智能体

    Fireworks 上线 Meta 的 Muse Glimmer 30B 稠密模型,采用 Apache 2.0 许可,支持 128K+ token 上下文和原生图像理解,面向需要多轮工具调用的常驻智能体。该模型在 MCP Atlas 得 75.5、DeepSearch QA 得 74.6、SWE-Bench Pro 得 51.2,均高于 Gemma 4 31B 和 Qwen 3.6 27B 的对应成绩,这些基准数据由 Meta 报告。Fireworks 同时给出 temperature 1.0、top_p 0.95、top_k 64 的推荐设置,并支持在系统提示词中调节推理强度。

    Fireworks 上线 Meta 的 Muse Glimmer 30B 稠密模型,采用 Apache 2.0 许可,支持 128K+ token 上下文和原生图像理解,面向需要多轮工具调用的常驻智能体。该模型在 MCP Atlas 得 75.5、DeepSearch QA 得 74.6、SWE-Bench Pro 得 51.2,均高于 Gemma 4 31B 和 Qwen 3.6 27B 的对应成绩,这些基准数据由 Meta 报告。Fireworks 同时给出 temperature 1.0、top p 0.95、top k 64 的推荐设置,并支持在系统提示词中调节推理强度。

    匹配字段摘要、正文

  3. LMSYS Blog精选

    SGLang 为 Meta 多模态模型 Muse Glimmer 提供 Day-0 支持

    LMSYS 宣布与 Meta Superintelligence Labs 合作,为 30B 参数多模态模型 Muse Glimmer 在 SGLang 上提供 Day-0 支持,并针对本地智能体工作流推理做了专门优化。在 NVIDIA GeForce RTX 5090 上,SGLang 以 NVFP4 加 DFlash 实现最高 1,452 tok/s 总输出吞吐和 236 tok/s 单用户解码速度,DFlash 将 batch-1 交互性提升 1.9 至 4.3 倍。模型可在 RTX 5090、RTX PRO 6000、DGX Spark 的 SM120 后端以及 Apple Silicon 的 MLX 后端部署,提供 BF16、NVFP4+MXFP8、NVFP4 及 GGUF 等多种 checkpoint 格式。

    匹配字段摘要

  4. Ollama Blog

    Meta Superintelligence Labs 首个开源模型 Muse Glimmer 上线 Ollama

    Meta Superintelligence Labs 的首个开源模型 Muse Glimmer 已在 Ollama 上线,这是一个 30B 多模态模型,面向本地运行的智能体工作负载,上下文长度 128K+,采用 Apache 2.0 许可。它可用于 Claude Code、Codex、Pi 等编码智能体,以及 OpenClaw、Hermes 等长期运行的个人助手,并支持 low、medium、high、xhigh 四档可控推理强度。在 Apple Silicon 上,Ollama 的 MLX 引擎新增 DFlash 与图像输入支持,使 Muse Glimmer 运行速度提升 1.5×–1.8×,其 1.8B 参数感知编码器带来原生图像理解能力。

    匹配字段摘要

  5. A6 a6-052 · Fireworks AI精选

    Fireworks AI 上线 Meta Muse Glimmer 30B 模型

    Fireworks AI 上线 Meta 的 Muse Glimmer 30B 稠密模型,支持 128K+ token 上下文窗口和原生图像理解,面向多轮工具调用的常驻智能体场景。该模型采用滑动窗口注意力,多数层窗口为 2,048 token、每四层设一个全局注意力层,配合 2 个 KV head 控制 KV cache 占用,权重以 Apache 2.0 发布。Fireworks AI 同时给出推荐参数 temperature=1.0、top_p=0.95、top_k=64,并支持在系统提示词中设置 low 到 xhigh 的推理强度。

    Fireworks AI 上线 Meta 的 Muse Glimmer 30B 稠密模型,支持 128K+ token 上下文窗口和原生图像理解,面向多轮工具调用的常驻智能体场景。该模型采用滑动窗口注意力,多数层窗口为 2,048 token、每四层设一个全局注意力层,配合 2 个 KV head 控制 KV cache 占用,权重以 Apache 2.0 发布。Fireworks AI 同时给出推荐参数 temperature=1.0、top p=0.95、top k=64,并支持在系统提示词中设置 low 到 xhigh 的推理强度。

    匹配字段摘要

星期日

  1. Interconnects

    Nathan Lambert:从前沿模型黑客事件看 AI 安全准备不足

    Nathan Lambert 在 Interconnects 发文复盘 OpenAI-HuggingFace 黑客事件,认为 AI 行业整体对接下来 12-24 个月的风险准备严重不足。他指出 OpenAI 模型在推理持久性上比 Claude 更强,可能与其更押注推理时扩展有关,而这类持续追求目标的模型在安全上更值得关注。他还认为公开模型与开放研究对理解前沿风险不可替代,当前开放模型仅落后 3-9 个月,若限制开放模型反而会削弱社会应对能力。

    匹配字段摘要、正文