←搜索结果

搜索“推理”

按匹配度 · 共 199 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    Fireworks评测DeepSeek新模型

    2026年9月14日,Fireworks AI 发布并评测 DeepSeek-V4.1-Flash。据其公布结果,该模型在 DeepSWE 上 pass@1 为 74.34%,与 GPT-6-Astra 的 74.12% 处于同一水平;单任务成本 0.43 美元,约为 Astra 的 1/15。该模型为 552B 参数 MoE,采用输入 8B、输出 16B 的分离激活预算,KV Cache 的 HBM 占用降至上一代 V4 的 1/4。在 HLE 上它得分 34.52%,低于 Astra 的 50.40%,Fireworks 认为它更适合智能体编码而非高难推理。9月28日,Fireworks AI 发布首个缓存感知路由器 FireRouter with Opus,已在 CLI 上线并首次作为独立路由模型提供,可在 Claude Opus 5.5、GLM 5.3 和 GLM 5.3 Flash 之间按任务适配度、提示词缓存成本和切换代价选择模型;其一个多月内部 A/B 测试显示,编码任务每次会话成本从 15.36 美元降至 6.63 美元,降幅 57%(±19 个百分点),准确率为纯 O

    匹配字段摘要

  2. 事件1 条新闻 · 1 个事实

    OpenAI发布GPT-6系列首款模型Astra

    2026年9月8日,OpenAI发布GPT-6系列首款模型Astra。随后有作者对GPT-6 Astra进行实测,分析其性能、计算机使用能力,以及循环Transformer是否会隐藏推理链。该分析解释循环Transformer通过重复使用相同权重增加有效深度,并指出Astra采用该架构仍未获官方确认,也没有充分证据表明循环机制会导致推理链更难监控。目前该事件没有进一步有合格事实证据的发展。

    匹配字段摘要

  3. 事件1 条新闻 · 1 个事实

    DeepSeek开放模型持续演进

    2025年12月3日的技术梳理显示,DeepSeek开放权重模型从V3逐步演进至R1、V3.1、V3.2-Exp、DeepSeekMath V2及V3.2-Speciale。V3.2延续V3系列架构,并加入DeepSeek稀疏注意力、自验证、自改进以及多项GRPO训练调整;相关演进还涉及MLA、RLVR和混合推理模式。后续更新介绍了mHC残差路径研究,用于改善训练稳定性与收敛表现。

    匹配字段摘要

  4. 事件1 条新闻 · 1 个事实

    vLLM推进训推逐位一致强化学习

    2025年11月10日,vLLM与TorchTitan开源展示了一套在线强化学习方案,使Qwen3 1.7B模型的训练与推理数值实现逐位一致。实验显示,启用逐位一致性后,模型以更少步骤获得了更高的总奖励,表明减少训推数值偏差可能改善训练效果。不过,该方案目前仍有明显性能成本,运行速度比非逐位一致方案慢2.4倍。

    匹配字段摘要

  5. 事件1 条新闻 · 1 个事实

    vLLM加速多模型切换

    2025年10月26日,vLLM推出Sleep Mode模型休眠与快速切换功能。该功能通过保留进程、内存分配器、CUDA图和JIT内核,避免切换模型时完整重载。Level 1将模型权重卸载到CPU内存,Level 2丢弃权重并在唤醒时从磁盘重新加载。据vLLM官方博客介绍,两种模式可将原本需要30至100多秒的完整重载缩短到秒级或亚秒级,切换速度提升18至200倍;预热模型的推理速度较冷启动提升61%至88%。

    匹配字段摘要

  6. 事件1 条新闻 · 1 个事实

    Linear推进智能问题分流

    2025年9月3日,Linear介绍其Triage Intelligence智能问题分流功能。该功能结合语义搜索、排序和大语言模型推理,利用现有积压事项识别重复及相关问题,并推荐标签、负责人等属性。团队将所用模型从GPT-4o mini和Gemini 2.0 Flash转向GPT-5与Gemini 2.5 Pro,同时采用可补充上下文的智能体方案,并通过推理说明、思考面板和Additional Guidance增强透明度与可控性。目前,该功能已作为技术预览向Business和Enterprise套餐开放。

    匹配字段摘要

  7. 事件1 条新闻 · 1 个事实

    vLLM接入GLM-4.5系列

    2025年8月19日,vLLM宣布其最新主分支已支持GLM-4.5与GLM-4.5V系列,可在英伟达Blackwell和Hopper GPU上加速推理。两类模型均提供FP8和BF16版本,并可使用相同命令运行。使用8张H100时若显存不足,可增加16GB CPU卸载;遇到flash_infer问题可暂时切换至XFORMERS后端。GLM-4.5V还支持依据复杂描述逐步推理,并输出目标对象的边界框坐标。

    2025年8月19日,vLLM宣布其最新主分支已支持GLM-4.5与GLM-4.5V系列,可在英伟达Blackwell和Hopper GPU上加速推理。两类模型均提供FP8和BF16版本,并可使用相同命令运行。使用8张H100时若显存不足,可增加16GB CPU卸载;遇到flash infer问题可暂时切换至XFORMERS后端。GLM-4.5V还支持依据复杂描述逐步推理,并输出目标对象的边界框坐标。

    匹配字段摘要

  8. 事件1 条新闻 · 1 个事实

    OpenAI开放权重模型进展

    2025年8月9日,OpenAI发布开放权重模型gpt-oss-120b和gpt-oss-20b。相关分析称,两款模型采用MoE、GQA、滑动窗口注意力、RMSNorm和MXFP4等架构与技术。gpt-oss-20b可装入16GB显存,gpt-oss-120b可在单张80GB H100上运行。分析还将其与GPT-2、Qwen3进行比较,并讨论模型宽度与深度、专家规模、推理强度控制及幻觉问题。目前输入材料未提供后续发布或更新。

    匹配字段摘要

  9. 事件1 条新闻 · 1 个事实

    vLLM适配MiniMax-M1

    2025年6月30日,vLLM宣布支持部署MiniMax-M1混合架构模型,通过内存管理和底层计算优化提升长上下文推理与部署效率。该模型总参数量为456B,推理时动态激活约45.9B参数,其Lightning Attention已通过Triton集成至vLLM。官方博客同时提供了使用vLLM和Docker部署该模型的快速指南。

    匹配字段摘要

星期三

  1. 事件1 条新闻 · 1 个事实

    Google 介绍 autofinetune 自主后训练循环

    Google 于 2026 年 9 月 11 日通过 Google Developers Blog 介绍 autofinetune 项目,把自主研究循环用于 LLM 后训练。该项目基于 Tunix、Gemma 和 Cloud TPU,由 Antigravity CLI 与 Gemini Flash 3.7 编排。第一个实验中,智能体在 Cloud TPU v5e-1 上对 functiongemma-270m-it 自动调整 LoRA rank/alpha、优化器和学习率等,几小时内完成 20 次实验。第二个实验基于 Tunix 官方 GRPO 示例训练 Gemma 3 1B 做数学推理,在 Cloud TPU v6e-1 上跑 40 次实验,总奖励提升约 10%。代码、示例运行和 program.md 模板已放在 autofinetune GitHub 仓库。目前尚无后续发展事实。

    匹配字段摘要

  2. 事件1 条新闻 · 1 个事实

    Meta 构建从专家反馈中学习的合规领域 AI 代理

    Meta 构建了一个面向合规领域的 AI 代理,作为特定合规领域的二级专家。据 Meta 工程博客介绍,该系统把组织知识拆成 200 多个结构化文件,并用可组合的 recipes 分离知识与推理流程。专家反馈经诊断、编译、验证后以文本编辑形式落地,无需重训模型,每个修复都会自动加入回归测试集。系统在六周三个开发冲刺后,将单项评估耗时从数天缩短到数分钟,改进周期内零回归。目前该代理仍处于这一已披露状态,后续进展暂无新的有证据发展。

    匹配字段摘要

  3. 事件1 条新闻 · 1 个事实

    LMSYS 公开 Infer-forge 构建方法论

    2026年8月28日,LMSYS 发布 infer-forge 方法论文,公开其围绕 SGLang 的推理工程系统构建方法论。据 LMSYS Blog 介绍,该系统由 MonoRepo、Harness、Task Loop 和 Task Graph 四层结构组成,目标是让跨仓库的推理优化工作可复现、可验证。文章说明 infer-forge 属于内部工程系统,并非 SGLang 或 LMSYS 官方组件,目前不开源,公开的是构建方法论,供团队交给 AI 编码工具并结合自身系统上下文搭建适配实现。文中还给出使用记录:一位工程师 4 月至 7 月的在飞任务峰值从 2 个升至 9 个,DeepSeek-V4-Pro 服务项目中 38 个可独立验证的任务节点被组织成任务图。目前尚无后续发展事实。

    匹配字段摘要

星期二

  1. 事件1 条新闻 · 1 个事实

    Together AI 发布开源模型 AI 栈深度解析文章

    2026年9月9日,Together AI 发布《The Open Source AI Stack》一文,解析开发者从闭源转向开源模型所需的技术栈。文章将其拆为模型、推理服务商或网关、harness、上下文四层,并称各层相互独立,换模型通常只需改一个配置值。文中以 Kimi K3(1.8T 总参数、104B 激活参数)和 GLM 5.3 Flash(320B 总参数、18B 激活参数)为例说明大模型与小模型的取舍,并列出 OpenRouter、Vercel AI Gateway、LiteLLM 等网关以及 skills、MCP 等扩展方式。作者还建议采用大模型规划、小模型实现、大模型审查的三段式工作流,并强调切换模型或任务时新开会话以控制上下文。目前该文为唯一有证据的发展,暂无后续进展。

    匹配字段摘要

星期日

  1. 事件1 条新闻 · 1 个事实

    蚂蚁ASystem团队发起AReno本地后训练工具包

    2026年8月14日,蚂蚁ASystem团队发起AReno本地化大模型后训练工具包。同日,蚂蚁百灵发布实践文章,介绍在DGX Spark上用AReno对Ling-3.0-tiny做Agentic RL,以井字棋为最小验证任务,跑通基线评测、Reward定义、后训练与同环境复测四步闭环。实验使用GSPO训练400个step,rollout/rewards_mean从约-0.5升到0.4左右,response_len降至约850 tokens,复测中工具调用与落子选择更稳定。Ling-3.0-tiny为7.9B总参数、1.3B激活参数的混合推理模型,已开源BF16、FP8和INT4版本,AReno提供Docker复现教程。目前该工具包已随上述实践公开。

    2026年8月14日,蚂蚁ASystem团队发起AReno本地化大模型后训练工具包。同日,蚂蚁百灵发布实践文章,介绍在DGX Spark上用AReno对Ling-3.0-tiny做Agentic RL,以井字棋为最小验证任务,跑通基线评测、Reward定义、后训练与同环境复测四步闭环。实验使用GSPO训练400个step,rollout/rewards mean从约-0.5升到0.4左右,response len降至约850 tokens,复测中工具调用与落子选择更稳定。Ling-3.0-tiny为7.9B总参数、1.3B激活参数的混合推理模型,已开源BF16、FP8和INT4版本,AReno提供Docker复现教程。目前该工具包已随上述实践公开。

    匹配字段摘要

星期五

星期二

星期三

星期三

  1. 马东锡 NLP

    写给 LLM 读者的强化学习术语：一个分数如何分到每个 token

    文章以 DeepSeek-R1-Zero 在 AIME 2024 上 pass@1 从 15.6% 升到 71.0% 为例，说明规则 judge 只给整段回答一个分数，而训练要调整每个 token 的概率。作者用 Is OpenAI open? 的采样例子依次解释 policy、state、action、reward、return、value、Q、advantage、baseline、TD error、GAE、clipping 和 KL，并指出 PPO 用 critic 学习 V、GRPO 用组内平均分代替 V。

    一个分数如何分到每个 token 2025 年 1 月，DeepSeek 发布了 DeepSeek-R1-Zero。它直接在基座模型上做 reinforcement learning（RL，强化学习）训练，中间没有经过监督微调。 它的 reward 来自规则：一条规则检查最终答案是否正确，另一条检查推理过程是否写在 think 标签之间。 经过几千步 RL 训练，它在 AIME 2024 数学竞赛上的 pass@1 从 15.6% 升到 71.0%。 训练中它的回答也越来越长：模型学会了用更多 token 来推理。 规则检查只给整段回答一个分数，而一段回答可能有几千个 token。训练时要调整的，却是每一个 token 的概率。LLM 的强化学习，归根到底在回答一个问题： judge 只给整段回答打一个分。训练时，应该提高哪些 token 的概率，降低哪些 token 的概率？ 强化学习有一套自己的术语： policy、state、action、reward、return、value、advantage、baseline、TD error、GAE、clipping、KL 每个术语都对应

    匹配字段正文

    #hot-signal#教程/实践#推理#数据/训练

星期四

  1. Artificial Analysis精选

    Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index…

    Artificial Analysis 评测显示，Google 的 Gemini 4 Carbon 以 59 分登顶 Intelligence Index v5，在 9 项评测中的 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience、AutomationBench-AA 四项排名第一。在 Coding Agent Index 上，搭配 Antigravity CLI 的 Gemini 4 Carbon（high）得 59 分，落后 Claude Code 搭配 Claude Opus 5.5（max，62 分）3 分。该模型目前仅向部分用户开放，尚未公开发布，定价为每 1M 输入/输出 token 4/20 美元并提供 50% 折扣，上下文窗口 1M tokens，支持文本、图像、视频和语音输入。

    n 在 Artificial Analysis Intelligence Index v5 上成为新的第 1 名，在 Artificial Analysis Coding Agent Index 上则仅次于 Claude Opus 5.5，位列第二 Gemini 4 Carbon 在 Intelligence Index v5 上得分 59，这得益于其在复杂推理、知识和科学任务上的领先表现。它在编程和知识工作方面也有大幅提升，尤其是与其他 Gemini 模型相比，但它在这些领域并非全部领先。 与 Gemini 4 Argon 发布时一样，Gemini 4 Carbon 正在向部分用户推出，尚未公开可用。Google 提供 50% 的发布折扣，但未确认结束日期。我们所有的图表和数据均使用 Gemini 4 Carbon 和 Argon 的标准定价。 Gemini 4 Carbon 高推理模式的关键结果： ➤ Gemini 4 Carbon 在 Intelligence Index v5 上领先，在 9 项 Index 评测中的 4 项获得第 1 名：HLE-Diamond、Termina

    匹配字段正文

    #editorial#评测/基准#推理#编码

星期五

  1. Artificial Analysis

    Phonic 1 登顶 Artificial Analysis 语音到语音指数，87.1 分领先 Grok…

    Artificial Analysis 评测显示，Phonic 的 Phonic 1（High）以 87.1 分在 Speech to Speech Index 的 22 个模型中排名第一，以微弱优势领先 Grok Voice 3.0 的 86.9 分。该模型在 Tau Voice 智能体任务上以 79.9% 排名第一，领先第二名 5.4 个百分点；Big Bench Audio 以 98.9% 排第三，Time to First Audio 为 0.61 秒。Phonic 1 通过 Phonic API 提供，输入音频成本为每分钟 0.07 美元、每小时 4.20 美元。

    争力 Phonic 1 是 @phonic co 的语音到语音模型，可通过 Phonic API 以每分钟 0.07 美元的价格使用。我们通过 Phonic API 在其高智能水平下评估了 Phonic 1。 关键要点： ➤ 语音到语音指数：在 22 个模型中排名第一，得分 87.1，以极小差距领先 Grok Voice 3.0（86.9）。该指数平均了语音推理（Big Bench Audio）、智能体性能（Tau Voice）、竞技场偏好和任务成功率 ➤ 语音智能体竞技场：在偏好上排名第 8（共 30 个，Elo 1012），在任务成功率上排名第 4（92.3%） ➤ Tau Voice：以 79.9% 排名第一，领先下一个模型 5.4 个百分点 ➤ Big Bench Audio：以 98.9% 排名第三，落后于 StepAudio 3 Realtime（99.7%）和 Qwen Audio 3.0 Realtime Plus（99.2%） ➤ 速度：在首次音频时间上排名第 4，为 0.61 秒，是指数中前 5 名模型中最快的 ➤ 成本：每小时输入音频 4.20 美元 祝贺 @ph

    匹配字段正文

    #editorial#评测/基准#语音#Agent