←搜索结果

搜索“推理”

按匹配度 · 共 680 条结果 清除搜索

星期四

星期一

  1. 事件1 条新闻 · 1 个事实

    Amazon发布自动推理组十年回顾

    2026年8月12日,Amazon发布自动推理团队(ARG)成立十周年的回顾。回顾称,该团队十年来已将形式化验证从学术研究转化为每天处理数十亿次查询的生产服务,其Tiros、Zelkova等工具演化为IAM Access Analyzer、Amazon Inspector和Reachability Analyzer。回顾还提到,该团队证明了Nitro隔离引擎、密码学实现以及每秒处理10亿次API调用的授权引擎的正确性;Amazon Bedrock Guardrails的自动推理检查用形式逻辑验证模型响应是否符合既定策略,验证准确率最高达99%。目前没有该回顾之后的新发展事实。

    匹配字段标题

星期三

星期日

  2. 事件1 条新闻 · 1 个事实

    Unsloth推出DSpark加速DeepSeek本地推理

    2026年8月6日,Unsloth发布DSpark,用于加速DeepSeek-V4-Flash-0731的GGUF本地推理。据Unsloth介绍,该方案使本地生成速度提升约1.4至2倍,且精度不变,本地可达到120 tokens/s。Unsloth同时提供了对应的GGUF文件与使用指南。目前该事件仅有这一条进展,尚无后续更新。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    英伟达推出自动驾驶推理模型

    2026年8月4日,英伟达发布面向自动驾驶汽车的前沿开放推理模型 Alpamayo 2 Super。该模型旨在帮助系统理解复杂环境,并在采取行动前进行推理。模型依据 OpenMDW-1.1 许可开放商业使用,团队可以检查、微调和部署;其应用范围包括出租车、卡车、班车、配送车、拖拉机及移动机器人,并可作为相关系统的基础模型。目前该故事仍处于活跃状态。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    多档推理强度模型开发方法

    2026年7月18日,Sebastian Raschka讲解了具备多种推理强度模式的大语言模型开发方法。这类模型通过调节推理力度,在回答质量、token消耗、成本和延迟之间权衡,通常结合混合SFT数据、按模式调整的强化学习奖励、长度惩罚、独立专家模型或硬性token预算。DeepSeek V4、Nemotron 3 Ultra、Kimi K3、GLM-5、Qwen3和Inkling采用了不同组合。文章还指出,模型规模与推理力度是两套独立控制方式,较小模型提高推理力度有时可取得与较大模型降低推理力度相近的基准成绩。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    Together AI推出预留推理服务

    2026年7月8日,Together AI推出面向MiniMax M3和GLM-5.2的Provisioned Throughput预留推理服务。据Together AI Blog介绍,该服务为前沿开放模型提供预留推理容量,采用按token计费并附带99%可用性SLA,成本最高比Claude Opus 4.8标价低90%。容量覆盖北美、EMEA等地区,最短承诺期一个月。用户按Provisioned Throughput Units(PTU)购买,每个PTU每分钟0.05美元;在MiniMax M3上,单个PTU每分钟可提供138,840输入token、694,200缓存输入token或23,140输出token。目前该服务已支持上述两款模型,暂无后续发展事实。

    匹配字段标题

  8. 事件1 条新闻 · 1 个事实

    分享语音推理扩容方法

    ElevenLabs 研究工程师 Angelos Perivolaropoulos 于 2026 年 6 月 30 日分享并测试了通过标准工程优化提升单 GPU 语音推理吞吐的方法。主要手段包括连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache。其中,KV cache 缩小 2.5 倍后,吞吐量从 28 名用户增至 70 名;架构级改造则可达到约 140 名用户。各项技术会引入延迟、内存上限或质量损失,实际选择取决于具体工作负载。

    匹配字段标题

星期二

星期四

星期三

  1. 事件1 条新闻 · 1 个事实

    Sakana AI 论文提出 UnMaskFork 推理时扩展方法

    2026年7月22日,Sakana AI 提出 UnMaskFork(UMF)推理时扩展方法。据其官方博客介绍,该方法在 ICML 2026 论文中提出,让多个掩码扩散语言模型(MDLM)通过模型切换协作完成同一个答案,并用蒙特卡洛树搜索寻找不同模型负责不同阶段的顺序。该方法无需额外训练或改动模型,在编码基准上持续优于现有推理时扩展方法,在数学任务上也随计算量增加稳步提升。目前尚无后续发展事实,状态停留在该论文发布时的介绍。

    匹配字段标题

星期三

星期六

星期三