←搜索结果

搜索“推理”

按匹配度 · 共 680 条结果 清除搜索

星期五

星期日

  1. 事件1 条新闻 · 1 个事实

    Infra Agent优化GLM推理系统

    2026年9月17日,唐杰复盘了GLM-5.3-Flash从在国内加速器上首次跑通到承载全部生产流量仅用两周的过程,端到端吞吐提升3.2倍,其中大量工作由基于GLM-5.3的Infra Agent完成。唐杰指出,智能体卡住的原因往往不是写不出代码,而是不知道性能为何变差,因此团队构建了可被直接调用的分层验证接口,即密集反馈,包括正确性、系统行为和性能三类信号。智能体据此发现并修复了KDA上下文并行路径的TF32精度漂移,修复已合入Flash Linear Attention PR #1180;还修复了KV传输未与DeepEP dispatch重叠导致的开销,使其从超过30%降至1%以下;以及decode kernel重复计算归一化的问题,提速1.71倍。唐杰强调,人类仍负责定义目标、搭建反馈环境和审查高风险改动,但工程师的角色正从解决问题转向设计反馈。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    NVIDIA介绍Groq 3 LPX节能推理

    2026年9月15日,NVIDIA介绍Groq 3 LPX在Vera Rubin平台上的确定性执行与节能推理能力。据NVIDIA Developer · Generative AI于9月16日发布的文章,Groq 3 LPX的确定性执行模型可对全部256颗LPU芯片的计算与数据搬运做时钟周期级精确调度,配合Preemptive Power(PEP)与Clock Period Synthesis(CPS)将电压跌落降低60%以上,同一负载功耗下降低两位数百分比。Groq 3 LPX与Vera Rubin NVL72组合,在2T+参数模型的长上下文高交互场景下,每兆瓦吞吐量最高可达上一代GB200 NVL72的35倍。目前该介绍尚无后续发展事实。

    匹配字段标题

  3. 事件3 条新闻 · 1 个事实

    OpenAI公布首款自研推理芯片Jalapeño基准

    2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    LiveKit解读VAD推理慢于实时告警

    2026年9月9日,LiveKit 产品与工程博客发文,解释语音智能体日志中出现的“inference is slower than realtime”警告。文章指出,该警告指的是智能体进程内的 VAD 模型处理 32ms 音频窗口超时,与 LiveKit Inference 的 STT、TTS、LLM 无关;警告中的延迟表示 VAD 落后实时音频的时长,Python 以秒、Node.js 以毫秒上报。修复建议包括升级到最新版 LiveKit Agents 与 turn detector、使用 AgentSession 默认内置的 inference VAD,并排查阻塞事件循环与 CPU 负载。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Cohere推出代码模型推理引擎

    2026年9月8日,Cohere发布面向North Mini Code的Megakernel推理服务引擎并开放GitHub代码。该引擎在单张H100上以BF16运行,端到端平均解码吞吐量较vLLM提升1.25至1.41倍;批大小为1时达到292 tok/s,为vLLM的1.58倍。它支持连续批处理、分页注意力、流式输出、前缀缓存、工具调用及OpenAI兼容接口。目前最大批大小为8,预填充仍由普通PyTorch内核运行,期间会暂停解码。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Unsloth 提升 GLM-5.3-Flash 本地推理速

    2026年9月4日,Unsloth 宣布对 GLM-5.3-Flash 的本地 GGUF 推理完成优化并公布结果。据其说法,本地推理速度提升 1.6 至 3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,Unsloth 同时提供了使用指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。目前该优化已公布,尚未见后续更新。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    Groq 3 LPX长上下文推理测速

    2026年8月24日,Artificial Analysis 对 NVIDIA Groq 3 LPX 进行基准测试。在 Gemma 4 31B、100K 上下文测试中,其输出速度中位数达到每秒3431个 Token;在 SPEED-Bench 上,中位速度为每秒4767个输出 Token,P80 为每秒5520个。材料称,其确定性执行、编译器调度芯片间通信,以及细粒度的计算与通信重叠,面向长上下文低延迟推理。

    匹配字段标题

  8. 事件1 条新闻 · 1 个事实

    微软推出空间推理基准MindTopo

    2026年8月13日,微软研究院推出多模态模型拓扑空间推理基准MindTopo。该基准从连通性、包围、顺序、打结等五类拓扑属性评估多模态大语言模型的空间理解能力,每类又分为静态推理与交互规划两个认知层级。测试显示,模型在静态推理上普遍强于交互规划,两者均远低于人类水平;规划错误多发生在场景已被理解之后,模型无法在连续动作中维持拓扑关系。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列时经常改变拓扑或违反任务动态。目前尚无后续发展。

    匹配字段标题

星期二

星期二

星期三

星期二

星期五

星期二

星期三

星期三

  1. 事件1 条新闻 · 1 个事实

    Johann Rehberger 复现加密推理轨迹恢复攻击

    2026年8月17日,Johann Rehberger 复现了论文《Stealing Reasoning Traces from Proprietary LLM APIs》中的攻击方法。他利用一个 OpenAI 账号下 GPT-5.6 Sol 生成的加密推理链,改用另一账号的 GPT-5.6 Luna 配合轻度越狱提示词,还原出底层推理内容,其中包括原推理中出现过的密码。他指出,这类加密推理 blob 可能因厂商在用户、会话和模型间共用密钥而被跨会话、跨账号恢复。论文作者还从公开仓库抓取的 315,320 个推理块中还原出 367 条 PII 和 182 条凭据。测试期间该攻击曾于 8 月 11 日前后完全失效,三天后又恢复可用,原因不明。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Microsoft 发布 MAI-Thinking-1 推理模型

    2026年8月12日,Microsoft AI 发布推理模型 MAI-Thinking-1,并已在 Microsoft Foundry 开启公开预览。据微软 AI Blog 介绍,该模型采用 35B 激活参数、约 1T 总参数的稀疏 MoE 架构,支持 256k token 上下文窗口、函数调用和开发者指令,兼容 Chat Completions API。微软称其训练未使用第三方模型蒸馏,数据为可追溯的企业级数据。评测方面,该模型在 SWE-Bench Pro 上与 Claude Opus 4.6 持平,AIME 2025 得分 97.0%、AIME 2026 得分 94.5%,并在与 Claude Sonnet 4.6 的盲测人评中被更多用户偏好。目前尚无后续发展事实。

    匹配字段标题

星期一

星期三