←搜索结果

搜索“推理”

按匹配度 · 共 680 条结果 清除搜索

星期日

  1. 事件1 条新闻 · 1 个事实

    推理可解锁大模型参数知识

    Google Research 于 2026 年 6 月 24 日发布研究,发现推理能帮助大语言模型回忆简单事实。该研究在 COLM 2026 论文中揭示,其机制包括用生成的推理 token 进行隐式计算,以及生成相关事实来激活正确答案。研究在 Gemini-2.5 Flash/Pro 和 Qwen3-32B 上,用 SimpleQA Verified 与 EntityQuestions 数据集对比推理开关模式,发现开启推理后模型能回忆起关闭时几乎无法获取的答案。目前该研究由 Google Research 作为第一方来源发布,尚无后续发展事实。

    匹配字段标题

星期三

星期五

星期三

  1. 事件1 条新闻 · 1 个事实

    Zyphra在AWS Neuron推理栈实现Domino式通信重叠

    2026年5月29日,Zyphra Research 与 AWS 合作,在 AWS Neuron 推理栈中实现了 Domino 式张量并行通信重叠。据 Zyphra Research 发布的信息,该工作在 Inferentia2 上针对 Llama 3-8B 进行了不同 NeuronCore 数量的基准测试。测试结果显示,聚合输出吞吐量提升,首 token 时间和每输出 token 时间均下降;在张量并行度更高、集合通信占关键路径更大时,收益最为明显。目前该事件尚无后续发展事实,状态停留在上述实现与基准测试结果。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    SGLang与AMD团队展示MI355X分布式推理TCO结果

    2026年5月28日,SGLang与AMD团队展示了在AMD Instinct MI355X GPU上进行大规模DeepSeek-R1分离式推理的竞争性TCO结果。据LMSYS Blog介绍,团队通过SGLang与MoRI通信库优化,在129 tok/s/user交互性下达到每百万token 0.169美元,比B200 TRT-LLM低5%、比B200 SGLang低40%;每GPU吞吐2,436 tok/s(24 GPU),比B200 SGLang高1.25倍。优化手段包括MoRI量化all-to-all(往返带宽最多降低2.56倍)、MoRI-IO KV cache后端(吞吐比Mooncake高约10%)、SDMA双批次重叠、ROCm上的Specv2 MTP以及CPU流式优化。结果已开源,并通过SemiAnalysis的InferenceX持续验证。目前尚无后续发展事实。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    LG AI Research 分享利用空闲推理 GPU 池调度 GPU 作业

    2026年5月26日,LG AI Research 分享了一套名为“GPU Job Scheduling using an idle inference GPU pool”的方案,将 LLM 服务夜间闲置的推理 GPU 用于训练和研究任务。该方案基于 vLLM 内部指标做自动扩缩容;其分析显示,单副本占 4 张 GPU 时,平均约 52 张 GPU 每天闲置约 12 小时。相关任务以 best-effort 方式运行,当服务流量上升时可随时被中断回收。目前该信息来自 LG AI Research 官方博客,尚无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Zyphra发布MI355X上推理端到端基准

    2026年5月18日,Zyphra Research发布了Zyphra Inference在AMD Instinct MI355X GPU上的首个端到端基准,并与Nvidia B200基线配置进行对比。该基准覆盖Kimi K2.6、GLM-5.1和DeepSeek V3.2三个模型。硬件方面,MI355X每卡提供288 GB HBM3E,B200为180 GB,两者HBM带宽均约8 TB/s;MI355X采用全连接xGMI点对点互联,8路集合通信峰值537.6 GB/s。测试使用ShareGPT与LMSYS-Chat-1M数据集,仅限vLLM框架、单节点且无真实流量。目前尚无后续发展事实。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Zyphra 发布 ZAYA1-8B 推理模型

    2026年5月6日,Zyphra 发布 MoE 语言模型 ZAYA1-8B。据 Zyphra Research 介绍,该模型激活参数不到 10 亿,在数学、编码和推理任务上对标 Nemotron-3-Nano-30B-A3B、Mistral-Small-4-119B 等更大开源模型。模型在 1024 张 AMD MI300X 集群上完成预训练,采用压缩卷积注意力 CCA 与新型 MLP 专家路由,并配套提出 Markovian RSA 测试时计算方法。发布时模型已在 Zyphra Cloud 提供免费 serverless 端点,权重上线 Hugging Face,采用 Apache 2.0 许可。目前尚无后续发展事实。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Modal 优化 SGLang 多模态推理调度器

    2026年5月4日,Modal 发布工程博客称,其优化了 SGLang 调度器的多模态推理性能。Modal 在 H100 上对 Qwen2.5-VL-3B-Instruct 做多模态推理基准测试时,发现 SGLang 调度器在 hash_feature 中反复调用 torch.UntypedStorage._new_shared_cuda,造成主机端开销。他们用简单的 Python 字典实现 CUDA IPC Pool Handle Cache,避免重复打开共享内存句柄,使吞吐量提升 16%、延迟降低 10%。该改进已合并进 SGLang v0.5.10。目前没有后续发展事实。

    匹配字段标题

星期五

星期四

星期二

星期二

星期一

星期五

星期三