←搜索结果

按匹配度 · 共 8 条结果 清除搜索

星期三

  1. Together AI Blog精选

    Together AI 发布 ThunderAgent:面向合成数据生成的智能体推理调度系统

    Together AI 联合佐治亚理工、UIUC 和 CMU 提出 ThunderAgent,把每个智能体工作流抽象为可调度程序,以程序级调度缓解 KV cache thrashing,在合成数据生成流水线中实现最高 2.5 倍单节点吞吐提升。在单台 8×H100 节点、batch size 192 下,SGLang 吞吐降至 390 token/s、平均延迟 65s,ThunderAgent 达到 803 token/s、平均延迟 10.6s;8 节点集群上相对 SGLang Gateway 加速 2.39 倍,从 16 到 64 GPU 吞吐近线性扩展。该工作已被 ICML 2026 接收为 Spotlight 论文,代码开源,客户端只需增加一个 program_id 字段,并已被 SkyRL 和 NVIDIA Dynamo 采用。

    匹配字段标题

星期四

  1. Zyphra Research

    Zyphra 发布 Mixture-of-PageRanks 长上下文 RAG 检索器

    Zyphra 发布 Mixture-of-PageRanks(MixPR)RAG 系统,用于在长上下文任务中做高效预处理,可搭配任意基础模型,并在 RULER、BABILong、HashHop 等基准上取得 SOTA 结果。该系统用 Standard PageRank 处理全局检索、Personalized PageRank 处理局部检索,由基础模型零样本判断查询类型后路由;文本分块用 TF-IDF 稀疏嵌入,邻接矩阵由余弦相似度一次矩阵乘法构建,在桌面 CPU 上处理百万级 token 上下文只需数秒。MixPR 搭配 GPT-4o 在 BABILong 上取得第二名,仅次于专门微调的循环记忆 Transformer,在 RAG 模型中排名第一。

    匹配字段标题

星期一

  1. Zyphra Research

    Zyphra 用稀疏图 RAG 将 LLM 上下文扩展到 10 亿 token

    Zyphra 展示了一套检索系统,可在推理时于标准 CPU 上把任意现成 LLM 扩展到 10 亿 token 上下文。该方法基于稀疏图检索,在需要超长上下文推理的 Hash-Hop 基准上取得 SoTA,并称比使用稠密嵌入的常见 RAG 系统更省算力与内存,也比长上下文 Transformer 更高效。团队表示这些初步结果适合端侧和算力受限场景,后续将测试其在更多长上下文任务上的通用性。

    匹配字段标题

星期四

  1. FutureHouse Research

    FutureHouse 详解 PaperQA2:如何让科学 RAG 超越科学家表现

    FutureHouse 发布工程博客,介绍其科学 RAG 系统 PaperQA2 的设计实验,称其在回答高难度科学问题、撰写综述文章和检测文献矛盾等任务上超过科学家的表现。团队基于 LitQA2 的 200 道专家多选题评测发现,智能体式查询扩展、LLM 重排与上下文摘要(RCS)、引用遍历对准确率重要,而嵌入模型选择、混合关键词嵌入、chunk 大小和结构化解析影响不大。新增的引用遍历工具通过 Semantic Scholar 和 Crossref API 前后各遍历一度引用,提升了正确论文的召回率。

    匹配字段标题

星期日

  1. 事件1 条新闻 · 1 个事实

    Together AI发布并开源ThunderAgent

    2026年7月29日,Together AI发布并开源智能体推理调度系统ThunderAgent。该系统由Together AI联合佐治亚理工、UIUC和CMU提出,将每个智能体工作流抽象为可调度程序,以程序级调度缓解KV cache thrashing,在合成数据生成流水线中实现最高2.5倍单节点吞吐提升。据官方介绍,在单台8×H100节点、batch size 192下,SGLang吞吐降至390 token/s、平均延迟65s,ThunderAgent达到803 token/s、平均延迟10.6s;8节点集群上相对SGLang Gateway加速2.39倍,从16到64 GPU吞吐近线性扩展。该工作已被ICML 2026接收为Spotlight论文,代码开源,客户端只需增加一个program_id字段,并已被SkyRL和NVIDIA Dynamo采用。目前尚无后续发展事实。

    匹配字段标题

星期三

  1. 事件1 条新闻 · 1 个事实

    Zyphra 发布 Mixture-of-PageRanks 长上下文 RAG 系统

    2024年12月19日,Zyphra 发布 Mixture-of-PageRanks(MixPR)长上下文 RAG 系统,用于长上下文任务中的高效预处理,可搭配任意基础模型。据 Zyphra Research 介绍,该系统用 Standard PageRank 处理全局检索、Personalized PageRank 处理局部检索,由基础模型零样本判断查询类型后路由;文本分块采用 TF-IDF 稀疏嵌入,邻接矩阵由余弦相似度一次矩阵乘法构建,在桌面 CPU 上处理百万级 token 上下文只需数秒。该系统在 RULER、BABILong、HashHop 等基准上取得 SOTA 结果;搭配 GPT-4o 在 BABILong 上取得第二名,仅次于专门微调的循环记忆 Transformer,在 RAG 模型中排名第一。目前尚无后续发展事实。

    匹配字段标题