Cartesia 团队发布 Based 架构，通过结合滑动窗口注意力和线性注意力，在召回密集型任务上超越 Mamba 等次二次方模型，同时实现比 FlashAttention-2 高 24 倍的文本生成吞吐量。该架构使用二阶泰勒近似作为特征映射，并提供了 IO 感知的 CUDA 实现，代码和检查点已在 GitHub 和 Hugging Face 公开。
#论文/研究#开源/仓库#推理
FutureHouse 发布 WikiCrow，一个基于其 PaperQA 智能体平台的自动合成系统，可为技术主题生成带引用的维基百科式摘要。团队用它为 15616 个尚无条目或仅有残篇的人类蛋白编码基因生成草稿，每篇约 8 分钟，50 个实例并行，几天内完成，估计人工需约 60000 小时。评测显示 WikiCrow 约 9% 的陈述不正确，但引用来源的一致性明显优于人类编辑；PaperQA 在 PubMedQA Blind、MedQA-USMLE 及自建 LitQA 基准上优于 GPT-4、Perplexity 等系统。
#论文/研究#RAG#数据/训练
OpenAI 使用 PPO 训练由 5 个 AI 智能体组成的团队，在 Dota 中击败半职业玩家。智能体没有使用人类比赛数据，而是依据人工设计的奖励函数通过自我对弈学习，并以 90-95% 的胜率持续战胜两周前的智能体。Sam Altman 认为，充足的计算规模与良好的模拟环境可让深度强化学习处理极其复杂的问题。
#论文/研究#Agent#推理