Elorian 发布视觉推理模型 Glimpse
Understanding a video means comparing moments, and models are getting much better at it.
Elorian 发布首个视觉推理模型 Glimpse，用于比较视频中不同时间点的场景变化，并在变化细微或快速时回看原片段。Elorian 将这种基于帧的推理称为 visual thinking，Glimpse 在推理过程中可回到源视频、裁剪区域、抽取指定帧或运行代码来测量和比较所见内容，该机制被称为 visual scratch space。联合创始人 Andrew M. Dai 称其在关键公开视觉推理基准上具备与 Astra 竞争的前沿性能。
查看原帖多年来，我们一直在观察模型在单张图像上表现出色，却在任何涉及运动或角度变化的内容上完全失手。今天，我们要解决这个问题。 立即试用 Glimpse，这是我们的首个视觉思考模型，在关键公开视觉推理基准上具备与 Astra 竞争的前沿性能。
查看原文
Spent years watching models ace a single image and completely whiff on anything that moves or changes angle. Today we’re fixing that. Try Glimpse now, our first visual thinking model with competitive frontier performance compared to Astra on key public visual reasoning benchmarks.
正文 · AI 翻译
理解一段视频意味着比较各个时刻，而模型在这方面正变得越来越强。
来自 @ElorianAI 的 Glimpse 会检查一个场景如何从一个时间点变化到另一个时间点，并在变化细微或快速时回看以进一步细看。
Elorian 将这种基于帧的推理称为视觉思维（visual thinking）：对模型所观察到的内容进行推理，并以帧为依据。
Glimpse 可以在推理过程中回到源视频、裁剪到某个区域、抽取特定的视频帧，或运行代码来测量或比较它所看到的内容，Elorian 将这一机制称为“视觉暂存空间”（visual scratch space）。