面向真实 iOS 应用 UI 导航的在线稠密强化学习与规划-定位智能体
作者：Peitong Duan*、Seyed Khashaiar Gatmiry*、Jeff Nichols、Emmanuel Abbe、Samy Bengio
尽管前沿视觉语言模型在用户界面（UI）导航方面展现出强大能力，但其高昂的推理成本使其难以日常使用。相反，通过监督微调（SFT）或离线强化学习训练的小型模型往往死记静态轨迹，导致执行脆弱且无法从错误中恢复。为解决这些局限，我们提出一种新颖的在线强化学习框架，直接在真实 iOS 应用上训练 UI 导航智能体。我们的框架将智能体解耦为两个专门组件：规划智能体和 UI 定位模型。我们借助 LLM-as-a-Judge 提供全面的奖励信号，将评估中间进度的稠密步级反馈与评估整体任务完成的终局奖励相结合。为有效利用这种双重奖励结构，我们使用带步级优势估计的近端策略优化（PPO）来优化智能体。此外，我们提出 GiGPPO，一种新颖的邻居条件价值估计方法，通过利用并发轨迹中视觉相似状态的奖励信号来提升评论家稳定性。为大规模支持这种在线训练范式，我们引入一套高效基础设施，可编排数百台并发虚拟 iOS 设备。在 UINavBench、iOSWorld 和 AndroidWorld 等严格基准上的评估表明，我们在线强化学习训练的智能体显著优于 SFT 和仅终局奖励的强化学习基线，同时加速了训练收敛。值得注意的是，我们的 8B 强化学习智能体在向 Android 环境的分布外泛化上较 SFT 基线提升近七倍，同时在真实 iOS 应用上超过 Gemini-3.5-Flash 并与 Gemini-3.1-Pro 持平。
- * 同等贡献
相关阅读与更新。
ILuvUI：基于机器对话的指令微调 UI 语言-视觉建模
多模态视觉语言模型（VLM）凭借对图像和语言的融合理解实现了强大的应用，但许多模型由于缺乏 UI 训练数据而在 UI 任务上表现不佳。本文中，我们将为 VLM 生成配对文本-图像训练数据的方案适配到 UI 领域，方法是将现有的基于像素的方法与大语言模型（LLM）相结合。与先前工作不同，我们的方法无需人工提供的标注，……
阅读更多从交互到影响：通过理解和评估移动 UI 操作影响迈向更安全的 AI 智能体
随着生成式 AI 的进步，越来越多的研究致力于创建能够通过操作用户界面（UI）来管理日常任务的自主智能体。虽然先前研究已探讨了 AI 智能体如何导航 UI 和理解 UI 结构的机制，但智能体及其自主行为的影响——尤其是那些可能具有风险或不可逆的影响——仍未得到充分探索。在本工作中，我们研究了现实世界的影响以及……
阅读更多
探索机器学习领域的机遇。
我们在机器学习领域的研究每天都在开辟新天地。