先了解这件事
AI 综述
2026年4月29日,goose 发布 v1.26,重建了 Computer Controller 扩展,借助 macOS CLI 工具 Peekaboo 实现屏幕截图与 GUI 自动化。据 goose 官方博客介绍,该扩展可识别带标注的 UI 元素,完成点击、输入、滚动、拖拽和菜单操作,其核心是 see、click、type 循环,元素 ID 绑定实际 UI 组件而非像素坐标,因此能适应窗口尺寸和位置变化。该扩展目前仅支持 macOS,Windows 和 Linux 回退到 shell 自动化,快速变化的界面和自定义渲染画布识别效果有限。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
goose v1.26 用 Peekaboo 让 AI 智能体控制 macOS 桌面事件进展
1 个已确认进展
- 来源：goose 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
4月29日
goose 官方博客一手精选
goose v1.26 用 Peekaboo 让 AI 智能体控制 macOS 桌面
goose 在 v1.26 中重建了 Computer Controller 扩展，借助 macOS CLI 工具 Peekaboo 实现屏幕截图与 GUI 自动化，可识别带标注的 UI 元素并完成点击、输入、滚动、拖拽和菜单操作。其核心是 see、click、type 循环，元素 ID 绑定实际 UI 组件而非像素坐标，因此能适应窗口尺寸和位置变化。该扩展目前仅支持 macOS，Windows 和 Linux 回退到 shell 自动化，快速变化的界面和自定义渲染画布识别效果有限。