Apple Watch 音频智能功能进入开发者测试,含 Live Rewind 与 Siri Recaps
Apple Watch’s AI features for rewinding and recapping conversations begin beta testing
Apple 为 Apple Watch 推出的 Audio Intelligence 功能随 iOS 27.3 进入开发者测试,包含声音识别、歌曲识别、Live Rewind 和 Siri Recaps 四项可选功能。Live Rewind 双击数码表冠可回看最近 15 秒对话文字,未保存的片段 30 秒后自动删除;Siri Recaps 只生成要点摘要,不保存原始音频也不做逐字转写,未保存的摘要 7 天内删除。音频在手表安全隔区处理后经 iPhone 转成精简文本,再交由 Private Cloud Compute 生成摘要,适用于 Apple Watch Series 12 和 Apple Watch Ultra 4。
正文 · AI 翻译
Apple 为 Apple Watch 打造的 AI 驱动“音频智能”(Audio Intelligence)技术现已进入 Beta 测试阶段,最初面向开发者在 iOS 27.3 更新中推出,此前该技术已在公司 9 月的 Surprise and Shine 硬件活动上首次发布。该技术包含四项可选加入的 AI 功能,让 Apple Watch Series 12 佩戴者能够检测重要声音、识别歌曲、回顾对话以及记录笔记。
声音识别功能将帮助失聪及听障用户从手表上识别警笛、警报或门铃等重要声音,而歌曲识别功能则借助 Apple 的 Shazam 应用来检测背景中播放的音乐,并识别歌曲名称和艺术家。
然而,更具潜在争议的是那些会聆听人类对话的功能:Live Rewind 和 Siri Recaps。
鉴于人们对 Meta 的 AI 眼镜及其他 AI 可穿戴设备等 AI 录音设备的强烈反对,Apple 试图开辟一个空间,让这些功能对 Apple Watch 用户有用,同时仍尊重周围人的隐私。
借助 Live Rewind,其理念是让你回到过去,查看某人刚刚说了什么,以防你错过了。例如,如果有人在口头给你指路,或在餐厅念一长串特色菜,你可以双击手表的数码表冠,以文本片段的形式在表盘上查看过去 15 秒内所说的话。你可以查看该片段后不做任何操作,它便会永久消失。或者你可以将其保存到随 iOS 27 一同推出的独立 Siri 应用中以便日后访问,如果你试图记住某人的名字,或从快节奏的演示中快速记笔记,这可能会有所帮助。
Apple 表示,如果用户对说过的某些内容有疑问——比如不理解的术语,或者服务员提到的某种不熟悉的酱料选项等——还可以点击文本片段下方出现的“询问 Siri”(Ask Siri)选项。
当你双击数码表冠时,会响起一声提示音,手表上会显示动画。这旨在通过手势、声音和视觉显示的结合,向人们发出信号,表明你录制了说过的某些内容。
如果你不保存这些片段,它们将在 30 秒后自动删除。
另一个选项 Siri Recaps 则进一步推进了这种环境聆听技术,允许 Apple Watch 用户对对话进行高层级记录。
重要的是,Apple 表示它不会识别说话者、保存原始音频或提供逐字转写。相反,该功能会用一句简短的话和一些要点来总结对话,以标明关键点。例如,根据主题不同,要点可能包括重要日期或截止时间、定价或付款计划信息以及其他事实性信息。
Apple 建议该功能可用于工作会议、家长会、私人训练课程或其他你可能需要记住要完成的任务或说过的内容等场景。本质上,它旨在模拟用户自己记笔记的能力——不添加情感或语气。
这在你无法自己写笔记时尤其有用,比如因为双手忙碌,或你正试图专注于当时所说的内容。当你用耳机听音乐或使用其降噪功能时,回顾功能不会录制对话。
一天结束时,当该功能启用后,系统会提示你查看已保存的 Siri Recaps,然后选择你想保存的内容(如果有的话)。这些笔记可以保存到你的备忘录应用中,如果内容较为私人,甚至可以导出到你的手记应用中。如果你不做任何操作,回顾内容将在七天内自行删除。
当你早上首次解锁 Apple Watch 时,也会出现这一提醒,提示你查看已录制的 Siri Recaps。
用户可以选择手动启用 Siri Recaps,也可以配置时间表,例如仅在上班时进行回顾,或确保它们在夜间从不运行。即使它们按时间表运行,你仍可随时从控制中心关闭回顾功能。
Apple 指出,Siri Recaps 在设计上会省略敏感信息,如政府分配的标识符、财务和身份验证数据、某些个人标识符,以及任何会助长自残的语言。
Apple Watch Series 12 和 Apple Watch Ultra 4 的音频智能功能依赖于 Apple 硬件、软件和服务的组合。这包括 S11 芯片、内置麦克风、在 iPhone 上运行的 Apple Intelligence 模型,以及 Apple 的 Private Cloud Compute。
常开处理器包含一个安全隔区——一块受硬件保护、操作系统其余部分无法访问的内存空间——其中专用音频缓冲区负责处理原始音频。这使得音频在处理过程中实际上任何人都无法访问,包括 Apple 在内。音频只能通过手表与配对 iPhone 之间的安全配对机制,由配对的 iPhone 访问。
为实现这一功能,Apple Watch 上 S11 芯片中的轻量级 AI 模型会检测佩戴者是否正在参与对话,随后将音频传输到 iPhone 的安全隔区。iPhone 上的设备端处理会将音频转换为精简文本,即去除填充词后的对话文本。随后,这些精简文本会被加密并发送至 Apple 的 Private Cloud Compute(PCC),以生成对话回顾并发送回手机。(回顾内容及用于生成它的任何摘要随后会立即从 PCC 中删除。)
随后你可以在 iPhone 上访问的回顾内容仅你本人可以访问,Apple 无法访问。而且,当这些内容在你的多台 Apple 设备之间同步时,会进行加密。
同样,Apple Watch 会将音频传输到 iPhone 进行处理,以生成 Live Rewind 的 15 秒片段。
Apple 表示,这些功能都不应影响你手表或手机的电池续航。这些功能随后将向公测版推出以进行更广泛的测试,之后才会向所有人公开发布。