AI Trends

NodLink uses AirPods head sensors to control the Mac cursor, open-sourced under the MIT license

sspaiUpdated Nov 18 16:09

English text is being prepared.

AI summary

The author Uinui developed NodLink, which reads head pose data from AirPods to move the Mac cursor, and completes actions such as clicking by tilting the head and voice commands, all without turning on the camera. It is based on the CMHeadphoneMotionManager interface opened up starting with macOS 14; the sensor reads head orientation 50 times per second, uses a One Euro filter to suppress jitter, and corrects gyroscope drift in the background. The tool is open-sourced under the MIT license, requires macOS 14 or later and AirPods that support head tracking, and currently supports Mac only.

Why read this

AI score 60

The author open-sourced a tool that uses AirPods head sensors to control the Mac cursor, and explained how calibration, jitter suppression, and drift correction are handled.

Topics

Tags

Body

点击下方按钮可复制链接

你的 AirPods,其实一直知道你的头朝哪

空间音频这个功能,用 AirPods 的朋友应该都试过:转头的时候,声音还停在原来的方向,就像音箱摆在你面前一样。

能做到这一点,是因为 AirPods 里装着陀螺仪和加速度计,一直在读你头部的朝向。这些数据本来只给空间音频用,但从 macOS 14 开始,苹果开放了一个叫 CMHeadphoneMotionManager 的接口,第三方 App 也能读到。

我做的 NodLink 则很简单:既然耳机知道你的头朝哪,那就让光标也跟着走。

AirPods 里的姿态传感器,每秒读取 50 次头部朝向

我希望它能帮到手不方便的朋友,例如有肢体障碍、或者长期卧床的人,用电脑这件事对大多数人来说太自然了,但对他们来说,挪一下鼠标、点一下按钮可能都很难。

为什么不用摄像头

其实苹果系统里自带了「头部追踪」辅助功能,靠前置摄像头看你的脸。但摄像头方案有几个绕不开的问题:要有光、要正对屏幕、脸还得在画面里。专门的头控鼠标价格往往要上千美元,还得额外戴个反光贴片或者传感器。

NodLink 只读 AirPods 里的传感器,全程不开摄像头。所以理论上,躺着、侧着、关了灯都不影响。对卧床的人来说,这一点我感觉挺关键的。

躺着、侧着、关了灯,都行

它能做什么

左右转头,光标左右移动;抬头低头,光标上下移动。校准之后,头部角度会直接换算成屏幕上的位置,你看向哪,光标就在哪。

转头即指向:头部朝向的延长线落在哪,光标就在哪

看东西的时候,人很少会歪头,所以歪头特别适合拿来当「按键」,和移动光标不冲突:

同时这些都能自己改。例如把左歪头改成「按住 Fn 语音输入」,就能直接说话打字;刷视频的时候,左歪头又可以是「下一条」。

一个动作,多种映射

如果你觉得歪头不方便,也可以直接说:「点击」「双击」「右键」「上滑」「下滑」「复制」「粘贴」「撤销」「关闭窗口」……中文英文都行,「click」「command tab」这种也认。语音识别用的是系统自带的本地识别。

这里还有个小细节:你一开口,光标就会冻住,等识别完再在冻住的位置执行。不然识别那零点几秒里,头稍微一动,光标就会跑偏。按钮太小、头不好对准的时候,还可以说「标号」:头指的地方附近,能点的按钮会标上 1-9 数字,说个对应的数字就能点中;执行点击的时候,光标也会自动吸到附近能点的按钮上,并画一圈框告诉你选中的是哪个。

对想转头看别处又不想光标乱跑的情况,说一声「暂停」,再说一声「继续」就能再接着用。慢慢地歪头、或者边转头边歪头都不会被当成点击。按一下 Esc,或者碰一下真鼠标、键盘,控制权又会马上回到你手上。

实际用起来是什么样

下面的图都截自我的演示视频,戴着真的 AirPods、手不碰键鼠录的。右下角的小窗是我本人的动作。

控制台左边是歪头的角度,底下是左右转头,右边是上下点头。实际戴上之后你会发现苹果这颗传感器真的很灵敏,数值也很稳,整个头控系统就是基于它的数据来的。

实拍:控制台实时显示三个方向的头部角度

下面这是我自己画的小角色,奶蛙自己不会动,它的每个动作都来自你的头:你点头它就笑,点得越快笑得越快;你一停,它也停;转头的时候,它还会出招。

附身奶蛙:你点头,它就笑

我也在控制台里做了四个练习场景,都是平时用电脑最常做的事,可以先在这里熟悉操作。

关弹窗。头指到按钮上,说「点击」。开口那一刻光标先停住,识别完就在停住的地方点下去。

关弹窗:头指到按钮,说「点击」

刷短视频。左歪头下一条,说「双击」点赞,右歪头打开评论区。

实拍:刷短视频

回消息。左歪头不回正,等于按住 Fn,用输入法说话;回正就松开,字就上屏了。最后说一声「点击」发出去。

回消息:歪头按住说话,回正上屏

点外卖。把前面几种办法串起来:语音点选菜品、选送达时间,歪头说备注,最后下单。

实拍:点外卖,备注写「放门口」

说实话语音偶尔也会听错,录视频的时候它就把我说的「点击」听成过「天气」,这种时候什么都不会发生,再说一遍就好。

练习场景之外,我也在真实的抖音网页版上试了试:左歪头换下一条,全程不用手。(图里别人的视频已经模糊处理。)

真实抖音网页版:歪头换下一条

为了调试方便,也为了好看,我给控制台做了一个 3D 场景。第三人称视角下,能看到一个小人戴着耳机,头朝向的延长线落在哪块屏幕上;切到第一人称,就是你自己的桌面视角。

如果你对实现感兴趣,这里简单说几个我觉得比较有意思的地方。

校准用的是鼻尖,不是眼睛。戴上耳机后,先用鼻尖对准屏幕正中的点,保持 2 秒,定下「正前方」。想更准,可以再做一次 30 秒左右的路径校准:先看中心和四个角,再用鼻尖跟着光标沿四边走两圈。这里一定要用鼻尖,因为 AirPods 测的是头的朝向,不是视线,只转眼珠是没用的。

防抖。人的头不可能完全不动,光标直接跟着走会一直抖。NodLink 用了一种叫 One Euro 的滤波:头不动的时候使劲压住抖动,快速转头的时候又尽量不拖慢。

漂移校正。AirPods 里没有指南针,左右方向只能靠陀螺仪一点点累加,用久了会慢慢偏,最后可能得把头扭向一边才能看到屏幕中间。好在用电脑的时候,人总体上是正对屏幕的,所以 NodLink 会在后台悄悄地、慢慢地往回拉。真偏多了,说一声「回中」或者按 C 就好。

技术上,Mac 端是一个用 Swift 写的小程序(我叫它「耳机桥」),负责读耳机数据、听语音指令、控制系统鼠标;校准、滤波、手势识别和 3D 场景都在一个网页控制台里,用 Node.js 和 three.js 写成。

怎么装

你需要一台 macOS 14 以上的 Mac,和一副支持头部追踪的 AirPods(第 3 代及以后、Pro、Max)。具体的安装步骤都写在 GitHub 的 README 里,跟着走就行。

装好之后按页面顶部的引导走:连接耳机 → 定正前方 → 开始头控。用到的权限和数据都只在本机处理。没有 AirPods 的话,可以直接打开在线版用鼠标模拟头部,先感受一下。

NodLink 目前只支持 Mac,安装也有点门槛,要开终端、装 Node.js,对不熟悉电脑的朋友不太友好,之后我也想做成双击就能装的 App。另外就是语音偶尔会听错,上面也说了,听错了再说一遍就好。

其实我最想做的是手机。手机屏幕小、按钮密,又是很多人躺着时用得最多的设备。但 iOS 不允许一个 App 去控制别的 App,纯软件做不到。所以我打算加一块很便宜的 ESP32 小板子:iPhone 上的 App 读 AirPods 的头部数据,发给 ESP32,ESP32 再以蓝牙鼠标的身份连回同一部 iPhone,借系统的辅助触控来移动光标、点击。但这都是后话了。

NodLink 以 MIT 协议开源,欢迎来玩,也欢迎提 issue。如果你自己在用头控鼠标或者其他辅助设备,或者身边有需要的家人朋友,特别希望能听听你们的意见。哪里不顺手、哪些操作还做不到,都可以告诉我。

> 关注少数派小红书,感受精彩数字生活 🍃

> 实用、好用的正版软件,少数派为你呈现 🚀辅助功能AirPodsMacmacOS应用推荐App+1 本文责编:

@克莱德

4位派友已充电

Source

sspai