Apple 研究团队提出用闲置 Apple Silicon Mac 充当虚拟 GPU 的 Minions 系统
Apple-Forscher nutzen Apple-Silicon-Macs im Idle-Betrieb als virtuelle GPUs | heise online
Apple 人工智能研究团队在 arXiv 发表论文，提出原型软件 Minions，把利用率不高的 Mac 等 Apple Silicon 设备当作云端虚拟 GPU，用于执行大规模机器学习推理负载。系统由中心协调服务器、各机器上的 Minion Executor 组成，后者运行 Ollama 推理实例，输入、模型和结果通过 AWS-S3 存取，任务经 PostgreSQL 数据库分发，Minion Executor 通过 REST-API 领取任务和心跳，另有 Minion Watchdog 监控故障。论文称实测中原本在 Apple Research 团队常超过十小时的 GPU 推理排队时间缩短到几分钟，目前仅面向相互信任的组织内部负载，尚未实现类似 PCC 的进程隔离，未来还计划支持 AI 训练。
正文
当前显示原文，中文全文译文尚未就绪。
Die KI sucht händeringend nach Ressourcen. Rechenzentren sind teuer und energiefressend. Helfen vielleicht Macs, die gerade im Leerlauf sind?
Oft nicht ausgelastet: Apple-Silicon-Chip.
(Bild: Apple)
Ben Schwan
Eine Gruppe von Wissenschaftlern aus Apples KI-Forschungsteam schlägt vor, wenig ausgelastete Macs und andere Apple-Silicon-Geräte als virtuelle GPU in der Cloud zu verwenden. Laut einer Publikation auf dem Preprint-Server arXiv nennt sich die Prototypsoftware „Minions“ („Knecht“, wohl in Anlehnung an den bekannten Film) und soll anfangs Macs und später vielleicht auch iPhones und iPads dazu verwenden, „Machine-Learning-Inferenz-Workloads in großem Maßstab“ auszuführen, ohne dass dafür KI-Rechenzentren notwendig wären. Gänzlich neu ist die Idee bei Apple nicht: Schon früher hatte Apple erwogen, Machine Learning über zahlreiche Geräte zu verteilen – vor der Zeit der großen Sprachmodelle. Jetzt hat das Unternehmen auch die passenden Grundlagen, etwa Private Cloud Compute (PCC), um LLM-Workloads geschützt zu verteilen.
Vergleichsweise einfache Lösung
Das Minions-System arbeitet allerdings deutlich einfacher. Laut Paper soll die Schaffung einer „dynamischen und verteilten virtuellen GPU-Cloud“ gelingen. Das soll alles mit existierender Hardware möglich sein. Die Forscher Jianhua Li, Yun Xing, Girisha De Silva, Ryan Flint, Kai Yuan und Sean Suchter haben dazu einen Server als zentrale Koordinationsschicht entwickelt, der mit sogenannten Minion Executors auf den einzelnen Maschinen arbeitet. Auf diesen laufen Ollama-Inferenz-Instanzen, Inputs, Modelle und Resultate werden über AWS-S3 gespeichert und bereitgestellt.
Videos by heise
c't 3003; heise & ct; Peertube
Die Aufgaben werden über eine PostgreSQL-Datenbank verteilt, wobei es keinen direkten Zugriff der Minion Executor gibt, die sich ihre Aufgaben und einen Heartbeat per REST-API besorgen. Ein „Minion Watchdog“ überwacht das System auf Fehler. Der Nutzer selbst ist mit dem „Minion Server“ konfrontiert, der die Aufgaben entgegennimmt und dann die Prozesse verteilt.
Nicht mehr aufs Rechenzentrum warten
In praktischen Versuchen zeigte sich, dass die Wartezeiten auf GPU-Inferenzjobs, die in den Teams bei Apple Research teils über zehn Stunden dauerten, da die großen Systeme belegt sind, dank Minions auf Minuten schrumpften, weil viele macOS-Maschinen mit geringer (oder gar keiner) Auslastung bereitstanden. Das Scaling lief zudem organisch. Teilweise habe man sich intern per Slack abgesprochen, ob ein Minion Executor auf einer Maschine läuft oder nicht – spezifisch auf die Projekte abgestimmt.
Momentan geht es jedoch nur um Workloads innerhalb von Organisationen, die sich vertrauen. Techniken zum Abschotten der Prozesse, wie etwa bei Apples PCC, sind noch nicht implementiert. Allerdings kann man laut dem Paper eigene PostgreSQL-Datenbanken und isolierte Minion-Executor-Pools bilden, um Teams oder ganze Organisationen abzuschotten. Künftig soll mit Minions auch möglich sein, KI-Trainingsläufe durchzuführen. Aktuellen Code für das Projekt konnten wir zunächst nicht finden.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
E-Mail-Adresse
Ausführliche Informationen zum Versandverfahren und zu Ihren Widerrufsmöglichkeiten erhalten Sie in unserer Datenschutzerklärung.
Sicherheit und Geräteverwaltung gehören zusammen; Wie UX-Design Hardware und Software verbindet; So werden Data-Compliance-Anfragen überschaubar; Digitale Transformation ohne Abhängigkeiten; Warum Firmen die KI-Infrastruktur anpassen sollten; Der stille Stress im digitalen Alltag; Die Arbeitsplatzarchitektur der Zukunft; Sensible Daten schützen; Cyber-Hygiene statt Cyber-Panik; Wissen statt suchen: KI bändigt Informationsflut
Immer informiert bleiben: Klicken Sie auf das Plus-Symbol an einem Thema, um diesem zu folgen. Wir zeigen Ihnen alle neuen Inhalte zu Ihren Themen.
laden...
Thema gefolgt Thema folgen Entfolgen; Forschung
laden...
Thema gefolgt Thema folgen Entfolgen; Grafikchip
laden...
Thema gefolgt Thema folgen Entfolgen; Grafikkarten
laden...
Thema gefolgt Thema folgen Entfolgen; IT
laden...
Thema gefolgt Thema folgen Entfolgen; Künstliche Intelligenz
laden...
Thema gefolgt Thema folgen Entfolgen; macOS
laden...
Thema gefolgt Thema folgen Entfolgen; Mobiles
laden...
Thema gefolgt Thema folgen Entfolgen