3000 万参数：可在 ESP32 上运行的本地 AI 语言模型 PocketGPT

Die YouTuberin Marina hat ein eigenes KI-Sprachmodell namens „PocketGPT“ trainiert, das auf einem ESP32-S3 läuft und in der Lage ist, kurze Unterhaltungen zu führen. Auf die Frage „how are you?“ antwortet der Mikrocontroller nach knapp 12 Sekunden mit „I'm doing okay.“. Ähnliche Projekte auf dem ESP32 erzählen dagegen meist nur kurze Kindergeschichten. Marinas Video zum Projekt wurde seit dem 13. Oktober über 158.000 Mal aufgerufen.

Weiterlesen nach der Anzeige

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Von null an selbst trainiert

Das Modell hat rund 30 Millionen Parameter. Diese auch Gewichte genannten Zahlenwerte speichern alles, was ein Sprachmodell beim Training lernt. Laut Dokumentation hat Marina kein vorhandenes Modell angepasst, sondern bei null angefangen: Zu Beginn waren alle Gewichte Zufallszahlen, das Modell konnte also noch nichts. Im Training verarbeitete es rund 300 Millionen Token, also Wörter und Wortteile. Den Großteil davon lieferten KI-erzeugte Kindergeschichten und lehrreiche Webseiten, ein Zehntel stammte aus öffentlich verfügbaren Chatverläufen.

Damit das Modell in den Speicher des Mikrocontrollers passt, sind die meisten Gewichte mit nur 4 Bit pro Zahl gespeichert. Auf einem Entwicklerboard mit 16 MByte Zusatzspeicher schafft PocketGPT etwa 1,4 Token pro Sekunde. Eine zweite Variante läuft auf dem daumengroßen Seeed XIAO ESP32S3 mit einem rundem Touch-Display als Tastatur. Sie lagert Teile des Modells auf eine microSD-Karte aus und erreicht 0,74 Token pro Sekunde.

Groß, aber langsam

Im Sommer 2026 sorgte bereits das Projekt esp32-ai für Aufsehen. Dessen Modell ist mit 28,9 Millionen Parametern ähnlich groß, schreibt aber knapp 10 Token pro Sekunde und ist damit rund siebenmal so schnell. Allerdings liegt der Großteil seiner Parameter in einer Art Wörterbuch, aus dem pro Token nur wenige Einträge gelesen werden. Der Teil, der tatsächlich rechnet, ist viel kleiner, und laut Projektseite kann das Modell deshalb weder Fragen beantworten noch Anweisungen folgen.

Über lokale Sprachmodelle hat heise mehrmals berichtet. Und schon 2022 hat Make gezeigt, wie eine ESP32-Kamera mit einem neuronalen Netz Ziffern erkennen kann.

Weiterlesen nach der Anzeige

Für mehr als Smalltalk reicht PocketGPT nicht. Sein Gedächtnis fasst nur 64 Token, also gerade einmal eine kurze Frage samt Antwort, und eine Antwort ist höchstens 24 Token lang. Laut Projektbeschreibung könnten Antworten falsch, sich wiederholend oder themenfremd sein, selbst bei einfachen Rechenaufgaben sei das Modell unzuverlässig. „Diese KI sollte nie mit modernen Sprachmodellen konkurrieren“, erklärt Marina zu ihrem Video.

Code, Trainingsskripte und das fertige Modell stehen frei auf GitHub.

(mch)