先了解这件事
YouTuberin Marina hat nach Angaben von heise online ein eigenes KI-Sprachmodell namens „PocketGPT“ von Grund auf trainiert. Das Modell hat rund 30 Millionen Parameter und läuft auf einem ESP32-S3, wo es kurze Dialoge führen kann. Für die Antwort auf „how are you?“ werden etwa 12 Sekunden benötigt. Nach 4-Bit-Quantisierung erreicht es auf einem Entwicklungsboard mit 16 MByte zusätzlichem Speicher etwa 1,4 Token pro Sekunde; auf einem Seeed XIAO ESP32S3 mit microSD-Karte als ausgelagertem Modellsp
AI 根据公开报道生成
最新进展 · 正式报道
3000 万参数：可在 ESP32 上运行的本地 AI 语言模型 PocketGPT事件进展
1 个已确认进展
- 来源：heise online
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月19日
heise online
3000 万参数：可在 ESP32 上运行的本地 AI 语言模型 PocketGPT
YouTuber Marina 从零训练了约 3000 万参数的 AI 语言模型 PocketGPT，可在 ESP32-S3 上运行并完成简短对话，回答“how are you?”约需 12 秒。模型经 4 Bit 量化后，在带 16 MByte 额外存储的开发板上约 1.4 Token/秒，在 Seeed XIAO ESP32S3 上借助 microSD 卡外置部分模型约 0.74 Token/秒。其上下文仅 64 Token、单次回答最多 24 Token，代码、训练脚本和模型已在 GitHub 公开。