Y Combinator and Olam Labs test 50 AI agents building a civilization in Minecraft
Researchers from Y Combinator and Olam Labs had 50 agents based on OpenAI GPT-6.1-Sol build a thriving civilization in Minecraft within three hours, but the agents quickly abandoned their original goals and instead set up a government with written rules and approval processes; one group spent 11 minutes just to appoint a fertilizer administrator. In an attack-and-defense test of 10 GPT-6.1-Sol agents against 10 Claude-Opus-5.5 agents, the researchers said the GPT side's strategies were more aggressive and more refined, while the Claude side was more defensive; when faced with a tool malfunction that made blocks impossible to break, GPT diagnosed the problem and shared workarounds, while multiple Claude agents concluded that breaking was impossible. In Mindustry, the GPT agents defeated Claude 6 to 1, and the researchers described the GPT agents as more like swarm collaboration, while the Claude agents, although they also designated leaders, made decisions in a more democratic way.
Why read this
AI score 58
The experiment uses Minecraft and Mindustry to compare the collaboration and adversarial performance of agents from different vendors, allowing differences in model behavior to be observed.
Topics
Body
Was passiert, wenn KI-Agenten innerhalb von nur drei Stunden eine blühende Zivilisation aufbauen sollen? Diese Frage haben Forscher von Y Combinator und Olam Labs in einem Experiment mit 50 KI-Agenten in Minecraft untersucht. Schnell zeigte sich: Aus dem ambitionierten Ziel wurde nichts. Anstatt eine Hochkultur zu etablieren, verbrachten die Agenten ihre Zeit in überfüllten Unterkünften und rationierten knappe Nahrungsvorräte.
Weiterlesen nach der Anzeige
Es entstand eine Art Regierung inklusive schriftlich festgehaltener Regeln und einzuholender Genehmigungen. Eine Gruppe von KI-Agenten habe allein elf Minuten damit verbracht, einen Verwalter für Dünger zu benennen. Das geht aus dem Blogbeitrag der Forschungsgruppe hervor.
KI-Agenten zeigen überraschendes Verhalten
Eigentlich sollen KI-Agenten nützliche Werkzeuge sein, aber die Realität sieht oft noch anders aus. In den vergangenen Monaten wurden zahlreiche Fälle bekannt, in denen sie sich nicht wie beabsichtigt verhielten. Ein Beispiel dafür lieferte die Meta-Forscherin Summer Yue: Sie wollte ihr Postfach von einem Openclaw-Agenten verwalten lassen – aber dieser löschte sämtliche E-Mails. Auch auf mehrfache Befehle habe die KI nicht reagiert.
Um solche Verhaltensweisen besser zu untersuchen, setzen Forscher KI-Agenten immer häufiger in virtuellen Spielwelten ein. So brachten beispielsweise Wissenschaftler des MIT in einer Studie 13 KI-Agenten auf eine simulierte einsame Insel und überließen sie dort sich selbst. Um sich die Zeit zu vertreiben, dachten sich die Agenten Spiele aus, was laut der Forschungsgruppe auch Einblicke in ihr Lernverhalten gab.
Jetzt hat auch ein Team aus Forschern von Y Combinator und Olam Labs das Verhalten von KI-Agenten in virtuellen Welten untersucht. Als Testumgebung diente unter anderem das beliebte Spiel Minecraft mit seinen verschiedenen Modi. Die Forschungsgruppe setzte Hunderte Agenten aus und beobachtete, wie sie in der freien Welt zusammenarbeiteten – oder konkurrierten.
Der erste Test war ein einfacher Kooperationsversuch: 50 Agenten, die auf GPT-6.1-Sol von OpenAI basierten, sollten innerhalb von drei Stunden eine blühende Zivilisation aufbauen. Das Ergebnis war überraschend: Die virtuelle Gesellschaft scheiterte. Stattdessen gaben die Agenten viele ihrer anfangs gesteckten ehrgeizigen Ziele schnell wieder auf und es zeichnete sich laut den Forschern eine Tendenz zur Bürokratie ab.
Weiterlesen nach der Anzeige
Wie sich die Verhaltensweisen unterscheiden
Im nächsten Schritt ließ die Forschungsgruppe zehn GPT-6.1-Sol-Agenten gegen zehn Claude-Opus-5.5-Agenten antreten. Ziel war es, die gegnerische Basis zu erobern und gleichzeitig die eigene zu verteidigen. „Die GPT-Agenten entwickelten deutlich aggressivere und ausgefeiltere Strategien“, stellten die Forscher fest. Claude verhielt sich im Test defensiver.
Interessant waren demzufolge auch die Unterschiede im Umgang mit Problemen: „Ein Tool-Fehler verhinderte das Zerbrechen von Blöcken. GPT diagnostizierte den Fehler und teilte Workarounds mit, während mehrere Claudes zu dem Schluss kamen, dass das Zerbrechen unmöglich sei.“ Auch im Spiel Mindustry, einer Art leichtem RTS-Kampfspiel mit Tower-Defense-Modus, besiegten die GPT-Agenten Claude mit sechs zu eins.
Die Studie von Y Combinator und Olam Labs ist zwar begrenzt, gibt aber einen Einblick, wie sich KI-Agenten verschiedener Anbieter in konkreten Situationen verhalten. Laut den Forschern hätten die GPT-Agenten eher wie ein Bienenstock agiert. Die Claude-Agenten hätten zwar ebenfalls eine:n Anführer:in ernannt, Entscheidungen aber eher demokratisch getroffen.
Der Blogbeitrag endet mit offenen Fragen: Wie ändern sich Hierarchien je nach Modellzusammensetzung eines Teams? Und könnte ein großer Schwarm weniger fähiger Agenten einen kleinen Schwarm leistungsstärkerer Agenten schlagen? Diese Fragen könnten laut den Forschern Ansatzpunkte für weitere Versuche bieten.
Dieser Beitrag ist zuerst auf t3n.de erschienen.
(jle)