AI Trends

A developer used Claude Code to build an MCP server, letting Claude try playing games such as GTA 4

t3nUpdated Nov 12 21:40

AI summary

A Reddit user used Claude Code to develop an MCP server that gives Claude virtual keyboard, mouse, gamepad, and screen-recording capabilities, enabling it to carry out simple instructions in GTA 4, Detroit: Become Human, and Cities: Skylines, such as driving, flying, and running toward map waypoints. Claude can only walk toward waypoints in a straight line and often crashes into walls, vehicles, and pedestrians; in Detroit it only picks the obvious options on screen, and in Cities: Skylines a lack of water and sewage connections causes residents to move out quickly. The project has been open-sourced on GitHub, and the developer recommends using it only for offline games to avoid a permanent ban from anti-cheat systems.

Body

Fundstück

Verpasse keine News mehr!

Claude zockt GTA 4 und andere Games: Wie sich der KI-Agent dabei anstellt

Wie schlagen sich KI-Agenten wie Claude in einem Videospiel? Das zeigt jetzt ein Entwickler, indem er der Künstlichen Intelligenz den virtuellen Controller in die Hand drückt und sie unter anderem GTA 4 spielen lässt. Was dabei passiert ist.

Grand Theft Auto 4. (Screenshot: Rockstar Games)

Während es viele menschliche Spieler:innen gar nicht mehr erwarten können, ihre ersten Runden in GTA 6 zu drehen, gibt es einen nichtmenschlichen Gamer, der noch seine Runden in älteren Teilen der Reihe dreht. Dabei handelt es sich um den KI-Agenten des Reddit-Users „Wonderful Ad„, der Claude dazu gebracht hat, GTA 4 und viele weitere Titel zu zocken.AnzeigeAnzeige

Wie kann Claude GTA 4 spielen?

Empfohlene redaktionelle Inhalte

Hier findest du externe Inhalte von X Corp., die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von X Corp. auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.

Hinweis zum Datenschutz

Leider ist etwas schief gelaufen...

An dieser Stelle findest du normalerweise externe Inhalte von X Corp., jedoch konnten wir deine Consent-Einstellungen nicht abrufen.

Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.

Um das realisieren zu können, hat sich der User Hilfe von Claude Code geholt. Zusammen mit dem Coding-Agenten hat er einen MCP-Server entwickelt, der die Verbindung zwischen Claude, dem Endgerät des Users, und damit auch dem Spiel herstellen kann. Wie er schreibt, bekommt Claude dadurch seine „eigene Tastatur, Maus, Gamepad und Bildschirmaufnahme“, um Inhalte zu erkennen und zu steuern.

Games wie GTA 4 werden dabei im Hintergrund auf dem PC des Users ausgeführt. Er kann das Gerät also auch nutzen, während Claude parallel zockt. Zudem können mehrere Instanzen von Claude gleichzeitig in verschiedene Spiele geschickt werden. Den Aufwand betreibt der User, um eigens entwickelte Mods für eine Vielzahl von Spielen automatisiert testen zu lassen.AnzeigeAnzeige

Top-Artikel

Die bloße Anbindung an die Spiele bringt Claude aber noch lange nicht dazu, plötzlich den Story-Modus von GTA 4 durchzuzocken. Stattdessen kann die KI nur einfache Befehle im Spiel ausführen. So etwa das Fahren, Fliegen oder Laufen zu gesetzten Wegpunkten auf der Karte. Um das zu ermöglichen, bekommt jedes Spiel ein eigenes Profil von Claude Code. Darin sind Informationen enthalten, wie die Minikarte aussieht, wie sich die Kamera drehen lässt und wie Wegpunkte aussehen.

Was anhand der aufgenommenen Spielszenen schnell klar wird: Ein professioneller Gamer wird Claude so schnell nicht. Gerade beim Steuern der Spielfigur zu Fuß läuft die KI immer wieder gegen Wände, Autos und Personen. Sie sucht im Grunde nur die möglichst direkte Verbindung zwischen der aktuellen Position und dem gesetzten Wegpunkt.

Empfohlene redaktionelle Inhalte

Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.

Hinweis zum Datenschutz

Leider ist etwas schief gelaufen...

An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.

Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.

Empfohlene redaktionelle Inhalte

Hier findest du externe Inhalte von YouTube Video, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von YouTube Video auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.

Hinweis zum Datenschutz

Leider ist etwas schief gelaufen...

An dieser Stelle findest du normalerweise externe Inhalte von YouTube Video, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.

Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.

Wie schlägt sich Claude in anderen Games?

Neben GTA 4 hat der Entwickler Claude auch noch auf einige weitere Games losgelassen. In Detroit: Become Human zockte die KI die erste Szene des Spiels, in der ein Android mit einem anderen Androiden verhandelt, der eine menschliche Geisel genommen hat. Hier musste Claude immer wieder Entscheidungen treffen, um das Schicksal aller Beteiligten zu entscheiden.

Auch hier zeigen sich aber die Limitierungen. Claude wählt lediglich offensichtliche Optionen auf dem Bildschirm aus. Zusätzliche Informationen aus der Umgebung zu erhalten, indem die Kamera gedreht wird, funktioniert bislang nicht. In Cities: Skylines versuchte Claude auch noch, eine Stadt zu errichten. Die Bewohner verließen sie aber schon kurz nach dem Einzug wieder, da Anschlüsse für Trink- und Abwasser fehlten.AnzeigeAnzeige

Wer das Projekt selbst ausprobieren möchte, kann das dank des GitHub-Projekts tun. Die Anbindung sollte allerdings laut dem Entwickler nur für Offline-Games vorgenommen werden. Die Integration könnte bei Multiplayer-Spielen zu einer dauerhaften Sperre durch die Anti-Cheat-Systeme führen.

Wie KI schon jetzt Videospiele verändert

9 Bilder ansehen

9 Beispiele, wie KI jetzt schon Videospiele verändert Quelle: trafficinggame.com

Startseite

Source

t3n