World models: How AI learns to predict the consequences of actions
World models learn physical correlations through video and 3D simulation, and predict the consequences of their own actions, rather than learning language only from text. Thomas Brox, Professor of Pattern Recognition and Image Processing at the University of Freiburg, points out that this concept has long existed in biology and neuroscience, but is still fairly new in computer science; AlphaGo's internal representation was limited to the board, whereas current world models attempt to learn from data. Such models can allow self-driving cars and robots to rehearse everyday or dangerous scenarios in virtual environments, but the predictions are often difficult to understand and the technology is not yet mature.
Body
Wer nur Texte liest, kann nur Sprache lernen. Über Dinge wie Schwerkraft oder das Zusammenspiel von Ursache und Wirkung nur zu lesen, ist aber etwas anderes, als sie zu beobachten oder selbst zu erleben. Sogenannte Weltmodelle nutzen deshalb Videos und 3D-Simulationen, um ein inneres Bild der Welt und ihrer Abläufe zu entwickeln. So lernen sie nicht nur, physikalische Zusammenhänge zu verstehen, sondern auch die Auswirkungen ihrer Aktionen vorherzusagen.
Weltmodelle lernen aus Videos, wie sich Gegenstände bewegen und welche Folgen sich daraus ergeben.
Selbstfahrende Autos und Roboter können mit solchen Modellen alltägliche oder gefährliche Situationen in virtuellen Umgebungen erproben.
Noch sind sie nicht ausgereift: Ihre Vorhersagen sind oft schwer nachzuvollziehen.
„In der Computerwissenschaft ist der Begriff Weltmodell noch recht neu“, sagt Thomas Brox, Professor für Pattern Recognition and Image Processing an der Uni Freiburg. „In der Biologie oder auch den Neurowissenschaften existiert das Konzept allerdings schon sehr lange.“ Dort beschreibt es die innere Repräsentation der Umwelt, die ein Lebewesen nutzt, um Vorhersagen zu treffen und sich angemessen zu verhalten. Tiere und Menschen bilden auf der Grundlage von Sinneseindrücken und Erfahrungen ein internes Abbild ihrer Umgebung, das ihnen hilft, Nahrung zu finden oder Gefahren zu vermeiden. Neurowissenschaftler untersuchen, wie die neuronalen Netzwerke im Gehirn diese Modelle erzeugen und aktualisieren. Nur ein System, das weiß, welche Konsequenzen seine Handlungen haben, kann vernünftig planen, um sein Ziel zu erreichen.
Strukturelle Code-Signale als Navigationshilfe für agentische QA-Systeme
Grenzen lokaler KI: Was iPhone, Galaxy, Pixel und iPad leisten
Interview: So schützt Google seine KI-Agenten vor Prompt Injections
Weltmodelle: Wie KI lernt, die Folgen von Handlungen vorherzusagen
Brauchen Datenarchitekturen für KI-Agenten einen föderierten Knowledge Layer?
Von Gehirnscan zu Bild: Wie KI rekonstruiert, was Menschen gerade sehen
OpenWiki im Test: Gedächtnis für Coding-Agenten
Anleitung: Lokale KI-Modelle mit aktuellen Fakten aus dem Internet anreichern
Wie verkettete Aktionen zum Risiko werden: Stille Post bei KI-Agenten
Thomas Brox ist Professor für Pattern Recognition and Image Processing an der Universität Freiburg und trainiert dort selbst Weltmodelle.
(Bild: Uni Freiburg)
Im Grunde verfügte bereits das KI-System AlphaGo von Google DeepMind, das sich von 2015 bis 2017 gegen mehrere professionelle Go-Spieler durchsetzte, über eine Art Weltmodell. Allerdings war seine interne Repräsentation auf das Brettspiel beschränkt. „Die reale Welt ist natürlich viel komplexer und lässt sich nicht durch ein paar einfache Spielregeln beschreiben“, sagt Brox, der in seiner Forschungsgruppe für Computer Vision selbst Weltmodelle trainiert. „Deswegen ist die Idee aktueller Weltmodelle, aus Daten zu lernen.“
Das war die Leseprobe unseres heise-Plus-Artikels "Weltmodelle: Wie KI lernt, die Folgen von Handlungen vorherzusagen". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
Ab 2035 sollten in der EU keine Verbrenner in Neuwagen mehr zugelassen sein. Doch der Kompromiss ist unter Beschuss. Warum nur? Ein Kommentar.
Wer auf der Suche nach einem Familienauto auch junge Gebrauchte berücksichtigt, erweitert die Auswahl beträchtlich. Ein Vergleich von Modellen bis 50.000 Euro.
Neue Mobilprozessoren bringen attraktive Verbesserungen für Mini-PCs. Doch Mondpreise für RAM und SSDs erzwingen eine besonders sorgfältige Kaufentscheidung.
Der iPod machte Apple einem breiten Publikum bekannt und etablierte ein Geschäftsmodell, das den Konzern bis heute prägt. 25 Jahre iPod – Happy Birthday!
RAG-Systeme leiden oft unter unkuratierten Datenbeständen. Eine Analyse der Retrieval-Logs zeigt, welche Inhalte relevant sind und wo sich Pflege lohnt.
Wer ein richtig großes und flottes Tablet braucht, findet es bei Samsung. Der Preis für das Galaxy Tab S12 Ultra ist allerdings happig.