Bewusstseine, Gehirne und künstliche Welten

Detaillierte Neuronenmodelle

Ein einzelnes Neuron als verzweigtes elektrisches Kabel mit Ionenkanälen, nach Hodgkin und Huxley.

Frage, die sie beantwortet: Wie verändert die Form dieses Neurons, was es berechnet?

Lässt aus: Die feine Chemie eines einzelnen Neurons wird weiterhin auf eine Handvoll Ströme vereinfacht.

Läuft auf: etwa 10¹² FLOPS grob ein Laptop, Echtzeit für ein NeuronSeit: 1952 Huxley integrierte die Hodgkin-Huxley-Gleichungen von Hand auf einer mechanischen Rechenmaschine, etwa drei Wochen pro Aktionspotenzial; später übernahmen Computer QuelleIm Simulationen-Baum: Hodgkin–Huxley von Hand

Großräumige Schaltkreise des Gehirns

Millionen feuernder Neuronen, verschaltet zu einem Schaltkreis, der einem Stück Kortex ähnelt.

Frage, die sie beantwortet: Können wir Hirnrhythmen und Reaktionen allein aus der Verdrahtung nachbilden?

Lässt aus: Die Verdrahtung ist oft statistisch und nicht die tatsächlich gemessenen Verbindungen des Tiers.

Läuft auf: etwa 10¹⁵ FLOPS grob ein Universitätscluster, Stunden für ein Stück KortexSeit: 2006 spätestens 2006, frühe Großsimulationen einer kortikalen SäuleIm Simulationen-Baum: Neokortikale Mikroschaltung

Ganzhirn-Netzwerkmodelle

Hirnregionen als Knoten, verbunden durch gemessene Verdrahtung und an Scans angepasst.

Frage, die sie beantwortet: Wie verändert eine Schädigung in einer Region die Aktivität im ganzen Gehirn?

Lässt aus: Regionen werden als einzelne Punkte behandelt, sodass jedes Detail in ihnen fehlt.

Läuft auf: etwa 10¹⁴ FLOPS grob ein Universitätscluster, Minuten pro simuliertem SzenarioSeit: 2008 spätestens 2008, frühe Ganzhirn-Netzwerkmodelle, angepasst an die per Diffusions-MRT gemessene Verdrahtung

Simulierte Kleinlebewesen

Das vollständige Nervensystem eines winzigen Tiers, etwa die 302 Neuronen eines Fadenwurms, verbunden mit einem simulierten Körper in einer virtuellen Schale.

Frage, die sie beantwortet: Reicht der Schaltplan, um das Verhalten hervorzubringen?

Lässt aus: Der Schaltplan allein erklärt das Verhalten des Tiers noch immer nicht vollständig.

Läuft auf: etwa 10¹² FLOPS grob ein Laptop, Echtzeit für das gesamte NervensystemSeit: 1997 spätestens 1997, frühe Simulationen auf Grundlage der Konnektomkarte des Fadenwurms von 1986Im Simulationen-Baum: OpenWorm

Simulation neuromorpher Hardware

Chips mit Schaltkreisen, die sich direkt in der Hardware wie Neuronen und Synapsen verhalten, statt die Gleichungen Schritt für Schritt in Software zu berechnen.

Frage, die sie beantwortet: Kann neuromorphe Hardware dasselbe berechnen wie ein Gehirn, mit weit weniger Energie?

Lässt aus: Echte Neuronen haben eine weit reichere Chemie als ein Schaltkreis, der ihre Spikes nachahmen soll.

Läuft auf: etwa 10¹³ FLOPS grob ein neuromorpher Forschungschip, EchtzeitSeit: 1989 Carver Meads frühe Silizium-Neuronen- und Netzhautschaltungen

Hirnerkrankungen und Ausbreitung von Anfällen

Abnorme elektrische Aktivität oder fehlgefaltete Proteine, die sich durch ein simuliertes Hirnnetzwerk ausbreiten, wie bei Epilepsie oder Demenz.

Frage, die sie beantwortet: Wo beginnt ein Anfall, und wie weit wird er sich ausbreiten?

Lässt aus: Der Krankheitsverlauf jedes echten Gehirns ist anders; das Modell zeigt ein Muster, keine Vorhersage für einen einzelnen Patienten.

Läuft auf: etwa 10¹³ FLOPS grob der Cluster eines Krankenhauses oder einer Universität, Minuten pro PatientenmodellSeit: 1997 spätestens 1997, frühe Netzwerkmodelle der Anfallsausbreitung im Gehirn

Konnektom-beschränkte Ganzhirnmodelle

Eine neuronale Simulation nutzt die vollständig vermessene Verdrahtung eines Insektengehirns mit einfachen Neuronenmodellen, um vorherzusagen, wie Reize Verhalten hervorbringen.

Frage, die sie beantwortet: Sagt allein die Verdrahtung voraus, wie das Gehirn Sinneseindrücke in Handlung umsetzt?

Lässt aus: Die Stärke der Synapsen und die Dynamik der Neuronen werden aus einfachen Regeln angenommen.

Läuft auf: etwa 10¹² FLOPS grob Spiking-Netzwerk mit etwa 130.000 NeuronenSeit: 2024 A Drosophila computational brain model reveals sensorimotor processing (2024) Quelle

Neuronale Massen- und Feldmodelle

Eine Population von Neuronen, reduziert auf eine oder zwei mittlere Aktivitätsvariablen; sie liefert die Rhythmen und Wellen ganzer Regionen.

Frage, die sie beantwortet: Welche kollektiven Rhythmen können Erregung und Hemmung zwischen Populationen erzeugen?

Lässt aus: Einzelne Neuronen verschwinden in einem Durchschnitt.

Läuft auf: etwa 10⁹ FLOPS grob ein Laptop, SekundenSeit: 1972 spätestens 1972, Wilson und Cowan, Excitatory and inhibitory interactions in localized populations of model neurons Quelle

Funktionale Spiking-Gehirnmodelle

Ein Netzwerk aus Modellneuronen mit Spikes, gebaut für kognitive Aufgaben wie Abrufen, Zählen und das Abzeichnen einer gemalten Ziffer.

Frage, die sie beantwortet: Kann ein Modell aus Neuronen Aufgaben erledigen, die ein Gehirn bewältigt?

Lässt aus: Sein Aufgabenumfang ist klein, und die Verdrahtung ist entworfen, nicht gemessen.

Läuft auf: etwa 10¹⁵ FLOPS grob ein Universitätscluster, StundenSeit: 2012 spätestens 2012, Eliasmith und andere, A large-scale model of the functioning brain (Spaun) Quelle

Attraktor-Gedächtnisnetze

Ein Netzwerk aus einfachen Einheiten, dessen Verbindungen Muster als stabile Zustände speichern, sodass sich ein Teilreiz zur vollständigen Erinnerung einpendelt.

Frage, die sie beantwortet: Wie kann ein Netzwerk aus einem Fragment eine ganze Erinnerung abrufen?

Lässt aus: Die Kapazität ist klein, und echte Neuronen sind weit komplexer.

Läuft auf: etwa 10⁸ FLOPS grob ein Laptop, SekundenSeit: 1982 spätestens 1982, Hopfield, Neural networks and physical systems with emergent collective computational abilities Quelle

Konnektom-basierte Insektengehirnmodelle

Ein ganzes Fliegengehirn, simuliert anhand seines vermessenen Schaltplans, wobei jedes Neuron und jede Synapse aus der Rekonstruktion stammt.

Frage, die sie beantwortet: Welche Verhaltensweisen folgen allein aus der Verdrahtung, sobald jede Verbindung bekannt ist?

Lässt aus: Die Stärke der Synapsen und die Chemie der Neuronen werden erschlossen, nicht gemessen.

Läuft auf: etwa 10¹⁴ FLOPS grob eine Workstation, Minuten pro simulierter SekundeSeit: 2024 spätestens 2024, Dorkenwald und andere, das Verdrahtungsdiagramm des erwachsenen Fliegengehirns, und Shiu und andere, ein darauf aufgebautes Rechenmodell Quelle

Zelluläre Automaten

Gitter aus Zellen, die einfachen Regeln folgen, etwa John Conways Spiel des Lebens, in denen Gleiter, Replikatoren und sogar funktionierende Computer wachsen.

Frage, die sie beantwortet: Wie viel Komplexität kann aus einer wirklich einfachen Regel wachsen?

Lässt aus: Einfache Regeln lassen sich selten sauber auf echte physikalische oder biologische Systeme abbilden.

Läuft auf: etwa 10¹² FLOPS grob ein Laptop, riesige Gitter in SekundenSeit: 1970 John Conways Spiel des LebensIm Simulationen-Baum: Life, von Hand gespielt

Das interaktive Modell ausführen

Digitale Evolution

Sich selbst kopierende Computerprogramme, die mutieren und in einer simulierten Maschine um Prozessorzeit konkurrieren.

Frage, die sie beantwortet: Kann die Evolution komplexe Merkmale erfinden, die wir Schritt für Schritt beobachten können?

Lässt aus: Programme entwickeln sich in einer künstlichen Computerwelt, nicht in echter Biochemie.

Läuft auf: etwa 10¹² FLOPS grob ein Desktop-Rechner, Millionen Generationen über NachtSeit: 1953 Barricellis numerische Evolutionsexperimente am Computer des Institute for Advanced Study Quelle

Evolvierte virtuelle Wesen

Körper und Gehirne, die in einer Physiksimulation gemeinsam evolvierten und lernten zu schwimmen, zu laufen oder zu springen.

Frage, die sie beantwortet: Welche Körper und Verhaltensweisen erfindet die Evolution, wenn wir sie nicht steuern?

Lässt aus: Entwickelte Gangarten sehen oft ganz anders aus als biologische, weil sich die simulierte Physik subtil von der echten Welt unterscheidet.

Läuft auf: etwa 10¹³ FLOPS grob ein Desktop-Rechner oder kleiner Cluster, Stunden, um eine Population zu entwickelnSeit: 1994 Karl Sims ließ Kreaturen, die schwimmen und laufen, in einer Physiksimulation evolvieren

Selbstorganisierte Kritikalität

Körner werden einzeln auf einen Sandhaufen gegeben, bis Lawinen jeder Größe auftreten.

Frage, die sie beantwortet: Warum folgen Erdbeben, Brände und Aussterben derselben Statistik?

Lässt aus: Echte Erdbeben und Brände haben eine eigene Physik, die ein Sandhaufen nur karikiert.

Läuft auf: etwa 10¹¹ FLOPS grob ein Laptop, Sekunden für einen großen SandhaufenSeit: 1987 Bak, Tang und Wiesenfelds Sandhaufenmodell

Das interaktive Modell ausführen

Schwarmintelligenz-Algorithmen

Einfache virtuelle Agenten, die Spuren hinterlassen oder ihre Nachbarn kopieren, von Ameisen und Vögeln abgeschaut, um abstrakte Probleme wie Routenplanung und Terminplanung zu lösen.

Frage, die sie beantwortet: Können einfaches Kopieren und Spurenfolgen ein schwieriges Optimierungsproblem lösen?

Lässt aus: Funktioniert gut bei den gut gestellten Problemen, an denen es getestet wurde. Echte, unregelmäßige Probleme brauchen mehr Abstimmung.

Läuft auf: etwa 10¹¹ FLOPS grob ein Laptop, Sekunden bis Minuten pro LaufSeit: 1992 Marco Dorigos Ameisenalgorithmus zur Optimierung

Das interaktive Modell ausführen

Zufällige Boolesche Netze

Zufällig verdrahtete Schalter, die sich jeweils anhand einer Handvoll anderer an- oder ausschalten. Man untersucht, wann das ganze Netz zur Ruhe kommt und wann es ewig weiterwirbelt.

Frage, die sie beantwortet: Wie viel Verdrahtung braucht es, bevor ein Netzwerk aus Schaltern chaotisch wird?

Lässt aus: Zufällige Verdrahtung ist ein grober Ersatz für die sorgfältig entwickelte Verdrahtung einer echten Zelle oder eines echten Gehirns.

Läuft auf: etwa 10¹¹ FLOPS grob ein Laptop, Sekunden pro NetzwerkSeit: 1969 Stuart Kauffmans Zufallsnetzwerke genetischer Schalter

Kontinuierliche zelluläre Automaten

Zelluläre Automaten, deren Zellzustände, Raum und Zeit kontinuierlich sind und die glatte, selbstorganisierende Wesen hervorbringen.

Frage, die sie beantwortet: Welche lebensähnlichen Muster erscheinen in einem kontinuierlichen zellulären Automaten?

Lässt aus: Die Regeln sind künstlich und bilden keine echte Chemie ab.

Läuft auf: etwa 10¹¹ FLOPS grob GPU-GitteraktualisierungenSeit: 2018 Lenia: biology of artificial life (2018) Quelle

Neuronale zelluläre Automaten

Jede Zelle enthält ein kleines neuronales Netz, das die lokale Regel lernt, sodass ein Gitter ein Zielmuster wachsen lässt und repariert.

Frage, die sie beantwortet: Kann eine lokale gelernte Regel ein globales Muster wachsen und sich selbst reparieren lassen?

Lässt aus: Die Zielmuster sind klein, und die Regeln werden trainiert, nicht entdeckt.

Läuft auf: etwa 10¹¹ FLOPS grob Kleines differenzierbares TrainingSeit: 2020 Growing Neural Cellular Automata (2020) Quelle

Suppen sich selbst replizierender Programme

Ein Pool zufälliger Programme wirkt durch Zufall aufeinander ein, bis sich selbstkopierende aus der Mischung entstehen.

Frage, die sie beantwortet: Können Replikatoren entstehen, ohne eingebaut zu werden?

Lässt aus: Die Wahl der Sprache bestimmt das Ergebnis, und sie ist weit von der Chemie entfernt.

Läuft auf: etwa 10¹⁰ FLOPS grob Millionen winziger ProgramminteraktionenSeit: 2024 Computational Life: how well-formed, self-replicating programs emerge from simple interaction (2024) Quelle

Künstliche Chemie

Ein Pool abstrakter Moleküle, die nach Regeln reagieren, sodass sich selbsterhaltende Strukturen ohne echte Chemie bilden können.

Frage, die sie beantwortet: Kann sich selbsterhaltende chemische Organisation aus einfachen Reaktionsregeln bilden?

Lässt aus: Die Moleküle sind Symbole; echte Bindungsenergien und Geometrie fehlen.

Läuft auf: etwa 10⁹ FLOPS grob ein Laptop, StundenSeit: 1991 spätestens 1991, Fontanas AlChemy, vorgestellt auf der Second Artificial Life Conference Quelle

Evolutionäre Robotik

Regler oder Körper simulierter Roboter werden über viele Generationen entwickelt, indem auf Aufgabenleistung selektiert wird.

Frage, die sie beantwortet: Lassen sich Gehirn und Körper eines Roboters züchten statt entwerfen?

Lässt aus: In der Simulation entwickelte Regler versagen oft an echter Hardware.

Läuft auf: etwa 10¹⁴ FLOPS grob ein Universitätscluster, TageSeit: 1993 spätestens 1993, Cliff, Husbands und Harvey, Evolving visually guided robots Quelle

Kontinuierliches künstliches Leben

Ein zellulärer Automat mit kontinuierlichen Zuständen, kontinuierlichem Raum und kontinuierlicher Zeit, der sich bewegende, selbstorganisierende, lebensähnliche Muster erzeugt.

Frage, die sie beantwortet: Welche lebensähnlichen Formen erscheinen, wenn die Regeln glatt statt diskret sind?

Lässt aus: Die Muster ähneln Organismen, folgen aber keiner echten Biologie.

Läuft auf: etwa 10¹¹ FLOPS grob ein Gaming-PC, EchtzeitSeit: 2018 spätestens 2018, Chan, Lenia: Biology of Artificial Life (arXiv 1812.05433) Quelle

Künstliche Immunmodelle

Populationen wechselwirkender antikörperähnlicher Agenten, die durch Selektion und Netzwerkeffekte lernen, Muster zu erkennen.

Frage, die sie beantwortet: Wie passt sich ein Erkennungssystem an, wenn es nur lokale Wechselwirkungen nutzt?

Lässt aus: Es borgt sich Ideen aus der Immunologie für das Rechnen, ist aber kein kalibriertes Modell einer echten Immunantwort.

Läuft auf: etwa 10⁸ FLOPS grob ein Laptop, StundenSeit: 1986 spätestens 1986, Farmer, Packard und Perelson, The immune system, adaptation, and machine learning Quelle

Core-War-Kämpfe

Programme in einer winzigen Assemblersprache kämpfen um die Kontrolle über einen gemeinsamen simulierten Speicher und überschreiben einander.

Frage, die sie beantwortet: Welches sich selbst kopierende Programm überlebt, wenn der ganze Speicher ein Schlachtfeld ist?

Lässt aus: Die Maschine hat einen erfundenen Befehlssatz, daher lassen sich die Lehren nicht auf echte Schadsoftware übertragen.

Läuft auf: etwa 10⁷ FLOPS grob ein Laptop, Sekunden pro SchlachtSeit: 1984 spätestens 1984, Core War von Jones und Dewdney, in Scientific American Quelle

Umgebungen für bestärkendes Lernen

Simulierte Welten, in denen ein künstlicher Agent handelt, belohnt wird und sich über Millionen von Versuchen verbessert.

Frage, die sie beantwortet: Kann ein Agent diese Fertigkeit allein durch Versuch und Irrtum lernen?

Lässt aus: Fertigkeiten, die in einer vereinfachten Welt gelernt werden, übertragen sich nicht immer auf die Komplexität der Wirklichkeit.

Läuft auf: etwa 10¹⁵ FLOPS grob ein GPU-Cluster, Tage an simulierter ErfahrungSeit: 1992 spätestens 1992, TD-Gammon lernte Backgammon-Strategie durch Selbstspiel

Gesellschaften aus mehreren KI-Agenten

Viele KI-Agenten, die sich eine Welt teilen, mit eigenen Zielen, Erinnerungen und Gesprächen.

Frage, die sie beantwortet: Welches Sozialverhalten entsteht, wenn viele künstliche Agenten zusammenleben?

Lässt aus: Verhalten, das sozial aussieht, kann ein enger Trick sein, der auf den Trainingsaufbau abgestimmt ist.

Läuft auf: etwa 10¹⁵ FLOPS grob ein GPU-Cluster, auf dem viele Agenten parallel laufenSeit: 2017 spätestens 2017, frühe Experimente mit vielen lernenden Agenten in einer gemeinsamen Welt

Synthetische Trainingsdaten

Fotorealistische Szenen, in endlosen Variationen gerendert, um Bildverarbeitungssysteme zu trainieren.

Frage, die sie beantwortet: Kann ein System, das nur an gerenderten Bildern trainiert wurde, die echte Welt sehen?

Lässt aus: Gerenderte Szenen sind sauberer als die Wirklichkeit, sodass trainierte Systeme durch Rauschen der realen Welt in die Irre geführt werden können.

Läuft auf: etwa 10¹⁴ FLOPS grob eine Renderfarm oder ein GPU-Cluster, Stunden für einen DatensatzSeit: 2016 spätestens 2016, frühe gerenderte Datensätze trainieren Bilderkennungssysteme

Gelernte Weltmodelle

Ein neuronales Netz, das vorhersagt, was in einer Welt als Nächstes geschieht, gut genug, um daraus spielbare Szenen zu erzeugen.

Frage, die sie beantwortet: Kann ein Netz lernen, eine Welt zu simulieren, indem es sie nur beobachtet?

Lässt aus: Langzeitvorhersagen driften von allem ab, was physikalisch stimmig ist.

Läuft auf: etwa 10¹⁵ FLOPS grob ein großer GPU-Cluster, Tage an TrainingSeit: 2018 Ha und Schmidhuber trainierten ein Netz, spielähnliche Szenen vorherzusagen und zu träumen

Strategietraining durch Selbstspiel

Ein künstlicher Agent, der in einem abstrakten Strategiespiel wiederholt gegen Kopien seiner selbst spielt und mit jeder Runde besser wird.

Frage, die sie beantwortet: Wie stark kann eine Strategie werden, wenn der einzige Lehrer ihr eigenes früheres Ich ist?

Lässt aus: Strategien, die gegen eine Kopie desselben Agenten abgestimmt sind, können blinde Flecken haben, die ein anderer Gegner ausnutzen würde.

Läuft auf: etwa 10¹⁶ FLOPS grob ein großer GPU-Cluster, Tage an SelbstspielSeit: 1959 Arthur Samuels Dame-Programm lernte, indem es gegen sich selbst spielte

Red-Teaming-Umgebungen für KI-Sicherheit

Eine simulierte Umgebung, die einen künstlichen Agenten zu unerwünschtem Verhalten verleiten soll, damit der Fehler vor dem Einsatz gefunden wird.

Frage, die sie beantwortet: Unter welchen Bedingungen zeigt dieses System ein Verhalten, das es nicht zeigen sollte?

Lässt aus: Testet nur die Ausfälle, nach denen das Red Team zu suchen dachte.

Läuft auf: etwa 10¹⁴ FLOPS grob der GPU-Server eines Forschungsteams, Stunden pro TestsuiteSeit: 2016 spätestens 2016, frühe gegnerische Testumgebungen für Reinforcement-Learning-Agenten

Verkörperte Haushaltssimulatoren

Virtuelle 3D-Wohnungen, in denen ein Agent Objekte sieht, sich bewegt und sie handhabt; sie dienen zum Trainieren und Testen verkörperter KI.

Frage, die sie beantwortet: Kann ein Agent in einem virtuellen Zuhause Aufgaben lernen, die sich auf echte übertragen?

Lässt aus: Objektphysik und Szenenvielfalt sind begrenzt.

Läuft auf: etwa 10¹² FLOPS grob Echtzeit-Rendering, viele parallele InstanzenSeit: 2017 AI2-THOR: an interactive 3D environment for visual AI (2017) Quelle

Offene Erzeugung von Umgebungen

Trainingswelten werden automatisch erzeugt und verändert, während die Agenten lernen, damit die Herausforderungen an Schwierigkeit und Vielfalt wachsen.

Frage, die sie beantwortet: Kann ein Umgebungsgenerator immer wieder nützliche neue Herausforderungen erzeugen?

Lässt aus: Die Suche ist durch das begrenzt, was die Umgebungsfamilie ausdrücken kann.

Läuft auf: etwa 10¹⁵ FLOPS grob Population aus Umgebungen und AgentenSeit: 2019 Paired Open-Ended Trailblazer (POET) (2019) Quelle

Simulierte Webumgebungen für Agenten

Selbst gehostete Kopien echter Websites, auf denen ein Sprachmodell-Agent Aufgaben erledigt, bewertet durch Prüfung des Endzustands.

Frage, die sie beantwortet: Kann ein Agent mehrstufige Aufgaben auf realistischen Websites erledigen?

Lässt aus: Die Seiten sind statische Kopien, und die Vielfalt der Aufgaben ist begrenzt.

Läuft auf: etwa 10¹³ FLOPS grob Umgebungs-Zurücksetzungen und viele ModellaufrufeSeit: 2023 WebArena (2023) Quelle

Simulatoren für Empfehlungssysteme

Eine konfigurierbare simulierte Nutzerpopulation samt Artikelkatalog, mit der Empfehlungsalgorithmen trainiert und getestet werden.

Frage, die sie beantwortet: Wie würde sich ein Empfehlungsalgorithmus über viele Interaktionen mit Nutzern verhalten?

Lässt aus: Das Nutzerverhalten wird angenommen, nicht gemessen.

Läuft auf: etwa 10¹⁰ FLOPS grob Aufwandsarme parallele LäufeSeit: 2019 RecSim: a configurable simulation platform for recommender systems (2019) Quelle

Neuronale Spiel-Engines

Ein Diffusionsmodell, trainiert mit Spielaufzeichnungen, erzeugt aus den Aktionen des Spielers das nächste Bild und ersetzt damit die eigene Engine des Spiels.

Frage, die sie beantwortet: Kann ein neuronales Netz ein interaktives Spiel in spielbarer Geschwindigkeit ausführen?

Lässt aus: Das Gedächtnis ist kurz, und Details verschwimmen im langen Spiel.

Läuft auf: etwa 10¹⁵ FLOPS grob Aufwendiges Training; Inferenz in Echtzeit auf einem einzigen BeschleunigerSeit: 2024 Diffusion models are real-time game engines (2024) Quelle

Interaktive generative Welten

Ein Modell lernt aus unbeschrifteten Videos, steuerbare Welten zu erzeugen, in denen ein Nutzer Bild für Bild handeln kann.

Frage, die sie beantwortet: Lässt sich eine spielbare Welt allein aus Bildern erzeugen?

Lässt aus: Konsistenz und Bildrate sind begrenzt, und die Physik ist nicht garantiert.

Läuft auf: etwa 10¹⁷ FLOPS grob Training großer Videomodelle im großen MaßstabSeit: 2024 Genie: generative interactive environments (2024) Quelle

Gelernte interaktive Simulatoren der realen Welt

Ein Videomodell, das auf Aktionen konditioniert ist, sagt voraus, was ein Roboter oder Agent nach jedem Befehl sehen würde, und ersetzt damit einen handgebauten Simulator.

Frage, die sie beantwortet: Kann ein gelerntes Modell die realen Ergebnisse von Handlungen simulieren?

Lässt aus: Lange Rollouts halluzinieren, und die physikalische Genauigkeit ist nicht überprüft.

Läuft auf: etwa 10¹⁷ FLOPS grob Training an großen Video- und AktionsdatensätzenSeit: 2023 Learning interactive real-world simulators (2023) Quelle

Generative Weltmodelle des Fahrens

Ein Videomodell, konditioniert auf Geschwindigkeit und Lenkung, erzeugt plausible künftige Szenen aus der Sicht eines Autos, zum Training und Testen von Autonomie.

Frage, die sie beantwortet: Welche Verkehrsszenen könnten aus einer bestimmten Fahrhandlung folgen?

Lässt aus: Erzeugte Szenen können Physik oder das Verhalten seltener Fälle verletzen.

Läuft auf: etwa 10¹⁷ FLOPS grob Training großer VideomodelleSeit: 2023 GAIA-1: a generative world model for autonomous driving (2023) Quelle

Simulierter Roboterfußball

Zwei Teams aus Softwarespielern, jedes sieht über verrauschte Sinne nur einen Teil des Feldes, spielen in einem simulierten Stadion Fußball, um Kooperation und Strategie zu testen.

Frage, die sie beantwortet: Können unabhängige Software-Spieler sich gut genug abstimmen, um ein gegnerisches Team zu schlagen?

Lässt aus: Spielfeld, Ball und Roboterkörper sind idealisiert, deshalb zeigt der Erfolg Taktik und nicht Geschick mit echter Hardware.

Läuft auf: etwa 10⁹ FLOPS grob Echtzeit auf einer Workstation für ein Spiel.Seit: 1998 Noda und Kollegen, Soccer Server, ein Werkzeug für die Forschung an Multiagentensystemen. Quelle

Sandboxen für Software-Engineering-Agenten

Ein Agent bekommt ein echtes Code-Projekt und eine Fehlermeldung, bearbeitet Dateien und führt Tests in einer Sandbox aus; bewertet wird, ob die Korrektur die Tests besteht.

Frage, die sie beantwortet: Kann ein KI-Agent echte Fehler in echten Softwareprojekten ohne Hilfe beheben?

Lässt aus: Bestandene Tests sind nicht dasselbe wie eine richtige Korrektur, und die Projekte sind nur ein kleiner Ausschnitt aller Software.

Läuft auf: etwa 10¹⁵ FLOPS grob Tausende Modellläufe, jeder mit vielen Aufrufen und Testläufen.Seit: 2023 Jimenez und Kollegen, SWE-bench aus echten GitHub-Issues für Sprachmodelle. Quelle

Agentenumgebungen für Desktop-Computer

Ein vollständiger virtueller Computer mit echten Programmen wird einem Agenten übergeben, der den Bildschirm sieht, klickt und tippt; bewertet wird, ob die Aufgabe erledigt wurde.

Frage, die sie beantwortet: Kann ein KI-Agent Aufgaben an einem Computer so erledigen, wie es ein Mensch tut?

Lässt aus: Die Aufgaben sind fest und geskriptet, während echte Arbeit offen ist, unterbrochen wird und mit anderen Menschen geteilt wird.

Läuft auf: etwa 10¹⁵ FLOPS grob Tausende Läufe, jeder mit einer virtuellen Maschine und vielen Modellaufrufen.Seit: 2024 OSWorld von Xie und Kollegen, ein Benchmark für Agenten in echten Computerumgebungen. Quelle