Film, Medien und Kunst
Stoff, Rauch, Menschenmengen und Licht, aus physikalischen Modellen erzeugt statt von Hand animiert.
Vor den Computern näherten Film und Animation die Physik mit Drahtgestellen, Miniaturen und handgezeichneten Bildern an. Heute liefert die Simulation die Physik direkt: fallenden Stoff, bewegtes Haar, Menschenmengen, die sich nicht wiederholen, und Licht, das so reist wie in der echten Welt. Die Methoden von Technik und Wissenschaft richten sich auf eine Geschichte statt auf eine Brücke oder einen Reaktor. Sie sind darauf abgestimmt, glaubwürdig auszusehen, nicht physikalisch exakt zu sein, und laufen oft offline, Bild für Bild, statt in Echtzeit. Musik und Bild teilen eine Idee: den zugrunde liegenden Prozess aufsetzen und das Ergebnis entstehen lassen.
Stoffsimulation
Stoff, dargestellt als Netz aus Punkten und Federn, der sich unter Schwerkraft und Bewegung drapiert, faltet und reißt.
Frage, die sie beantwortet: Wie bewegt sich dieses Kleidungsstück an einem bewegten Körper, ohne dass ein Animator jede Falte einstellt?
Lässt aus: Echter Stoff hat ein Gedächtnis für seine Falten, das die meisten Stoffsolver ignorieren.
Läuft auf: etwa 1012 FLOPS grob ein Renderfarm-Knoten für den Stoffdurchgang einer EinstellungSeit: 1987 spätestens 1987, frühe Masse-Feder-Stoffmodelle für die Computeranimation
Haar- und Fellsimulation
Zehntausende einzelne Strähnen, jede mit eigenen Biege- und Kollisionsregeln, bewegt von Wind, Schwerkraft und dem Körper darunter.
Frage, die sie beantwortet: Wie bewegen sich ein ganzer Haarschopf oder ein Fell glaubwürdig, Strähne für Strähne?
Lässt aus: Die Reibung zwischen den einzelnen Strängen wird nur genähert. Sonst würde jede Simulation länger dauern, als ein Produktionsplan erlaubt.
Läuft auf: etwa 1012 FLOPS grob ein Renderfarm-Knoten für den Haardurchgang einer FigurSeit: 1989 spätestens 1989, frühe Forschung zur strangbasierten Haaranimation
Flüssigkeits- und Rauchsimulation für Effekte
Feuer, Rauch, Wasser, Staub und Explosionen, als Fluid auf einem Gitter oder in Teilchen berechnet, stilisiert nach dem gewünschten Aussehen statt nach wissenschaftlicher Genauigkeit.
Frage, die sie beantwortet: Wie bewegt sich diese Explosion, Welle oder Rauchwolke und wie sieht sie auf dem Bildschirm aus?
Lässt aus: Darauf ausgerichtet, im Bild gut auszusehen, nicht darauf, Energie oder Masse exakt zu erhalten.
Läuft auf: etwa 1013 FLOPS grob eine Renderfarm-Zuteilung für eine effektlastige EinstellungSeit: 1982 spätestens 1982, frühe computergenerierte Flüssigkeits- und Partikeleffekte für Filme
Simulation von Zerstörung und Trümmern
Gebäude, Fahrzeuge und Objekte, die in Stücke brechen und per Starrkörperphysik auseinandergeschleudert werden, so abgestimmt, dass der Einsturz dramatisch aussieht statt nur korrekt.
Frage, die sie beantwortet: Wie bricht diese Struktur auseinander, und wo landen die Teile?
Lässt aus: Echte Materialien versagen unvorhersehbar; diese Bruchmuster sind vorgeplant, damit sie gut aussehen.
Läuft auf: etwa 1012 FLOPS grob ein Renderfarm-Knoten für eine ZerstörungsszeneSeit: 1995 spätestens 1995, Starrkörper-Bruchsimulation in Filmeffekten
Verformung von Muskeln und Haut
Haut und Weichgewebe eines digitalen Körpers, die über einem animierten Skelett und darunterliegenden Muskeln gleiten, sich wölben und Falten werfen.
Frage, die sie beantwortet: Bewegt sich der Körper dieses Wesens oder dieser Figur, als hätte er echtes Weichgewebe?
Lässt aus: Haut, die über Knochen gleitet, wird weiterhin meist angenähert, nicht als Gewebe richtig simuliert.
Läuft auf: etwa 1012 FLOPS grob ein Renderfarm-Knoten für den Körperdurchgang einer FigurSeit: 1999 spätestens 1999, muskelbasierte Verformungs-Rigs für computeranimierte Figuren
Starrkörperdynamik für Animation
Feste Objekte stoßen zusammen, stapeln sich, rollen und kommen unter Schwerkraft und Reibung zur Ruhe. So animiert man Requisiten und Nebenbewegungen, ohne jeden Aufprall von Hand zu setzen.
Frage, die sie beantwortet: Wie purzelt dieser Haufen von Objekten und kommt zur Ruhe, wenn er gestört wird?
Lässt aus: Objekte durchdringen sich gelegentlich oder zittern auf Weisen, wie es kein echtes Ding täte.
Läuft auf: etwa 1011 FLOPS grob eine Workstation für die Requisitensimulation einer EinstellungSeit: 1988 spätestens 1988, Starrkörperphysik in der Computeranimation
Positionsbasierte Dynamik
Objekte wie Stoff und weiche Körper bewegen sich, indem Punktpositionen direkt angepasst werden, um Bedingungen zu erfüllen, was schnell und stabil ist.
Frage, die sie beantwortet: Wie lassen sich verformbare Objekte schnell genug für interaktive Nutzung simulieren?
Lässt aus: Nicht physikalisch exakt, und die Steifigkeit hängt von der Schrittzahl ab.
Läuft auf: etwa 109 FLOPS grob Echtzeit auf einer CPU oder GPUSeit: 2007 Position based dynamics (2007) Quelle
Synthese der Meeresoberfläche
Eine Wasseroberfläche, erzeugt aus einem Spektrum von Wellen, um offenes Meer mit Dünung und Schaum zu rendern.
Frage, die sie beantwortet: Wie sieht ein Meer bei gegebenem Wind und gegebener Tiefe aus?
Lässt aus: Es modelliert die Oberflächenform, nicht die volle Strömung darunter oder das Brechen großer Wellen.
Läuft auf: etwa 1012 FLOPS grob eine Workstation, Minuten pro BildSeit: 1986 spätestens 1986, Fournier und Reeves, A simple model of ocean waves Quelle
Partikelsystem-Effekte
Feuer, Funken, Rauch und Gischt, gezeichnet als Tausende kurzlebige Punkte, jeder mit eigener Bewegung und eigenem Aussehen.
Frage, die sie beantwortet: Wie lässt sich ein unscharfes Ereignis als Wolke unabhängig bewegter Punkte darstellen?
Lässt aus: Punkte drücken nicht aufeinander, sodass echtes Strömungsverhalten fehlt.
Läuft auf: etwa 1010 FLOPS grob ein Laptop, EchtzeitSeit: 1983 spätestens 1983, Reeves, Particle systems (genutzt für einen Feuerwand-Effekt) Quelle
Simulation von Schnee und körnigem Material
Schnee, Sand und ähnliche Materialien werden als Punkte simuliert, die Spannung tragen. So häufen sie sich, brechen und klumpen wie das echte Material.
Frage, die sie beantwortet: Wie verdichtet sich Schnee, wie bricht und fließt er, wenn man ihn schiebt?
Lässt aus: Die Eisphysik auf Kornebene wird durch ein gemitteltes Materialgesetz ersetzt.
Läuft auf: etwa 1014 FLOPS grob eine Renderfarm, Stunden pro EinstellungSeit: 2013 spätestens 2013, Stomakhin und andere, A material point method for snow simulation Quelle
Digitale Menschenmengensimulation
Tausende einzelne Figuren, jede mit einfachen Bewegungs- und Ausweichregeln, füllen ein Stadion, ein Schlachtfeld oder eine Straße, ohne einzeln animiert zu werden.
Frage, die sie beantwortet: Wie bewegt sich eine Menschenmenge dieser Größe, wie flieht oder kämpft sie als Masse?
Lässt aus: Jede Figur in den hinteren Reihen bewegt sich tendenziell etwas zu ähnlich.
Läuft auf: etwa 1012 FLOPS grob eine Renderfarm-Zuteilung für eine MassenszeneSeit: 1997 spätestens 1997, agentenbasierte Massensysteme in Schlachtszenen von Kinofilmen
Digitale Menschen und Gesichter
Muskeln, Haut und Mikroausdrücke eines Gesichts, so gut modelliert, dass sich eine synthetische Darbietung animieren lässt, die wie die eines echten Menschen wirkt.
Frage, die sie beantwortet: Kann dieses synthetische Gesicht Gefühl so überzeugend vermitteln wie das echte, auf dem es beruht?
Lässt aus: Die Augen und die Mundwinkel bleiben die Bereiche, die sich am schwersten überzeugend nachbilden lassen.
Läuft auf: etwa 1013 FLOPS grob eine Renderfarm-Zuteilung für das Gesicht einer HauptfigurSeit: 2001 spätestens 2001, hochauflösende Gesichtserfassung und -simulation für Filme
Prozedurale Städte und Landschaften
Straßen, Gebäude, Gelände und Vegetation werden aus wenigen Parametern durch Regeln und Zufall erzeugt, statt von Hand platziert.
Frage, die sie beantwortet: Wie lässt sich eine ganze Stadt oder ein ganzer Kontinent mit Details bevölkern, die sich praktisch nicht von Hand platzieren lassen?
Lässt aus: Erzeugte Städte sind meist statistisch plausibel, haben aber keine konkrete Geschichte.
Läuft auf: etwa 1012 FLOPS grob eine Workstation oder ein Renderfarm-Knoten für den Aufbau einer UmgebungSeit: 1982 spätestens 1982, fraktale Geländeerzeugung in der Computergrafik
Virtuelle Produktionssets
Eine computergenerierte Umgebung, die live auf großen Bildschirmen hinter Schauspielern angezeigt und direkt in der Kamera gefilmt wird; die Szene reagiert darauf, wie sich das Objektiv bewegt.
Frage, die sie beantwortet: Kann der Hintergrund in Echtzeit auf die Kamera reagieren, sodass er nicht nachträglich hinzugefügt werden muss?
Lässt aus: Die Beleuchtung des echten Schauspielers passt noch nicht perfekt zum Bildschirm hinter ihm.
Läuft auf: etwa 1013 FLOPS grob ein Cluster aus Gaming-GPUs, der die Bühnenbildschirme live ansteuertSeit: 2019 spätestens 2019, große LED-Volume-Produktionsbühnen sind weit verbreitet
Digitale Ökosysteme und Vegetation
Wälder, Grasland und Tierpopulationen, gemeinsam erzeugt und animiert, wobei Pflanzen um Licht konkurrieren und Tiere sich durch das Ergebnis bewegen.
Frage, die sie beantwortet: Wie sieht eine ganze simulierte Landschaft aus Pflanzen und Lebewesen aus, und wie bewegt sie sich gemeinsam?
Lässt aus: Simulierte Ökosysteme sind darauf abgestimmt, üppig auszusehen, nicht darauf, sich so auszubalancieren, wie es echte tun.
Läuft auf: etwa 1012 FLOPS grob ein Renderfarm-Knoten für den Ökosystem-Durchgang einer UmgebungSeit: 2000 spätestens 2000, prozedurale Vegetations- und Ökosystemwerkzeuge für Filmumgebungen
Simulation von Atmosphäre und Himmel
Wolken, Nebel, Regen und Himmelsfarbe, erzeugt aus physikalischen Modellen der Lichtstreuung und Feuchte, für das Wetter einer Szene statt für das echte.
Frage, die sie beantwortet: Wie sollten Himmel und Wetter in dieser Aufnahme aussehen, ohne am richtigen Tag zu drehen?
Lässt aus: Darauf abgestimmt, wie ein Himmel aussehen soll, nicht auf echte Atmosphärenphysik.
Läuft auf: etwa 1012 FLOPS grob ein Renderfarm-Knoten für den Himmelsdurchgang einer UmgebungSeit: 1986 spätestens 1986, physikalisch basierte Rendering-Modelle für Himmel und Wolken
Neuronale Avatare
Ein neuronales Netz, trainiert an Mehrkamera-Aufnahmen einer Person, rendert ein lebensechtes, animierbares Gesicht oder einen Körper.
Frage, die sie beantwortet: Lässt sich eine virtuelle Person so rendern, dass man sie nicht von der echten unterscheiden kann?
Lässt aus: Braucht die Erfassung jedes Probanden, und Verhalten wird nicht erzeugt.
Läuft auf: etwa 1013 FLOPS grob Training pro PersonSeit: 2018 Deep appearance models for face rendering (2018) Quelle
Virtuelle Idole und Influencer
Eine fiktive Darstellerin oder ein fiktiver Darsteller, per Computergrafik erzeugt und wie ein Prominenter betreut, mit Auftritten in Medien und sozialen Feeds.
Frage, die sie beantwortet: Bindet sich ein Publikum an eine Darstellerin oder einen Darsteller ohne Körper?
Lässt aus: Die Persona wird von einem Team geschrieben; ein eigenständiges Innenleben wird nicht modelliert.
Läuft auf: etwa 1011 FLOPS grob eine Workstation, Rendering in beinahe EchtzeitSeit: 1996 spätestens 1996, Kyoko Date, ein 3D-CG-Idol, von Horipro lanciert Quelle
Virtuelle Konzerte
Eine Live-Aufführung in einer gemeinsamen virtuellen Welt oder Spiel-Engine, mit Avataren, Bühneneffekten und einem Publikum aus der Ferne.
Frage, die sie beantwortet: Kann ein Konzert von einem Publikum geteilt werden, das nur als Avatare anwesend ist?
Lässt aus: Publikumsreaktion und Menschenpräsenz sind dünn im Vergleich zu einem echten Veranstaltungsort.
Läuft auf: etwa 1012 FLOPS grob ein Rechenzentrum, Echtzeit für Tausende ZuschauerSeit: 2006 spätestens 2006, Duran Duran traten in Second Life auf Quelle
Digitale Verjüngung
Das Gesicht einer Darstellerin oder eines Darstellers wird in 3D nachgebaut und auf ein jüngeres oder älteres Alter übertragen, angetrieben vom eigenen Spiel der Person.
Frage, die sie beantwortet: Lässt sich ein Gesicht in einem anderen Alter zeigen und dabei der Ausdruck des Schauspielers erhalten?
Lässt aus: Das Ergebnis ist ein Erscheinungsmodell; es wird keine Alterungsbiologie simuliert.
Läuft auf: etwa 1013 FLOPS grob eine Renderfarm, Stunden pro EinstellungSeit: 2008 spätestens 2008, Der seltsame Fall des Benjamin Button, mit Effekten von Digital Domain Quelle
Per Performance Capture erzeugte digitale Figuren
Eine computergenerierte Figur, animiert mit den aufgezeichneten Körper- und Gesichtsbewegungen eines Schauspielers und in Live-Aufnahmen einkomponiert.
Frage, die sie beantwortet: Kann die Bewegung eines Schauspielers ein Wesen antreiben, das nichts mit einem Menschen gemein hat?
Lässt aus: Muskeln und Gedanken werden nicht modelliert, nur die aufgezeichnete Bewegung.
Läuft auf: etwa 1011 FLOPS grob eine Workstation, Stunden pro EinstellungSeit: 2002 spätestens 2002, Gollum in Der Herr der Ringe: Die zwei Türme Quelle
L-System-Pflanzenmodellierung
Pflanzenformen, die entstehen, indem eine Symbolkette wiederholt in eine verzweigte Struktur umgeschrieben und dann als Bäume und Blätter gezeichnet wird.
Frage, die sie beantwortet: Welche einfachen Ersetzungsregeln erzeugen eine bestimmte Verzweigungsform?
Lässt aus: Die Regeln passen zu Formen; die Chemie und der Lichtwettbewerb, die echtes Wachstum antreiben, fehlen.
Läuft auf: etwa 108 FLOPS grob ein Laptop, SekundenSeit: 1968 spätestens 1968, Lindenmayer, Mathematical models for cellular interactions in development Quelle
Machinima
Filme, gedreht, indem Figuren und Kameras in einer Echtzeit-Spiel-Engine statt mit einer physischen Kamera oder einem Offline-Renderer geführt werden.
Frage, die sie beantwortet: Was lässt sich in einer Welt filmen, die nur in einer Spiel-Engine existiert?
Lässt aus: Die Engine entscheidet, was gezeigt werden kann; Handeln ist auf das beschränkt, was ihre Steuerung erlaubt.
Läuft auf: etwa 1011 FLOPS grob ein Gaming-PC, EchtzeitSeit: 1996 spätestens 1996, Diary of a Camper, ein Kurzfilm in der Quake-Engine Quelle
Animatronische Figuren
Mechanische, motorgetriebene Figuren von Menschen und Tieren, die geskriptete Bewegungen und Sprache vorführen.
Frage, die sie beantwortet: Wie überzeugend kann eine Maschine ein Lebewesen nachahmen?
Lässt aus: Die Bewegung wird aus einer Aufnahme abgespielt; es gibt weder Wahrnehmung noch Entscheidung.
Läuft auf: keinem Computer. eine mechanische Steuerung, ohne jede BerechnungSeit: 1963 spätestens 1963, Disneys Audio-Animatronics, die Enchanted Tiki Birds Quelle
Physikbasierte Figurensteuerung
Ein virtueller Körper mit Gelenken und Muskeln wird per Reinforcement Learning in einer Physik-Engine trainiert, sich zu bewegen, zu springen oder zu kämpfen, und kopiert dabei Motion-Capture-Clips.
Frage, die sie beantwortet: Kann eine Figur ohne handgemachte Animation natürlich balancieren und sich bewegen und dabei auf Stöße reagieren?
Lässt aus: Der Stil stammt allein aus den Clips, die es kopiert, und seltene Bewegungen und feine Handarbeit werden schlecht gehandhabt.
Läuft auf: etwa 1015 FLOPS grob Tage auf einer GPU-Workstation pro Fertigkeit.Seit: 2018 Peng und Kollegen, DeepMimic, beispielgeleitetes tiefes bestärkendes Lernen physikbasierter Fähigkeiten von Figuren. Quelle
Physikalisch basierter Lichttransport
Lichtstrahlen, von der Kamera aus rückwärts verfolgt, die von jeder Oberfläche abprallen und sie durchdringen, um ein physikalisch stimmiges Bild zu berechnen.
Frage, die sie beantwortet: Wie verhält sich Licht in dieser Szene, Reflexion für Reflexion, statt nur angenähert zu werden?
Lässt aus: Konvergiert langsam, sodass Rauschen noch immer durch Heuristiken unterdrückt wird statt durch mehr Stichproben.
Läuft auf: etwa 1014 FLOPS grob eine Renderfarm-Zuteilung über viele Knoten für ein einzelnes BildSeit: 1986 Kajiyas Path-Tracing-Algorithmus von 1986
Schallausbreitung und Akustik
Schallwellen werden verfolgt oder modelliert, wie sie in einem virtuellen Raum, einer Stadtstraße oder einem Schlachtfeld reflektiert, absorbiert und gebeugt werden, für Film- und Spielaudio.
Frage, die sie beantwortet: Wie sollte dieser Raum tatsächlich klingen, bei seiner Form und den Materialien darin?
Lässt aus: Echte Ohren und Räume haben Eigenheiten, die akustische Modelle routinemäßig idealisieren.
Läuft auf: etwa 1011 FLOPS grob eine Workstation für den Akustikdurchgang einer SzeneSeit: 1968 spätestens 1968, strahlenbasierte Modellierung der Raumakustik
Physikalische Modellierungssynthese von Instrumenten
Eine Saite, ein Rohrblatt, ein Trommelfell oder eine Pfeife, modelliert als schwingender physischer Körper und direkt berechnet, um ihren Klang zu erzeugen, statt ihn aufzunehmen oder zu samplen.
Frage, die sie beantwortet: Wie würde dieses Instrument klingen, berechnet aus seiner Physik statt aufgenommen?
Lässt aus: Erfasst die Physik des Instruments, nicht die Jahrzehnte an Technik eines Spielers.
Läuft auf: etwa 1010 FLOPS grob Läuft in Echtzeit auf einem Laptop oder SynthesizerSeit: 1983 spätestens 1983, digitale Wellenleitermodelle schwingender Saiten
Generative Kunstsysteme
Regeln, Zufall oder einfache Agenten, die vorwärts laufen, um ein Bild, ein Muster oder eine Komposition zu erzeugen. Die Regeln allein legten das Ergebnis nicht vollständig im Voraus fest.
Frage, die sie beantwortet: Welche Form nimmt dieser Prozess an, wenn man ihn einfach laufen lässt?
Lässt aus: Die Künstlerin oder der Künstler wählt, welche Zufallsläufe bleiben, deshalb steckt in „generativer“ Arbeit weiterhin viel Auswahl.
Läuft auf: etwa 109 FLOPS grob Läuft auf einem Laptop in Sekunden bis MinutenSeit: 1965 spätestens 1965, frühe computergenerierte Kunst nach algorithmischen Regeln
Prozedurale und generative Musik
Musikalische Regeln, Markow-Ketten oder einfache Agenten, die vorwärts laufen, um eine Melodie, Harmonie oder einen sich entwickelnden Soundtrack zu erzeugen, der auf das reagiert, was auf dem Bildschirm geschieht.
Frage, die sie beantwortet: Welche Musik erzeugt dieser Regelsatz, wenn er weiterläuft, ohne dass ein Komponist jede Note wählt?
Lässt aus: Klingt tendenziell kompetent und selten überraschend, genau das, was die Regeln zulassen.
Läuft auf: etwa 109 FLOPS grob Läuft auf einem Laptop in EchtzeitSeit: 1957 die Illiac Suite, eine frühe regelbasierte Computerkomposition
Prozedurale Erzeugung von Texturen und Materialien
Oberflächenmuster wie Holzmaserung, Rost, Hautporen oder Gesteinsschichten werden aus Rauschen und einfachen physikalischen Regeln erzeugt, statt von Hand gemalt oder fotografiert.
Frage, die sie beantwortet: Wie sollte diese Oberfläche aus der Nähe aussehen, erzeugt statt fotografiert?
Lässt aus: Auf Rauschen basierende Texturen können in einem Maßstab gleichförmig aussehen, in dem eine echte Oberfläche es nie täte.
Läuft auf: etwa 1010 FLOPS grob eine Workstation, die Texturen für ein Asset erzeugtSeit: 1985 spätestens 1985, prozedurale Rauschtexturen im Perlin-Stil in der Computergrafik
Physikalisch basierte Soundeffekte
Aufprall-, Roll- und Kratzgeräusche, die aus Form, Material und Kontakt der simulierten Objekte synthetisiert statt von Aufnahmen abgespielt werden.
Frage, die sie beantwortet: Welches Geräusch macht ein Objekt aus diesem Material, wenn es auf diese Fläche trifft?
Lässt aus: Modenmodelle werden nach Gehör abgestimmt und lassen die Abstrahlung in einen echten Raum aus.
Läuft auf: etwa 109 FLOPS grob ein Laptop, EchtzeitSeit: 2001 spätestens 2001, van den Doel, Kry und Pai, FoleyAutomatic Quelle
Live-codierte Musik und Visuals
Darsteller schreiben und ändern laufenden Code vor Publikum, sodass sich Klang oder Bild entwickelt, während das Programm bearbeitet wird.
Frage, die sie beantwortet: Wie verändert sich Musik, wenn ihre Regeln während des Spielens umgeschrieben werden?
Lässt aus: Die Simulation ist das Programm selbst; es wird nichts Physisches modelliert.
Läuft auf: etwa 108 FLOPS grob ein Laptop, EchtzeitSeit: 2004 spätestens 2004, die Gruppe TOPLAP gründet sich, um Live-Coding-Gemeinschaften zu vereinen Quelle
Neuronales Szenen-Rendering
Ein neuronales Netz, angepasst an eine Reihe von Fotografien, speichert Licht und Dichte einer Szene, sodass sich neue Ansichten aus jeder Kameraposition rendern lassen.
Frage, die sie beantwortet: Wie würde dieser Ort von einer Stelle aus aussehen, von der niemand ein Foto gemacht hat?
Lässt aus: Es interpoliert zwischen Fotos und erfindet Details, wo keine aufgenommen wurden, sodass Ansichten weit von den Originalen unzuverlässig sind.
Läuft auf: etwa 1015 FLOPS grob Stunden auf einer GPU für eine Szene, und ein Tag für eine große.Seit: 2020 Mildenhall und Kollegen, NeRF, Darstellung von Szenen als neuronale Strahlungsfelder zur Ansichtssynthese. Quelle