Cinéma, médias et art
Tissu, fumée, foules et lumière, générés à partir de modèles physiques plutôt qu’animés à la main.
Avant les ordinateurs, le cinéma et l’animation approchaient la physique avec des gréements de fils, des maquettes et des images dessinées à la main. Aujourd’hui, la simulation fournit directement la physique : tissu qui drape, cheveux qui bougent, foules qui ne se répètent pas, et lumière qui voyage comme dans le monde réel. Les méthodes de l’ingénierie et de la science sont tournées vers une histoire plutôt que vers un pont ou un réacteur. Elles sont réglées pour être crédibles, pas pour être physiquement exactes, et elles tournent souvent hors ligne, image par image, plutôt qu’en temps réel. La musique et l’image partagent une même idée : mettre en place le processus sous-jacent et laisser le résultat émerger.
Simulation de tissu
Un tissu représenté comme un maillage de points et de ressorts, qui drape, se plie et se déchire sous la gravité et le mouvement.
Question à laquelle elle répond: Comment ce vêtement bouge-t-il sur un corps en mouvement sans qu’un animateur place chaque pli ?
Laisse de côté : Un vrai tissu garde la mémoire de ses plis, que la plupart des solveurs de tissu ignorent.
Tourne sur : environ 1012 FLOPS approximatif un nœud de ferme de rendu pour la passe de tissu d’un planDepuis : 1987 dès 1987, premiers modèles masses-ressorts de tissu pour l’animation par ordinateur
Simulation des poils et de la fourrure
Des dizaines de milliers de brins individuels, chacun obéissant à ses propres règles de flexion et de collision, mus par le vent, la gravité et le corps en dessous.
Question à laquelle elle répond: Comment une chevelure entière ou un pelage bouge-t-il de façon crédible, brin par brin ?
Laisse de côté : Le frottement entre brins est approximé. Sinon, chaque simulation prendrait plus de temps que ne le permet un calendrier de production.
Tourne sur : environ 1012 FLOPS approximatif un nœud de ferme de rendu pour la passe de cheveux d’un personnageDepuis : 1989 dès 1989, premières recherches sur l’animation de cheveux brin par brin
Simulation de fluides et de fumée pour les effets spéciaux
Feu, fumée, eau, poussière et explosions calculés comme un fluide sur une grille ou en particules, stylisés pour leur aspect plutôt que pour l’exactitude scientifique.
Question à laquelle elle répond: Comment cette explosion, cette onde ou ce panache de fumée bouge-t-il et se présente-t-il à l’écran ?
Laisse de côté : Dirigé pour bien rendre à l’image, pas pour conserver exactement l’énergie ou la masse.
Tourne sur : environ 1013 FLOPS approximatif une allocation de ferme de rendu pour un plan à forts effets spéciauxDepuis : 1982 dès 1982, premiers effets de fluides et de particules générés par ordinateur pour le cinéma
Simulation de destruction et de débris
Des bâtiments, des véhicules et des objets brisés en morceaux et projetés par une physique de solides rigides, réglée pour que l’effondrement paraisse spectaculaire plutôt que simplement correct.
Question à laquelle elle répond: Comment cette structure se disloque-t-elle, et où retombent les morceaux ?
Laisse de côté : Les vrais matériaux cèdent de façon imprévisible ; ces motifs de fracture sont planifiés d’avance pour faire bien.
Tourne sur : environ 1012 FLOPS approximatif un nœud de ferme de rendu pour un plan de destructionDepuis : 1995 dès 1995, simulation de rupture de solides rigides utilisée dans les effets de cinéma
Déformation des muscles et de la peau
La peau et les tissus mous d’un corps numérique qui glissent, se gonflent et se plissent sur un squelette et des muscles animés en dessous.
Question à laquelle elle répond: Le corps de cette créature ou de ce personnage bouge-t-il comme s’il avait de vrais tissus mous ?
Laisse de côté : Le glissement de la peau sur l’os reste surtout approché, pas simulé comme un vrai tissu.
Tourne sur : environ 1012 FLOPS approximatif un nœud de ferme de rendu pour la passe de corps d’un personnageDepuis : 1999 dès 1999, structures de déformation à base de muscles pour les personnages animés par ordinateur
Dynamique du corps rigide pour l’animation
Des objets solides qui se heurtent, s’empilent, roulent et se stabilisent sous la gravité et le frottement, utilisés pour animer des accessoires et des mouvements secondaires sans régler à la main chaque rebond.
Question à laquelle elle répond: Comment ce tas d’objets culbute-t-il et se stabilise-t-il une fois dérangé ?
Laisse de côté : Des objets s’interpénètrent ou tremblent parfois d’une façon qu’aucune chose réelle ne ferait.
Tourne sur : environ 1011 FLOPS approximatif un poste de travail pour la simulation des accessoires d’un planDepuis : 1988 dès 1988, la physique des solides rigides utilisée pour l’animation par ordinateur
Dynamique fondée sur les positions
Des objets comme les tissus et les corps mous bougent en ajustant directement la position de points pour respecter des contraintes, ce qui est rapide et stable.
Question à laquelle elle répond: Comment simuler des objets déformables assez vite pour un usage interactif ?
Laisse de côté : Pas physiquement exact, et la raideur dépend du nombre de pas.
Tourne sur : environ 109 FLOPS approximatif Temps réel sur un seul processeur ou GPUDepuis : 2007 Position based dynamics (2007) source
Synthèse de la surface de l’océan
Une surface d’eau générée à partir d’un spectre de vagues, pour rendre la pleine mer avec sa houle et son écume.
Question à laquelle elle répond: À quoi ressemble une mer d’un vent et d’une profondeur donnés ?
Laisse de côté : Il modélise la forme de la surface, pas l’écoulement complet en dessous ni le déferlement des grandes vagues.
Tourne sur : environ 1012 FLOPS approximatif un poste de travail, quelques minutes par imageDepuis : 1986 dès 1986, Fournier et Reeves, A simple model of ocean waves source
Effets de systèmes de particules
Feu, étincelles, fumée et embruns dessinés comme des milliers de points éphémères, chacun avec son propre mouvement et son propre aspect.
Question à laquelle elle répond: Comment montrer un événement flou comme un nuage de points qui bougent indépendamment ?
Laisse de côté : Les points ne se poussent pas entre eux, si bien que le vrai comportement d’un fluide est absent.
Tourne sur : environ 1010 FLOPS approximatif un ordinateur portable, en temps réelDepuis : 1983 dès 1983, Reeves, Particle systems (utilisé dans un effet de mur de feu) source
Simulation de la neige et des matériaux granulaires
Neige, sable et matériaux semblables simulés comme des points qui portent une contrainte, de sorte qu’ils s’empilent, se rompent et s’agglomèrent comme le vrai matériau.
Question à laquelle elle répond: Comment la neige se tasse-t-elle, se fracture-t-elle et s’écoule-t-elle quand on la pousse ?
Laisse de côté : La physique de la glace à l’échelle des grains est remplacée par une loi de matériau moyennée.
Tourne sur : environ 1014 FLOPS approximatif une ferme de rendu, quelques heures par planDepuis : 2013 dès 2013, Stomakhin et d’autres, A material point method for snow simulation source
Simulation numérique de foules
Des milliers de silhouettes individuelles, chacune avec des règles simples de mouvement et d’évitement, qui remplissent un stade, un champ de bataille ou une rue sans être animées une à une.
Question à laquelle elle répond: Comment une foule de cette taille se déplace-t-elle, fuit-elle ou se bat-elle en masse ?
Laisse de côté : Chaque figure des derniers rangs tend à bouger un peu trop de la même façon.
Tourne sur : environ 1012 FLOPS approximatif une allocation de ferme de rendu pour un plan de fouleDepuis : 1997 dès 1997, systèmes de foule à base d’agents utilisés dans des scènes de bataille de longs métrages
Humains et visages numériques
Les muscles, la peau et les micro-expressions d’un visage, modélisés assez bien pour animer une interprétation synthétique qu’on prend pour celle d’une vraie personne.
Question à laquelle elle répond: Ce visage synthétique peut-il transmettre l’émotion aussi bien que le vrai visage dont il s’inspire ?
Laisse de côté : Les yeux et les commissures de la bouche restent les régions les plus difficiles à reproduire de façon convaincante.
Tourne sur : environ 1013 FLOPS approximatif une allocation de ferme de rendu pour le visage d’un personnage principalDepuis : 2001 dès 2001, capture et simulation faciales haute résolution pour le cinéma
Villes et paysages procéduraux
Rues, bâtiments, terrain et végétation générés par des règles et du hasard à partir d’un petit jeu de paramètres, au lieu d’être placés à la main.
Question à laquelle elle répond: Comment peupler de détails toute une ville ou tout un continent, alors qu’il est impossible de le faire à la main ?
Laisse de côté : Les villes générées tendent à être statistiquement plausibles mais n’ont aucune histoire particulière.
Tourne sur : environ 1012 FLOPS approximatif un poste de travail ou un nœud de ferme de rendu pour la construction d’un décorDepuis : 1982 dès 1982, la génération fractale de terrain utilisée en infographie
Plateaux de production virtuelle
Un environnement généré par ordinateur, affiché en direct sur de grands écrans derrière les acteurs et filmé en caméra, la scène réagissant aux mouvements de l’objectif.
Question à laquelle elle répond: L’arrière-plan peut-il réagir à la caméra en temps réel, pour ne pas avoir à être ajouté après coup ?
Laisse de côté : L’accord d’éclairage entre l’acteur réel et l’écran derrière lui reste imparfait.
Tourne sur : environ 1013 FLOPS approximatif un cluster de GPU de jeu qui pilote en direct les écrans de la scèneDepuis : 2019 dès 2019, de grands plateaux de production virtuelle à murs LED largement utilisés
Écosystèmes et végétation numériques
Forêts, prairies et populations animales générées et animées ensemble, avec des plantes qui se disputent la lumière et des animaux qui se déplacent à travers le résultat.
Question à laquelle elle répond: À quoi ressemble, et comment bouge, tout un paysage simulé de plantes et de créatures ?
Laisse de côté : Les écosystèmes simulés sont réglés pour paraître luxuriants, pas pour s’équilibrer comme les vrais.
Tourne sur : environ 1012 FLOPS approximatif un nœud de ferme de rendu pour la passe d’écosystème d’un décorDepuis : 2000 dès 2000, outils de végétation et d’écosystèmes procéduraux pour les décors de cinéma
Simulation de l’atmosphère et du ciel
Nuages, brouillard, pluie et couleur du ciel générés à partir de modèles physiques de diffusion de la lumière et d’humidité, pour la météo d’une scène plutôt que la vraie.
Question à laquelle elle répond: À quoi devraient ressembler le ciel et la météo dans ce plan, sans tourner le bon jour ?
Laisse de côté : Réglé pour l’allure que doit avoir un ciel, pas pour la vraie physique de l’atmosphère.
Tourne sur : environ 1012 FLOPS approximatif un nœud de ferme de rendu pour la passe de ciel d’un décorDepuis : 1986 dès 1986, modèles de rendu du ciel et des nuages fondés sur la physique
Avatars neuronaux
Un réseau de neurones entraîné sur des captures multicaméras d’une personne rend un visage ou un corps réaliste et animable.
Question à laquelle elle répond: Peut-on rendre une personne virtuelle indiscernable de la vraie ?
Laisse de côté : Exige la capture de chaque sujet, et le comportement n’est pas généré.
Tourne sur : environ 1013 FLOPS approximatif Entraînement par personneDepuis : 2018 Deep appearance models for face rendering (2018) source
Idoles et influenceurs virtuels
Un interprète fictif rendu en images de synthèse et géré comme une célébrité, qui apparaît dans les médias et les fils des réseaux sociaux.
Question à laquelle elle répond: Un public s’attache-t-il à un interprète qui n’a pas de corps ?
Laisse de côté : Le personnage est écrit par une équipe ; aucune vie intérieure autonome n’est modélisée.
Tourne sur : environ 1011 FLOPS approximatif un poste de travail, rendu en quasi temps réelDepuis : 1996 dès 1996, Kyoko Date, une idole en images de synthèse 3D lancée par Horipro source
Concerts virtuels
Un spectacle en direct monté dans un monde virtuel partagé ou un moteur de jeu, avec avatars, effets de scène et public à distance.
Question à laquelle elle répond: Un concert peut-il être partagé par un public qui n’est présent que sous forme d’avatars ?
Laisse de côté : La réaction du public et la présence de la foule sont pauvres comparées à un vrai lieu.
Tourne sur : environ 1012 FLOPS approximatif un centre de données, en temps réel pour des milliers de spectateursDepuis : 2006 dès 2006, Duran Duran se produit dans Second Life source
Rajeunissement numérique
Le visage d’un interprète est reconstruit en 3D et transposé à un âge plus jeune ou plus vieux, piloté par le jeu de l’acteur lui-même.
Question à laquelle elle répond: Peut-on montrer un visage à un autre âge tout en gardant l’expression de l’acteur ?
Laisse de côté : Le résultat est un modèle d’apparence ; aucune biologie du vieillissement n’est simulée.
Tourne sur : environ 1013 FLOPS approximatif une ferme de rendu, quelques heures par planDepuis : 2008 dès 2008, L’Étrange Histoire de Benjamin Button, avec des effets de Digital Domain source
Personnages numériques en capture de performance
Un personnage généré par ordinateur, animé par les mouvements du corps et du visage enregistrés d’un acteur, puis incrusté dans des images réelles.
Question à laquelle elle répond: Le mouvement d’un acteur peut-il animer une créature qui ne ressemble en rien à une personne ?
Laisse de côté : Le muscle et la pensée ne sont pas modélisés, seulement le mouvement capturé.
Tourne sur : environ 1011 FLOPS approximatif un poste de travail, quelques heures par planDepuis : 2002 dès 2002, Gollum dans Le Seigneur des anneaux : Les Deux Tours source
Modélisation des plantes par systèmes de Lindenmayer
Des formes de plantes obtenues en réécrivant sans cesse une chaîne de symboles en structure ramifiée, puis dessinées sous forme d’arbres et de feuilles.
Question à laquelle elle répond: Quelles règles de réécriture simples produisent une forme ramifiée donnée ?
Laisse de côté : Les règles s’ajustent aux formes ; la chimie et la compétition pour la lumière qui animent la vraie croissance sont absentes.
Tourne sur : environ 108 FLOPS approximatif un ordinateur portable, quelques secondesDepuis : 1968 dès 1968, Lindenmayer, Mathematical models for cellular interactions in development source
Machinima
Des films tournés en dirigeant personnages et caméras dans un moteur de jeu en temps réel au lieu d’une caméra physique ou d’un moteur de rendu hors ligne.
Question à laquelle elle répond: Que peut-on filmer dans un monde qui n’existe que dans un moteur de jeu ?
Laisse de côté : Le moteur décide de ce qui peut être montré ; agir se limite à ce que ses commandes permettent.
Tourne sur : environ 1011 FLOPS approximatif un PC de jeu, en temps réelDepuis : 1996 dès 1996, Diary of a Camper, un court métrage réalisé avec le moteur de Quake source
Figures animatroniques
Des figures motorisées et mécaniques de personnes et d’animaux qui exécutent des mouvements et des paroles programmés.
Question à laquelle elle répond: À quel point une machine peut-elle imiter de façon convaincante une créature vivante ?
Laisse de côté : Le mouvement est rejoué à partir d’un enregistrement ; il n’y a ni perception ni décision.
Tourne sur : aucun ordinateur. un contrôleur mécanique, sans calculDepuis : 1963 dès 1963, l’Audio-Animatronics de Disney, les Enchanted Tiki Birds source
Contrôle de personnages fondé sur la physique
Un corps virtuel avec articulations et muscles est entraîné par apprentissage par renforcement, dans un moteur physique, à bouger, sauter ou se battre en copiant des séquences de capture de mouvement.
Question à laquelle elle répond: Un personnage peut-il garder l’équilibre et bouger naturellement, en réagissant aux poussées, sans animation faite à la main ?
Laisse de côté : Le style vient uniquement des clips qu’il copie, et les mouvements rares et le travail fin des mains sont mal gérés.
Tourne sur : environ 1015 FLOPS approximatif des jours sur un poste de travail GPU par compétence.Depuis : 2018 DeepMimic de Peng et ses collègues, apprentissage par renforcement profond guidé par des exemples de compétences de personnages fondées sur la physique. source
Transport de la lumière fondé sur la physique
Des rayons lumineux tracés à rebours depuis la caméra, qui rebondissent sur chaque surface et la traversent, pour calculer une image physiquement cohérente.
Question à laquelle elle répond: Comment la lumière se comporte-t-elle dans cette scène, rebond après rebond, au lieu d’être approximée ?
Laisse de côté : Converge lentement, si bien que le bruit est encore supprimé par des heuristiques plutôt qu’en prenant davantage d’échantillons.
Tourne sur : environ 1014 FLOPS approximatif une allocation de ferme de rendu sur de nombreux nœuds pour une imageDepuis : 1986 L’algorithme de path tracing de Kajiya, 1986
Propagation du son et acoustique
Ondes sonores tracées ou modélisées pendant qu’elles se réfléchissent, s’absorbent et se diffractent dans une salle virtuelle, une rue ou un champ de bataille, pour le son du cinéma et des jeux.
Question à laquelle elle répond: Quelle sonorité ce lieu devrait-il vraiment avoir, vu sa forme et les matériaux qu’il contient ?
Laisse de côté : Les vraies oreilles et les vraies pièces ont des particularités que les modèles acoustiques idéalisent couramment.
Tourne sur : environ 1011 FLOPS approximatif un poste de travail pour la passe acoustique d’une scèneDepuis : 1968 dès 1968, modélisation de l’acoustique des salles par tracé de rayons
Synthèse d’instruments par modélisation physique
Une corde, une anche, une peau de tambour ou un tuyau modélisés comme un objet physique qui vibre, calculés directement pour produire leur son plutôt que de l’enregistrer ou de l’échantillonner.
Question à laquelle elle répond: Quel son aurait cet instrument, calculé à partir de sa physique plutôt qu’enregistré ?
Laisse de côté : Saisit la physique de l’instrument, pas des décennies de technique d’un musicien.
Tourne sur : environ 1010 FLOPS approximatif tourne en temps réel sur un ordinateur portable ou un synthétiseurDepuis : 1983 dès 1983, modèles de guides d’ondes numériques de cordes vibrantes
Systèmes d’art génératif
Des règles, du hasard ou de simples agents qui tournent pour produire une image, un motif ou une composition. Les règles seules ne détaillaient pas entièrement le résultat à l’avance.
Question à laquelle elle répond: Quelle forme prend ce processus si on le laisse simplement tourner ?
Laisse de côté : L’artiste choisit quelles exécutions aléatoires garder : l’œuvre « générative » demande donc encore beaucoup de tri.
Tourne sur : environ 109 FLOPS approximatif tourne sur un ordinateur portable en quelques secondes à quelques minutesDepuis : 1965 dès 1965, premières œuvres d’art générées par ordinateur à partir de règles algorithmiques
Musique procédurale et générative
Des règles musicales, des chaînes de Markov ou de simples agents qui tournent pour générer une mélodie, une harmonie ou une bande-son évolutive qui réagit à ce qui se passe à l’écran.
Question à laquelle elle répond: Quelle musique cet ensemble de règles produit-il s’il continue de générer sans qu’un compositeur choisisse chaque note ?
Laisse de côté : A tendance à paraître compétent et rarement surprenant, ce que les règles permettent justement.
Tourne sur : environ 109 FLOPS approximatif tourne sur un ordinateur portable en temps réelDepuis : 1957 la Suite Illiac, une des premières compositions informatiques à base de règles
Génération procédurale de textures et de matériaux
Motifs de surface comme le grain du bois, la rouille, les pores de la peau ou les strates rocheuses, générés à partir de bruit et de règles physiques simples, au lieu d’être peints à la main ou photographiés.
Question à laquelle elle répond: À quoi devrait ressembler cette surface de près, générée plutôt que photographiée ?
Laisse de côté : Les textures à base de bruit peuvent paraître uniformes à une échelle où aucune vraie surface ne le serait.
Tourne sur : environ 1010 FLOPS approximatif un poste de travail qui génère des textures pour un élémentDepuis : 1985 dès 1985, textures de bruit procédural de type Perlin en infographie
Effets sonores fondés sur la physique
Des sons d’impact, de roulement et de frottement synthétisés à partir de la forme, de la matière et du contact des objets simulés, au lieu d’être lus depuis des enregistrements.
Question à laquelle elle répond: Quel son un objet de ce matériau fait-il en heurtant cette surface ?
Laisse de côté : Les modèles modaux sont réglés à l’oreille et omettent le rayonnement dans une vraie pièce.
Tourne sur : environ 109 FLOPS approximatif un ordinateur portable, en temps réelDepuis : 2001 dès 2001, van den Doel, Kry et Pai, FoleyAutomatic source
Musique et visuels codés en direct
Des artistes écrivent et modifient du code en cours d’exécution devant un public, si bien que le son ou l’image évolue au fil des modifications du programme.
Question à laquelle elle répond: Comment la musique change-t-elle quand ses règles sont réécrites pendant qu’on la joue ?
Laisse de côté : La simulation est le programme lui-même ; rien de physique n’est modélisé.
Tourne sur : environ 108 FLOPS approximatif un ordinateur portable, en temps réelDepuis : 2004 dès 2004, le groupe TOPLAP se forme pour unir les communautés de live coding source
Rendu neuronal de scènes
Un réseau de neurones ajusté sur un ensemble de photographies stocke la lumière et la densité d’une scène, si bien que de nouvelles vues peuvent être rendues depuis n’importe quelle position de caméra.
Question à laquelle elle répond: À quoi ressemblerait ce lieu depuis un endroit d’où personne n’a pris de photo ?
Laisse de côté : Il interpole entre des photographies et invente des détails là où aucune n’a été prise, si bien que les vues éloignées des originales ne sont pas fiables.
Tourne sur : environ 1015 FLOPS approximatif des heures sur un GPU pour une scène, et une journée pour une grande.Depuis : 2020 NeRF de Mildenhall et ses collègues, qui représente les scènes comme des champs de radiance neuronaux pour la synthèse de vues. source