Cine, medios y arte
Tela, humo, multitudes y luz, generados a partir de modelos físicos en lugar de animados a mano.
Antes de las computadoras, el cine y la animación aproximaban la física con aparejos de cables, miniaturas y fotogramas dibujados a mano. Ahora la simulación aporta la física directamente: telas que se pliegan, pelo que se mueve, multitudes que no se repiten y luz que viaja como lo hace en el mundo real. Los métodos de la ingeniería y la ciencia se aplican a una historia en lugar de a un puente o un reactor. Se ajustan para que resulten creíbles, no para ser físicamente exactos, y suelen ejecutarse sin conexión, fotograma a fotograma, en lugar de en tiempo real. La música y la imagen comparten una idea: preparar el proceso de fondo y dejar que el resultado surja.
Simulación de telas
Tela representada como una malla de puntos y resortes que se pliega, se arruga y se desgarra bajo la gravedad y el movimiento.
Pregunta que responde: ¿Cómo se mueve esta prenda sobre un cuerpo en movimiento sin que un animador coloque cada pliegue?
Deja fuera: La tela real tiene memoria de sus pliegues, que la mayoría de los simuladores de tela ignoran.
Se ejecuta en: unos 1012 FLOPS aproximado un nodo de una granja de renderizado para el pase de tela de una tomaDesde: 1987 ya en 1987, los primeros modelos de tela de masas y resortes para animación por computadora
Simulación de pelo y pelaje
Decenas de miles de hebras individuales, cada una con sus propias reglas de flexión y colisión, movidas por el viento, la gravedad y el cuerpo que hay debajo.
Pregunta que responde: ¿Cómo se mueve de forma creíble una cabellera completa o un pelaje, hebra por hebra?
Deja fuera: La fricción entre hebras se aproxima. De lo contrario, cada simulación tardaría más de lo que permite un calendario de producción.
Se ejecuta en: unos 1012 FLOPS aproximado un nodo de una granja de renderizado para el pase del pelo de un personajeDesde: 1989 ya en 1989, las primeras investigaciones de animación de pelo por hebras
Simulación de fluidos y humo para efectos
Fuego, humo, agua, polvo y explosiones calculados como un fluido en una cuadrícula o en partículas, con un estilo pensado para cómo deben verse y no para la exactitud científica.
Pregunta que responde: ¿Cómo se mueve y se ve en pantalla esta explosión, esta ola o esta columna de humo?
Deja fuera: Dirigido a verse bien en el encuadre, no a conservar con exactitud la energía o la masa.
Se ejecuta en: unos 1013 FLOPS aproximado una asignación de una granja de renderizado para una toma con muchos efectosDesde: 1982 ya en 1982, los primeros efectos de fluidos y partículas generados por computadora para el cine
Simulación de destrucción y escombros
Edificios, vehículos y objetos que se fracturan en pedazos y salen despedidos por la física de cuerpos rígidos, ajustada para que el derrumbe resulte espectacular y no meramente correcto.
Pregunta que responde: ¿Cómo se rompe esta estructura, y dónde caen los pedazos?
Deja fuera: Los materiales reales fallan de forma impredecible; estos patrones de fractura están planificados para que se vean bien.
Se ejecuta en: unos 1012 FLOPS aproximado un nodo de una granja de renderizado para una toma de destrucciónDesde: 1995 ya en 1995, la simulación de fractura de cuerpos rígidos usada en efectos de cine
Deformación de músculos y piel
La piel y el tejido blando de un cuerpo digital, que se deslizan, se abultan y se arrugan sobre un esqueleto y unos músculos animados.
Pregunta que responde: ¿Se mueve el cuerpo de esta criatura o personaje como si tuviera tejido blando real?
Deja fuera: La piel que se desliza sobre el hueso sigue aproximándose en su mayor parte, y no es tejido simulado de verdad.
Se ejecuta en: unos 1012 FLOPS aproximado un nodo de una granja de renderizado para el pase del cuerpo de un personajeDesde: 1999 ya en 1999, los sistemas de deformación basados en músculos para personajes animados por computadora
Dinámica de cuerpos rígidos para animación
Objetos sólidos que chocan, se apilan, ruedan y se asientan bajo la gravedad y la fricción, usados para animar objetos y movimiento secundario sin fijar a mano cada rebote.
Pregunta que responde: ¿Cómo cae y se asienta esta pila de objetos cuando se la perturba?
Deja fuera: De vez en cuando los objetos se interpenetran o vibran de maneras que ninguna cosa real haría.
Se ejecuta en: unos 1011 FLOPS aproximado una estación de trabajo para la simulación de utilería de una tomaDesde: 1988 ya en 1988, la física de cuerpos rígidos usada para animación por computadora
Dinámica basada en posiciones
Objetos como la tela y los cuerpos blandos se mueven ajustando directamente las posiciones de los puntos para cumplir restricciones, lo que es rápido y estable.
Pregunta que responde: ¿Cómo se pueden simular objetos deformables con la rapidez suficiente para un uso interactivo?
Deja fuera: No es físicamente exacto y la rigidez depende del número de pasos.
Se ejecuta en: unos 109 FLOPS aproximado Tiempo real en una CPU o una GPUDesde: 2007 Position based dynamics (2007) fuente
Síntesis de la superficie del océano
Una superficie de agua generada a partir de un espectro de olas, usada para renderizar mar abierto con oleaje y espuma.
Pregunta que responde: ¿Cómo se ve un mar con un viento y una profundidad dados?
Deja fuera: Modela la forma de la superficie, no el flujo completo por debajo ni la rotura de las olas grandes.
Se ejecuta en: unos 1012 FLOPS aproximado una estación de trabajo, minutos por fotogramaDesde: 1986 ya en 1986, Fournier y Reeves, A simple model of ocean waves fuente
Efectos de sistemas de partículas
Fuego, chispas, humo y salpicaduras dibujados como miles de puntos de vida corta, cada uno con su propio movimiento y aspecto.
Pregunta que responde: ¿Cómo se puede mostrar un evento difuso como una nube de puntos que se mueven de forma independiente?
Deja fuera: Los puntos no se empujan entre sí, así que falta el verdadero comportamiento de un fluido.
Se ejecuta en: unos 1010 FLOPS aproximado una laptop, en tiempo realDesde: 1983 ya en 1983, Reeves, Particle systems (usado en un efecto de pared de fuego) fuente
Simulación de nieve y materiales granulares
Nieve, arena y materiales parecidos simulados como puntos que transportan tensión, de modo que se apilan, se rompen y se aglomeran como el material real.
Pregunta que responde: ¿Cómo se compacta, se fractura y fluye la nieve cuando se empuja?
Deja fuera: La física del hielo a escala de grano se sustituye por una ley de material promediada.
Se ejecuta en: unos 1014 FLOPS aproximado una granja de renderizado, horas por tomaDesde: 2013 ya en 2013, Stomakhin y otros, A material point method for snow simulation fuente
Simulación digital de multitudes
Miles de figuras individuales, cada una con reglas simples de movimiento y de evitación, que llenan un estadio, un campo de batalla o una calle sin animarse una por una.
Pregunta que responde: ¿Cómo se mueve, huye o lucha como masa una multitud de este tamaño?
Deja fuera: Cada figura de las filas traseras tiende a moverse de forma un poco demasiado parecida.
Se ejecuta en: unos 1012 FLOPS aproximado una asignación de una granja de renderizado para una toma de multitudDesde: 1997 ya en 1997, los sistemas de multitudes basados en agentes usados en escenas de batalla de películas
Humanos y rostros digitales
Los músculos, la piel y las microexpresiones de un rostro, modelados con tanta fidelidad que permiten animar una interpretación sintética que parece la de una persona real.
Pregunta que responde: ¿Puede este rostro sintético transmitir emoción tan convincentemente como el real en el que se basa?
Deja fuera: Los ojos y las comisuras de la boca siguen siendo las zonas más difíciles de reproducir de manera convincente.
Se ejecuta en: unos 1013 FLOPS aproximado una asignación de una granja de renderizado para el rostro de un personaje protagonistaDesde: 2001 ya en 2001, captura y simulación facial de alta resolución para el cine
Ciudades y paisajes procedimentales
Calles, edificios, terreno y vegetación generados por reglas y azar a partir de un pequeño conjunto de parámetros, en lugar de colocarse a mano.
Pregunta que responde: ¿Cómo se puede poblar con detalle toda una ciudad o un continente cuando no es práctico colocarlo todo a mano?
Deja fuera: Las ciudades generadas tienden a ser estadísticamente verosímiles pero carecen de una historia concreta.
Se ejecuta en: unos 1012 FLOPS aproximado una estación de trabajo o un nodo de granja de renderizado para la construcción de un entornoDesde: 1982 ya en 1982, la generación de terreno fractal usada en gráficos por computadora
Platós de producción virtual
Un entorno generado por computadora, mostrado en directo en grandes pantallas detrás de los actores y filmado con la cámara, con una escena que reacciona al movimiento del objetivo.
Pregunta que responde: ¿Puede el fondo reaccionar a la cámara en tiempo real para no tener que añadirse después?
Deja fuera: La coincidencia de iluminación entre el actor real y la pantalla que tiene detrás sigue siendo imperfecta.
Se ejecuta en: unos 1013 FLOPS aproximado un clúster de GPU de videojuegos que mueve en directo las pantallas del escenarioDesde: 2019 ya en 2019, los grandes escenarios de producción virtual con volúmenes de LED se usan ampliamente
Ecosistemas y vegetación digitales
Bosques, praderas y poblaciones animales generados y animados juntos, con plantas que compiten por la luz y animales que se mueven por el resultado.
Pregunta que responde: ¿Cómo se ve y se mueve, en conjunto, todo un paisaje simulado de plantas y criaturas?
Deja fuera: Los ecosistemas simulados se ajustan para que parezcan frondosos, no para equilibrarse como lo hacen los reales.
Se ejecuta en: unos 1012 FLOPS aproximado un nodo de una granja de renderizado para el pase del ecosistema de un entornoDesde: 2000 ya en 2000, herramientas procedimentales de vegetación y ecosistemas para entornos de cine
Simulación de la atmósfera y del cielo
Nubes, niebla, lluvia y color del cielo generados a partir de modelos físicos de dispersión de la luz y humedad, para el clima de una escena y no el real.
Pregunta que responde: ¿Cómo debería verse el cielo y el tiempo meteorológico de esta toma, sin filmar el día justo?
Deja fuera: Ajustado a cómo debería verse un cielo, no a la física atmosférica genuina.
Se ejecuta en: unos 1012 FLOPS aproximado un nodo de una granja de renderizado para el pase del cielo de un entornoDesde: 1986 ya en 1986, modelos de renderizado del cielo y las nubes basados en la física
Avatares neuronales
Una red neuronal entrenada con capturas multicámara de una persona renderiza un rostro o un cuerpo realista y animable.
Pregunta que responde: ¿Se puede renderizar a una persona virtual de modo que no se distinga de la real?
Deja fuera: Necesita la captura de cada sujeto, y el comportamiento no se genera.
Se ejecuta en: unos 1013 FLOPS aproximado Entrenamiento por personaDesde: 2018 Deep appearance models for face rendering (2018) fuente
Ídolos e influencers virtuales
Un artista ficticio generado con gráficos por computadora y gestionado como una celebridad, que aparece en los medios y en las redes sociales.
Pregunta que responde: ¿Se encariña un público con un artista que no tiene cuerpo?
Deja fuera: El personaje lo escribe un equipo; no se modela ninguna vida interior autónoma.
Se ejecuta en: unos 1011 FLOPS aproximado una estación de trabajo, renderizado casi en tiempo realDesde: 1996 ya en 1996, Kyoko Date, una idol 3D de gráficos por computadora presentada por Horipro fuente
Conciertos virtuales
Una actuación en directo montada en un mundo virtual compartido o en un motor de juegos, con avatares, efectos de escenario y público a distancia.
Pregunta que responde: ¿Puede un concierto compartirse con un público que solo está presente como avatares?
Deja fuera: La reacción del público y la presencia de la multitud son pobres en comparación con un recinto real.
Se ejecuta en: unos 1012 FLOPS aproximado un centro de datos, en tiempo real para miles de espectadoresDesde: 2006 ya en 2006, Duran Duran actuó en Second Life fuente
Rejuvenecimiento digital
El rostro de un actor se reconstruye en 3D y se readapta a una edad más joven o más vieja, movido por la propia interpretación del actor.
Pregunta que responde: ¿Se puede mostrar un rostro a otra edad conservando la expresión del actor?
Deja fuera: El resultado es un modelo de apariencia; no se simula ninguna biología del envejecimiento.
Se ejecuta en: unos 1013 FLOPS aproximado una granja de renderizado, horas por tomaDesde: 2008 ya en 2008, El curioso caso de Benjamin Button, con efectos de Digital Domain fuente
Personajes digitales animados con captura de actuación
Un personaje generado por computadora, animado con el movimiento corporal y facial grabado de un actor y compuesto sobre imágenes reales.
Pregunta que responde: ¿Puede el movimiento de un actor mover a una criatura que no se parece en nada a una persona?
Deja fuera: No se modelan los músculos ni el pensamiento, solo el movimiento capturado.
Se ejecuta en: unos 1011 FLOPS aproximado una estación de trabajo, horas por tomaDesde: 2002 ya en 2002, Gollum en El señor de los anillos: las dos torres fuente
Modelado de plantas con sistemas L
Formas de plantas que se hacen crecer reescribiendo una y otra vez una cadena de símbolos hasta obtener una estructura ramificada, y que luego se dibujan como árboles y hojas.
Pregunta que responde: ¿Qué reglas simples de reescritura producen una forma ramificada dada?
Deja fuera: Las reglas ajustan formas; faltan la química y la competencia por la luz que impulsan el crecimiento real.
Se ejecuta en: unos 108 FLOPS aproximado una laptop, segundosDesde: 1968 ya en 1968, Lindenmayer, Mathematical models for cellular interactions in development fuente
Machinima
Películas rodadas dirigiendo personajes y cámaras dentro de un motor de juegos en tiempo real en lugar de una cámara física o un renderizador sin conexión.
Pregunta que responde: ¿Qué se puede filmar en un mundo que solo existe en un motor de videojuegos?
Deja fuera: El motor decide qué se puede mostrar; actuar se limita a lo que permiten sus controles.
Se ejecuta en: unos 1011 FLOPS aproximado un PC para juegos, en tiempo realDesde: 1996 ya en 1996, Diary of a Camper, un corto hecho con el motor de Quake fuente
Figuras animatrónicas
Figuras mecánicas de personas y animales, accionadas por motor, que realizan movimientos y habla programados.
Pregunta que responde: ¿Con qué grado de convicción puede una máquina actuar como una criatura viva?
Deja fuera: El movimiento se reproduce a partir de una grabación; no hay percepción ni decisión.
Se ejecuta en: ninguna computadora. un controlador mecánico, sin cálculoDesde: 1963 ya en 1963, el Audio-Animatronics de Disney, las Enchanted Tiki Birds fuente
Control de personajes de base física
Un cuerpo virtual con articulaciones y músculos se entrena por aprendizaje por refuerzo en un motor de física para moverse, saltar o pelear, copiando fragmentos de captura de movimiento.
Pregunta que responde: ¿Puede un personaje mantener el equilibrio y moverse con naturalidad, reaccionando a los empujones, sin animación hecha a mano?
Deja fuera: El estilo viene solo de los clips que copia, y los movimientos raros y el trabajo fino de las manos se manejan mal.
Se ejecuta en: unos 1015 FLOPS aproximado días en una estación de trabajo con GPU por habilidad.Desde: 2018 DeepMimic, de Peng y sus colegas: aprendizaje por refuerzo profundo guiado por ejemplos de habilidades de personajes de base física. fuente
Transporte de luz de base física
Rayos de luz trazados hacia atrás desde la cámara, que rebotan en cada superficie y la atraviesan, para calcular una imagen físicamente coherente.
Pregunta que responde: ¿Cómo se comporta la luz en esta escena, rebote a rebote, en lugar de aproximarse?
Deja fuera: Converge despacio, así que el ruido todavía se suprime con heurísticas y no tomando más muestras.
Se ejecuta en: unos 1014 FLOPS aproximado una asignación de una granja de renderizado en muchos nodos para un solo fotogramaDesde: 1986 El algoritmo de trazado de trayectorias de Kajiya de 1986
Propagación del sonido y acústica
Ondas sonoras trazadas o modeladas mientras se reflejan, se absorben y se difractan en una sala virtual, una calle o un campo de batalla, para el audio de cine y videojuegos.
Pregunta que responde: ¿Cómo debería sonar realmente este espacio, dada su forma y los materiales que contiene?
Deja fuera: Los oídos y las salas reales tienen idiosincrasias que los modelos acústicos suelen idealizar.
Se ejecuta en: unos 1011 FLOPS aproximado una estación de trabajo para el pase acústico de una escenaDesde: 1968 ya en 1968, el modelado de la acústica de salas basado en rayos
Síntesis de instrumentos por modelado físico
Una cuerda, una caña, un parche de tambor o un tubo modelados como un objeto físico que vibra, calculado directamente para producir su sonido en lugar de grabarlo o muestrearlo.
Pregunta que responde: ¿Cómo sonaría este instrumento, calculado a partir de su física en lugar de grabado?
Deja fuera: Capta la física del instrumento, no las décadas de técnica de un intérprete.
Se ejecuta en: unos 1010 FLOPS aproximado se ejecuta en tiempo real en una laptop o un sintetizadorDesde: 1983 ya en 1983, modelos de guía de ondas digital de cuerdas que vibran
Sistemas de arte generativo
Reglas, azar o agentes simples que se ejecutan hacia adelante para producir una imagen, un patrón o una composición. Las reglas por sí solas no especificaban del todo el resultado de antemano.
Pregunta que responde: ¿Qué forma toma este proceso si simplemente se lo deja correr?
Deja fuera: El artista elige qué ejecuciones aleatorias conservar, así que el trabajo «generativo» sigue implicando mucha curaduría.
Se ejecuta en: unos 109 FLOPS aproximado se ejecuta en una laptop en segundos o minutosDesde: 1965 ya en 1965, el primer arte generado por computadora a partir de reglas algorítmicas
Música procedimental y generativa
Reglas musicales, cadenas de Markov o agentes simples que se ejecutan hacia adelante para generar una melodía, una armonía o una banda sonora en evolución que reacciona a lo que pasa en pantalla.
Pregunta que responde: ¿Qué música produce este conjunto de reglas si sigue generando sin que un compositor elija cada nota?
Deja fuera: Tiende a sonar competente y rara vez sorprende, que es justo lo que permiten las reglas.
Se ejecuta en: unos 109 FLOPS aproximado se ejecuta en una laptop en tiempo realDesde: 1957 la Suite Illiac, una de las primeras composiciones por computadora basadas en reglas
Generación procedimental de texturas y materiales
Patrones de superficie como la veta de la madera, el óxido, los poros de la piel o los estratos de la roca, generados a partir de ruido y reglas físicas simples en lugar de pintarse a mano o fotografiarse.
Pregunta que responde: ¿Cómo debería verse esta superficie de cerca, generada en lugar de fotografiada?
Deja fuera: Las texturas basadas en ruido pueden parecer uniformes a una escala a la que una superficie real nunca lo sería.
Se ejecuta en: unos 1010 FLOPS aproximado una estación de trabajo que genera texturas para un recursoDesde: 1985 ya en 1985, las texturas de ruido procedimental al estilo de Perlin en gráficos por computadora
Efectos de sonido de base física
Sonidos de impacto, rodadura y roce sintetizados a partir de la forma, el material y el contacto de los objetos simulados, en lugar de reproducirse desde grabaciones.
Pregunta que responde: ¿Qué sonido hace un objeto de este material al golpear esa superficie?
Deja fuera: Los modelos de modos se afinan de oído y omiten la radiación hacia una sala real.
Se ejecuta en: unos 109 FLOPS aproximado una laptop, en tiempo realDesde: 2001 ya en 2001, van den Doel, Kry y Pai, FoleyAutomatic fuente
Música y visuales programados en vivo
Intérpretes escriben y cambian código en ejecución ante un público, de modo que el sonido o la imagen evolucionan a medida que se edita el programa.
Pregunta que responde: ¿Cómo cambia la música cuando se reescriben sus reglas mientras suena?
Deja fuera: La simulación es el programa mismo; no se modela nada físico.
Se ejecuta en: unos 108 FLOPS aproximado una laptop, en tiempo realDesde: 2004 ya en 2004, se forma el grupo TOPLAP para unir las comunidades de programación en vivo fuente
Renderizado neuronal de escenas
Una red neuronal ajustada a un conjunto de fotografías guarda la luz y la densidad de una escena para poder renderizar vistas nuevas desde cualquier posición de cámara.
Pregunta que responde: ¿Cómo se vería este lugar desde donde nadie tomó una fotografía?
Deja fuera: Interpola entre fotografías e inventa detalles donde no se tomó ninguna, así que las vistas lejanas a los originales no son fiables.
Se ejecuta en: unos 1015 FLOPS aproximado horas en una GPU para una escena, y un día para una grande.Desde: 2020 NeRF, de Mildenhall y sus colegas, que representa escenas como campos de radiancia neuronales para la síntesis de vistas. fuente