Cinema, mídia e arte
Tecido, fumaça, multidões e luz, gerados a partir de modelos físicos em vez de animados à mão.
Antes dos computadores, o cinema e a animação aproximavam a física com cabos, miniaturas e quadros desenhados à mão. Agora a simulação fornece a física diretamente: tecido caindo, cabelo se movendo, multidões que não se repetem e luz que viaja como no mundo real. Os métodos da engenharia e da ciência são apontados para uma história em vez de uma ponte ou um reator. Eles são ajustados para parecer convincentes, não para serem fisicamente exatos, e muitas vezes rodam offline, quadro a quadro, em vez de em tempo real. Música e imagem compartilham uma ideia: montar o processo de base e deixar o resultado emergir.
Simulação de tecidos
Tecido representado como uma malha de pontos e molas, caindo, dobrando e rasgando sob a gravidade e o movimento.
Pergunta que responde: Como esta peça de roupa se move em um corpo em movimento sem que um animador posicione cada dobra?
Deixa de fora: O tecido real tem uma memória de suas dobras que a maioria dos solucionadores de tecido ignora.
Roda em: cerca de 1012 FLOPS aproximado um nó de render farm para a passagem de tecido de uma cenaDesde: 1987 já em 1987, os primeiros modelos de tecido massa-mola para animação por computador
Simulação de cabelo e pelo
Dezenas de milhares de fios individuais, cada um obedecendo às próprias regras de dobra e colisão, movidos por vento, gravidade e pelo corpo embaixo.
Pergunta que responde: Como uma cabeleira cheia ou uma pelagem se move de forma convincente, fio a fio?
Deixa de fora: O atrito entre fios é aproximado. Do contrário, cada simulação levaria mais tempo do que o cronograma de produção permite.
Roda em: cerca de 1012 FLOPS aproximado um nó de render farm para a passagem do cabelo de um personagemDesde: 1989 já em 1989, as primeiras pesquisas de animação de cabelo baseada em fios
Simulação de fluidos e fumaça para efeitos
Fogo, fumaça, água, poeira e explosões calculados como um fluido em uma grade ou em partículas, estilizados para parecer como devem e não por precisão científica.
Pergunta que responde: Como esta explosão, onda ou coluna de fumaça se move e aparece na tela?
Deixa de fora: Dirigido para ficar bonito em quadro, e não para conservar energia ou massa com exatidão.
Roda em: cerca de 1013 FLOPS aproximado uma alocação de render farm para uma cena com muitos efeitosDesde: 1982 já em 1982, os primeiros efeitos de fluidos e partículas gerados por computador para o cinema
Simulação de destruição e escombros
Edifícios, veículos e objetos fraturados em pedaços e lançados longe por física de corpos rígidos, ajustada para que o colapso pareça dramático em vez de apenas correto.
Pergunta que responde: Como esta estrutura se parte, e onde caem os pedaços?
Deixa de fora: Os materiais reais falham de modo imprevisível; estes padrões de fratura são planejados de antemão para ficarem bonitos.
Roda em: cerca de 1012 FLOPS aproximado um nó de render farm para uma cena de destruiçãoDesde: 1995 já em 1995, simulação de fratura de corpos rígidos usada em efeitos de cinema
Deformação de músculos e pele
A pele e os tecidos moles de um corpo digital deslizando, abaulando e enrugando sobre um esqueleto e músculos animados por baixo.
Pergunta que responde: O corpo dessa criatura ou personagem se move como se tivesse tecido mole de verdade?
Deixa de fora: A pele deslizando sobre o osso ainda é, em sua maior parte, aproximada, e não um tecido devidamente simulado.
Roda em: cerca de 1012 FLOPS aproximado um nó de render farm para a passagem do corpo de um personagemDesde: 1999 já em 1999, estruturas de deformação baseadas em músculos para personagens animados por computador
Dinâmica de corpos rígidos para animação
Objetos sólidos que colidem, se empilham, rolam e assentam sob gravidade e atrito, usados para animar objetos de cena e movimentos secundários sem marcar à mão cada quique.
Pergunta que responde: Como esta pilha de objetos desaba e se assenta depois de perturbada?
Deixa de fora: Objetos às vezes se interpenetram ou tremem de formas que nenhuma coisa real faria.
Roda em: cerca de 1011 FLOPS aproximado uma estação de trabalho para a simulação dos objetos de uma cenaDesde: 1988 já em 1988, física de corpos rígidos usada em animação por computador
Dinâmica baseada em posição
Objetos como tecido e corpos moles se movem ajustando diretamente as posições dos pontos para cumprir restrições, o que é rápido e estável.
Pergunta que responde: Como simular objetos deformáveis com rapidez suficiente para uso interativo?
Deixa de fora: Não é fisicamente exato e a rigidez depende do número de passos.
Roda em: cerca de 109 FLOPS aproximado Tempo real em uma CPU ou GPUDesde: 2007 Position based dynamics (2007) fonte
Síntese da superfície do oceano
Uma superfície de água gerada a partir de um espectro de ondas, usada para renderizar mar aberto com ondulação e espuma.
Pergunta que responde: Como é um mar com um dado vento e profundidade?
Deixa de fora: Modela a forma da superfície, não o escoamento completo abaixo nem a quebra de ondas grandes.
Roda em: cerca de 1012 FLOPS aproximado uma estação de trabalho, minutos por quadroDesde: 1986 já em 1986, Fournier and Reeves, A simple model of ocean waves fonte
Efeitos de sistemas de partículas
Fogo, faíscas, fumaça e borrifos desenhados como milhares de pontos de vida curta, cada um com seu próprio movimento e aparência.
Pergunta que responde: Como um evento difuso pode ser mostrado como uma nuvem de pontos que se movem de forma independente?
Deixa de fora: Os pontos não empurram uns aos outros, então o comportamento verdadeiro de fluido está ausente.
Roda em: cerca de 1010 FLOPS aproximado um laptop, em tempo realDesde: 1983 já em 1983, Reeves, Particle systems (usado em um efeito de parede de fogo) fonte
Simulação de neve e materiais granulares
Neve, areia e materiais semelhantes simulados como pontos que carregam tensão, de modo que se amontoam, quebram e se aglomeram como o material real.
Pergunta que responde: Como a neve se compacta, se rompe e escoa quando é empurrada?
Deixa de fora: A física do gelo na escala dos grãos é substituída por uma lei média do material.
Roda em: cerca de 1014 FLOPS aproximado uma render farm, horas por cenaDesde: 2013 já em 2013, Stomakhin and others, A material point method for snow simulation fonte
Simulação digital de multidões
Milhares de figuras individuais, cada uma com regras simples de movimento e desvio, enchendo um estádio, campo de batalha ou rua sem ser animadas uma a uma.
Pergunta que responde: Como uma multidão desse tamanho se move, foge ou luta como massa?
Deixa de fora: Cada figura das fileiras de trás tende a se mover de forma um pouco parecida demais.
Roda em: cerca de 1012 FLOPS aproximado uma alocação de render farm para uma cena de multidãoDesde: 1997 já em 1997, sistemas de multidão baseados em agentes usados em cenas de batalha de longas-metragens
Humanos e rostos digitais
Os músculos, a pele e as microexpressões de um rosto, modelados com precisão suficiente para animar uma atuação sintética que parece a de uma pessoa real.
Pergunta que responde: Esse rosto sintético consegue transmitir emoção de forma tão convincente quanto o real em que se baseia?
Deixa de fora: Os olhos e os cantos da boca continuam sendo as regiões mais difíceis de reproduzir de forma convincente.
Roda em: cerca de 1013 FLOPS aproximado uma alocação de render farm para o rosto de um personagem principalDesde: 2001 já em 2001, captura e simulação facial de alta resolução para o cinema
Cidades e paisagens procedurais
Ruas, prédios, terreno e vegetação gerados por regras e aleatoriedade a partir de um pequeno conjunto de parâmetros, em vez de colocados à mão.
Pergunta que responde: Como povoar uma cidade ou um continente inteiro com detalhes que não dá, na prática, para colocar à mão?
Deixa de fora: Cidades geradas tendem a ser estatisticamente plausíveis, mas não têm história específica.
Roda em: cerca de 1012 FLOPS aproximado uma estação de trabalho ou nó de render farm para a construção de um ambienteDesde: 1982 já em 1982, geração fractal de terreno usada em computação gráfica
Cenários de produção virtual
Um ambiente gerado por computador exibido ao vivo em grandes telas atrás dos atores e filmado direto na câmera, com a cena reagindo ao movimento da lente.
Pergunta que responde: O fundo consegue reagir à câmera em tempo real, de modo que não precise ser acrescentado depois?
Deixa de fora: A combinação de iluminação entre o ator real e a tela atrás dele continua imperfeita.
Roda em: cerca de 1013 FLOPS aproximado um cluster de GPUs de jogos controlando ao vivo as telas do palcoDesde: 2019 já em 2019, grandes palcos de produção virtual com volumes de LED em uso amplo
Ecossistemas e vegetação digitais
Florestas, campos e populações animais geradas e animadas juntas, com plantas competindo por luz e animais se movendo pelo resultado.
Pergunta que responde: Como uma paisagem simulada inteira, de plantas e criaturas, parece e se move em conjunto?
Deixa de fora: Os ecossistemas simulados são ajustados para parecerem exuberantes, e não para se equilibrarem como os reais.
Roda em: cerca de 1012 FLOPS aproximado um nó de render farm para a passagem do ecossistema de um ambienteDesde: 2000 já em 2000, ferramentas de vegetação e ecossistemas procedurais para ambientes de cinema
Simulação da atmosfera e do céu
Nuvens, névoa, chuva e cor do céu gerados a partir de modelos físicos de espalhamento de luz e umidade, para o tempo de uma cena e não o real.
Pergunta que responde: Como deveriam ser o céu e o tempo nesta cena, sem filmar no dia certo?
Deixa de fora: Ajustado para como um céu deve parecer, não para a física atmosférica genuína.
Roda em: cerca de 1012 FLOPS aproximado um nó de render farm para a passagem do céu de um ambienteDesde: 1986 já em 1986, modelos de renderização de céu e nuvens baseados na física
Avatares neurais
Uma rede neural treinada com capturas de várias câmeras de uma pessoa renderiza um rosto ou corpo realista e animável.
Pergunta que responde: Uma pessoa virtual pode ser renderizada de forma indistinguível da real?
Deixa de fora: Exige a captura de cada sujeito, e o comportamento não é gerado.
Roda em: cerca de 1013 FLOPS aproximado Treinamento por pessoaDesde: 2018 Deep appearance models for face rendering (2018) fonte
Ídolos e influenciadores virtuais
Uma figura artística fictícia renderizada em computação gráfica e gerenciada como celebridade, que aparece na mídia e em feeds sociais.
Pergunta que responde: Uma plateia se apega a um artista que não tem corpo?
Deixa de fora: A persona é escrita por uma equipe; nenhuma vida interior autônoma é modelada.
Roda em: cerca de 1011 FLOPS aproximado uma estação de trabalho, renderizando quase em tempo realDesde: 1996 já em 1996, Kyoko Date, uma idol 3D em CG lançada pela Horipro fonte
Shows virtuais
Uma apresentação ao vivo encenada em um mundo virtual compartilhado ou em um motor de jogo, com avatares, efeitos de palco e plateia remota.
Pergunta que responde: Um show pode ser compartilhado por uma plateia presente só como avatares?
Deixa de fora: A reação da plateia e a presença de multidão são tênues se comparadas com um local real.
Roda em: cerca de 1012 FLOPS aproximado um data center, em tempo real para milhares de espectadoresDesde: 2006 já em 2006, o Duran Duran se apresentou no Second Life fonte
Rejuvenescimento digital
O rosto de um ator é reconstruído em 3D e redirecionado para uma idade mais jovem ou mais velha, guiado pela própria atuação dele.
Pergunta que responde: Dá para mostrar um rosto em outra idade mantendo a expressão do ator?
Deixa de fora: O resultado é um modelo de aparência; nenhuma biologia do envelhecimento é simulada.
Roda em: cerca de 1013 FLOPS aproximado uma render farm, horas por cenaDesde: 2008 já em 2008, O Curioso Caso de Benjamin Button, com efeitos da Digital Domain fonte
Personagens digitais com captura de desempenho
Um personagem gerado por computador, animado a partir do movimento corporal e facial gravado de um ator e composto sobre imagens reais.
Pergunta que responde: O movimento de um ator consegue conduzir uma criatura que não se parece nada com uma pessoa?
Deixa de fora: O músculo e o pensamento não são modelados, apenas o movimento capturado.
Roda em: cerca de 1011 FLOPS aproximado uma estação de trabalho, horas por cenaDesde: 2002 já em 2002, Gollum em O Senhor dos Anéis: As Duas Torres fonte
Modelagem de plantas com sistemas L
Formas de plantas geradas reescrevendo repetidamente uma cadeia de símbolos até virar uma estrutura ramificada, depois desenhadas como árvores e folhas.
Pergunta que responde: Que regras simples de reescrita produzem uma dada forma ramificada?
Deixa de fora: As regras ajustam formas; a química e a competição por luz que movem o crescimento real estão ausentes.
Roda em: cerca de 108 FLOPS aproximado um laptop, segundosDesde: 1968 já em 1968, Lindenmayer, Mathematical models for cellular interactions in development fonte
Machinima
Filmes feitos dirigindo personagens e câmeras dentro de um motor de jogo em tempo real, em vez de uma câmera física ou um renderizador offline.
Pergunta que responde: O que se pode filmar num mundo que existe só num motor de jogo?
Deixa de fora: O motor decide o que pode ser mostrado; agir se limita ao que seus controles permitem.
Roda em: cerca de 1011 FLOPS aproximado um PC gamer, em tempo realDesde: 1996 já em 1996, Diary of a Camper, um curta feito no motor do Quake fonte
Figuras animatrônicas
Figuras mecânicas e motorizadas de pessoas e animais que executam movimentos e falas roteirizados.
Pergunta que responde: Quão convincentemente uma máquina consegue agir como uma criatura viva?
Deixa de fora: O movimento é reproduzido a partir de uma gravação; não há percepção nem decisão.
Roda em: nenhum computador. um controlador mecânico, sem computaçãoDesde: 1963 já em 1963, o Audio-Animatronics da Disney, as Enchanted Tiki Birds fonte
Controle de personagens baseado em física
Um corpo virtual com articulações e músculos é treinado por aprendizado por reforço em um motor de física para se mover, pular ou lutar, copiando trechos de captura de movimento.
Pergunta que responde: Um personagem consegue se equilibrar e se mover com naturalidade, reagindo a empurrões, sem animação feita à mão?
Deixa de fora: O estilo vem só dos clipes que copia, e movimentos raros e trabalho fino com as mãos são mal tratados.
Roda em: cerca de 1015 FLOPS aproximado dias em uma estação de trabalho com GPU por habilidade.Desde: 2018 O DeepMimic, de Peng e colegas, aprendizado por reforço profundo guiado por exemplos de habilidades de personagens baseadas em física. fonte
Transporte de luz de base física
Raios de luz traçados de trás para a frente a partir da câmera, refletindo em cada superfície e atravessando-a, para calcular uma imagem fisicamente coerente.
Pergunta que responde: Como a luz se comporta nesta cena, a cada reflexo, em vez de ser aproximada?
Deixa de fora: Converge devagar, então o ruído ainda é suprimido por heurísticas em vez de se tomarem mais amostras.
Roda em: cerca de 1014 FLOPS aproximado uma alocação de render farm em muitos nós para um quadroDesde: 1986 O algoritmo de path tracing de Kajiya, de 1986
Propagação do som e acústica
Ondas sonoras traçadas ou modeladas enquanto se refletem, são absorvidas e se difratam numa sala virtual, rua ou campo de batalha, para o áudio de filmes e jogos.
Pergunta que responde: Como este espaço deve soar de fato, dados o seu formato e os materiais que há nele?
Deixa de fora: Ouvidos e salas reais têm idiossincrasias que os modelos acústicos costumam idealizar.
Roda em: cerca de 1011 FLOPS aproximado uma estação de trabalho para a passagem acústica de uma cenaDesde: 1968 já em 1968, a modelagem de acústica de salas baseada em raios
Síntese de instrumentos por modelagem física
Uma corda, palheta, pele de tambor ou tubo modelado como um objeto físico que vibra, calculado diretamente para produzir seu som em vez de gravá-lo ou amostrá-lo.
Pergunta que responde: Como soaria este instrumento, calculado a partir de sua física e não gravado?
Deixa de fora: Capta a física do instrumento, não as décadas de técnica de um músico.
Roda em: cerca de 1010 FLOPS aproximado roda em tempo real em um laptop ou sintetizadorDesde: 1983 já em 1983, modelos de guia de onda digital de cordas vibrantes
Sistemas de arte generativa
Regras, aleatoriedade ou agentes simples rodados adiante para produzir uma imagem, um padrão ou uma composição. As regras sozinhas não especificavam por completo o resultado de antemão.
Pergunta que responde: Que forma este processo toma se simplesmente o deixarmos rodar?
Deixa de fora: O artista escolhe quais execuções aleatórias manter, então a obra “generativa” ainda envolve bastante curadoria.
Roda em: cerca de 109 FLOPS aproximado roda em um laptop em segundos a minutosDesde: 1965 já em 1965, as primeiras artes geradas por computador a partir de regras algorítmicas
Música procedural e generativa
Regras musicais, cadeias de Markov ou agentes simples rodados adiante para gerar uma melodia, uma harmonia ou uma trilha sonora em evolução que reage ao que acontece na tela.
Pergunta que responde: Que música este conjunto de regras produz se continuar gerando sem que um compositor escolha cada nota?
Deixa de fora: Tende a soar competente e raramente surpreende, que é exatamente o que as regras permitem.
Roda em: cerca de 109 FLOPS aproximado roda em um laptop em tempo realDesde: 1957 a Illiac Suite, uma das primeiras composições por computador baseadas em regras
Geração procedural de texturas e materiais
Padrões de superfície como veios de madeira, ferrugem, poros da pele ou camadas de rocha, gerados a partir de ruído e regras físicas simples, em vez de pintados à mão ou fotografados.
Pergunta que responde: Como esta superfície deveria parecer de perto, gerada em vez de fotografada?
Deixa de fora: Texturas baseadas em ruído podem parecer uniformes em uma escala em que uma superfície real nunca pareceria.
Roda em: cerca de 1010 FLOPS aproximado uma estação de trabalho gerando texturas para um recursoDesde: 1985 já em 1985, texturas de ruído procedural no estilo de Perlin em computação gráfica
Efeitos sonoros de base física
Sons de impacto, rolamento e raspagem sintetizados a partir da forma, do material e do contato dos objetos simulados, em vez de tocados a partir de gravações.
Pergunta que responde: Que som faz um objeto deste material ao bater naquela superfície?
Deixa de fora: Os modelos de modos são ajustados de ouvido e omitem a radiação para uma sala real.
Roda em: cerca de 109 FLOPS aproximado um laptop, em tempo realDesde: 2001 já em 2001, van den Doel, Kry and Pai, FoleyAutomatic fonte
Música e imagens com codificação ao vivo
Artistas escrevem e alteram código em execução diante de um público, de modo que o som ou a imagem evolui à medida que o programa é editado.
Pergunta que responde: Como a música muda quando suas regras são reescritas enquanto toca?
Deixa de fora: A simulação é o próprio programa; nada físico é modelado.
Roda em: cerca de 108 FLOPS aproximado um laptop, em tempo realDesde: 2004 já em 2004, o grupo TOPLAP formado para unir comunidades de live coding fonte
Renderização neural de cenas
Uma rede neural ajustada a um conjunto de fotografias guarda a luz e a densidade de uma cena, de modo que novas vistas possam ser renderizadas de qualquer posição de câmera.
Pergunta que responde: Como seria este lugar visto de onde ninguém tirou uma fotografia?
Deixa de fora: Interpola entre fotografias e inventa detalhes onde não foram tiradas, então as vistas muito distantes das originais não são confiáveis.
Roda em: cerca de 1015 FLOPS aproximado horas em uma GPU para uma cena, e um dia para uma cena grande.Desde: 2020 O NeRF, de Mildenhall e colegas, que representa cenas como campos de radiância neurais para síntese de vistas. fonte