Кино, медиа и искусство
Ткань, дым, толпы и свет, порождаемые физическими моделями, а не нарисованные вручную.
До компьютеров кино и анимация приближали физику проволочными подвесками, миниатюрами и рисованными кадрами. Теперь физику даёт сама симуляция: ткань, которая драпируется, движущиеся волосы, толпы без повторов и свет, который идёт так же, как в настоящем мире. Методы инженерии и науки направлены на историю, а не на мост или реактор. Их настраивают на правдоподобие, а не на физическую точность, и часто считают не в реальном времени, а заранее, кадр за кадром. У музыки и изображения общая идея: задать лежащий в основе процесс и дать результату возникнуть самому.
Симуляция ткани
Ткань представлена сеткой точек и пружин, которая драпируется, складывается и рвётся под действием тяжести и движения.
Вопрос, на который отвечает: Как эта одежда двигается на движущемся теле, если аниматору не нужно выставлять каждую складку?
Не учитывает: У настоящей ткани есть память о складках, которую большинство решателей ткани игнорирует.
Работает на: около 1012 FLOPS приблизительно узел рендер-фермы для прохода ткани одной сценыС: 1987 к 1987 году: первые модели ткани «масса — пружина» для компьютерной анимации
Симуляция волос и шерсти
Десятки тысяч отдельных прядей, каждая со своими правилами изгиба и столкновений, приводятся в движение ветром, тяжестью и телом под ними.
Вопрос, на который отвечает: Как правдоподобно двигаются целая шевелюра или шерсть, волосок за волоском?
Не учитывает: Трение между прядями приближённое. Иначе каждая симуляция шла бы дольше, чем позволяет производственный график.
Работает на: около 1012 FLOPS приблизительно узел рендер-фермы для прохода волос одного персонажаС: 1989 к 1989 году: первые исследования анимации волос по прядям
Симуляция жидкости и дыма для эффектов
Огонь, дым, вода, пыль и взрывы считаются как жидкость на сетке или в частицах, стилизованные под то, как они должны выглядеть, а не под научную точность.
Вопрос, на который отвечает: Как этот взрыв, волна или столб дыма движется и выглядит на экране?
Не учитывает: Настроено так, чтобы хорошо смотреться в кадре, а не точно сохранять энергию или массу.
Работает на: около 1013 FLOPS приблизительно выделенные ресурсы рендер-фермы для одной сцены с большим числом эффектовС: 1982 к 1982 году: первые компьютерные эффекты жидкостей и частиц для кино
Симуляция разрушения и обломков
Здания, машины и предметы разламываются на куски и разлетаются под действием физики твёрдых тел, настроенной так, чтобы обрушение выглядело эффектно, а не просто верно.
Вопрос, на который отвечает: Как эта конструкция разрушается и куда падают обломки?
Не учитывает: Настоящие материалы разрушаются непредсказуемо; эти узоры разломов заранее спланированы, чтобы хорошо смотреться.
Работает на: около 1012 FLOPS приблизительно узел рендер-фермы для одной сцены разрушенияС: 1995 к 1995 году: симуляция разрушения твёрдых тел применяется в эффектах для кино
Деформация мышц и кожи
Кожа и мягкие ткани цифрового тела скользят, выпячиваются и морщатся поверх анимированного скелета и мышц под ними.
Вопрос, на который отвечает: Двигается ли тело этого существа или персонажа так, будто у него настоящие мягкие ткани?
Не учитывает: Скольжение кожи по кости по-прежнему в основном приближено, а не симулируется как настоящая ткань.
Работает на: около 1012 FLOPS приблизительно узел рендер-фермы для прохода тела одного персонажаС: 1999 к 1999 году: мышечные системы деформации для персонажей компьютерной анимации
Динамика твёрдого тела для анимации
Твёрдые предметы сталкиваются, ложатся стопкой, катятся и оседают под действием тяжести и трения; так оживляют реквизит и второстепенные движения, не расставляя вручную каждый отскок.
Вопрос, на который отвечает: Как эта груда предметов валится и оседает после толчка?
Не учитывает: Предметы иногда проникают друг в друга или дрожат так, как не бывает с настоящими вещами.
Работает на: около 1011 FLOPS приблизительно рабочая станция для симуляции реквизита одной сценыС: 1988 к 1988 году: физика твёрдых тел используется для компьютерной анимации
Динамика на основе положений
Предметы вроде ткани и мягких тел движутся прямым изменением положения точек, чтобы выполнить ограничения. Это быстро и устойчиво.
Вопрос, на который отвечает: Как симулировать деформируемые объекты достаточно быстро для интерактивной работы?
Не учитывает: Не точна физически, а жёсткость зависит от числа шагов.
Работает на: около 109 FLOPS приблизительно В реальном времени на одном CPU или GPUС: 2007 Position based dynamics (2007) источник
Синтез поверхности океана
Поверхность воды создаётся из спектра волн; так отрисовывают открытое море с зыбью и пеной.
Вопрос, на который отвечает: Как выглядит море при заданных ветре и глубине?
Не учитывает: Она моделирует форму поверхности, а не весь поток под ней и не обрушение больших волн.
Работает на: около 1012 FLOPS приблизительно рабочая станция, минуты на кадрС: 1986 к 1986 году: Fournier and Reeves, A simple model of ocean waves источник
Эффекты на системах частиц
Огонь, искры, дым и брызги рисуются как тысячи недолговечных точек, у каждой своё движение и вид.
Вопрос, на который отвечает: Как показать размытое событие облаком независимо движущихся точек?
Не учитывает: Точки не давят друг на друга, поэтому настоящего поведения жидкости нет.
Работает на: около 1010 FLOPS приблизительно ноутбук, в реальном времениС: 1983 к 1983 году: Reeves, Particle systems (использовано в эффекте стены огня) источник
Моделирование снега и зернистых материалов
Снег, песок и подобные материалы моделируют точками, несущими напряжение, поэтому они, как настоящий материал, образуют кучи, ломаются и слипаются.
Вопрос, на который отвечает: Как снег уплотняется, ломается и течёт под нажимом?
Не учитывает: Физика льда на уровне зёрен заменена усреднённым законом для материала.
Работает на: около 1014 FLOPS приблизительно рендер-ферма, часы на сценуС: 2013 к 2013 году: Stomakhin and others, A material point method for snow simulation источник
Цифровая симуляция толпы
Тысячи отдельных фигур с простыми правилами движения и обхода заполняют стадион, поле боя или улицу, и их не нужно анимировать по одной.
Вопрос, на который отвечает: Как толпа такого размера движется, бежит или дерётся как единая масса?
Не учитывает: Каждая фигура в задних рядах склонна двигаться слишком похоже.
Работает на: около 1012 FLOPS приблизительно выделенные ресурсы рендер-фермы для одной сцены с толпойС: 1997 к 1997 году: агентные системы толпы используются в сценах сражений в полнометражных фильмах
Цифровые люди и лица
Мышцы, кожа и микровыражения лица смоделированы достаточно хорошо, чтобы оживить синтетическую игру, которая выглядит как игра настоящего человека.
Вопрос, на который отвечает: Может ли это синтетическое лицо передавать эмоции так же убедительно, как настоящее, на котором оно основано?
Не учитывает: Глаза и уголки рта остаются самыми трудными областями для убедительного воспроизведения.
Работает на: около 1013 FLOPS приблизительно выделенные ресурсы рендер-фермы для лица одного главного герояС: 2001 к 2001 году: высокоточная съёмка и симуляция лица для кино
Процедурные города и ландшафты
Улицы, здания, рельеф и растительность создают по правилам и случайности из небольшого набора параметров, а не расставляют вручную.
Вопрос, на который отвечает: Как заполнить подробностями целый город или континент, если расставить всё вручную невозможно?
Не учитывает: Сгенерированные города, как правило, статистически правдоподобны, но лишены конкретной истории.
Работает на: около 1012 FLOPS приблизительно рабочая станция или узел рендер-фермы для сборки одной средыС: 1982 к 1982 году: фрактальная генерация рельефа в компьютерной графике
Виртуальные съёмочные площадки
Компьютерная среда, которую в реальном времени показывают на больших экранах за актёрами и снимают на камеру; сцена реагирует на движение объектива.
Вопрос, на который отвечает: Может ли фон реагировать на камеру в реальном времени, чтобы его не приходилось добавлять потом?
Не учитывает: Освещение настоящего актёра и экрана за ним по-прежнему не совпадает полностью.
Работает на: около 1013 FLOPS приблизительно кластер игровых видеокарт, который выводит изображение на экраны сцены в реальном времениС: 2019 к 2019 году: большие виртуальные съёмочные павильоны со светодиодными стенами широко используются
Цифровые экосистемы и растительность
Леса, луга и популяции животных создаются и анимируются вместе: растения соревнуются за свет, а животные движутся по результату.
Вопрос, на который отвечает: Как выглядит и движется целый смоделированный ландшафт из растений и существ?
Не учитывает: Смоделированные экосистемы настроены выглядеть пышно, а не балансироваться так, как настоящие.
Работает на: около 1012 FLOPS приблизительно узел рендер-фермы для прохода экосистемы одной средыС: 2000 к 2000 году: процедурные инструменты растительности и экосистем для сред в кино
Симуляция атмосферы и неба
Облака, туман, дождь и цвет неба создаются по физическим моделям рассеяния света и влаги, для погоды в сцене, а не настоящей.
Вопрос, на который отвечает: Как должны выглядеть небо и погода в этом кадре, если не снимать в нужный день?
Не учитывает: Настроено на то, как должно выглядеть небо, а не на настоящую физику атмосферы.
Работает на: около 1012 FLOPS приблизительно узел рендер-фермы для прохода неба одной средыС: 1986 к 1986 году: физически обоснованные модели отрисовки неба и облаков
Нейронные аватары
Нейронная сеть, обученная на съёмке человека с нескольких камер, отрисовывает живое лицо или тело, которое можно анимировать.
Вопрос, на который отвечает: Можно ли отрисовать виртуального человека так, чтобы он был неотличим от настоящего?
Не учитывает: Нужно снять каждого человека, а поведение не порождается.
Работает на: около 1013 FLOPS приблизительно Обучение на каждого человекаС: 2018 Deep appearance models for face rendering (2018) источник
Виртуальные кумиры и инфлюенсеры
Вымышленный исполнитель, нарисованный компьютерной графикой и управляемый как знаменитость: он появляется в СМИ и социальных лентах.
Вопрос, на который отвечает: Привязывается ли публика к исполнителю, у которого нет тела?
Не учитывает: Персонаж написан командой; автономная внутренняя жизнь не моделируется.
Работает на: около 1011 FLOPS приблизительно рабочая станция, отрисовка почти в реальном времениС: 1996 к 1996 году: Киёко Дате, 3D-идол в компьютерной графике, дебютировавшая в Horipro источник
Виртуальные концерты
Живое выступление в общем виртуальном мире или на игровом движке, с аватарами, сценическими эффектами и удалённой публикой.
Вопрос, на который отвечает: Можно ли разделить концерт с публикой, которая присутствует только как аватары?
Не учитывает: Реакция публики и ощущение толпы слабее, чем на настоящей площадке.
Работает на: около 1012 FLOPS приблизительно дата-центр, реальное время для тысяч зрителейС: 2006 к 2006 году: Duran Duran выступили в Second Life источник
Цифровое омоложение
Лицо исполнителя восстанавливают в 3D и переносят на более молодой или более старший возраст; движет им собственная игра актёра.
Вопрос, на который отвечает: Можно ли показать лицо в другом возрасте, сохранив выражение актёра?
Не учитывает: Результат — модель внешности; биология старения не моделируется.
Работает на: около 1013 FLOPS приблизительно рендер-ферма, часы на сценуС: 2008 к 2008 году: «Загадочная история Бенджамина Баттона» с эффектами Digital Domain источник
Цифровые персонажи с захватом игры актёра
Компьютерный персонаж, которого оживляют записанные движения тела и лица актёра, а затем вставляют в живую съёмку.
Вопрос, на который отвечает: Может ли движение актёра управлять существом, совсем не похожим на человека?
Не учитывает: Мышцы и мысль не моделируются, только записанное движение.
Работает на: около 1011 FLOPS приблизительно рабочая станция, часы на сценуС: 2002 к 2002 году: Голлум во «Властелине колец: Две крепости» источник
Моделирование растений L-системами
Формы растений выращивают, многократно переписывая строку символов в ветвящуюся структуру, а затем рисуют как деревья и листья.
Вопрос, на который отвечает: Какие простые правила переписывания дают заданную ветвящуюся форму?
Не учитывает: Правила подбирают формы; химии и борьбы за свет, которые движут настоящим ростом, нет.
Работает на: около 108 FLOPS приблизительно ноутбук, секундыС: 1968 к 1968 году: Lindenmayer, Mathematical models for cellular interactions in development источник
Машинима
Фильмы, снятые режиссурой персонажей и камер внутри игрового движка реального времени вместо физической камеры или офлайн-отрисовщика.
Вопрос, на который отвечает: Что можно снять в мире, который существует только в игровом движке?
Не учитывает: Движок решает, что можно показать; действия ограничены тем, что позволяют его средства управления.
Работает на: около 1011 FLOPS приблизительно игровой ПК, в реальном времениС: 1996 к 1996 году: Diary of a Camper, короткий фильм на движке Quake источник
Аниматронные фигуры
Механические фигуры людей и животных с приводом от мотора, которые выполняют заданные движения и речь.
Вопрос, на который отвечает: Насколько убедительно машина может изображать живое существо?
Не учитывает: Движение воспроизводится из записи, без восприятия и решений.
Работает на: без компьютера. механический контроллер, никаких вычисленийС: 1963 к 1963 году: Audio-Animatronics Диснея, Enchanted Tiki Birds источник
Управление персонажами на основе физики
Виртуальное тело с суставами и мышцами учат двигаться, прыгать или драться обучением с подкреплением в физическом движке, копируя клипы захвата движения.
Вопрос, на который отвечает: Может ли персонаж держать равновесие и двигаться естественно, реагируя на толчки, без анимации, сделанной вручную?
Не учитывает: Стиль берётся только из клипов, которые он копирует, а редкие движения и тонкая работа рук удаются плохо.
Работает на: около 1015 FLOPS приблизительно дни на рабочей станции с видеокартой на каждый навык.С: 2018 DeepMimic Peng и коллег: глубокое обучение с подкреплением по образцам для физических навыков персонажей. источник
Физически обоснованный перенос света
Лучи света прослеживают от камеры назад, через отражения от каждой поверхности и сквозь неё, чтобы вычислить физически согласованное изображение.
Вопрос, на который отвечает: Как ведёт себя свет в этой сцене, отскок за отскоком, а не в приближении?
Не учитывает: Сходится медленно, поэтому шум по-прежнему подавляют эвристиками, а не увеличением числа выборок.
Работает на: около 1014 FLOPS приблизительно выделенные ресурсы рендер-фермы на многих узлах для одного кадраС: 1986 Алгоритм трассировки путей Каджии, 1986 год
Распространение звука и акустика
Звуковые волны прослеживают или моделируют, пока они отражаются, поглощаются и дифрагируют в виртуальной комнате, на городской улице или поле боя, для звука в кино и играх.
Вопрос, на который отвечает: Как на самом деле должно звучать это пространство, учитывая его форму и материалы?
Не учитывает: У настоящих ушей и комнат есть особенности, которые акустические модели обычно идеализируют.
Работает на: около 1011 FLOPS приблизительно рабочая станция для акустического прохода одной сценыС: 1968 к 1968 году: лучевое моделирование акустики помещений
Синтез звука инструментов по физической модели
Струна, язычок, мембрана барабана или труба моделируются как колеблющийся физический объект, и звук вычисляется напрямую, а не записывается или сэмплируется.
Вопрос, на который отвечает: Как звучал бы этот инструмент, если вычислить звук из его физики, а не записывать?
Не учитывает: Передаёт физику инструмента, но не десятилетия техники исполнителя.
Работает на: около 1010 FLOPS приблизительно работает в реальном времени на ноутбуке или синтезатореС: 1983 к 1983 году: цифровые волноводные модели колеблющихся струн
Генеративные художественные системы
Правила, случайность или простые агенты запускаются вперёд, чтобы создать изображение, узор или композицию. Одни правила заранее не определяли результат полностью.
Вопрос, на который отвечает: Какую форму принимает этот процесс, если просто дать ему идти?
Не учитывает: Художник выбирает, какие случайные прогоны оставить, поэтому «генеративная» работа всё равно требует большого отбора.
Работает на: около 109 FLOPS приблизительно работает на ноутбуке за секунды или минутыС: 1965 к 1965 году: первое компьютерное искусство по алгоритмическим правилам
Процедурная и генеративная музыка
Правила музыки, цепи Маркова или простые агенты запускаются вперёд, чтобы породить мелодию, гармонию или развивающийся саундтрек, который реагирует на происходящее на экране.
Вопрос, на который отвечает: Какую музыку создаёт этот набор правил, если он продолжает порождать звуки без композитора, выбирающего каждую ноту?
Не учитывает: Склонен звучать умело и редко удивлять, а именно это и допускают правила.
Работает на: около 109 FLOPS приблизительно работает на ноутбуке в реальном времениС: 1957 Сюита «Иллиак», одна из ранних компьютерных композиций по правилам
Процедурная генерация текстур и материалов
Узоры поверхностей, такие как древесные волокна, ржавчина, поры кожи или слои породы, создают из шума и простых физических правил, а не рисуют вручную и не фотографируют.
Вопрос, на который отвечает: Как должна выглядеть эта поверхность вблизи, если её создать, а не сфотографировать?
Не учитывает: Текстуры на основе шума могут выглядеть однородными в масштабе, в котором настоящая поверхность такой не была бы.
Работает на: около 1010 FLOPS приблизительно рабочая станция, создающая текстуры для одного объектаС: 1985 к 1985 году: процедурные текстуры шума в духе Перлина в компьютерной графике
Физически обоснованные звуковые эффекты
Звуки ударов, качения и трения синтезируются по форме, материалу и контакту смоделированных предметов, а не воспроизводятся из записей.
Вопрос, на который отвечает: Какой звук издаёт предмет из этого материала, ударяясь об эту поверхность?
Не учитывает: Модели мод настраивают на слух, и они не учитывают излучение в настоящую комнату.
Работает на: около 109 FLOPS приблизительно ноутбук, в реальном времениС: 2001 к 2001 году: van den Doel, Kry and Pai, FoleyAutomatic источник
Живое программирование музыки и визуала
Исполнители пишут и меняют работающий код перед публикой, поэтому звук или изображение развиваются по мере правки программы.
Вопрос, на который отвечает: Как меняется музыка, если её правила переписываются во время игры?
Не учитывает: Симуляция — сама программа; ничего физического не моделируется.
Работает на: около 108 FLOPS приблизительно ноутбук, в реальном времениС: 2004 к 2004 году: группа TOPLAP создана, чтобы объединить сообщества лайв-кодинга источник
Нейронный рендеринг сцен
Нейронная сеть, подогнанная под набор фотографий, хранит свет и плотность сцены, так что новые ракурсы можно отрисовать из любой позиции камеры.
Вопрос, на который отвечает: Как выглядело бы это место с точки, откуда никто не снимал?
Не учитывает: Она интерполирует между фотографиями и выдумывает детали там, где снимков не было, поэтому виды, далёкие от оригиналов, ненадёжны.
Работает на: около 1015 FLOPS приблизительно часов на GPU для сцены, а для большой сцены сутки.С: 2020 NeRF Mildenhall и коллег: представление сцен нейронными полями излучения для синтеза видов. источник