영화, 미디어, 예술
손으로 애니메이션을 만드는 대신 물리 모델로 만들어 내는 천, 연기, 군중, 빛.
컴퓨터 이전에는 영화와 애니메이션이 와이어 장치, 미니어처, 손으로 그린 프레임으로 물리를 흉내 냈어요. 이제는 시뮬레이션이 물리를 직접 제공해요. 늘어지는 천, 움직이는 머리카락, 되풀이되지 않는 군중, 현실 세계처럼 나아가는 빛이 그것이에요. 공학과 과학의 방법이 다리나 원자로 대신 이야기를 겨냥해요. 물리적으로 정확하기보다 그럴듯해 보이도록 맞추고, 실시간이 아니라 프레임 단위로 오프라인에서 돌릴 때가 많아요. 음악과 영상은 하나의 생각을 공유해요. 바탕이 되는 과정을 세워 놓고 결과가 저절로 나타나게 하는 거예요.
천 시뮬레이션
천을 점과 용수철의 메시로 나타내, 중력과 움직임에 따라 늘어지고, 접히고, 찢어져요.
답하는 질문: 움직이는 몸에 걸쳐진 이 옷은 애니메이터가 주름마다 일일이 자세를 잡지 않아도 어떻게 움직일까요?
빠진 것: 실제 천에는 접힌 자국의 기억이 있는데, 대부분의 천 풀이기는 이를 무시해요.
돌아가는 곳: 약 1012 FLOPS 대략 샷 하나의 천 패스를 위한 렌더 팜 노드처음 등장: 1987 1987년까지, 컴퓨터 애니메이션을 위한 초기 질량-용수철 천 모델
머리카락과 털 시뮬레이션
수만 가닥이 저마다 구부러짐과 충돌 규칙을 따르며, 바람, 중력, 그 아래 몸에 따라 움직여요.
답하는 질문: 풍성한 머리카락이나 털가죽은 가닥 하나하나가 어떻게 그럴듯하게 움직일까요?
빠진 것: 가닥 사이의 마찰은 근사해요. 그러지 않으면 시뮬레이션 하나가 제작 일정이 허락하는 시간보다 오래 걸려요.
돌아가는 곳: 약 1012 FLOPS 대략 캐릭터 하나의 머리카락 패스를 위한 렌더 팜 노드처음 등장: 1989 1989년까지, 초기 가닥 기반 머리카락 애니메이션 연구
효과를 위한 유체와 연기 시뮬레이션
불, 연기, 물, 먼지, 폭발을 격자나 입자로 유체처럼 계산하되, 과학적 정확성보다 보이는 모습에 맞춰 꾸며요.
답하는 질문: 이 폭발과 파동, 연기 기둥은 화면에서 어떻게 움직이고 보일까요?
빠진 것: 에너지나 질량을 정확히 보존하는 것이 아니라, 화면에서 보기 좋게 연출돼요.
돌아가는 곳: 약 1013 FLOPS 대략 효과가 많은 샷 하나를 위한 렌더 팜 할당처음 등장: 1982 1982년까지, 영화를 위한 초기 컴퓨터 생성 유체 및 입자 효과
파괴와 잔해 시뮬레이션
건물, 탈것, 물체가 조각나 강체 물리로 흩어지는데, 붕괴가 단지 정확해 보이는 것이 아니라 극적으로 보이도록 맞춰요.
답하는 질문: 이 구조물은 어떻게 부서지고, 조각은 어디에 떨어질까요?
빠진 것: 실제 재료는 예측할 수 없이 부서지는데, 이 파괴 무늬는 보기 좋게 미리 계획된 거예요.
돌아가는 곳: 약 1012 FLOPS 대략 파괴 샷 하나를 위한 렌더 팜 노드처음 등장: 1995 1995년까지, 영화 효과에 쓰인 강체 파괴 시뮬레이션
근육과 피부의 변형
디지털 몸의 피부와 연조직이 그 밑의 애니메이션 골격과 근육 위에서 미끄러지고, 부풀고, 주름져요.
답하는 질문: 이 생물이나 캐릭터의 몸이 실제 연조직이 있는 것처럼 움직일까요?
빠진 것: 뼈 위를 미끄러지는 피부는 여전히 대부분 근사된 것이고, 제대로 시뮬레이션된 조직이 아니에요.
돌아가는 곳: 약 1012 FLOPS 대략 캐릭터 하나의 몸 패스를 위한 렌더 팜 노드처음 등장: 1999 1999년까지, 컴퓨터 애니메이션 캐릭터를 위한 근육 기반 변형 리그
애니메이션용 강체 동역학
단단한 물체들이 중력과 마찰 속에서 부딪치고, 쌓이고, 구르고, 자리를 잡아요. 튕김마다 키프레임을 손으로 일일이 잡지 않고도 소품과 부차적인 움직임을 애니메이션하는 데 써요.
답하는 질문: 이 물건 더미는 건드리면 어떻게 무너지고 가라앉을까요?
빠진 것: 물체가 가끔 서로 파고들거나, 실제의 어떤 물체도 하지 않을 방식으로 떨려요.
돌아가는 곳: 약 1011 FLOPS 대략 샷 하나의 소품 시뮬레이션을 위한 워크스테이션처음 등장: 1988 1988년까지, 컴퓨터 애니메이션에 쓰인 강체 물리
위치 기반 동역학
천이나 말랑한 몸 같은 물체는 제약을 맞추려고 점의 위치를 직접 조정해서 움직이는데, 빠르고 안정적이에요.
답하는 질문: 변형되는 물체를 상호작용에 쓸 만큼 빠르게 시뮬레이션하려면 어떻게 해야 할까요?
빠진 것: 물리적으로 정확하지 않고, 강성은 단계 수에 달려 있어요.
돌아가는 곳: 약 109 FLOPS 대략 CPU나 GPU 한 대에서 실시간처음 등장: 2007 Position based dynamics (2007) 출처
해수면 합성
파동 스펙트럼에서 생성한 수면으로, 너울과 거품이 있는 열린 바다를 렌더링하는 데 써요.
답하는 질문: 주어진 바람과 수심의 바다는 어떤 모습일까?
빠진 것: 표면의 모양만 모델링하고, 그 아래의 전체 흐름이나 큰 파도의 부서짐은 다루지 않아요.
돌아가는 곳: 약 1012 FLOPS 대략 워크스테이션, 프레임당 몇 분처음 등장: 1986 1986년까지, Fournier와 Reeves, A simple model of ocean waves 출처
입자 시스템 효과
불, 불꽃, 연기, 물보라를 수명이 짧은 수천 개의 점으로 그리며, 각 점마다 자기 움직임과 모습이 있어요.
답하는 질문: 흐릿한 사건을 제각기 움직이는 점들의 구름으로 어떻게 보여 줄 수 있을까요?
빠진 것: 점들은 서로를 밀지 않아서, 진짜 유체의 거동은 없어요.
돌아가는 곳: 약 1010 FLOPS 대략 노트북, 실시간처음 등장: 1983 1983년까지, Reeves, Particle systems (불의 벽 효과에 쓰임) 출처
눈과 입상 물질 시뮬레이션
눈, 모래 같은 물질을 응력을 지닌 점들로 시뮬레이션해서, 실제 물질처럼 쌓이고, 부서지고, 뭉치게 해요.
답하는 질문: 눈은 밀리면 어떻게 다져지고, 갈라지고, 흐를까요?
빠진 것: 결정립 규모의 얼음 물리를 평균화한 재료 법칙으로 대체해요.
돌아가는 곳: 약 1014 FLOPS 대략 렌더 팜, 샷당 몇 시간처음 등장: 2013 2013년까지, Stomakhin 외, A material point method for snow simulation 출처
디지털 군중 시뮬레이션
수천 명의 개별 인물이 저마다 단순한 움직임과 회피 규칙을 따라, 하나하나 애니메이션하지 않고도 경기장, 전장, 거리를 가득 채워요.
답하는 질문: 이만한 규모의 군중은 하나의 덩어리로서 어떻게 움직이고, 달아나고, 싸울까요?
빠진 것: 뒷줄의 모든 인물이 조금씩 지나치게 비슷하게 움직이는 경향이 있어요.
돌아가는 곳: 약 1012 FLOPS 대략 군중 샷 하나를 위한 렌더 팜 할당처음 등장: 1997 1997년까지, 장편 영화 전투 장면에 쓰인 에이전트 기반 군중 시스템
디지털 인간과 얼굴
얼굴의 근육, 피부, 미세 표정을 실제 사람의 연기처럼 보이는 합성 연기를 만들 만큼 잘 모델링해요.
답하는 질문: 이 합성 얼굴이 원본이 된 실제 얼굴만큼 설득력 있게 감정을 전할 수 있을까요?
빠진 것: 눈과 입꼬리는 여전히 그럴듯하게 재현하기 가장 어려운 부위예요.
돌아가는 곳: 약 1013 FLOPS 대략 주인공 캐릭터의 얼굴 하나를 위한 렌더 팜 할당처음 등장: 2001 2001년까지, 영화를 위한 고해상도 얼굴 캡처와 시뮬레이션
절차적 도시와 풍경
거리, 건물, 지형, 식생을 손으로 배치하지 않고, 적은 수의 매개변수에서 규칙과 무작위로 생성해요.
답하는 질문: 손으로 일일이 배치하기 어려운 세밀함으로 도시 전체나 대륙 하나를 어떻게 채울 수 있을까요?
빠진 것: 생성된 도시는 통계적으로는 그럴듯하지만 구체적인 역사가 없는 경향이 있어요.
돌아가는 곳: 약 1012 FLOPS 대략 환경 하나를 구축하는 워크스테이션 또는 렌더 팜 노드처음 등장: 1982 1982년까지, 컴퓨터 그래픽에 쓰인 프랙털 지형 생성
가상 제작 세트
컴퓨터로 만든 환경을 배우들 뒤의 대형 화면에 실시간으로 띄우고 카메라로 찍어요. 렌즈가 움직이는 대로 장면도 반응해요.
답하는 질문: 배경이 카메라에 실시간으로 반응해 나중에 덧붙일 필요가 없게 할 수 있을까요?
빠진 것: 실제 배우와 뒤의 화면 사이의 조명 맞추기는 아직 완벽하지 않아요.
돌아가는 곳: 약 1013 FLOPS 대략 무대 화면을 실시간으로 구동하는 게이밍 GPU 클러스터처음 등장: 2019 2019년까지, 대형 LED 볼륨 가상 제작 스튜디오의 널리 쓰임
디지털 생태계와 식생
숲, 초원, 동물 개체군을 함께 생성하고 움직이며, 식물은 빛을 두고 겨루고 동물은 그 결과 속을 움직여요.
답하는 질문: 식물과 생물이 있는 시뮬레이션된 풍경 전체는 어떻게 함께 보이고 움직일까요?
빠진 것: 시뮬레이션된 생태계는 실제처럼 균형을 이루는 것이 아니라 무성해 보이도록 맞춰져 있어요.
돌아가는 곳: 약 1012 FLOPS 대략 환경 하나의 생태계 패스를 위한 렌더 팜 노드처음 등장: 2000 2000년까지, 영화 환경을 위한 절차적 식생 및 생태계 도구
대기와 하늘 시뮬레이션
빛 산란과 수분의 물리 모델로 구름, 안개, 비, 하늘 색을 생성해, 실제가 아니라 장면의 날씨를 만들어요.
답하는 질문: 알맞은 날에 찍지 않고도, 이 장면의 하늘과 날씨는 어떻게 보여야 할까?
빠진 것: 하늘이 어떻게 보여야 하는지에 맞춰 다듬은 것이고, 실제 대기 물리에 맞춘 것이 아니에요.
돌아가는 곳: 약 1012 FLOPS 대략 환경 하나의 하늘 패스를 위한 렌더 팜 노드처음 등장: 1986 1986년까지, 물리 기반 하늘과 구름 렌더링 모델
신경 아바타
사람을 여러 대의 카메라로 찍은 데이터로 훈련한 신경망이 실물 같고 움직일 수 있는 얼굴이나 몸을 렌더링해요.
답하는 질문: 가상 인물을 실제 사람과 구별되지 않게 렌더링할 수 있을까요?
빠진 것: 대상 하나하나를 촬영해야 하고, 행동은 생성되지 않아요.
돌아가는 곳: 약 1013 FLOPS 대략 사람별 훈련처음 등장: 2018 Deep appearance models for face rendering (2018) 출처
가상 아이돌과 인플루언서
컴퓨터 그래픽으로 만든 가상의 연기자를 유명인처럼 관리해 미디어와 소셜 피드에 등장시켜요.
답하는 질문: 관객은 몸이 없는 공연자에게 애착을 느낄까요?
빠진 것: 페르소나는 팀이 써 준 것이고, 스스로 움직이는 내면의 삶은 모델링하지 않아요.
돌아가는 곳: 약 1011 FLOPS 대략 워크스테이션, 거의 실시간 렌더링처음 등장: 1996 1996년까지, Horipro가 데뷔시킨 3D CG 아이돌 다테 교코 출처
가상 콘서트
공유 가상 세계나 게임 엔진에서 아바타, 무대 효과, 원격 관객과 함께 여는 라이브 공연.
답하는 질문: 아바타로만 참석한 관객이 공연을 함께 누릴 수 있을까요?
빠진 것: 관객 반응과 군중의 존재감은 실제 공연장에 비해 빈약해요.
돌아가는 곳: 약 1012 FLOPS 대략 데이터 센터, 시청자 수천 명에 실시간처음 등장: 2006 2006년까지, Second Life에서 공연한 Duran Duran 출처
디지털 젊어 보이기
배우의 얼굴을 3D로 다시 만들고 더 젊거나 늙은 나이로 옮기며, 배우 자신의 연기로 구동해요.
답하는 질문: 배우의 표정을 유지한 채 얼굴을 다른 나이로 보여 줄 수 있을까요?
빠진 것: 결과는 겉모습 모델이고, 노화의 생물학은 시뮬레이션하지 않아요.
돌아가는 곳: 약 1013 FLOPS 대략 렌더 팜, 샷당 몇 시간처음 등장: 2008 2008년까지, Digital Domain의 효과를 쓴 The Curious Case of Benjamin Button 출처
퍼포먼스 캡처 디지털 캐릭터
배우의 몸짓과 표정을 녹화해 움직인 컴퓨터 그래픽 캐릭터를 실사 영상에 합성해요.
답하는 질문: 배우의 움직임이 사람과 전혀 닮지 않은 생물을 움직일 수 있을까요?
빠진 것: 근육과 생각은 모델링하지 않고, 포착한 움직임만 다뤄요.
돌아가는 곳: 약 1011 FLOPS 대략 워크스테이션, 샷당 몇 시간처음 등장: 2002 2002년까지, The Lord of the Rings: The Two Towers의 골룸 출처
L-시스템 식물 모델링
기호열을 가지 뻗은 구조로 거듭 다시 쓰는 방식으로 자라난 식물의 모양을 나무와 잎으로 그려요.
답하는 질문: 어떤 단순한 다시쓰기 규칙이 주어진 가지치기 모양을 만들어 낼까?
빠진 것: 규칙은 모양에 맞춘 것이고, 실제 성장을 이끄는 화학과 빛 경쟁은 빠져 있어요.
돌아가는 곳: 약 108 FLOPS 대략 노트북, 몇 초처음 등장: 1968 1968년까지, Lindenmayer, Mathematical models for cellular interactions in development 출처
머시니마
물리 카메라나 오프라인 렌더러 대신 실시간 게임 엔진 안에서 캐릭터와 카메라를 연출해 찍는 영화.
답하는 질문: 게임 엔진 속에만 있는 세계에서는 무엇을 촬영할 수 있을까?
빠진 것: 무엇을 보여 줄 수 있는지는 엔진이 정하고, 할 수 있는 행동은 조작 방법이 허용하는 것으로 제한돼요.
돌아가는 곳: 약 1011 FLOPS 대략 게이밍 PC, 실시간처음 등장: 1996 1996년까지, Quake 엔진으로 만든 단편 Diary of a Camper 출처
애니매트로닉스 인형
대본에 따른 움직임과 말을 하는 사람과 동물의 모터 구동 기계 인형
답하는 질문: 기계는 살아 있는 생물처럼 얼마나 그럴듯하게 행동할 수 있을까요?
빠진 것: 움직임은 녹화한 것을 그대로 틀어 줄 뿐이에요. 감지도 결정도 없어요.
돌아가는 곳: 컴퓨터 없음. 기계식 제어기, 연산 없음처음 등장: 1963 1963년까지, 디즈니의 오디오 애니매트로닉스, Enchanted Tiki Birds 출처
물리 기반 캐릭터 제어
관절과 근육이 있는 가상 몸이 물리 엔진에서 강화 학습으로, 모션 캡처 클립을 따라 하며 움직이고, 뛰고, 싸우는 법을 익혀요.
답하는 질문: 캐릭터가 손으로 만든 애니메이션 없이 밀침에 반응하며 균형을 잡고 자연스럽게 움직일 수 있을까요?
빠진 것: 스타일은 따라 하는 클립에서만 나오고, 드문 동작과 섬세한 손 연기는 잘 다루지 못해요.
돌아가는 곳: 약 1015 FLOPS 대략 기술 하나당 GPU 워크스테이션으로 며칠.처음 등장: 2018 Peng과 동료들의 DeepMimic, 물리 기반 캐릭터 기술을 예시로 이끄는 심층 강화 학습 출처
물리 기반 빛 수송
카메라에서 거꾸로 추적한 광선이 모든 표면에 반사되고 투과하면서, 물리적으로 일관된 이미지를 계산해요.
답하는 질문: 빛은 이 장면에서 근사하지 않고 반사 하나하나마다 어떻게 행동할까요?
빠진 것: 천천히 수렴해서, 표본을 더 뽑는 대신 여전히 휴리스틱으로 잡음을 억제해요.
돌아가는 곳: 약 1014 FLOPS 대략 한 프레임을 위해 여러 노드에 걸친 렌더 팜 할당처음 등장: 1986 카지야의 1986년 경로 추적 알고리즘
소리 전파와 음향학
가상의 방, 도시 거리, 전장에서 음파가 반사되고, 흡수되고, 회절하는 모습을 추적하거나 모델링해서 영화와 게임의 소리에 써요.
답하는 질문: 이 공간은 형태와 안의 재료를 생각할 때 실제로 어떻게 들려야 할까요?
빠진 것: 실제 귀와 방에는 음향 모델이 으레 이상화하는 특이성이 있어요.
돌아가는 곳: 약 1011 FLOPS 대략 장면 하나의 음향 패스를 위한 워크스테이션처음 등장: 1968 1968년까지, 광선 기반 실내 음향 모델링
악기의 물리 모델링 합성
현, 갈대, 북 가죽, 관을 진동하는 물리적 대상으로 모델링해, 녹음이나 샘플링 대신 직접 계산해서 소리를 만들어요.
답하는 질문: 녹음하지 않고 물리에서 계산해 낸다면 이 악기는 어떤 소리가 날까?
빠진 것: 악기의 물리는 담지만 연주자의 수십 년 기량은 담지 못해요.
돌아가는 곳: 약 1010 FLOPS 대략 노트북이나 신시사이저에서 실시간으로 돌아가요처음 등장: 1983 1983년까지, 진동하는 현의 디지털 도파관 모델
생성 예술 시스템
규칙, 무작위성, 단순한 에이전트를 앞으로 돌려서 이미지, 패턴, 작품을 만들어요. 결과는 규칙만으로 미리 완전히 정해져 있지 않아요.
답하는 질문: 이 과정을 그냥 돌아가게 두면 어떤 모양이 될까?
빠진 것: 어떤 무작위 실행을 남길지는 작가가 고르기 때문에, '생성형' 작업에도 상당한 큐레이션이 들어가요.
돌아가는 곳: 약 109 FLOPS 대략 노트북에서 몇 초에서 몇 분이면 돌아가요처음 등장: 1965 1965년까지, 알고리즘 규칙으로 만든 초기 컴퓨터 생성 예술
절차적 및 생성형 음악
음악 규칙, 마르코프 연쇄, 단순한 에이전트를 앞으로 돌려서 멜로디와 화성, 혹은 화면에서 벌어지는 일에 반응하며 변해 가는 사운드트랙을 만들어 내요.
답하는 질문: 작곡가가 음 하나하나를 고르지 않고 계속 생성하게 두면, 이 규칙들은 어떤 음악을 만들어 낼까?
빠진 것: 능숙하게 들리지만 좀처럼 놀랍지 않은 경향이 있어요. 규칙이 허용하는 게 딱 그것이거든요.
돌아가는 곳: 약 109 FLOPS 대략 노트북에서 실시간으로 돌아가요처음 등장: 1957 일리악 모음곡, 초창기 규칙 기반 컴퓨터 작곡
절차적 질감과 재질 생성
나뭇결, 녹, 피부 모공, 암석 지층 같은 표면 무늬를 손으로 그리거나 사진으로 찍지 않고, 노이즈와 단순한 물리 규칙으로 만들어 내요.
답하는 질문: 사진을 찍지 않고 생성한다면, 이 표면은 가까이서 어떻게 보여야 할까?
빠진 것: 잡음 기반 질감은 실제 표면이라면 절대 그렇지 않을 규모에서 균일해 보일 수 있어요.
돌아가는 곳: 약 1010 FLOPS 대략 에셋 하나의 텍스처를 생성하는 워크스테이션처음 등장: 1985 1985년까지, 컴퓨터 그래픽의 펄린 방식 절차적 노이즈 텍스처
물리 기반 음향 효과
부딪히고, 구르고, 긁히는 소리를 녹음을 틀지 않고 시뮬레이션된 물체의 모양, 재질, 접촉에서 합성해요.
답하는 질문: 이 재질의 물체가 저 표면에 부딪히면 어떤 소리가 날까?
빠진 것: 모드 모델은 귀로 조정한 것이고, 실제 방으로의 복사는 빠져 있어요.
돌아가는 곳: 약 109 FLOPS 대략 노트북, 실시간처음 등장: 2001 2001년까지, van den Doel, Kry, Pai, FoleyAutomatic 출처
라이브 코딩 음악과 영상
연주자가 관객 앞에서 실행 중인 코드를 쓰고 바꾸기 때문에, 프로그램을 고치는 동안 소리나 영상이 변해 가요.
답하는 질문: 연주하는 도중에 규칙이 다시 쓰이면 음악은 어떻게 달라질까요?
빠진 것: 시뮬레이션은 프로그램 그 자체이고, 물리적인 것은 아무것도 모델링하지 않아요.
돌아가는 곳: 약 108 FLOPS 대략 노트북, 실시간처음 등장: 2004 2004년까지, 라이브 코딩 커뮤니티를 하나로 모으려고 결성된 TOPLAP 그룹 출처
신경 장면 렌더링
사진 묶음에 맞춘 신경망이 장면의 빛과 밀도를 저장해, 어떤 카메라 위치에서든 새 시점을 렌더링할 수 있어요.
답하는 질문: 아무도 사진을 찍지 않은 자리에서 보면 이곳은 어떻게 보일까?
빠진 것: 사진 사이를 보간하고 찍지 않은 곳은 세부를 지어내서, 원래 사진에서 멀리 떨어진 시점은 믿을 수 없어요.
돌아가는 곳: 약 1015 FLOPS 대략 장면 하나에 GPU로 몇 시간, 큰 장면은 하루.처음 등장: 2020 Mildenhall과 동료들의 NeRF, 시점 합성을 위해 장면을 신경 방사 필드로 나타내는 방법 출처