映画、メディア、アート
布、煙、群衆、光を、手でアニメーションにするのではなく、物理モデルから生成します。
コンピューターができる前、映画やアニメーションは、ワイヤーリグ、ミニチュア、手描きのコマで物理を近似していました。今ではシミュレーションが物理を直接供給します。垂れる布、動く髪、繰り返さない群衆、現実と同じように進む光。工学や科学の方法を、橋や原子炉ではなく物語に向けているのです。調整されているのは物理的な厳密さではなく、もっともらしく見えることで、多くはリアルタイムではなくオフラインで、フレームごとに動かします。音楽と映像は、ひとつの考え方を共有しています。土台となる過程を設定し、結果が現れるのに任せるのです。
布のシミュレーション
布を点とばねのメッシュとして表し、重力と動きのもとで、垂れ、折れ、破れます。
答える問い: アニメーターがひだを一つずつポーズさせなくても、この衣服は動く体の上でどう動くでしょうか。
含まれないもの： 実際の布には折り目の記憶がありますが、ほとんどの布ソルバーはそれを無視します。
動かすのに必要： 約1012 FLOPS 概算 レンダーファームのノード、1カットの布のパスにつき最初の年： 1987 1987年までに、コンピューター・アニメーションのための初期の質点ばねの布モデル
髪と毛皮のシミュレーション
何万本もの毛束が、それぞれ固有の曲がりと衝突の規則に従い、風、重力、下にある体に動かされます。
答える問い: 豊かな髪や毛皮を、一本一本、自然に見えるように動かすにはどうすればよいでしょうか。
含まれないもの： 繊維どうしの摩擦は近似されています。そうしないと、1回のシミュレーションが制作スケジュールの許す時間より長くかかってしまいます。
動かすのに必要： 約1012 FLOPS 概算 レンダーファームのノード、キャラクター1体の髪のパスにつき最初の年： 1989 1989年までに、初期の毛束ベースの髪のアニメーションの研究
エフェクトのための流体と煙のシミュレーション
火、煙、水、粉塵、爆発を、格子上または粒子として流体のように計算し、科学的な正確さではなく、どう見えるべきかに合わせて調整します。
答える問い: この爆発、波、煙の柱は、画面の上でどう動き、どう見えるでしょうか。
含まれないもの： エネルギーや質量を厳密に保つのではなく、画面で見栄えがするように演出されています。
動かすのに必要： 約1013 FLOPS 概算 レンダーファーム割り当て、エフェクトの多いシーン1カットにつき最初の年： 1982 1982年までに、映画のための初期のコンピューター生成の流体と粒子の効果
破壊と瓦礫のシミュレーション
建物、乗り物、物体が剛体物理で破片に砕けて飛び散ります。崩壊は、ただ正しいだけではなく、劇的に見えるよう調整されています。
答える問い: この構造物はどのように壊れ、破片はどこに落ちるでしょうか。
含まれないもの： 実際の材料は予測できない壊れ方をしますが、これらの破壊のパターンは見栄えよくなるようにあらかじめ計画されています。
動かすのに必要： 約1012 FLOPS 概算 レンダーファームのノード、破壊シーン1カットにつき最初の年： 1995 1995年までに、映画の効果に使われる剛体の破壊シミュレーション
筋肉と皮膚の変形
デジタルの身体の皮膚と柔らかい組織が、動くスケルトンとその下の筋肉の上で滑り、膨らみ、しわを作ります。
答える問い: この生き物やキャラクターの身体は、本物の柔らかい組織があるかのように動くでしょうか。
含まれないもの： 骨の上を滑る皮膚は、いまもおおむね近似であり、きちんとシミュレートされた組織ではありません。
動かすのに必要： 約1012 FLOPS 概算 レンダーファームのノード、キャラクター1体の身体のパスにつき最初の年： 1999 1999年までに、コンピューター・アニメーションのキャラクターのための筋肉ベースの変形リグ
アニメーションのための剛体動力学
固体が衝突し、積み重なり、転がり、重力と摩擦のもとで落ち着きます。小道具や二次的な動きを、跳ね返りを1つずつ手で付けずにアニメーションさせるのに使われます。
答える問い: この物の山は、乱されたあと、どのように崩れて落ち着くでしょうか。
含まれないもの： 物体が、実際の物ならありえない形で、ときどきめり込んだり、ぶるぶる震えたりします。
動かすのに必要： 約1011 FLOPS 概算 1カットの小道具のシミュレーションのためのワークステーション最初の年： 1988 1988年までに、コンピューター・アニメーションに使われる剛体物理
位置ベース動力学
布や柔らかい物体のようなものは、制約を満たすように点の位置を直接調整して動かします。速くて安定しています。
答える問い: 変形する物体を、対話的に使えるほど速くシミュレートするにはどうすればよいでしょうか。
含まれないもの： 物理的に厳密ではなく、硬さはステップ数に左右されます。
動かすのに必要： 約109 FLOPS 概算 1台の CPU または GPU でリアルタイム最初の年： 2007 Position based dynamics (2007) 出典
海面の合成
波のスペクトルから生成した水面。うねりと白波のある外洋を描画するのに使います。
答える問い: ある風と水深の海は、どんな見た目をしているでしょうか。
含まれないもの： 表面の形は扱いますが、その下の流れ全体や、大きな波の砕け方は扱いません。
動かすのに必要： 約1012 FLOPS 概算 ワークステーション、1フレームにつき数分最初の年： 1986 1986年までに、Fournier と Reeves『A simple model of ocean waves』 出典
パーティクルシステムの効果
火、火花、煙、しぶきを、それぞれ独自の動きと見た目をもつ、短命な何千もの点として描きます。
答える問い: ぼやけた現象を、それぞれ独立に動く点の雲として見せるには、どうすればよいでしょうか。
含まれないもの： 点は互いを押さないので、本物の流体の振る舞いはありません。
動かすのに必要： 約1010 FLOPS 概算 ノートパソコン、リアルタイム最初の年： 1983 1983年までに、Reeves『Particle systems』（炎の壁の効果に使用） 出典
雪と粒状物質のシミュレーション
雪や砂などの物質を、応力を運ぶ点としてシミュレートし、本物の素材のように積もり、崩れ、固まるようにします。
答える問い: 雪は、押されたときにどう固まり、割れ、流れるでしょうか。
含まれないもの： 結晶粒レベルの氷の物理は、平均化した材料則に置き換えられています。
動かすのに必要： 約1014 FLOPS 概算 レンダーファーム、1カットにつき数時間最初の年： 2013 2013年までに、Stomakhin ら『A material point method for snow simulation』 出典
デジタルの群衆シミュレーション
数千の個別の人影が、それぞれ単純な動きと回避の規則をもち、1体ずつアニメーションさせなくても、スタジアム、戦場、街路を埋めます。
答える問い: この規模の群衆は、ひとかたまりとしてどう動き、逃げ、あるいは戦うでしょうか。
含まれないもの： 後列の人物はどれも、少しずつ似すぎた動きをしがちです。
動かすのに必要： 約1012 FLOPS 概算 レンダーファーム割り当て、群衆のシーン1カットにつき最初の年： 1997 1997年までに、長編映画の戦闘場面に使われたエージェントベースの群衆システム
デジタルヒューマンと顔
顔の筋肉、皮膚、微表情を、本物の人間のように見える合成の演技を動かせるほどにモデル化します。
答える問い: この合成の顔は、もとになった本物の顔と同じくらい説得力をもって感情を伝えられるでしょうか。
含まれないもの： 目と口角は、今も説得力をもって再現するのがもっとも難しい部分です。
動かすのに必要： 約1013 FLOPS 概算 レンダーファーム割り当て、主役キャラクターの顔1つにつき最初の年： 2001 2001年までに、映画のための高解像度の顔のキャプチャとシミュレーション
手続き型の都市と景観
街路、建物、地形、植生を、手で配置する代わりに、少数のパラメーターから規則と乱数で生成します。
答える問い: 手作業では現実的に配置できない細部で、都市全体や大陸全体を埋めるにはどうすればよいでしょうか。
含まれないもの： 生成された都市は、統計的にはもっともらしいものの、固有の歴史を欠きがちです。
動かすのに必要： 約1012 FLOPS 概算 環境1つの構築に使う、ワークステーションまたはレンダーファームのノード最初の年： 1982 1982年までに、コンピューターグラフィックスで使われるフラクタル地形の生成
バーチャルプロダクション用のセット
コンピューター生成の環境を俳優の背後の大型スクリーンに映し、カメラで撮影します。レンズの動きに合わせて、場面が反応します。
答える問い: 背景がカメラにリアルタイムで反応すれば、あとから加えなくて済むでしょうか。
含まれないもの： 本物の俳優と、その背後のスクリーンとのあいだの照明の一致は、今も不完全です。
動かすのに必要： 約1013 FLOPS 概算 ステージのスクリーンをその場で動かすゲーミングGPUのクラスター最初の年： 2019 2019年までに、大型のLEDボリュームによるバーチャル・プロダクションのステージが広く使われる
デジタルの生態系と植生
森林、草原、動物の個体群をいっしょに生成して動かし、植物が光を奪い合い、動物がその結果のなかを動きまわります。
答える問い: 植物と生き物からなる、シミュレートされた景観全体は、どう見え、どう一緒に動くでしょうか。
含まれないもの： シミュレートされた生態系は、本物のように釣り合うのではなく、緑豊かに見えるように調整されています。
動かすのに必要： 約1012 FLOPS 概算 レンダーファームのノード、環境1つの生態系のパスにつき最初の年： 2000 2000年までに、映画の環境のための手続き的な植生と生態系のツール
大気と空のシミュレーション
本物ではなく、場面の天気のために、光の散乱と水分の物理モデルから生成した、雲、霧、雨、空の色。
答える問い: その日に撮影しなくても、このショットの空と天気は、どう見えるべきでしょうか。
含まれないもの： 空がどう見えるべきかに合わせて調整されたもので、本物の大気物理のためではありません。
動かすのに必要： 約1012 FLOPS 概算 レンダーファームのノード、環境1つの空のパスにつき最初の年： 1986 1986年までに、物理に基づく空と雲のレンダリングモデル
ニューラル・アバター
人物を複数のカメラで撮影したデータで訓練したニューラルネットワークが、本物そっくりで動かせる顔や身体を描画します。
答える問い: 仮想の人物を、本物と区別がつかないほどにレンダリングできるでしょうか。
含まれないもの： 被写体ごとの取り込みが必要で、行動は生成されません。
動かすのに必要： 約1013 FLOPS 概算 一人ひとりの学習最初の年： 2018 Deep appearance models for face rendering (2018) 出典
バーチャルアイドルとインフルエンサー
コンピューターグラフィックスで描かれ、有名人として運営される架空のパフォーマー。メディアやソーシャルフィードに登場します。
答える問い: 観客は、身体をもたないパフォーマーに愛着をもつでしょうか。
含まれないもの： ペルソナはチームが書いたもので、自律的な内面の経験はモデル化されていません。
動かすのに必要： 約1011 FLOPS 概算 ワークステーション、ほぼリアルタイムでレンダリング最初の年： 1996 1996年までに、Horipro がデビューさせた3DCGアイドル、伊達杏子 出典
バーチャルコンサート
共有の仮想世界やゲームエンジンで上演する生の公演。アバター、舞台効果、遠隔の観客がいます。
答える問い: アバターとしてしかその場にいない観客と、コンサートを分かち合えるでしょうか。
含まれないもの： 観客の反応と群衆の存在感は、本物の会場に比べると薄いです。
動かすのに必要： 約1012 FLOPS 概算 データセンター、数千人の視聴者にリアルタイム最初の年： 2006 2006年までに、Duran Duran が Second Life で演奏した 出典
デジタルによる若返り
出演者の顔を3Dで作り直し、俳優自身の演技で動かして、より若い年齢やより高い年齢に付け替えます。
答える問い: 俳優の表情を保ったまま、顔を別の年齢で見せられるでしょうか。
含まれないもの： 結果は見た目のモデルであり、老化の生物学はシミュレートされていません。
動かすのに必要： 約1013 FLOPS 概算 レンダーファーム、1カットにつき数時間最初の年： 2008 2008年までに、『ベンジャミン・バトン 数奇な人生』、Digital Domain のエフェクトによる 出典
パフォーマンスキャプチャによるデジタルキャラクター
俳優の身体と表情の記録で動かしたコンピューター生成のキャラクターを、実写の映像に合成します。
答える問い: 俳優の動きで、人間とまったく似ていない生き物を動かせるでしょうか。
含まれないもの： 筋肉と思考はモデル化されておらず、取り込まれた動きだけを扱います。
動かすのに必要： 約1011 FLOPS 概算 ワークステーション、1カットにつき数時間最初の年： 2002 2002年までに、『ロード・オブ・ザ・リング／二つの塔』のゴラム 出典
L-システムによる植物のモデリング
記号の列を枝分かれの構造へと繰り返し書き換えて植物の形を育て、木や葉として描きます。
答える問い: どんな単純な書き換え規則が、ある枝分かれの形を生むでしょうか。
含まれないもの： 規則は形に合わせたものです。実際の成長を駆動する化学と光の競争は含まれていません。
動かすのに必要： 約108 FLOPS 概算 ノートパソコン、数秒最初の年： 1968 1968年までに、Lindenmayer『Mathematical models for cellular interactions in development』 出典
マシニマ
物理的なカメラやオフラインのレンダラーの代わりに、リアルタイムのゲームエンジンの中で、キャラクターとカメラを演出して撮った映画。
答える問い: ゲームエンジンの中にしか存在しない世界では、何を撮影できるでしょうか。
含まれないもの： 何を見せられるかはエンジンが決めます。行動は、操作で許されたものに限られます。
動かすのに必要： 約1011 FLOPS 概算 ゲーミングPC、リアルタイム最初の年： 1996 1996年までに、Diary of a Camper、Quake エンジンで作られた短編 出典
アニマトロニクス
台本どおりの動きと発話を行う、モーターで動く人や動物の機械仕掛けの人形。
答える問い: 機械は、生き物らしくどこまで説得力をもって振る舞えるでしょうか。
含まれないもの： 動きは録画の再生であり、感知も判断もありません。
動かすのに必要： コンピューターは不要。機械式の制御装置で、計算は一切なし最初の年： 1963 1963年までに、ディズニーのオーディオ・アニマトロニクス、魅惑のチキルーム 出典
物理ベースのキャラクター制御
関節と筋肉をもつ仮想の身体を、物理エンジンの中で強化学習によって訓練し、モーションキャプチャーのクリップをまねて動き、跳び、戦わせます。
答える問い: キャラクターは、手作りのアニメーションなしで、押されたときに反応しながら、自然にバランスをとって動けるでしょうか。
含まれないもの： スタイルは、コピーしたクリップからしか生まれません。まれな動きや繊細な手の動きはうまく扱えません。
動かすのに必要： 約1015 FLOPS 概算 技能ごとに、GPUワークステーションで数日。最初の年： 2018 Peng らによる DeepMimic。手本に導かれた深層強化学習による、物理ベースのキャラクターの技能の習得。 出典
物理ベースの光の輸送
カメラから光線を逆向きにたどり、すべての面で反射・透過させて、物理的に一貫した画像を計算します。
答える問い: この場面で光は、近似ではなく、一回の反射ごとにどう振る舞うでしょうか。
含まれないもの： 収束が遅いため、ノイズは、サンプル数を増やすのではなく、経験則によって今も抑えられています。
動かすのに必要： 約1014 FLOPS 概算 多数のノードにまたがるレンダーファーム割り当て、1フレームにつき最初の年： 1986 Kajiya による1986年のパストレーシング・アルゴリズム
音の伝わり方と音響
仮想の部屋、街路、戦場で音波が反射し、吸収され、回り込む様子を追跡またはモデル化し、映画やゲームの音響に使います。
答える問い: この空間は、形と中の材料を考えると、実際にはどう響くべきでしょうか。
含まれないもの： 実際の耳や部屋には、音響モデルがふだん理想化してしまう癖があります。
動かすのに必要： 約1011 FLOPS 概算 1つの場面の音響パスのためのワークステーション最初の年： 1968 1968年までに、光線に基づく室内音響のモデル化
楽器の物理モデリング合成
弦、リード、太鼓の皮、パイプを振動する物体としてモデル化し、録音やサンプリングではなく、直接計算してその音を作ります。
答える問い: 録音ではなく、その物理から計算すると、この楽器はどんな音がするでしょうか。
含まれないもの： 楽器の物理はとらえますが、奏者が積み重ねた何十年もの技までは再現できません。
動かすのに必要： 約1010 FLOPS 概算 ノートパソコンまたはシンセサイザーでリアルタイムに動きます最初の年： 1983 1983年までに、振動する弦のデジタル導波管モデル
生成アートのシステム
規則、乱数、単純なエージェントを先へ進めて、画像、パターン、作品を作ります。規則だけでは、結果が前もって完全に書き下されていたわけではありません。
答える問い: この過程は、ただ走らせておくと、どんな形になるでしょうか。
含まれないもの： 芸術家がどのランダムな実行を残すかを選ぶので、「ジェネレーティブ」な作品にも、かなりの取捨選択が伴います。
動かすのに必要： 約109 FLOPS 概算 ノートパソコンで数秒から数分で動きます最初の年： 1965 1965年までに、アルゴリズムのルールから生まれた初期のコンピューター・アート
手続き型と生成型の音楽
音楽の規則、マルコフ連鎖、単純なエージェントを先へ進めて、メロディ、和声、あるいは画面上の出来事に反応して変わっていくサウンドトラックを生成します。
答える問い: 作曲家が1音ずつ選ばなくても生成し続けられるこの規則の集まりは、どんな音楽を生むでしょうか。
含まれないもの： 有能そうに聞こえて、めったに驚かせません。それこそが、規則が許していることです。
動かすのに必要： 約109 FLOPS 概算 ノートパソコンでリアルタイムに動きます最初の年： 1957 初期の規則にもとづくコンピューター作曲、イリアック組曲
手続き型のテクスチャと素材の生成
木目、さび、肌の毛穴、岩の地層などの表面の模様を、手で描いたり写真に撮ったりする代わりに、ノイズと単純な物理法則から生成します。
答える問い: この表面は、撮影するのではなく生成するとしたら、近くで見るとどう見えるべきでしょうか。
含まれないもの： ノイズに基づくテクスチャは、実際の表面なら決して見せないようなスケールで一様に見えることがあります。
動かすのに必要： 約1010 FLOPS 概算 アセット1つのテクスチャを生成するワークステーション最初の年： 1985 1985年までに、コンピューターグラフィックスでのPerlin流の手続き的ノイズ・テクスチャ
物理ベースの効果音
物体の形、材質、接触から合成される衝突音、転がる音、こする音。録音を再生するのではありません。
答える問い: この素材の物体がその表面にぶつかると、どんな音がするでしょうか。
含まれないもの： モードモデルは耳で調整されており、実際の部屋への放射は含みません。
動かすのに必要： 約109 FLOPS 概算 ノートパソコン、リアルタイム最初の年： 2001 2001年までに、van den Doel、Kry、Pai『FoleyAutomatic』 出典
ライブコーディングの音楽と映像
演奏者が観客の前で動いているコードを書き換え、プログラムを編集するにつれて音や映像が変わっていきます。
答える問い: 演奏中にルールを書き換えると、音楽はどう変わるでしょうか。
含まれないもの： シミュレーションはプログラムそのものであり、物理的なものは何もモデル化されていません。
動かすのに必要： 約108 FLOPS 概算 ノートパソコン、リアルタイム最初の年： 2004 2004年までに、ライブコーディングのコミュニティを結ぶためにTOPLAPグループが結成される 出典
ニューラルによる場面のレンダリング
写真の集合に当てはめたニューラルネットワークが、場面の光と密度を記憶し、任意のカメラ位置からの新しい視点を描画できるようにします。
答える問い: この場所は、誰も写真を撮らなかった位置から見ると、どう見えるでしょうか。
含まれないもの： 写真と写真のあいだを補間し、撮られていない部分では細部を作り出すため、元の写真から遠い視点は信頼できません。
動かすのに必要： 約1015 FLOPS 概算 1シーンあたりGPUで数時間、大きなシーンでは1日。最初の年： 2020 Mildenhall らによる NeRF。場面をニューラル放射輝度場として表し、視点を合成します。 出典