何年にもわたって、映画製作者は無数の芸術的アイデアと方法論を実験してきました。ルールを作成して破ることで、メディアを介した新しい経路が作成され、フィルムの組み立て方法が変更され、洗練されます。
新しいテクノロジーの出現もそうです。
初期の頃、手続き型編集のアイデアに関心のある映画製作者は、複雑な数式を作成して、シーンをカットして緊張感を生み出したり、ドラマを追加したりする方法を決定していました。また、スコアの長さに合わせたり、プロジェクト内の別の変数と数学的に一致するようにカットしたりする場合もあります。
オプチカルプリンターの導入により、映画製作者はフィルムのストリップを再撮影し、創造性と特殊効果の扉を開くことができました。
より最近では、強力なハードウェアとソフトウェア、およびプログラミング言語により、アーティストは作品を成長させるためのさらなるステップを踏むことができます。手続き型編集アプローチは、数学と科学の創造性とビジョンのアイデアに取って代わりますが、それらには方法があります。ビジョンを伝えたり、創造性を発揮したりするためのツールと見なすと、数学と科学には映画製作者に提供できるものがたくさんあります。
1世紀の大部分で何らかの形で使用されてきたアイデアや概念の一例は、アルゴリズムによる編集です。
アルゴリズム編集とは何ですか？
複雑に聞こえますが、最も単純な形式でのアルゴリズム編集とは、フッテージをスキーマまたはプランに編集することを指します。
そのスキーマは、「4フレームごとに、カメラAからカメラBに2フレーム切り替えてから、カメラAに戻る」という単純なものにすることも、さらに単純なものにすることもできます。 。」
フッテージが事前に計画されたロードマップまたは直接的な手続き型アプローチに従うというこの考えは、アルゴリズム編集の基礎です。頭を動かすことができるという点では、スキーマ、アウトライン、またはモデルに基づいてフッテージをカットして再組み立てする手法を指します。
オックスフォードの善良な人々によると、アルゴリズム自体は、行き過ぎる前に、「計算やその他の問題解決操作、特にコンピューターが従うべきプロセスまたは一連のルール」です。
これは、アルゴリズム編集を説明および導入するのに最適な方法です。ジガ・ヴェルトフやセルゲイ・エイゼンシュタインなどの初期の先見の明のある映画製作者は、映画内のモンタージュやシーンに数学的で概略的なアプローチを取り、プロジェクトを導くための複雑な編集チャートを作成しました。
アイゼンスタインのビジョンは、観客がこのテクニックの使用によって吹き込まれた感情的および心理的影響を通して見ている映画のイデオロギー的側面を見ることができるようにすることでしたが、ヴェルトフは実際に彼の数学的テクニックがプロセスをクリーンアップし、人類の改善につながる可能性があると信じていました彼が従った間違いのない、絶対に正確な方法に。
ウィニペグを拠点とする映画製作者によるいくつかの素晴らしい記事であるクリント・エンスは、この作家が理解できる以上に、アルゴリズム編集の歴史と実際の応用について詳しく説明しています。この記事の補足として、彼の作品を読むことを強くお勧めします。
使用する
他の多くの初期の映画製作者は、アルゴリズムによる編集技術を利用して大きな効果を上げ、多くは実験的な映画の作成に使用されました。このコンセプトは確かに、映画製作へのより前衛的なアプローチに役立ちます。
たとえば、基本的なフリッカーフィルムのアイデアを考えてみましょう。 2つのフッテージ（1つはすべて黒、もう1つはすべて白）を使用して、一方のクリップからフレームを取得し、次にもう一方のクリップからフレームを取得する部分を一緒に編集し、クリップが終了するまで繰り返します。この手法は、非常にユニークな、そしておそらく不快な結果をもたらします。とはいえ、これは非常に純粋なアルゴリズムアプローチです。
ただし、その部分の線形性は、アルゴリズムで編集されたプロジェクトの標準である必要はありません。ソフトウェアで開発された多くのアルゴリズムには、方程式の一部を変更する可能性のある確率変数が含まれています。
したがって、同じプロジェクトを採用しますが、ランダム変数を追加して、2番目のクリップからのみ選択するフレーム数を処理し、最初のクリップから1つのフレームのみを残します。最終的には、クリップ1のフレーム、クリップ2のランダムな数のフレーム、クリップ1の別の単一フレームなどになります。
何が違うの？
これは編集に対する非正統的なアプローチですが、私たちのほとんどが毎日使用しているツールを使用することもほぼ不可能に聞こえるかもしれません。これにより、アルゴリズムによる編集が映画のアプローチとどのように異なるかがわかります。
Premiere Pro、FCPX、Media Composer、またはその他のプラットフォームでクリップを編集する場合、フッテージをクリップ（開始、中間、終了のあるもの）として見て、切り取っていきます。これは非常にタイムラインベースであり、当然のことながらそうです。私たちの編集プラットフォームは、編集フィルムに基づいています。クリップをタイムラインにドロップすると、アナログフィルムクリップのデジタル版が表示されます。
アルゴリズム編集では、アプローチはフッテージを別の方法で検討することです。同じ方法でフッテージにアクセスするわけではありません。クリップ全体を見て、何を保持し、何を削除するかを決定しているわけではありません。この手法を使用して、ある場所内の任意のクリップの任意のフレームに直接アクセスすることを検討しています。その場所は、データベースまたは単にマシン上のフォルダである可能性があります。
これは、編集プラットフォームを損なうものではありません。インポートするすべてのクリップのすべてのフレームに確実にアクセスできますが、「Aから1フレーム、Bから1フレーム」のような単純なスキーマを使用しても、コンポジションをまとめることができます。 、繰り返し」は面倒で時間がかかります。
同じプロセスを処理するコードのスニペットを作成するのにかかる時間はごくわずかです。コードは、フィルムの一部としてではなく、データでいっぱいのコンテナとしてフッテージにアクセスします。したがって、フォルダまたはデータベースは、そこに含まれる各フレームからのオーディオおよびビデオデータでいっぱいの巨大なコンテナのようなものです。
したがって、コードがコンテナ内の任意のクリップの任意のフレームに直接アクセスできる場合は、アルゴリズム編集をクリエイティブに使用するための可能性がたくさんあるはずです。ピクセルの変化や音声のずれなど、フッテージに存在する変数を使用して、カットを作成する場所とフッテージを元に戻す方法をプログラムで決定することができます。
その説明により、編集ポイントのモデルは楽譜にすることもできます。 Cory Arcangelは、編集ドライバーとして音楽を使用して、いくつかの印象的な実験を行いました。彼の作品の一例には、パガニーニの5番目のカプリスのYouTube動画があり、何百ものギター指導動画から一緒に編集されています。これは、元の作品を使用し、YouTube動画のデータベースを解析して、一致するメモを探すアルゴリズムを作成することで達成された可能性があります。見るのは難しいですが、その成果は、アルゴリズム編集が機能している優れた例です。
誰がやってるの？
アルゴリズム編集を使用し、その方法を正確に示している現代の才能の好例は、自身の研究を通じてソフトウェアと電気工学を探求し、YouTubeで文書化してきた、才気あふれる若いカナダ人プログラマーのDevonCrawfordです。
Devonのチャンネルは、大学1年生でコーディングしたゲームのレビュー、Googleの個人データのダウンロード、そしてそれに関するいくつかのクレイジーなことの発見など、テクノロジーに優しいソフトウェア開発の群衆が関心を持っている幅広いテーマをカバーしています。コーディングなど。
その後、デボンはオンラインで詳細に文書化されていない大規模なプロジェクトに移行したようですが、彼のより興味深い実験の1つは、アルゴリズムを使用してコードに基づいてクリップを編集することです。
このビデオでは、彼は自分のためにビデオを編集するプログラムを作成します。このプログラムでは、さまざまな結果の変数を少し実験します。アプリケーションを改良するとき、彼はモーション検出（ピクセルの変化を覚えていますか？）を使用してビデオのカットを決定します。本質的には、クリップの一部を最も差別化して使用するビデオを作成します。
かなり面白いですよね？近年、この種の技術を活用してアクションカメラの映像を自動編集することを望んでいる企業がありました。鮮やかな青い空とホットピンクのウェイクボードがあれば、デボンのようなアルゴリズムは、物理的な編集者と同じくらいうまくいくでしょう。
他の組織は、自動編集またはアルゴリズム編集を実験しています。 Disneyは、さまざまな変数を使用して編集ポイントを決定するマルチカメラ編集アルゴリズムを作成しました。彼らのプロジェクトでは、ソフトウェアが各カメラの3Dモーションを推定し、カメラが最も注意を払っているものにロックインできるようにします。これにより、ソフトウェアはいつどこで別のカメラをカットするかを正しく決定できます。 Disneyのアルゴリズムでは、被写体が最もよく見えるカメラを特定して切り替えることもできるため、カットはタイムリーであるだけでなく、スマートです。
人間の編集者ではありませんが、確かに近づいています。
将来はどうなるか…
私たちの多くは編集への映画的なアプローチに固執しますが、機械学習とアルゴリズムの適用はすでにしばらくの間私たちの周りにあることに注意する必要があります。アルゴリズムは、アップスケーリングとレンダリングの最適化、キーフレーム補間、およびその他の作業の側面を決定します。 Adobeのような企業は、Adobe Senseiを使用した機械学習に引き続き注力しているため、より複雑なアルゴリズムが引き続きすべての作業を形作ります。
完全に納得していませんか？ AfterEffectsのコンテンツアウェアフィル機能をご覧ください。周囲のピクセルを調べて、リアルタイムでギャップを埋めるための見積もりを行います。
したがって、プログラムの観点から編集に取り組むことを選択する場合でも、従来のアプローチに固執することを選択する場合でも、アルゴリズムは1世紀にわたって映画館に存在し、時間の経過とともに編集機能にますます固有のものになります。アルゴリズム編集は将来「自動編集」になるのでしょうか？おそらく場合によっては、それについてはおそらく議論があります。
では、映画の未来にはアルゴリズム編集の用途がありますか？ソフトウェアの一部が映画の25のラフカットを自動的にカットして押し出すシナリオを想像してみてください。スタジオはテストオーディエンスを集めてドラフトを視聴し、カメラ、センサー、追加のソフトウェアがビデオのすべてのフレームに対する反応を測定します。そのデータに基づいて、スタジオは最終的な「完璧なカット」を組み立てます。