PFTrack を使用した高度な 3D オブジェクト トラッキング:パート 2

中断したところから始めましょう!今回は、3D 統合におけるいくつかの改善点を示し、カスタム ビデオ クリップを完成させます。

この 2 部構成シリーズの前回の記事では、PFTrack の優れた機能をいくつか紹介しました。このソフトウェアは実際のカメラの動きを解決するだけでなく、3D オブジェクトの追跡も実行します。

最初のステップでは、緑色のスクリーンに自分の短いクリップを映しました。次に、頭の動きに最も正確に追従する必要がある 3D マスクを導入しました。ここまでは順調です!

この短いシーケンスを再生すると、3D マスクを頭の回転にどのように一致させたかがわかります。

ただし、たとえば靴ひもが頭の周りに適切な形状になっていないため、マスクにはまだ作業が必要です。同様に、最終レンダリング用にクリップを準備したいと思いますが、効果的な結果を得るにはショットにいくつかの追加要素が必要です。

一言で言えば、高品質の 3D 作品を作成するには、まだ追加の調整と統合が必要です。今見たのは、オブジェクト追跡の結果です。

最終的な結果は次のようになります:

この最終結果を得る前に、多くの作業を行う必要があります。

これはチェックリストです:

• レースの位置を解決する
• マット ジオメトリの作成
• シェーディング マット ジオメトリ
• マスクのシェーディング ネットワークを構築する
• ライティングとレンダリング
• グリーン スクリーンの削除
• 合成、色補正、最終エクスポート

3D ソフトウェアを起動して旅を始めましょう!

3D ソフトウェアでショットを再生する

PFTrack からエクスポートした後、ショットは推奨 3D ソフトウェアで期待どおりに再生されます。それにもかかわらず、私たちは 2 つの大きな重要な問題に直面しています。

いくつかのフレームでは、サイドのシューレースが頭を適切に包み込んでいません。さらに悪いことに、シーンの背面をマスクする 3D ジオメトリがないため、マスクの穴を通してそれらが見えてしまいます。

これらの主な問題を解決して、適切な解決策を見つけましょう。

レースの位置を解決する

正直なところ、このステップでまともな結果が得られるまでには時間がかかるかもしれません。マスクには上部に 1 つ、側面に 2 つの合計 3 つのひもが付いています。ヘッドのプロファイルと正確に一致する必要があります。

一般に、使用する特定のツールはありませんが、経験則として、破壊性の低い手法を採用するのが一般的です。クリップを繰り返し繰り返して、すべてのフレームで靴ひもがきちんと固定されていることを確認してください。

他の代替手段がある場合は、靴紐の形状を変更するために頂点を直接操作することは避けてください。メッシュの小さな部分を移動するなど、場合によっては機能するかもしれませんが、ここでは大きな変更を適用する必要があります。使用するソフトウェアに応じて、ストレッチ効果や全体的な変形を引き起こさないモディファイアを活用する必要があります。

たとえば、Maya ではラティス ツールが優れたソリューションであることがわかりました。これは、ジオメトリの周囲にカスタマイズ可能な数の制御頂点 (別名格子点) を作成するだけであり、それぞれがメッシュの特定の部分を制御します。したがって、3D 空間で格子点を移動することでレースの形状を変更します。こうすることで、奇妙な変形を引き起こすことなくモデルを簡単に操作できます。

ジオメトリを滑らかにする いくつかのスカルプト ツールを適用することによって。ラティスのようなデフォーマを使用しているにもかかわらず、小さなストレッチ効果を導入することもできます。それを避けるために、Maya は一連のスカルプト ツールを提供しています。
私にとってはスムーズです。 、リラックスしてください。 を掴みます。 ツールはその役割を果たします。

隠れた部分のマスク

マスクとレースを使用してレンダリングすることを考えている場合は、シーンの準備が間違っています。
マスクが頭のかなりの部分を隠しているのが本当だとしても、残念ながら、穴から靴紐の一部が見えてしまいます。では、カメラの視点に応じて、隠さなければならないものをどのように隠すことができるでしょうか?

答えは比較的簡単です。マット ジオメトリとして機能するメッシュをいくつか追加する必要があります。

簡単に言えば、現在の視点からは、マット ジオメトリの背後にあるものはすべて非表示であり、レンダリングされません。穴から靴紐が現れるので、ジェイソンのマスク ジオメトリの一部を複製しますが、必ず小さな穴を埋めるようにしてください。その後、元のマスクのすぐ後ろに配置します。

少し複雑に聞こえるかもしれませんが、わかりやすい画像を使って簡単に説明しましょう。

キャラクターが回転している間、靴紐は期待どおりにレンダリングされません。特に、側面図からは、反対側のレースが観察されます。これは、偽の 3D ヘッドによってブロックされているはずです。

次に、マット ジオメトリのように動作する大まかな 3D 頭の形状を作成しましょう。

これらのジオメトリの外観を調整するのに多くの時間を費やさないように注意してください。唯一の要件は、頭の形状をできる限り正確に近づけることです。

設定はほぼ完了しましたが、これらのジオメトリに正しいシェーダを割り当てる必要があります。
お気づきかと思いますが、私たちはこれらのメッシュについて議論するときに「マット」という用語を頻繁に使用します。

ここでこの用語は一般にマスクと呼ばれますが、ジェイソンのマスクと混同しないでください。これは、ソフトウェアが現在のフレームに従ってマスクの背後にあるものをレンダリングするのを防ぐためです。

シェーディングのプロパティを簡単に見てみましょう。

追加のジオメトリのシェーディング プロパティ

シェーディングを操作するときに Maya や 3ds Max などを使用するかどうかは関係ありません。正しい設定を適用する方法を理解するだけで十分です。

この例では、レンダラーとして Arnold を使用します。別のツールの使用に慣れている場合は、そのままお進みください。

Arnold は、「aiStandardSurface」と呼ばれる多目的サーフェス シェーダを提供しています。 「マット」セクションの「マットを有効にする」をチェックします。ここには 2 つの簡単なオプションもあります。

• マットカラー
• マットの不透明度

前者は色 (この場合は純粋な黒) を設定します。後者はアルファ チャネルに影響を与えます。 .

要約すると、元の映像を隠すことなく、カメラの視点から適切なマスキングを構築します。

たとえば、特定のフレームでバック レースがジェイソンのマスクを通して表示されるため、さまざまなジオメトリに黒のマット カラーを割り当て、 マットの不透明度 を設定する必要があります。 黒色を使用すると、レンダリング時にバックレースが非表示になりますが、アルファ チャネルを使用すると、元の映像の目が本来あるべき場所に再表示されます。

視覚的な例を見てみましょう。

マットの不透明度を 0 に設定すると、穴が黒色のアルファが作成されます。これにより、元の映像が穴を通して確実に見えるようになります。

マットの不透明度を 1 に設定した場合、アルファ チャンネルは完全に白になり、ポストプロダクションで元の映像をマージすることは不可能になります。

したがって、ほぼ常に機能する以前の簡単なセットアップを覚えておいてください。 3D モデルをビデオ クリップと統合する必要があります。

ジェイソンのマスク用のシンプルなシェーディング ネットワーク

現在、ほぼすべての 3D アセットには適切なPBR テクスチャのセットが含まれています。 。

アイデアを新しくするために、PBR は「物理ベース レンダリング」の略で、光が 3D オブジェクトと相互作用する方法を強化することを目的とした CGI のトレンドです。つまり、より良いマテリアル、正確なシェーディングなどを意味します。

そうは言っても、ジェイソンのマスクには次のような一連の PBR テクスチャが含まれています。

• アルベド マップ、 色情報だけを保持する
• 粗さマップ 表面がぼやけたまたは鮮明な反射を示している場所を示します
• メタルネス マップ メッシュの金属部分を示すために使用されます。
• 通常のマップ バンプ、隙間、凹凸などの偽の詳細をシミュレートするために、サーフェスに法線を保存します…

以前のテクスチャを使用するということは、金属/粗さのワークフローを採用することを意味します。

アルベドマップは汚れで表現されています。ぼやけて浅い反射になるように粗さの値を変更しました。金属性は金属ボタンにのみ影響しますが、法線マップは主に靴紐に影響し、それは最終的なレンダリングで確認できます。

ここでは、Maya のシェーディング ネットワークに、粗さ、金属性、一般的なマスク カラーを簡単に調整したものを示します。

照明に関するいくつかの考慮事項

このシリーズのパート 1 で説明したように、オリジナルの映像では、左側と右側の 2 つのソフトボックスを使用しました。さらに、主題に強い光を加えるつもりはありませんでした。代わりに、ソフトボックスはグリーン スクリーンの光源として機能しました。実際、緑色の背景が均一に照らされていれば、合成時の背景の除去がはるかに簡単になります。

とはいえ、元のキャラクターには正確な方向からの強いライトがないため、Maya のライティングをカスタマイズする余地は十分にあります。 2点照明方式を選択することにしました。

次に、 よりドラマチックな外観を追加しました。 左側のエリア ライトの強度を下げてマスクに影響を与えます。

次のレンダリング テストでは、布のコントラストと暗い色のおかげでドラマ感が確認できます。あと点灯率も。 —埋めるキー—は緊張感を高めるのに十分な高さです。

最終ショットでは別のレンダリングを作成しますが、この実験では、2 つのライトと少しの合成だけでドラマチックな外観を実現する方法を示したかったのです。

あるいは、HDR イメージと照明スキームを使用して Maya シーンをテストすることをお勧めします。

アニメーションをレンダリングする時間

以前のマット ジオメトリを使用してジェイソンのマスクをレンダリングしましょう!

その結果、After Effects の独立したレイヤーを元の映像の上に合成したいと考えています。
さらに、Shutterstock ライブラリから少しフォグを追加しました。

現時点では、以下のビデオに表示されているのは、Maya Arnold レンダラーによる純粋な結果です。 —これまでのところ、その他の修正は行われていません。

前のレンダリングから、マスクの移動に応じて不透明度と正しいレンダリング パーツの存在をテストできます。たとえば、霧はマスクの穴を通して見ることができ、レースのレンダリングは正しく機能します。

ここまでは順調です!

次の画像シーケンスは、メインの映像と背景画像を一致させるためにマスクに適用される色補正を表しています。

以下のエフェクトは背景環境との統合を改善するために適用されていますが、同時にマスクの色を元の映像と一致させることも考慮されています。

色補正はポストプロダクションの要素ですが、適切な統合を実現する方法はたくさんあります。
私は通常、RGB コンポーネントを個別に処理し、単一のチャネルで作業します。あるいは、安価で高速なソリューションを使用すると、別のレイヤーから白点と黒点をサンプリングすることで、ターゲット レイヤーに色合い効果を追加できます。

両方のソリューションを試して、どちらが最適かを評価してください。

元の映像を After Effects に追加する

メインの映像に焦点を当てる前に、本題からグリーン スクリーンを削除することについて少しお話したいと思います。

ご存知の通り、 緑色はクロマキーです。 また、After Effects の Keylight というプラグインを使用して簡単に抽出できます。 —私の場合はバージョン 1.2。

いくつかのオプションがありますが、全体的には非常に簡単です。ただし、設定は場合によって異なります。ここでは、従うべき主な重要な手順の簡単なリストを示します。

• 背景から色を選択します。グリーン スクリーンの最もきれいで均一な領域を選択します
• スクリーン ゲインを調整します。 と 画面バランス 結果を改良する
• エッジカラー補正内 セクションでは、ほぼすべてのパラメータをいじってみます。このセクションは、エッジ近くの領域を作業する場合に非常に重要です。正しく調整しないと、被写体が明らかに人工的な輪郭を示す可能性があります

場合によってはエッジカラー抑制 サブセクションが役立つかもしれません。私の場合、以前のオプションですでに優れたものを入手していたため、それを利用しませんでした。

Lumetri カラーエフェクトを見つけました。 特に役に立ちます。ハイライト、シャドウ、白、黒などを使って遊ぶことができます。前述の場合と同様です。これにより、背景と適切なカラーマッチを設定しながら、ジャケットの鏡面反射を軽減することができました。

最後の画像では、ジャケットが背景に向かって見事に変化していることがわかります。

マスクをもう一度追加しましょう

背景、マスク、元の映像がうまく連携しています。最終的な構成をもう一度観察すると、細部に時間を費やすことがいかに重要であるかがわかります。

掃除 マスク アニメーションの作成は、プロセス全体の最初の段階で最初に考慮すべきタスクの 1 つです。アニメーションを PFTrack にすると、いくつかのフレームを修正する必要がある場合があります。

私の場合、幸いなことに、ジオメトリ トラッキングは最初からうまく機能していたので、ほとんど問題はありませんでした。だからこそ、そのことについては話しませんでした。

アニメーションをフレームごとにチェックすることを忘れずに、場合によっては 3D ソフトウェアのエディタを使用して結果を調整してください。

さらに、クリップ中の頭の動きと一致させる必要がある靴紐の位置などの詳細に取り組むことも検討してください。

レースの位置を示すビデオのいくつかのフレームを次に示します。コントラストを高めるために別の LUT を使用しました。

数フレームでレースの位置を調整する必要があることに気付いた場合は、ポストプロダクションで継続的にメッシュ ワープと呼ばれる有益な効果を追加できます。 3D ソフトウェアで使用したラティス デフォーマと同様に、各ポイントが特定のフッテージ エリアを制御するグリッドを作成します。

微調整に適用することをお勧めしますので、3D ソフトウェアからほぼ完璧でしっかりとしたアニメーションを確保してください。

最終的な考慮事項

この 2 部構成のシリーズから多くのことを学び、カスタム映像に要素を統合するワークフローを理解していただければ幸いです。

これは、よりコントラストが高く、別の LUT を使用してエクスポートされた新しいクリップです。

顔を覆うマスクを使用したため、元の黒いマーカーはほぼすべて覆われます。たとえクリップ内にいくつかのマーカーが表示されていても、視聴者の注意をまったく妨げることはなく、最終ショットでは正常に機能します。

私たちの場合ではなく、マーカーが皮膚上で非常に目立つ場合は、コンテンツに応じた塗りつぶしを使用できたでしょう。 After Effects で元のコンポジションから削除します。

この機能を使用すると、各黒マーカーの周囲のマスクを追跡でき、After Effects は置き換える最適なサンプリング領域を見つけます。

この記事が興味深いと思われた場合は、今後のニュースについて私の Linkedin ページをフォローしてください。