Skyglassのアプリは、iPhoneのLiDARセンサーを使用してリアルタイムの仮想制作を行います。この新しい映画製作の展望の要点を見てみましょう。
NABは非常に大きいので、ギリギリでほとんどお金をかけずにブースを手に入れることができたワンマンバンドの会社を見つけることができる場合もあれば、最も興味深い会社を見つけることもあります。主な問題は、この巨大なイベントの洞窟のようなホールでそれらを見つけることです。
今年は3年ぶりのNABで、約160名の初回参加者を含む900社以上が参加しました。 NABに行ったことがない場合は、たとえばノースホールのように、本当に巨大なホールがあります。
Blackmagic DesignやAdobeなどの企業がこのホールにあり、 Createと呼ばれています。 NABのトピックを合理化する新しい方法の範囲内。 キャピタライズに分類されるホールもあります 、接続 、およびインテリジェントコンテンツ 。
大きなブースは、後ろの駐車場ではなく、ホールの前に向かって重みが付けられています。これは、後ろに向かって歩くと、ブースが薄くなり始め、はるかに小さくなり始めることを意味します。ここでは、まだ始まったばかりではありますが、エキサイティングなテクノロジーを見つけることができます。
RyanBurgoyneのSkyglassはその1つです。ライアンはかつてアップルで働いていました。彼はそこで6年間、開発者がARアプリを簡単に作成できるようにするツールであるRealityComposerを作成したチームのシニアエンジニアとして働いていました。
彼は2021年11月にスカイグラスを設立し、独立系の映画製作者や小さなスタジオが仮想制作技術にアクセスできるようにしました。
Ryanのアイデアは、仮想セットや高価なカメラとその追跡を購入できないコンテンツ作成者にアピールするアプリとクラウドレンダリングサービスを開発することでした。彼は、iPhone12からiPhoneに導入されたLiDARセンサーを使用したいと考えていました。
彼は自分のビジョンについて説明します
彼のアイデアは、LiDARを使用することでした。これは、オブジェクトとの間の光の移動を測定し、そのオブジェクトを仮想的に配置します。次に、彼のアプリはLiDARからデータを取得してクラウドに送信し、UnrealEngineはLiDARで許可されているカメラの視点でデータをレンダリングします。次に、そのレンダリングが携帯電話にストリーミングされ、ライブ映像とリアルタイムで合成されます。
実際、Skyglassは携帯電話のカメラの位置と向きを追跡し、それをクラウドにストリーミングします。クラウドでは、仮想環境のレンダリングが作成され、返送されます。
何が必要ですか？
Skyglassによると、リアルタイムVFXを開始するために必要なのは、Skyglassアプリとインターネット接続を実行するiPhoneだけです（ダウンロード速度は少なくとも10 Mbpsをお勧めします）。 Skyglassには、iPhone 12 Pro、12 Pro Max、13 Pro、または13ProMaxで利用可能なLiDARスキャナーが必要です。
Skyglassには、サービスを拡大するために選択できる仮想環境のライブラリが含まれています。アセットパックを作成してSkyglassCloudまたはSkyglassServerにアップロードすることで、仮想環境を作成することもできます。
Skyglassには、アセットパックを作成するためのForgeと呼ばれる独自のUnreal Engineプラグインがあります。または、作成した3Dモデルをインポートしたり、UnrealAssetMarketplaceを使用したりできます。
コンポジットを微調整する場合は、SkyglassCloudまたはSkyglassServerから背景プレートだけをダウンロードし、iPhoneからグリーンスクリーンフッテージをダウンロードして、Nuke、Fusion、AfterEffectsなどのエディターにインポートできます。
>最近発売されたSkyglass用iPhoneよりも優れたカメラを使用する方法があります。ただし、これには、たとえばNDIネットワークを介したiPhoneとシネカメラセンサー間のオフセットのキャリブレーションが必要です。かなり複雑に見えますが、ネイティブレンズのフォーカス、アイリス、ズームのメタデータをキャプチャしたフッテージに一致させることができます。
うまくいけば、ライアンのスカイグラスについてもっと知り、自分たちでアプリを試してみることができます。 NABにいる場合は、ブース1138のノースホールで彼を見つけるか、彼のWebサイト（www.skyglass.com/）を確認してください。