AI と写真:アルゴリズムの時代でもクリエイティブなコントロールを維持する

AI を搭載したスマートフォンのカメラと編集ソフトウェアの時代において、実際に構図をコントロールしているのはアルゴリズムなのか、それとも写真家なのか? 3 番目の「Smarter Image」コラムに答えがあります。

ジェフ・カールソン 2022 年 1 月 27 日午前 2 時 56 分東部標準時間更新

コンピュテーショナル フォトグラフィーで繰り返されるテーマは、クリエイティブな選択をめぐる緊張です。カメラや写真編集アプリの「AI」機能は、シーンの露出方法や釘の焦点など、多くの技術的側面を引き継ぐことができます。それは写真家のクリエイティブなコントロールを奪いすぎていませんか？ (私の前回のコラム「あなたはすでにコンピュテーショナル フォトグラフィーを使用していますが、それはあなたが写真家ではないという意味ではありません。」を参照してください。)

画の構成がその緊張感の外側にあるように思えます。ショットを並べるとき、カメラはレンズをより良いレイアウトに向けるために物理的に腕を引っ張ることはありません。 （腕が引っ張られる場合は、軽量のカメラか頑丈な三脚を検討してください。）しかし、ソフトウェアはさまざまな状況で構図に影響を与える可能性があります。主に編集中ですが、場合によっては撮影中にも影響を与えることがあります。  

構成を検討する

表面的には、構図は写真の最も単純な部分のように見えます。カメラを被写体に向けてシャッターボタンを押すかタップします。ただし、経験豊富な写真家は、被写体がどこに表示されるか、ビューファインダー/画面内でどのように構成されるか、さらにはどの要素が存在するかを選択することを知っています。 この主題については、より多くの作業と検討が必要です。実際、多くの場合、構図はシーンをキャプチャする上で最も難しい部分です。

それでは、コンピュテーショナル フォトグラフィーはこの枠のどこに当てはまるのでしょうか?

ある意味、HDR などのより高度な AI 機能を実現するのは簡単です。このカメラはほぼスマートフォンのみに搭載されており、数ミリ秒以内に異なる露出で十数枚のショットを撮影し、それらを組み合わせて明るい写真を作成します。幅広いデータを収集し、すべてを統合します。

AI スマートを構図に適用するには、ビューファインダーの内容をユーザーが行うのと同じように、カメラも理解する必要があります。その中には、スマートフォンがフレーム内に人が写っていることを識別したり、空、木、山などの一般的な要素を認識したりするものもあります。しかし、これは、どの前景オブジェクトを目立たせるか、シーン内の他のオブジェクトとの関係でどこに配置するかを決定する際には役に立ちません。

さらに、撮影の際、レンズを向ける場所を制御するのは依然として写真家です。それともそうですか？カメラが腕を所定の位置に引きずり込むという冗談を言っていますが、これは多くのカメラ ジンバル デバイスの機能を説明するのにそれほど遠くありません。カメラの動きを最小限に抑えてスムーズな動きを実現するだけでなく、ジンバルは人物を識別してフレームの中央に保つことができます。

しかし、カメラ自体の話に戻りましょう。私たちが体とそれが向けられている場所を制御できる場合、レンズが見えるものから計算支援を得る必要があります。そのための 1 つの方法は、センサーが記録するピクセル内で構図を選択することです。編集中は常にこの作業をトリミングして行っていますが、それについては後ほど説明します。しかし、目の前にある最適な構図を決定するのに役立つアルゴリズムが必要だとします。理想的には、カメラはビューファインダーに表示されているもの以上のものを認識し、それらのピクセルの一部を選択します。

まあ、それも限定的な形で起こっています。昨年、Appleは2021年のiPad、iPad mini、iPad ProモデルにCenter Stageと呼ばれる機能を導入しました。前面カメラの視野は 120 度の超広角で、Center Stage ソフトウェアはその一部だけを表示して、通常のビデオ フレームのように見せます。ただし、このソフトウェアは人物がショットに写っていることも認識し、その可視領域を調整して人物が中央に留まるようにします。別の人がその空間に入ると、カメラはその人も含めてズームアウトして表示されます。 (別の例は、1 人の人物を左右に追跡できる Logitech StreamCam です。) エフェクトは少し滑りやすいように感じますが、動きはかなりスムーズで、確実に改善されます。

編集中の構成

編集ソフトウェアにはさらに多くの自動フレーミング オプションがありますが、結果には当たり外れが多くなります。

このコンセプトは、私たちが座って写真を編集するときに行うことを反映しています。アプリは画像を分析し、物体やシーンの種類を検出し、その洞察を利用してトリミングによって代替の構図を選択します。私が例として選んだアプリの多くは、再構成の基礎として顔を使用しています。 Apple の写真アプリでは、人物がいる場合、または明らかな水平線が画像の傾き補正が必要であることを示唆している場合にのみ、トリミング インターフェースに [自動] ボタンが表示されます。

Luminar AI のコンポジション AI ツールを使用すると、より良い結果が得られると期待していました。Luminar AI の主な特徴は、編集を開始するときにすべての画像を分析して内容を判断することだからです。私の風景テスト写真では、車とドライバーを左上の岩と一緒にフレーム内に収め、右下の標識を取り除き、うまくいきました。しかし、ポートレート (下) では、私が期待していたものと逆の結果が得られました。右側では女性の指が映り続け、左側の髪は切り取られています。

また、Pixelmator (同社) はエディターに機械語ベースのツールを組み込むことに積極的であるため、macOS 上の Pixelmator Pro に 2 つのテスト イメージを投げました。ポートレート（下）では 2 人の女性をうまくフレームに収めていますが、私の好みとしては、そこまできつく切り取らないほうがよいでしょう。風景写真ではわずかにトリミングされましたが、写真はわずかに改善されただけです。

Adobe Lightroom と Photoshop には自動トリミング機能はありませんが、Photoshop Elements では、トリミング ツールを選択すると、ツール オプション バーに 4 つの推奨構成が表示されます。ただし、これらの提案は非常にランダムである可能性があるため、アプリがこれらの提案を見つけるために何を使用しているかは明らかではありません。

コンピューティング? (いいえ、それはひどい言葉です)

ここで重要なのは、これらはすべて出発点であるということです。いずれの場合も、切り抜きハンドルをドラッグして手動で操作できる提案が表示されます。

おそらく、それが今日学ぶべき教訓です。コンピュテーショナル フォトグラフィーは、カメラやソフトウェアにすべての作業を任せることがすべてではありません。選択肢を与えたり、時間を節約したりすることはできますが、最終的に選択するのは依然として自分自身です。場合によっては、不適切なリフレーミングの提案を見ることで、写真内のどの要素が機能し、どの要素を削除する必要があるかを理解できることがあります。あるいは、自動調整を適用し、（おそらく激しく）反対し、独自の創造的なことを行うこともできます。