今日は、アドビが最近導入した超解像と呼ばれる新機能を見ていきます。これは、AI アルゴリズムを使用して画像のサイズをインテリジェントに拡大することを目的としています。
この新機能は、オンラインの他のチャネルからすでにかなりの量の報道を受けており、さまざまな結果が得られています (各ユーザーが何と比較しているかに基づいています)。私たちには独自の見解があり、多少異なる一連のテストを実行することにしました。
アドビの新しい超解像機能をテストするために、ピクセル シフトと呼ばれる、Sony α7R IV でカメラ内で生成できる別のオプションと結果を比較します (必要なため、部分的にのみカメラ内で行われます)。 Sony Imaging Edge ソフトウェアを使用して画像を結合します)。一部の富士フイルム、パナソニック、およびオリンパスのカメラでも同様のオプションを利用できます。ここでの目標は、Photoshop での単純なアップスケールおよびシャープ化プロセスに対して、画質とファイル サイズをテストすることです。
解像度を上げる 2 つの方法
A7R IV の「ピクセル シフト マルチ撮影」モードでは、カメラがイメージ センサーをフレームごとに 1 ピクセルずつシフトしながら、4 つまたは 16 の非圧縮 RAW 画像を撮影するオプションがあります。これにより、同じ解像度 (4 画像モード) またはより高い解像度 (16 画像モードで 260MP) でより詳細な画像を生成できます。
Adobe Camera RAW の新しい超解像機能は、人工知能 (AI) を使用して RAW ファイルを高い忠実度で補間することにより、基本的に画像を 4 倍に拡大し、鮮明なディテールを持つ画像を生成します。写真を単純に拡大すると細部がぼやけてしまうことがよくありますが、超解像は何百万もの写真でトレーニングされた高度な機械学習モデルを使用して、きれいなエッジを維持し、重要な細部を保持しながらインテリジェントに写真を拡大します。少なくともそれは Adobe が述べていることです。
画像の処理方法
前述したように、ピクセル シフト画像の撮影はカメラ内で行われますが、画像をエクスポートするにはソニーのソフトウェアが必要です。そのプロセスを見てみましょう。
シリーズを 1 つの画像にコンパイルするには、それらを選択して右クリックし、[ピクセル シフトのマルチ撮影合成画像の作成と調整] オプションを選択する必要があります。画像のコンパイルには少し時間がかかります。
オプションをクリックすると、この処理ウィンドウがポップアップします。処理が完了すると、後で調整またはエクスポートするために保存できる ARQ ファイルが作成されます。ここには、コントラスト、明るさ、その他すべての生の処理コンポーネントを調整するためのさまざまなオプションがあります。
これは単なるテスト画像なので、今はそれで遊ぶつもりはありません。ここには、ピクセル シフト処理を制御するためのスライダーがあります。完了したら、イメージをエクスポートします。ファイル形式は JPG と TIFF の 2 種類があり、8bit と 16bit を選択できます。ファイルサイズを比較するためだけに両方を行います。 16 ファイルのコンポジットに対してもプロセスを繰り返し、結果をエクスポートします。
Sony の Imaging Edge ソフトウェアを使用してピクセル シフト画像を作成する
これらのファイルの準備ができたので、Adobe Camera Raw にジャンプして、超解像度機能を確認しましょう。 Adobe はこれを Lightroom にも含めることを約束していますが、現時点では、Camera Raw プラグインを介してのみアクセスできます。
新しい M1 Mac mini で Apple M1 チップをサポートする最新の Adobe アップデートを実行しています。このテストでは、Mac Mini がこれらの巨大なファイル サイズをどのように処理するかを確認することもできます.
Adobe bridge に入って、これらのテスト ファイルを見てみましょう。 α7R IV RAW ファイルは、1 ショットあたり約 60MB です。 RAW ファイルを処理しますが、超解像は JPEG、PNG、および TIFF ファイルでも機能します。ここにあるすべてのサンプル画像は、最高のシャープネスを得るために、f/10 で超シャープな Voigtlander 65mm f/2 マクロ レンズで撮影されました。
ACR が画像をロードしたら、それを右クリックしてメニューを表示し、拡張オプションに移動します。これにより、処理オプションを含むウィンドウが開きます。ここでの 2 つのオプションは、Raw Details と Super Resolution です。超解像度を選択すると、Raw Details オプションが自動的にチェックされます。
画像をクリックして結果をプレビューすると、ACR が処理時間を計算します。 [強化] をクリックすると、ソフトウェアによって DNG 画像が生成されます。この画像は、別のファイル形式にエクスポートできます。
Adobe Camera RAW での超解像度画像の作成
結果を見る
Adobe Bridge に戻り、結果のテスト画像にラベルを付けました (以下を参照)。 5 枚の画像が 2 セットあり、画質とファイル サイズを比較します。
<オール>オリジナルとアンシャープ マスクを使用した拡大されたオリジナル
50% の量と 2.6 ピクセルの半径のアンシャープ マスク フィルターを適用した後、解像度とシャープネスが確実に変化します。結果は、明らかなアーティファクトやバンディングがなく、良好に見えます。ファイルのサイズは 2 倍以上になりますが、それでも 100 MB 未満で管理できます。
オリジナル [左] とアンシャープ マスクを使用した拡大オリジナル – 4 倍のスケール (25 MB と 82 MB のファイル サイズ)
4 ピクセル シフトと 16 ピクセル シフト
全体的な画質は非常に似ており、両者の違いはほとんどわかりません。ただし、詳細を詳しく調べると、明確な違いがあります。 4 フレームのピクセル シフト画像は、実際には細かい部分でよりコントラストが強いように見えます。この 2 つの間に明確な勝者はありませんが、4 フレームのピクセル シフト画像を優先する必要があります。
4 ピクセル シフト [左] と 16 ピクセル シフト – 16 ピクセル シフト画像の色の変化に注意してください (46MB と 221MB)
アンシャープ マスクと 16 ピクセル シフトで拡大されたオリジナル
ピクセル シフトは異なる色合いを与え、全体的に見栄えがよくありません。公平を期すために、Sony Imaging Edge はカラー コントロールを提供します。そのため、これらの画像をさらに微調整することができます (ソフトウェアのデフォルト設定を使用しただけです)。一般に、グレインにはより明確な定義があるように見えますが、コントラストにはありません。ピクセル シフト ファイルは、拡大された元のサイズの 2 倍以上です (82MB 対 221MB)。
アンシャープ マスクで拡大したオリジナル [左] vs. 16 ピクセル シフト (82MB vs. 221MB)
アンシャープ マスクと超解像度で拡大したオリジナル
驚いたことに、拡大されたオリジナルが再び勝ちます。信じられない思いで結果を何度も確認する必要がありましたが、超解像の結果は全体的にコントラストが低く、暗い領域に光がこぼれています.ファイルサイズに関しては、超解像は拡大された元の jpg よりもわずかに小さい jpg を生成しました (73MB 対 82MB)。両方のプロセスを TIFF 形式でエクスポートすると、ファイル サイズが管理しにくくなり、2 つのプロセスで約 700 MB の同じ大きなファイルが生成されました。
アンシャープ マスク付きの拡大されたオリジナル [左] vs. 超解像度 (82MB vs. 73MB)
ピクセル シフト 16 画像と超解像度
結果を注意深く確認した後、16 フレームのピクセル シフト画像は超解像画像ほど良くありません。このプロセスにより、異なる色相と全体的に彩度の高い画像が得られます。ピクセル シフト 16 の結果は、超解像画像ほどコントラストが高くありません。 Pixel Shift の JPG エクスポートはすでにかなり大きい (221 MB) ですが、TIFF エクスポートはなんと 1.35 GB であり、管理が非常に困難です。この大きなファイルのエクスポートには時間がかかり、M1 Mac Mini はプレビューの読み込みに失敗することがよくありました。
16 ピクセル シフト [左] vs. 超解像度 (221MB vs. 73MB)
アンシャープ マスク vs. で拡大されたオリジナル Pixel Shift 4 画像 + 超解像度
楽しみのために、2 つのプロセスを組み合わせたときにどのようなファイルが得られるかを確認したかったのです。 16 ピクセル シフト画像で超解像を実行したかったのですが、現在 Adobe ソフトウェアには出力サイズの制限があります。 230MB のファイルは大きすぎて処理できませんでした。そこで、4 枚の画像のピクセル シフト合成をエクスポートして 50MB (JPEG) ファイルにし、それを超解像度で処理して 128MB の画像を取得しました。それでもかなり扱いやすく、適度なシャープさを備えていますが、拡大された元の画像よりも低い位置にあります。アンシャープマスク付き。
Unsharp Mask [左] と Pixel-Shift 4 + Super-Resolution (82MB vs. 121MB) を使用した拡大されたオリジナル
何を見つけましたか?
これらのテストによると、アンシャープ マスクを使用して拡大したオリジナルが 1 位であることがわかります。アンシャープ マスク フィルターで最小限の処理設定を使用したことに注意することが重要です。そのため、アーティファクトが発生するリスクはありますが、さらにシャープにすることができます。 2 番目に、高品質の処理と色かぶりがないため、超解像度画像を配置します。 3 位は、最後の 16 フレームのピクセル シフト画像よりも細部が細かいため、4 フレームのピクセル シフト画像になります。
結論として、この時点での超解像にはさらに微調整が必要なように感じますが、これは Adobe ソフトウェアへの優れた追加機能であり、将来どのように進化するかを見るのが待ちきれません.
自分でテスト
次のリンクから (両方のセットの) 画像をダウンロードできます (これらのファイルの一部はサイズが非常に大きいことに注意してください)。
次のリンクで、LensVid 限定の記事やレビューをさらにチェックできます。