AIアシスタンス：PremiereProのSpeech-to-Textでエンゲージメントを無料で高める

Adobe MAX 2020の発売ビデオをご覧になった方は、製品のデモ中にいくつかのトレンドが形成されていることに気づいたでしょう。

モバイルとソーシャルが焦点でした（そしてこれからもそうなります）が、人工知能（AI）と機械学習（ML）、または先生 アドビがそれらをブランド化することを選択したので、多くの驚くべき方法でステージに上がりました。

いつものように、放送時間の多くはPhotoshopに渡され、Photoshopはニューラルフィルターと呼ばれるSensei駆動のツールのバンドルを追加しました。 これには、画像のアップスケーリング、空の置き換え、ポートレートのエージングが含まれます。しかし、時計を前に向けるのは楽しいことです。吹き飛ばされたスカイラインを夕焼けの夕焼けと交換すると、風景がより美しくなりますが、これらのツールで多くの商業的価値を確認することは困難です。そのためには、PremiereProの最も話題になっていないAI機能であるSpeech-to-Textを検討する必要があります。

なぜそれが必要なのか、どのように使用するのか、そしてこの機械学習ツールが生産性を向上させることができるかどうかを見てみましょう。

それについては話しません

録音されたオーディオを編集可能なテキストに変換するためのツールをリリースするのは、これがアドビの最初の試みではないことを思い出してください。音声分析は2013年にPremiereProに追加されました。それは…素晴らしかったです。

当時私がそれをテストしたとき、それが生み出した結果の最も良い説明は単語のサラダでしょう。

しかし、公平を期すために、同じことが当時の他のソフトウェアにも当てはまりました。 GoogleのYouTube動画の自動文字起こしも、同様に信頼性がありませんでした。あるコメント提供者は、「私の経験では、それを修正するのにかかる時間は、自分でそれを書き写すのにかかる時間よりもかなり長いので、非常に悪い仕事をしています」と述べています。

そして、それは一言で言えば、問題でした。そのため、Adobeが2014年にSpeech Analysisを公開から撤回し、素晴らしいJason Levineが2020年に再び脚光を浴びるまで、この問題について沈黙を守ったことはそれほど驚くことではありませんでした。

さまざまなストローク

キャプションを自動的に生成する動機は、ビジネスの観点によって異なる可能性があります。

たとえば、GoogleやFacebookなどの企業は、動画のインデックス作成と検索が可能になり、動画内のコンテンツを検索できるようになるため（また、コンテキストに基づいて広告スロットを販売できるようになるため）、これを望んでいます。

しかし、ビデオのプロデューサーとディストリビューターにとって、キャプションの必要性はおそらく別の場所から来ています。

アクセシビリティ

アクセシビリティに関する法律は世界中で異なりますが、グローバルスタンダードに最も近いのはWorld Wide Web Consortium（W3C）によって発行されたWebコンテンツアクセシビリティガイドライン（WCAG）です。現在のWCAGのセクション7.3は、キャプションのないメディアは、評価プロセスに自動的に失敗する重大なエラーと見なされることを示していることに注意してください。

米国では、FCCはすでに、アメリカで放送されるすべてのテレビコンテンツはクローズドキャプションを付ける必要があり、このコンテンツのその後のストリーミングは同じルールに該当することを法的に義務付けています。

インターネットを介して独自に放送されるコンテンツがこれらの規制の対象外であることは事実ですが、障害を持つアメリカ人法（ADA）を含む法律は、NetflixやHuluなどのストリーミングプラットフォームに対する訴訟の根拠としてすでに成功裏に使用されています。

そのため、最近では、困難な方法を見つけるよりも、事業を行っている国/州の法律でキャプションが義務付けられていると想定する方がおそらく安全です。

ソーシャルメディア

アクセシビリティの要件を満たすことは、字幕を作成するための優れた理由ですが、特にソーシャルメディアの動画に関しては、難聴に悩まされていない視聴者にとっても有益です。

ミュートされた自動再生は、ソーシャルフィードをスクロールする際の動画の標準になりつつあり、音声をオフにした状態で動画の視聴の85％が発生していると推定されています。したがって、ソーシャルメディアコンテンツの信号対雑音比を改善したい場合は、キャプションがプロセスの重要な部分になりました。

グローバルリーチ

そして、グローバル市場で働く私たちにとって、キャプションは、異なる言語を話す視聴者のために映画やビデオのコンテンツを再利用する最も簡単な方法であることが長い間知られています。 （確かに吹き替えやADRよりもはるかに複雑ではありません。）

一部の翻訳サービスは元のメディアから直接機能しますが、元の言語で字幕ファイルを提供すると、プロセスをスピードアップするのに役立ちます。

もちろん、キャプションがメディア制作の不可欠な要素になりつつある理由は他にもあります。それはミームだけではありません。

ただし、ニーズはビジネスごとに変わる可能性がありますが、基本的なメリットは同じです。メディアにキャプションを付けると、より多くの視聴者にリーチできます。そして、それはすべての人にとって良いことです 。

ショーを始めましょう

開始するには、Premiere Proでキャプションを付けるプロジェクトを開き、タイムラインビューでターゲットシーケンスをアクティブにします。

編集をどのように構成したかによっては、先に進む前に少し準備することが有益な場合があります。

たとえば、複数のボーカルを別々のトラックに配置した場合や、ボーカルとSFX/音楽が同じに混在している場合などです。 トラックの場合、Essential Sound Panelを使用して音声クリップをDialogueとしてタグ付けするのに時間をかける必要があります（簡単な場合は、タイムライン上の不要なトラックをミュートすることもできます）。これにより、PremiereProはエクスポートされたオーディオに含めるアセットを知ることができます。後で分析します。

また、シーケンス全体のキャプションを作成したくない場合は、再生ヘッドを必要な位置に移動し、それぞれIキーとOキーを押して、シーケンスのインポイントとアウトポイントを設定する必要があります。 （この機能にはワークエリアバーは使用されないことに注意してください。）

準備ができたら、テキストウィンドウ（[ウィンドウ]-> [テキスト]）を開き、文字起こしシーケンスを押します。 ボタン。

この時点でのオプションは簡単です。 Dialogueとしてタグ付けしたクリップのみのミックスダウンをエクスポートするか、Mixを選択してシーケンス全体のミックスダウンを作成するか、ドロップダウンメニューからエクスポートする特定のトラックを選択するかを選択できます。

現在、ミックスダウン用に複数のオーディオトラックを選択する方法はありません。これは、別々のトラックに複数のスピーカーがある場合は面倒な場合があります。今のところ、含めたくないトラックをミュートして、ミックスオプションを選択してください。

Speech-to-Textは、世界の人口のほとんどをカバーする印象的な言語の選択をサポートしています。 注目すべき例外はアラビア語、ベンガル語、インドネシア語ですが、米国と英国の両方の英語のバリエーションを見るのは興味深いことです。 （オーストラリアに住む英国の元パットとして、後者は私と一緒にボーナスポイントを獲得します。）しかし、私は英語でツールの有効性についてコメントすることしかできません。

興味深いことに、先生がさまざまな話者を識別する機能は、ベータ版のデフォルトの動作でしたが、現在は同意が必要であり、おそらくプライバシー上の懸念から、イリノイ州では利用できません。

音声文字変換プロセスは比較的高速で、デュアルスピーカーを備えた4分間のテストプロジェクトには約2分かかり、1時間のシーケンスには24分かかります。これは、実行時間の約半分の所要時間を示しています。

ただし、Speech-to-Textは（ほとんど）クラウドベースであり、AdobeCreativeCloudのメンバー全員が突然Senseiの計算サイクルを同時に咀嚼し始めた場合の速度を予測することは不可能です。そうは言っても、ジョブキューイングが必要になったとしても、あなたとあなたのワークステーションは、少なくともその間にコーヒーを淹れたり、他のタスクに追いついたりすることができます。

仕事に戻る

先生が音声を使い終えると、テキストパネルの[トランスクリプト]タブに結果が表示されます。

そして、あなたのマイレージは変わるかもしれませんが、私が実行したテストの正確さに感銘を受けたと言わざるを得ません。私が最初にテストしたベータ版は良かった—公開版はさらに優れている。

スピーカープロファイリングをオプトインすることにより、Senseiは複数のスピーカーを認識し、スピーカー1、スピーカー2などとして識別します。オプトアウトすると、段落セグメントの横に不明が表示されます。

どちらの方法でも、[トランスクリプト]タブの左側の列にある省略記号をクリックし、[スピーカーの編集]を選択して名前を付けることができます。

このツールを使用すると、先生が似たような声の話者を誤って識別した可能性がある場合を手動で修正できます。キャプションの作成段階に進む前に、時間をかけて修正することをお勧めします。

トランスクリプトのクリーンアップについても同じことが言えます。スピーチからテキストへの分析に非常に恵まれていない限り、トランスクリプトにエラーが発生します。これらは、会話の多い配信、バックグラウンドノイズ、会社名などの辞書にない単語、または複数のスピーカーが互いに話し合っている録音で発生する可能性が高くなります。

また、キャプションに変換された後はテキストを編集できますが、前にトランスクリプトを修正する必要があります 次のステップに進みます。これは、Premiere Proがトランスクリプトと後続のキャプションを別々のデータソースとして扱うためです。したがって、一方に変更を加えても、もう一方には影響しません。

ですから、すべてのキャプションが作成されるソースになるので、時間をかけてトランスクリプトを正しく取得してください。

移動

アドビは、ビデオとトランスクリプトを同時にナビゲートするのに役立ついくつかの非常に便利な機能を実装しています。

まず、Premiere Proには、画面をテキスト、エッセンシャルグラフィックス、タイムライン、プロジェクトビン、およびプログラムに分割するキャプションワークスペースがすでにあります。あなたはあなたの好みに合うように物事を微調整したいかもしれませんが。私にとっては、このように見えます…

セットアップが完了したら、道を見つけるのは簡単です。

たとえば、再生ヘッドをタイムラインの新しい位置に移動すると、再生ヘッドの下のそのポイントで話されている単語がトランスクリプトパネルで青色で強調表示される範囲で、対応する場所にトランスクリプトが自動的に頭出しされます。再生ヘッドの位置の前にあるテキストは灰色で表示されます。これは、UXへの追加に役立ちます。

同様に、タイムラインを再生またはスクラブすると、トランスクリプトビューが更新され、再生ヘッドと歩調を合わせます。

また、逆に機能するため、[トランスクリプト]パネルで任意の単語を選択すると、再生ヘッドとビデオプレビューがシーケンス内の対応する時間に自動的に移動します。アドビのサーバーと通信しているためか、応答が少し遅くなることがありますが、それでも非常に効果的なアプローチです。

上隅には検索ボックスもあり、トランスクリプト内の単語やフレーズにジャンプできます。また、繰り返し発生するエラーを修正する必要がある場合は、置換機能も利用できます。

ベストプラクティス

この段階では、おそらくほとんどのナビゲーションを[トランスクリプト]パネルで行います。単語を選択し、スペースキーを押して再生を開始し、聞いている内容と読んでいる内容を比較してから、停止してテキストをダブルクリックして変更を加えます。

私の経験によると、あなたの変更は、間違った単語を修正するのではなく、句読点と文型に集中する可能性が高いです。そして、先生の最善の努力にもかかわらず、キャプションの準備ができた状態にするために、あなたはまだ仕事をする必要があります。

そして、これは予想されることです。自然言語処理は信じられないほど 難しい。アクセント、方言、マナー、トーン、強調を考慮に入れると、人間でさえもそれに苦労します。したがって、マシンから完璧な結果を期待することは非現実的です。 （次の動画の例では、YouTubeの自動キャプションをオンにすることを強くお勧めします。）

（これは優れた代替手段です– https://youtu.be/Gib916jJW1o）

ですから、心を開いて、淹れたてのコーヒーと快適な椅子を持って、この段階に近づいてください。また、キャプション作成のベストプラクティスに関するガイダンスが必要な場合は、最初にBBCの字幕ガイドラインを読むことをお勧めします。

また、トランスクリプトデータはPremiere Proプロジェクトファイルに保存されるため、必要に応じて後で戻ってくることができます。トランスクリプトを個別の、ただし独自仕様の .prtranscriptとしてエクスポートすることもできます。 ただし、このアプローチのメリットは明確ではありません。

準備はいいですか？

トランスクリプトができる限りクリーンであると確信できたら、先に進んでキャプションの作成を押します。 ボタン。

ここでは、スタイルを適用する機能など、さまざまなオプションが提供されます（以前にいくつか作成したことがあると仮定します）。キャプションの最大文字長と最小期間を定義し、それらを2行または1行に設定し、さらにそれらの間に挿入するフレーム数を設定することができます。

この段階で何が必要かわからない場合は、ドロップダウンから「字幕」形式を選択することをお勧めします。シーケンストランスクリプトから作成を確認してください。 ラジオボタンが選択され、残りはデフォルト値のままにします。

Speech-to-Textが提供するさまざまなキャプション形式について説明するのに多くの時間を費やすつもりはありません。私は違いの専門家ではないため、プロジェクトの要件を私よりもよく知っているはずです。しかし、主な理由は、それほど重要ではないからです。 。

これは、Premiere ProのSpeech-to-Textがトランスクリプトデータをそのまま保持し、シーケンスタイムラインの別のトラックにキャプションを追加するためです。 （これは、キャプショントラックをビデオレイヤーに組み込んだPremiere Proの最初のキャプションの試みに比べて大幅に改善されています。）

このおかげで、必要な数の異なる形式でキャプションを生成できます。遡及的にも、プロジェクトが別の基準を使用する地域に売却された場合。追加できるキャプショントラックの数に制限はないようで、各キャプショントラックに使用される形式は明確にラベル付けされています。

物事が乱雑になり始めた場合は、タイムラインビューのCCボタンを使用してトラックの表示を切り替えることができます。

外国語のキャプションを使用している場合、UIのこの側面は、同じシーケンスタイムラインで必要な数の言語のキャプションレイヤーを構築できる可能性があるため、非常に便利です。 。このアプローチには制限があります。これについては後で説明しますが、個人的な経験から言えば、これを心から歓迎します。

したがって、先に進んでその[作成]ボタンを押して、トランスクリプトがチャンク化され、選択した形式でレイアウトされるのを確認してください。

別のラウンド

キャプション作成の経験がある場合は、優れたキャプションには驚くほどの精巧さが必要であることをご存知でしょう。

話し手が話しかける限り、会話を文章に分割して画面に表示するほど簡単ではありません。

話されている内容を、ビジュアルからあまり注意を向けずに読むことができる、短くてわかりやすいセクションに分解する必要があります。句読点は非常に重要であり、改行は理解と混乱の違いを意味する可能性があります。そして公平を期すために、Speech-to-Textはこれを合理的に行っているようです。

ただし、FCCのような字幕標準に準拠するには、ノイズと音楽を可能な限り最大限に伝える必要があります。 。先生がノイズや音楽のラベル付けを開始することを期待するのは不合理ですが（少なくとも今のところ）、キャプションソフトウェアを使用すると、会話以外の情報を組み込むことができます。

一度に1つずつお願いします

残念ながら、Speech-to-Textはシングルに制限されています 重複する要素のスコープなしで追跡します。

つまり、同時スピーカーを簡単に組み込んだり、会話に音声や音楽の識別子を追加したりする方法はありません。 （これらを2番目のキャプショントラックに追加しようとしましたが、一度に有効にできるのは1つのトラックのみです。）

したがって、プロジェクトにFCCコンプライアンスが必要な場合は、このジョブを別のキャプションソリューションに引き渡す必要があるかもしれません。 ただし、それでも、Speech-to-Textを使用してほとんどの方法を実行し、結果をテキストまたはSRT（SubRip）ファイルにエクスポートして別のツールにインポートすることができます。

違いを分割する

Speech-to-Textによって生成されたキャプションを編集する作業に取り掛かると、PremiereProのワークフローは非常に理にかなっています。

文は短い単一行のセグメントに分割され、行を折り返すことなく最小の画面にも収まります。また、現在の状態で完全に機能しない場合は、これらをさらにマージまたは分割することを選択できます。

スペースがあれば、新しいキャプションを追加することもできます（挿入されたキャプションのデフォルトは3秒であり、ここで注意しないと、既存のキャプションを上書きしてしまう可能性があります）。

キャプションも、タイムラインの他のアセットと同じように動作します。したがって、クリップハンドルをドラッグしてインポイントとアウトポイントを調整したり、ビデオクリップにリンクしたり、Razorツールで分割したり、スリップ、スライド、リップル、ロール編集を実行したりすることができます。

そのため、Premiere Proツールセットの使い方をすでに知っている場合は、既存のスキルがここでしっかりと支えられます。

ポストポストで修正

ただし、キャプションに固有のトラック編集の制限があります。

複数のビデオ、オーディオ、または画像トラックを同時に選択して操作できますが、一度にアクティブにできるキャプショントラックは1つだけです。さまざまな形式の複数のキャプショントラックを調整する必要がある場合は、一度に1トラックずつ調整する必要があります。

しかし、これは髪を裂くような感じです。キャプションプロセスは通常、編集がロックされて承認されてからかなり経ってから行われるため、複数のキャプション形式にまたがって変更を加える必要があります フリンジシナリオになります。

開いているか閉じているか？

Premiere Proには、スタイルを保存して将来のプロジェクトに適用する機能など、キャプション用のさまざまな書式設定ツールが用意されています。

フォント、色、影、アウトライン、背景のオプションのほか、位置、テキストの配置、使用可能なキャプション領域を調整できます。そして、これらは個々のキャプションに割り当てることも、キャプショントラック全体に割り当てることもできます。

クローズドキャプション

ただし、キャプションの外観を変更できる範囲は、キャプションをオープンとして展開するかどうかによって異なります。 または閉鎖 。

クローズドキャプションは個別のファイル（サイドカーファイルとも呼ばれます）として保存され、再生中に視聴者がオンとオフを切り替えることができます。

クローズドキャプションのほとんどのフォーマットは再生システムによって処理されるため、フォーマットオプションは制限されます（Premiere Proは、選択したキャプションフォーマットでサポートされている機能のみを表示します）。ただし、名前にもかかわらず、クローズドキャプションは通常、単純なテキストまたはXMLファイルであるため、完成後に変更する方が簡単です。

オープンキャプション

対照的に、開いているキャプションは動画に「焼き付け」られているため、（再生プラットフォームやデバイスに関係なく）常に表示され、適切と思われる方法でフォーマットできます。

また、すべてのビデオプラットフォームで再生されるキャプション付きビデオの単一バージョンを作成できることも意味します。

ただし、ここでのトレードオフは、動画全体を再レンダリングして再配布しない限り、キャプションを変更できないことです。 また、複数の言語を使用している場合は、管理しやすい字幕トラックのセットではなく、言語ごとにまったく新しい動画を作成する必要があります。

開いているキャプションは動画に合わせてサイズが変更されるため、視聴者がモバイルデバイスで縦向きの16×9メディアを視聴している場合、キャプションが小さすぎて読めなくなる可能性があることにも注意してください。

これに基づいて、動画コンテンツにオープンキャプションを選択する理由はないと思うかもしれません。ただし、ソーシャルメディアに公開している場合は、InstagramやTikTokなどのプラットフォームで現在唯一のオプションである自動キャプションツールに依存したくない場合があります。

また、一部のソーシャルプラットフォームでは、動画のアップロードと同時にキャプションを追加することしかできないため、キャプション付きの動画コンテンツをスケジュールしたり自動投稿したりすることはできません。したがって、オープンキャプションは依然として実行可能なオプションです。

仕上げ

現在のバージョンを見ると、エクスポートオプションがEBUN19またはプレーンテキストのSubRipSRTファイル（MacCaption VANCMCC形式で出力ファイルに埋め込まれている）に縮小されているように見えます。 ベータ版で見つかったオプションは使用できなくなりました。

ただし、EBUはほとんどのストリーミングおよびブロードキャストサービスを提供し、SRTはほとんどのオンラインおよびソーシャルビデオプラットフォームをカバーしているため、これは思ったほど制限的ではありません。

表示されていないのは、のみをエクスポートする機能です。 PremiereProのエクスポートツールまたはAdobeMediaEncoderのキャプショントラック。したがって、XMLキャプションファイルを取得するには、少なくともオーディオファイルをレンダリングする必要があります。

[キャプション]パネルから.srtファイルと.txtファイルにエクスポートできることを考えると、これは奇妙に思え、将来変更される可能性があります。

オープンキャプションが必要な場合は、キャプションをビデオに書き込むを選択するだけです。 オプション。もちろん、異なる形式で複数のエクスポートを作成する場合は、バッチエクスポート用にAdobeMediaEncoderにキューに入れることができます。最初に、タイムラインで必要なキャプショントラックの可視性を設定していることを確認してください。

何が足りないのですか？

ベータ版をテストしているときに、Adobeがこのツールを公開する前に改善する可能性があるいくつかの領域に気づきましたが、1つの小さな例外を除いて、まだ「欠落」しています。これが私のウィッシュリストです：

1. トランスクリプトパネルとキャプションパネルで調整可能なフォントサイズ。
   現在、テキストサイズはシステム設定によって定義されており、フォントサイズを大きくして、簡単に操作できるようにしたい場合があります。トランスクリプトを編集しながら読んでください。
2. スクリプトのインポート。
   スクリプト化された素材を使用している場合、理論的には、Speech-to-Textは文字起こしプロセスをスキップして、代わりにタイミングに焦点を当てることができます。これにより、すでに持っているものをキャプション対応の形式にすばやく変換できます。 （YouTubeにはすでにこれがあります。）
3. 話者に基づくカスタムフォーマット。
   トランスクリプトで話者を識別できますが、そのデータをキャプションに自動的に追加する方法はありません。また、シーンごとに字幕を付ける場合は、常にフレームの特定の側にいるスピーカー用にカスタムの字幕を配置すると便利な場合があります。

しかし、それだけの価値はありますか？

PremiereProのSpeech-to-Textでのあなたの経験がどのようなものかは言えません。

すべてのキャプションのニーズに対応するワンボタン自動化ですか？もちろん違います。そして、人間の介入なしに、この複雑で無限に変化するタスクを処理できるシステムを構築するには、まだ長い道のりがあると思います。

しかし、私にとって、このツールは、ベータ版がリリースされる前に、ツールキットに標準で含まれるようになりました。

If pressed, I’d estimate that it’s cut the time it takes to caption content to about a third of what it was before 。 It’s not the only option available—Otter.ai will export transcripts to the .srt caption format, Digital Anarchy has a Premiere Pro plugin called Transcriptive, and of course, you can pay companies to do the job for you—but all of these have a cost component, while Speech-to-Text is currently free to use.

It all comes back to that comment I included at the beginning of this article—is it easier to use Speech-to-Text than it would be to transcribe it yourself? For me, the answer is a very firm yes. So if you’re looking at finding a better way to add accessibility and greater audience engagement to your video projects, Premiere Pro Speech-to-Text is definitely worth a look.

(And if you’re looking for more content on working with audio in Premiere Pro, check out Premiere Pro Mixing Basics and Premiere Pro Audio Tools.)