AIに編集を任せてみた：「素材を入れて、完成したフィルムを取り出す」という編集ワークフローを半日で開発しました

個人事業主として、私のビデオ映像は編集できるよりも早く蓄積されていきます。 講義の録画、画面の録画、製品のデモ… ハード ドライブ上には大量のオーディオ ファイルやビデオ ファイルがあり、時間があるときに切り取られるのを待っていますが、その「空き時間」は決して現れません。

この 2 日間、私は別の質問をすることにしました。編集ソフトウェアを学習する時間を捻出するのではなく、AI が編集を直接引き継ぐことができるでしょうか。 実はこのアイデアも同じ起源から来ています。私は常々、AIを使いこなすための出発点はツールを選ぶことではなく、ワークフローを解体することであると信じてきました。 映画の編集は良い練習になります。

半日後には、正常に動作するシステムが完成しました。 この記事では、これがどのように成長してきたか、どのような機能があるか、私たちが踏んだ落とし穴は何か、そしてこのセットが将来どのように使用できるかについて説明します。

まず結果を見てみましょう。これら 2 つは AI によってカットされています。

以下の 2 つのビデオは、このワークフローの実際の結果です。抜粋、カメラの動き、単語カード、字幕からサウンドトラックに至るまで、すべてがシステムによって自動的に組み立てられました。 私が行動を起こしたのは 2 つの重要な分野だけでした。 1 つは YouTube と Facebook 用の横型のクイック クリップで、もう 1 つはコミュニティ用の縦型の短いビデオです。

このシステムがどのようにして素材のバッチからさまざまなスタイルのいくつかのプロモーション ビデオを一度に作成できるかを確認したい場合は、その実践的なプロセスを「素材の山から 8 つのプロモーション ビデオまで: クリップを AI システムに変換するのにわずか半日しかかかりませんでした」として書きました。 この記事では、それがどのように設計されているのか、そしてどのような落とし穴があるのか​​を内部的に見ていきたいと思います。

このシステムの5つの特徴

1. 編集デシジョンテーブルが唯一の信頼できる情報源です。 各カットがどこで行われるか、B ロールがどこに積み重ねられるか、音量の変化がどのように変化するかはすべて、バージョン管理された JSON ファイルに記録されます。 カット方法を変更したい場合は、デシジョンテーブルを変更してグラフィックスを再計算するだけです。元の素材は影響を受けません。 これは、完成したすべてのフィルムを完全に再現し、完全にトレースできることも意味します。

2. 人物は 2 つのレベルにのみ表示されます。 このシステムは、プロのポストプロダクション プロセスを 7 つの段階に圧縮しましたが、私に尋ねたのは 2 つの時点だけでした。1 回目は編集計画が大まかに決まったときのレビューのため、もう 1 回目は完成したフィルムの納品前でした。 残りの文字起こし、抜粋の選択、ブレスカット、ミキシング、字幕、マルチプラットフォーム制作はすべて自動化されています。

3. リズム感をチェックできるルールに変える。 優れた映画のリズムはもともと形而上学でしたが、現在ではシステムが自動的にチェックします。映画全体の 0%、25%、50%、75% に刺激的なポイントが配置されているか?エンディングが長すぎたかな？ Bロールがスポットライトを引き継ぐことになるでしょうか？ 機械は最初に最終的な利益を守り、人間は見た目の美しさについて最終的な判断を下すだけで済みます。

4. 画面ロックは厳格なルールです。 業界のポストプロダクション プロセスには鉄則があります。音声と色の修正は、画像が完成した後にのみ行われます (ピクチャー ロック)。 このシステムはプログラムされています。ロック後、スプライス ポイントを移動しようとするツールは直接ブロックされ、エラーが報告されます。 プロセスの規律は意識ではなく、プログラム コードに依存します。

5. タイトルカードとチャプターカードは Web テクノロジーを使用してデザインされています。 動画内のカードレイアウトは編集ソフトを使用して描画したものではありません。代わりに、HTML と CSS が記述され、ブラウザーを使用してスクリーンショットが撮影され、ビデオに結合されます。 これは、カード デザインの自由度が Web デザインと同等であることを意味します。スタイルの 4 つの方向、フォントの変更、色の変更はすべて、スタイルを数行変更するだけで済みます。

あなたが踏んだ落とし穴は、機能リストよりも価値があります

初めての実際のビデオの制作中に、AI は合成テストでは決して検出できない 4 つの問題を見つけるのに役立ちました。

開発環境の鉱山。 パッケージ マネージャーにインストールされている ffmpeg は、字幕を書き込むために必要なコンポーネントが欠けている合理化されたバージョンであり、エラー メッセージは完全に誤解を招くものです。 私は問題を解決するよりも、問題が自分の考えていたものではないことを証明することに多くの時間を費やします。

テストの盲点。 すべての単体テストでは、同じサイズの合成材料を使用しました。その結果、初めて、話し言葉の映像と画面録画の解像度が異なる実際の状況に遭遇したときに、レンダリング エンジンが直接クラッシュしました。 そして、これはまさにこのタイプの映画の標準です。 教訓: テスト資料の多様性によって、事前にどれだけ現実を捉えることができるかが決まります。

発表されたものの履行されなかった契約。 編集デシジョンテーブルには、オーディオをフェードアウトする終了用のフィールドがありますが、レンダリング エンジンはそれを実装しません。アナウンスは黙って無視され、映画の終わりはカットされる。 この問題は私が発見したのではなく、独立した AI 承認エージェントによって発見されました。AI 承認エージェントは自己申告を一切信用せず、波形データで項目ごとに検証し、最終的に不合格と判断しました。 それ以来、このプロジェクトには追加のルールが追加されました。仕様内の各フィールドには、対応する検証テストが必要です。

AIは写真を見ることはできますが、時間を知ることはできません。 このシステムは素材の内容を理解するためにフレーム抽出を使用していますが、4 つの静止画像からは 8 秒前にカメラがまだ揺れていたかどうかを判断することはできません。 つまり、完成した映画の最初のバージョンのオープニングは 6 秒の天井でした。 この解決策は非常に興味深いものです。再編集する代わりに、オープニング シーンはテーマのスライド ショーで覆われ、黄金の文章のサウンドは完全に保持されます。 制約はより良い設計につながります。

奇跡ではなく方法を頼りにすれば半日でできる

この半日の作業プロセスを振り返ると、本当に記録に値するのはスピードではなく、いくつかの作業方法です。 これらの手法は映画を編集するために発明されたものではなく、私が 1 年間 AI 軍と協力して蓄積した資産です。それらが段階的に開発されていく様子については、「3か月、1人、クロード・コードという軍隊」でお話しました。

• 並行分業: 15 の開発タスクが 3 つのウェーブに分割されます。 各ウェーブは複数の AI エージェントによって同時に実装されます。インターフェイスは事前にロックされているため、他の人を踏むことはありません。 これは、「逆分業」を読んだときに最も衝撃を受けたことです。人が AI 軍隊を所有し始めると、分業の論理は完全に逆転します。
• 検証は自己検査ではない: プログラムを作成するエージェントは、自分の作業を検証しません。 開発に参加していない独立したエージェントは常に敵対的受け入れを実行します。その役割は問題を見つけることであり、問​​題がないことを確認することではありません。 この仕組みにより、1 日で流出する可能性がある 2 つの実際のバグを捕らえました。
• 人工的な判断ポイントの設計: AI にできることすべてを AI に与えるのではなく、コピーライティングの事実の正しさ、美学の最終的な選択、出版の意思決定権など、どの判断が本質的に人間に属するのかを明確にします。 システムの自動化の度合いが高くなるほど、これらの境界はより明確になる必要があります。

次はどうなるでしょうか?

このシステムは現在、口頭ブロードキャスト、画面録画、コースビデオを完全にサポートしています。 ロードマップには、カラー グレーディング パイプライン、ミュージック ラグのミキシングと編集、ストレートショート ビデオのインテリジェントな再構築、複数のカメラの自動切り替えがリストされています。

しかし、機能性よりも重要なのは、コンテンツ制作の構造が変わったことです。 以前はレコーディングからリリースまでの間に山ほどの編集があったのに、今ではレビューが 2 つだけになっています。 講義録画はその日のうちにコースビデオに変換でき、蓄積された資料ライブラリはついに出口を獲得しました。

実際、「最初にシステムを構築し、次に生産を反復する」というこのロジックは、別のシナリオでも依然として当てはまります。素材を文書に、完成した映画を紙に置き換えると、同じことをしていることになります。 繰り返しのプロセスを、何度も実行できる AI システムに引き渡すことです。この道筋については、「AI ツールを学ぶだけではない: 研究者が反復可能な学術副操縦士を作成する方法」でより完全に整理しました。この編集ワークフロー全体は、実際に私が AI コンテンツ制作システム ワークショップで全員に実践するよう指導したものです。

私が最も共有したい経験

共同開発にも AI を使用している場合、私が最も共有したい経験は、AI をツールとしてではなくチームとして使用することです。 明確な受け入れ条件を与え、さまざまな役割を相互にチェックしてバランスを取り、本当に人材が必要な場合は人間の判断に任せ、残りはプロセスに任せます。

これが、私が「プロンプトの言葉は期限切れになりますが、あなたは期限切れになりません」と言い続ける理由です。 実行コストがどんどん低くなっていく中で、本当に価値があるのは、問題や前提を明確に説明し、誰が誰をチェックするのかを設計する能力です。 AIをワークフローに組み込み、長期的なパートナーとして扱うこの感覚は、実は以前に書いた「AIが編集者になるとき」と同じことですが、今回は舞台がテキストからビデオに変わった点が異なります。

---

この「素材を入力してフィルムを出力」という方法を、何度も実行できるシステムに変えたい場合は、私が個人会社 solo.tw で開いた AI コンテンツ制作システム ワークショップ へようこそ。 私は通常、クリエイターや独立した労働者向けのアイデアを content.tw（新しいタブで開く） に掲載しています。vista.tw に頻繁にアクセスしてください。