AIで動画を生成してみたものの、
「動きや構図はいいのに、顔だけイメージと違う」
「同じ人物のつもりで生成しているのに、動画ごとに顔が変わってしまう」
そんな経験はありませんか？
せっかく動きやカメラアングル、雰囲気までうまく生成できたなら、その良さを活かしながら人物の顔を調整したいところです。
今回は、Zen Creatorと画像編集ソフトを組み合わせて、元動画の動きや構図をできるだけ残しながら、人物の顔を変更する方法を試しました。
実際にできた動画と、制作中につまずいた点、仕上がりを整えるために行った作業を紹介します。
Zen Creatorの概要は以下のリンクからご覧ください。
まずは完成した動画から
今回の手順で制作した動画がこちらです。
制作では、Zen Creatorに素材を入れるだけでは狙った仕上がりにならず、途中で画像編集ソフトを使った合成・色調整を行いました。
また、自然な仕上がりに近づけるには、素材の調整や生成のやり直しも必要でした。
そのため、この記事で紹介するのは、画像編集ソフトで参照画像を準備し、Zen Creatorで画像の仕上げと動画生成を行う方法です。
今回使うZen Creatorについて
Zen Creatorは、画像や動画の生成・編集をブラウザから利用できるサービスです。AI処理のためにローカル環境を構築する必要がなく、高性能なPCを用意せずに試せる点が特徴です。
今回の制作では、次の2つの機能を使用しました。
- 画像エディター：合成した画像の首まわりや影を自然に整える
- 動画変換の「Replace」：用意した画像と元動画を使い、人物を置き換えた動画を生成する
生成した動画の人物をオリジナルキャラクターに近づけたい場合や、複数の動画で顔の印象をそろえたい場合に、試してみる価値があると思います！
今回使用する画像と大まかな手順
今回利用するサンプル
今回は、AIで生成した以下の動画・画像をサンプルに、実際に顔の差し替えを試してみます。
・元動画（動きや構図を活かしたい動画）
・画像サンプル（動画に反映したい顔の画像）
動画の顔を差し替えるまでの手順
以下の手順で顔の差し替えを行いました。
- 元動画の1フレーム目のスクリーンショットを撮り、画像として保存する。
- 画像編集ソフトを使って、スクリーンショット画像と差し替え用画像を粗く合成する。
- 粗く合成した画像を、Zen Creatorの画像エディターを使って綺麗な画像に仕上げる。
- Zen Creatorの「画像変換」で、仕上げた画像を参照画像、元動画を参照動画に指定し、動画生成する。
手順1：元動画の冒頭フレームを画像にする
まず元動画の1フレーム目（0秒時点）をスクリーンショットして保存します。この画像を、次の工程で合成の土台にします。
手順2：画像編集ソフトで顔を合成する
画像編集ソフト（Photoshop、GIMP等）を使って、スクリーンショットした画像と差し替え用画像（動画化したい顔の画像）を合成します。
ポイントは、首のつながりや影のつき方が多少不自然な「粗い合成」でも問題ないということです。
ただ、肌の色味についてはこの段階である程度調整した方が良いです。
今回は、元動画の人物がやや血色のよい肌、差し替えたい人物が青白い肌だったため、首から下の肌色を差し替えたい人物側に寄せるように、彩度・色温度・トーンを調整しました。
※なぜ最初からZen Creatorの「ヘッド＆フェイススワップ」や「画像エディター」を使わなかったのか。
実際に試したところ、参照画像側の顔や髪型の特徴が強く反映されすぎたり、首まわりに違和感が残って「顔だけを貼り付けた」ような仕上がりになるケースがありました。
画像生成にもクレジットを消費するので、ここで上手くいくまで粘るよりも、自分である程度合成し、仕上げだけAIにやってもらう方が効率が良いと判断しました。
もちろん画像によってはZen Creator内で顔の交換を完結できるかもしれないので、試してみる価値はあると思います！
手順3：画像エディターで接合部を整える
Zen Creatorの「画像エディター」で、粗くつないだ部分を自然に仕上げる修正を行いました。
今回使ったモデルはWAN 2.7 Pro、プロンプトは以下の内容です。
Edit only the composite seams. Match neck and jaw skin tone to the chest and shoulders, remove the visible neck line, and blend shadows so the head sits naturally on the body. Soften only the background color mismatch; keep the same white wall, window light, and framing. Keep face, ash-blonde hair, eye color, eyeliner, beauty mark, drop earrings, gray tank top, and pose unchanged. Photorealistic.手順4：動画を生成する
最後に、Zen Creatorの「動画変換」で動画を生成していきます。
今回のように、元動画の動き・構図・カメラワークをできるだけ維持しながら、登場人物を別の人物に置き換えたい場合は「Replace」を使用します。
参照画像（画像エディターで仕上げた画像）と参照動画（顔を差し替えたい元動画）を選択し、解像度を選び、「動画を生成」ボタンで生成します。
生成結果
まとめ
今回はZen Creatorを使って、動画の顔を差し替える方法を検証してみました。
まだまだAIでの動画生成は開発途上という印象ではありますが、一定の成果は出せたかと思います。
顔を置き換える技術というと、いわゆる「ディープフェイク動画」を連想する方も多いかもしれませんが、フェイススワップはそれだけに限らず、AIインフルエンサーやオリジナルキャラクターの動画制作、広告・SNS用コンテンツ、映像表現の調整など、幅広い用途で活用できる技術です。
同じような制作を試したい方は、今回の手順を参考にしてみてください！