動画と音声をアップロード。AIリップシンクが一語ずつ口元を合わせ、吹き替えやAIキャラクターのセリフに使えます。
新しい音声と口の動きが合ったMP4が手に入ります。短いクリップならたいてい2〜3分です。
私たち自身のテストを最初から最後まで紹介します。音声をオンにして、無音のクリップとリップシンク後の結果を切り替えてみてください。
彼が英語で話すセリフ:「やあ。ついさっきまで、このクリップは無音でした。今は、話す言葉がすべて唇の動きと合っています。」

実在しない人物の写真。カメラ正面、口を閉じ、光は均一です。

写真からVeo 3.1 Liteで生成した8秒間の映像。まばたきと小さな頭の動きがあります。

AIリップシンクが一語ごとに彼の口元を描き直しました。それ以外の部分は元のままです。
AIリップシンクは、動画の中の口の動きを変えて、新しい音声トラックに合わせるツールです。人物の映像と話させたい音声を渡すと、言葉と口がぴったり合うまで、唇・あご・歯を1フレームずつ描き直します。
撮り直しが不要になります。吹き替えた広告、商品名の修正、声が必要なAIキャラクター。これまでは撮影し直すか、手作業でアニメーションを作るしかありませんでした。AIリップシンクなら手元のクリップだけで済みます。
モデルは音声を聞き取り、音素(発話を構成する音)に分解します。それぞれの音は、ビゼームと呼ばれる口の形に対応します。Mでは唇を閉じ、Aでは大きく開き、Oでは丸くなります。モデルはすべてのフレームで顔の下半分を描き直してタイミングよくその形を作り、周囲の肌や光になじませます。
構図、背景、照明、頭の動き、顔のほかの部分はそのままです。描き直すのは口元だけです。
唇・歯・あごが新しい音声に合わせて動き、新しい音声がクリップの元の音に置き換わります。
AIリップシンクはすべてブラウザで完結します。編集ソフトもプラグインも不要です。
2〜60秒のMP4またはMOVをドロップします。カメラを向いた1人の人物で、口元がはっきり見える映像が最適です。
10 MBまでのMP3、WAV、M4A、AACの音声をアップロードします。スマホで録音しても、音声ツールから書き出しても、吹き替え音声を使ってもかまいません。
同意のチェックボックスにチェックを入れ、「同期する」を押します。短いクリップならたいてい2〜3分でMP4が完成します。
AIリップシンクが描き直せるのは、見つけられた口だけです。見つけられるかどうかは、次の5つで決まります。
正面か少し斜めが最適です。真横を向くと唇の半分が隠れます。
それぞれの口の形を正しく置くには、口の両端が見えている必要があります。
アップの映像には720p以上を使ってください。顔が小さすぎたりぼやけたりしていると、唇が甘くにじんだ仕上がりになります。
口元のピクセルが多いほど、描き直せるディテールも増えます。
はっきり映る顔を1つだけにしてください。大勢が映っていると、別の人に同期されることがあります。
このツールが動かす顔は、1クリップにつき1つです。
手、マイク、マスク、濃いひげが唇にかかると邪魔になります。
口を覆っている部分は、うまく描き直せないか、まったく描き直せません。
素早く頭を振ったり、光がちらついたりすると、フレームごとに口元を追うのが難しくなります。
モーションブラーは、モデルが変えようとしている口の形を隠してしまいます。
結果は動画の長さのまま出力され、料金も動画の秒数で決まります。2つのファイルの長さが合わない場合はこうなります。
| あなたのファイル | 結果 | ヒント |
|---|---|---|
| 音声と動画が同じ長さ | クリップ全体で唇が動く | 吹き替えに理想的なケース |
| 音声が動画より短い | 音声が終わると話し手が話すのをやめる | 先に動画を音声の長さにカットすれば、支払う秒数も減ります |
| 音声が動画より長い | 動画が終わる位置で音声が切れる | セリフを速めるか、もっと長いクリップを使いましょう |
同期の前に両方の長さが表示されるので、長さの違いで驚くことはありません。
誰かにあなたの言葉を話させる動画を作る方法は3つあります。どれが合うかは、手元に何があるかで決まります。
Imgveoでの料金
5秒のクリップで40クレジット
Imgveoでの料金
音声付き8秒クリップで30クレジットから
料金は最新の料金表から読み込んでいます。トーキングフォトの行は、上の実例で実際に使った手順そのものです。
AIリップシンクは吹き替えの最後のステップです。撮り直しなしで、同じ映像にスペイン語、日本語、ドイツ語を話させられます。
セリフを翻訳して声に出して読みます。元の長さに近づけてください。
ネイティブスピーカーに録音してもらうか、音声ツールからMP3またはWAVで書き出します。
最初と最後の無音をカットして、音声がクリップいっぱいに収まるようにします。
元の動画と新しい音声をアップロードします。言語ごとに繰り返してください。
同じ内容でも、言語によってはより多くの音節が必要です。ドイツ語のセリフが長くなるなら、声を速めるより言い回しを短くしてください。速めると慌ただしく聞こえます。AIリップシンクは、音声のテンポがどうであれそれに合わせます。
画面の中の人に、撮影当日には言っていないことを言わせたい場面ならどこでも。
価格、商品名、CTAの文言を、出演者を再手配せずに変更できます。
今後の修正に備えて、出演者がレンズを見ているクリーンなテイクを残しておきましょう。
1本の動画を複数の言語で公開し、言語ごとに口元を合わせます。
最も重要な市場から始めて、結果を確認してからほかの言語に進みましょう。
生成したキャラクターに声と、ストーリーに合うセリフを与えます。
実例と同じように、カメラを向いて口を閉じたキャラクターを生成しましょう。
講演、講座、SNSクリップの言い間違いを1語だけ、撮り直しなしで差し替えます。
その一文だけを切り出してリップシンクし、編集に戻してつなぎましょう。
自分たちのクリップで限界を試しました。期待できることは次のとおりです。

顔がそっぽを向いている、小さすぎる、動きでぼやけている場合は同期が止まり、クレジットは返金されます。
同期される顔は1クリップにつき1つです。会話の場合は、話し手ごとにクリップを分けてください。
AIリップシンクが合わせるのは口の動きで、話し方ではありません。平板な録音は平板なままです。
AIリップシンクが受け付けるもの、出力するもの、かかる料金をまとめました。
動画:MP4またはMOV、2〜60秒、100 MBまで、360p以上。音声:MP3、WAV、M4A、AAC、10 MBまで。
元の動画と同じ長さのMP4。新しい音声がサウンドトラックになり、口元がそれに合わせて動きます。
動画1秒あたり8クレジットで、秒単位に丸められます。有料プラン限定です。失敗した処理のクレジットは返金されます。
| 動画の長さ | クレジット |
|---|---|
| 5秒 | 40 |
| 10秒 | 80 |
| 30秒 | 240 |
| 60秒 | 480 |
AIリップシンクを使えば、人に言っていないことを言わせられます。そのため、まず許可を確認します。毎回の実行前に、その顔と声を使う権利があることを確認していただきます。
Imgveo Studioを開けば、このツールも含めたすべてのAI動画・画像モデルを、1つのワークスペースと共通のクレジットで使えます。
クリップを作ってから、声を与えましょう。
クリップと話させたい音声をアップロードすれば、あとはAIリップシンクが数分で仕上げます。