FramePackでAI動画を生成すると、プロンプトの指示通り背景が動かない問題を解決したい。

AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。
ローカルAI動画生成が楽しすぎて、仕事が手につかなくなってるここ最近ですが、
フレームパックの問題点として、プロンプトに指示しても主人公の人物は動くけど
背景がまったく動かないというのがFramePack(フレームパック)の弱点として非常に気になっていました。
カメラワークは容易に動かす事はできる、でも人物と同時に背景も自然に動かす事がなかなかできない、、、。
たまたま動かないだけだと思っていたのですが、いろんなパターンを何度生成しても本当に背景が動かない、、、
こんな感じです
↑【プロンプト=A woman running vigorously, moving naturally with the background】
人物を走らせても空回りしているような、バイクや車をはしらせてもツルツルの氷の上を滑ってるような映像しか生成されない、背景が激しく動くとプロンプトに指示しても空回りする事にもどかしさを感じていました、そして寝不足になりながら思考錯誤していると、ようやく少し背景がなめらかに動き始めました↓
↑【プロンプト=The woman walks forward with focused determination, her steps steady and sharp, as the background rushes past in a blur.】
こちらの動画も元々背景が動かなかった動画ですが、躍動感が出てきました!
【背景と人物を自然に動かすプロンプトのコツ】
方向性(Direction)
→ walks forward(前方へ進む)
スピード感(Speed)※疑似的に
→ steady and sharp steps(ゆっくりじゃなくキレのある歩き)
必然性(Necessity)
→ background rushes past(背景が流れなければおかしい状況)
今の所、この3つがそろうと人物と共に背景が動きだす事が判明しました。
ランニングする女性を例にとると
| walks forward | 前に歩く(方向性あり) |
| focused determination | 真剣に歩いてる |
| steady and sharp | 歩幅にキレがある ゆったりじゃなく、背景が動いてても不自然じゃない表現 |
| the background rushes past in a blur | 背景に激流れ命令 |
人間の親子のやり取りで例えると、、、
子「電気点けて!」
親「嫌よ自分で点けなさい!」
と、ただ電気を点けてほしいと頼んでも点けてくれません。でも
子「勉強したいんだけど、部屋が暗くて勉強ができないから電気点けて!」
親「いいわよ点けてあげる!(喜んで!)」
のような感じでしょうか、
電気が消えた真っ暗な部屋で勉強=ありえない状況
AIに電気を点けたくなる状況をつくってあげる、
今回の画像のプロンプトの場合AIに背景を動かしたくなる状況を作ってあげるとAIが嫌でも背景を動かし来る(笑)見たいです、
本当に奥が深いですね、AIの世界は、、、。
コンピューター相手に理性的に背景を動かして!と言っても動かず、コンピューター相手にまさか人間的?に訴えかける事によって背景と人物が自然に動き出すという予想外な結果になりました、、、。
あれだけ、FramePack(フレームパック)で何度生成しても人物しか動かず、嬉しいような悔しいような今まで人生で味わった事のない不思議な感情を味わってきましたが、ようやく報われました(笑)
AI動画生成に詳しい有識者の方々にとっては当たり前なの事なのでしょうがAI生成動画初心者の私には非常にやっかいな現象でした(汗)
詳しい検証は後程行いたいと思いますが、とりあえず殴り書きの形をとらせていただきます。