FramePackやFramePack-eichiの素晴らしさに日々感動しているのですが、今回はまた少し贅沢な悩みにぶつかりました。 以前の記事で紹介したこちらのAI生成女性 どうしてもこちらを向いてくれないのです！ プロンプトで「こちらを向いて」「正面を向いて」と指示しても、ずっと横向きのまま…。 どうやらFramePackは体の向きを変えるような動作を生成するのが、ちょっと苦手なようです。 ということで、今回はプロンプト以外の方法で「正面を向かせる」チャレンジをしてみました！ 少し複雑な要求になるとFramePack-eichiの出番が増えてきます、今回もFramePack-eichiの出番です！ 今回のケースでは、横向き→正面向きの変化をどう再現するかがカギになります。 そこで登場するのが、画像生成サービス Midjourney（Discord版） との併用です！※Midjourney（Discord版）の使用方法は少し複雑ですので、後日詳細な使用方法を記載したいと思います。 横向きの人物画像を用意 Midjourneyでその人物が正面を向いた画像を生成（全く同じにはなりませんが、似るまで粘るのがコツ！） 横向きと正面向きの2枚の画像をFramePack-eichiで読み込み、アニメーション生成！ 以上のステップで、まだ多少ぎこちなさは残るものの、ある程度自然にこちらを向かせることに成功しました！ 生成した動画はこちら👇 やはり有料サービスより少し手間はかかります。…
FramePackやFramePack-eichiの素晴らしさに日々感動しているのですが、人物がその場でしか動いてくれないという贅沢な悩みをかかえるようになりました。 なんとかして、A地点からB地点に物理的にその場所から動いてくれないかと祈るのですが、なかなかうまくいきません、、、。 しかし、これが人物となるとなかなかうまくいきません、 どんな指示をプロンプトに送ってもカメラが追って来てしまって、人物がその場で動く動画しか生成されないのです＞＜こんな感じ↓ 結局、試行錯誤した結果FramePack-eichiを使い一手間加える事により、1枚の画像から無事人物や主役をA地点からB地点まで物理的に自然に動かす事が出来ました。 FramePack-eichiは本来「異なる2枚の画像を自然につなげる」ツールですが、 この機能をあえて1枚の画像の位置違いに応用していきます！ 手順は以下の通りです👇 主役がA地点にいる画像を画像編集ソフトで開く 主役を切り取り、移動させたいB地点に配置して新しい画像として保存する 元の画像（A地点）と編集後の画像（B地点）をFramePack-eichiに読み込ませて処理する これで完了！ めちゃくちゃアナログな方法ですが（笑）、今のところ一番自然に人物を「場所ごと」動かせる方法です！ 実際にこんな感じの動画がローカル上で生成できます👇 現在は手作業で画像編集が必要で、背景も無いシンプルな状態での実験ですが、…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 AI動画生成ツール「FramePack」の処理が遅い、、、と思っていた方に朗報です！ たとえば、庶民の味方RTX3060(12GB版)を使って、1秒の動画（25ステップ）を生成する場合 xformers未導入だと約6分38秒かかっていた処理が↓ xformersをインストールするだけで約5分11秒に短縮されました。↓ 処理時間が 1分27秒も短縮！これはかなりの差です。 この記事では、xformersをRTX3060(12GB)環境に導入して、生成時間を約7分→5分30秒に短縮した手順を、初心者向けにわかりやすくまとめました。 とりあえず、現在無事に動作している情報だけ殴り書きしています、日々修正を加えていく予定ですのでご了承ください。 又、なぜ「安全」など書いてあるの？と疑問に思われた方はこちらの記事をお読みください。 ※現在当方の知識ではワンクリック版FramePackからはxformersを導入できませんでした、こちらの記事の下部にある、 FramePack手動インストール版でFramePackが起動している事が前提条件となります。 目的： FramePackを高速化する（特にVRAMメモリ効率と処理速度） 成果：…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中！ 今回はローカルAI動画生成ツールFramePack-eichi(フレームパックエイチ)のインストール方法について解説してきます。 【FramePack-eichi(フレームパックエイチ)とは？】 FramePack-eichiは、1枚の画像ともう1枚の画像を、自然につなげるAI生成動画をローカル環境で作れるツールです。 FramePack-eichiを起動するには、本体のFramePackが起動できる環境が必要になります、導入済みでない場合は→ローカルAI動画生成ツールFramePack(フレームパック)のインストール方法について。を参考にしてFramePack本体を導入して下さい。 endframe_ichi.pyファイル endframe_ichi_f1.pyファイル eichi_utilsフォルダ lora_utilsフォルダ diffusers_helperフォルダ 【※注意】 このフォルダ内のファイルはFramePack本体のツールのソースを差し替えるため、必要に応じてバックアップを取る事が必要です。 localesフォルダ これらのファイルとフォルダをFramePack本体のwebuiフォルダ内に上書きコピーします。 【ステップ5】 ステップ３でFramePack本体直下にコピーした、run_endframe_ichi.batを実行すればFramePack-eichiが起動するはずです。…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 ローカルAI動画生成が楽しすぎて、仕事が手につかなくなってるここ最近ですが、 フレームパックの問題点として、プロンプトに指示しても主人公の人物は動くけど 背景がまったく動かないというのがFramePack(フレームパック)の弱点として非常に気になっていました。 カメラワークは容易に動かす事はできる、でも人物と同時に背景も自然に動かす事がなかなかできない、、、。 たまたま動かないだけだと思っていたのですが、いろんなパターンを何度生成しても本当に背景が動かない、、、 こんな感じです ↑【プロンプト＝A woman running vigorously, moving naturally with the…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 まだ詳細なデータは取れていませんが、最大速度約500MB/s程度のSATA接続のSSDでも現状ではぎりぎりボトルネックとなりそうです。現状では最低でもNVMe接続のM.2SSD（読込速度最大2200MB/s）を使用する事でボトルネック無しで快適にFramePack(フレームパック)を実行できそうです。