FramePackをもっと快適にローカル上で活用できないかと情報を探していた所、、、ついに見つけました！ その名も FramePack Studio！ このツールの最大の魅力は、なんといっても「ジョブをストックしておける」こと。 正式には「ジョブキュー機能」と言いますが、とにかくこれが革命的です！ FramePack Studioには、他にも便利な機能がたくさんあるようなので、 今後も使い倒してレビューしていきたいと思います！ 👇FramePackStudioのインストール方法はこちらの別記事で記載しています。 FramePackStudioのインストール方法
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中！ 今回は「FramePackStudio」のインストール方法をご紹介します！ このツールは、 本家FramePack FramePack F1 FramePack-eichiのエンドフレーム合成処理 これらすべてを1つの画面で切り替え＆実行可能な上、 ジョブストック機能まで搭載した、ローカルAI動画を生成をする上ですばらしい最強統合ツールです。詳しくはこちらの記事へ 👆緑のcodeボタンクリックでDownloadZIPからダウンロードします。 フォルダを任意の場所に展開し、 必要に応じて仮想環境を必ず有効にして下さい。(理由はこちら) コマンドプロンプトで、先ほど展開した FramePackStudio フォルダに移動し、以下のコマンドを実行します（※仮想環境での実行を推奨します）。…
FramePackやFramePack-eichiの素晴らしさに日々感動しているのですが、今回はまた少し贅沢な悩みにぶつかりました。 以前の記事で紹介したこちらのAI生成女性 どうしてもこちらを向いてくれないのです！ プロンプトで「こちらを向いて」「正面を向いて」と指示しても、ずっと横向きのまま…。 どうやらFramePackは体の向きを変えるような動作を生成するのが、ちょっと苦手なようです。 ということで、今回はプロンプト以外の方法で「正面を向かせる」チャレンジをしてみました！ 少し複雑な要求になるとFramePack-eichiの出番が増えてきます、今回もFramePack-eichiの出番です！ 今回のケースでは、横向き→正面向きの変化をどう再現するかがカギになります。 そこで登場するのが、画像生成サービス Midjourney（Discord版） との併用です！※Midjourney（Discord版）の使用方法は少し複雑ですので、後日詳細な使用方法を記載したいと思います。 横向きの人物画像を用意 Midjourneyでその人物が正面を向いた画像を生成（全く同じにはなりませんが、似るまで粘るのがコツ！） 横向きと正面向きの2枚の画像をFramePack-eichiで読み込み、アニメーション生成！ 以上のステップで、まだ多少ぎこちなさは残るものの、ある程度自然にこちらを向かせることに成功しました！ 生成した動画はこちら👇 やはり有料サービスより少し手間はかかります。…
FramePackやFramePack-eichiの素晴らしさに日々感動しているのですが、人物がその場でしか動いてくれないという贅沢な悩みをかかえるようになりました。 なんとかして、A地点からB地点に物理的にその場所から動いてくれないかと祈るのですが、なかなかうまくいきません、、、。 しかし、これが人物となるとなかなかうまくいきません、 どんな指示をプロンプトに送ってもカメラが追って来てしまって、人物がその場で動く動画しか生成されないのです＞＜こんな感じ↓ 結局、試行錯誤した結果FramePack-eichiを使い一手間加える事により、1枚の画像から無事人物や主役をA地点からB地点まで物理的に自然に動かす事が出来ました。 FramePack-eichiは本来「異なる2枚の画像を自然につなげる」ツールですが、 この機能をあえて1枚の画像の位置違いに応用していきます！ 手順は以下の通りです👇 主役がA地点にいる画像を画像編集ソフトで開く 主役を切り取り、移動させたいB地点に配置して新しい画像として保存する 元の画像（A地点）と編集後の画像（B地点）をFramePack-eichiに読み込ませて処理する これで完了！ めちゃくちゃアナログな方法ですが（笑）、今のところ一番自然に人物を「場所ごと」動かせる方法です！ 実際にこんな感じの動画がローカル上で生成できます👇 現在は手作業で画像編集が必要で、背景も無いシンプルな状態での実験ですが、…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中！ 高速化ライブラリで定番のXformers をようやく導入でき、FramePackとFramePack-eichiの動画生成速度が見事に高速化！と思いきや、、、どうしても気になっていたもう一つの高速化ライブラリがありました。 その名も『SageAttention』 ネットで検索しても、積極的に導入を進めているような詳しい情報は無く詳細不明。 「流行ってないのか、それとも最先端すぎるのか？」 半信半疑ながら、仮想環境を有効にして適当にpip install したら、、、 インストール成功！そして爆速化！ なんと処理速度がXformersよりも格段に速くなって 高速化ライブラリ無し6分38秒→SageAttention導入で4分9秒と私にとっては驚異的な高速化になりました、、、。（Xformers導入時は5分11秒） ↓ まさかの Xformersよりもさらに1分以上の短縮。…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中！ 簡単に言うと、あるアプリやプロジェクト専用の“作業部屋”を作ることです。 その中にだけライブラリやツールを入れて、他とは切り離して管理します。 たとえばPythonの場合だと プロジェクトAでは「ライブラリXの古い版」が必要 プロジェクトBでは「ライブラリXの最新版」が必要 こんなとき、仮想環境がないとライブラリがごちゃ混ぜになって動かない！ でも、仮想環境を使えば、それぞれ別々の空間で動かせるので安心。 つまり、「隔離された安全地帯」のようなイメージです。 なぜ「仮想環境が絶対必要」なの？ 例えばこうなったらヤバい：Aのアプリ「ライブラリXはバージョン1.0がいいな」 Bのアプリ「ライブラリXは最新の1.9じゃないと動かない」 → 同じPC内でぶつかって、どっちもエラーで動かない！！ ということが本当に起こります、、、！（体験談あり）…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 AI動画生成ツール「FramePack」の処理が遅い、、、と思っていた方に朗報です！ たとえば、庶民の味方RTX3060(12GB版)を使って、1秒の動画（25ステップ）を生成する場合 xformers未導入だと約6分38秒かかっていた処理が↓ xformersをインストールするだけで約5分11秒に短縮されました。↓ 処理時間が 1分27秒も短縮！これはかなりの差です。 この記事では、xformersをRTX3060(12GB)環境に導入して、生成時間を約7分→5分30秒に短縮した手順を、初心者向けにわかりやすくまとめました。 とりあえず、現在無事に動作している情報だけ殴り書きしています、日々修正を加えていく予定ですのでご了承ください。 又、なぜ「安全」など書いてあるの？と疑問に思われた方はこちらの記事をお読みください。 ※現在当方の知識ではワンクリック版FramePackからはxformersを導入できませんでした、こちらの記事の下部にある、 FramePack手動インストール版でFramePackが起動している事が前提条件となります。 目的： FramePackを高速化する（特にVRAMメモリ効率と処理速度） 成果：…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 xformersとは？処理速度が激変する高速化ライブラリ！ たとえば、RTX3060(12GB版)を使って、1秒の動画（25ステップ）を生成する場合 xformers未導入だと約6分38秒かかっていた処理が↓ xformersをインストールするだけで約5分11秒に短縮されました。↓ 処理時間が 1分27秒も短縮！これはかなりの差です。 GitHubの「FramePack-eichi」の情報（https://github.com/git-ai-code/FramePack-eichi を参考）によれば、 RAM32GB・RTX 4060Ti(16GB)の環境で、xformersを導入することで処理時間が約4分46秒から3分17秒〜3分25秒へと短縮されたと記されています。 xformers未導入：約4分46秒 xformers導入後：約3分17秒〜3分25秒 つまり、xformers未導入のVRAM 16GBのRTX…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中！ 今回はローカルAI動画生成ツールFramePack-eichi(フレームパックエイチ)のインストール方法について解説してきます。 【FramePack-eichi(フレームパックエイチ)とは？】 FramePack-eichiは、1枚の画像ともう1枚の画像を、自然につなげるAI生成動画をローカル環境で作れるツールです。 FramePack-eichiを起動するには、本体のFramePackが起動できる環境が必要になります、導入済みでない場合は→ローカルAI動画生成ツールFramePack(フレームパック)のインストール方法について。を参考にしてFramePack本体を導入して下さい。 endframe_ichi.pyファイル endframe_ichi_f1.pyファイル eichi_utilsフォルダ lora_utilsフォルダ diffusers_helperフォルダ 【※注意】 このフォルダ内のファイルはFramePack本体のツールのソースを差し替えるため、必要に応じてバックアップを取る事が必要です。 localesフォルダ これらのファイルとフォルダをFramePack本体のwebuiフォルダ内に上書きコピーします。 【ステップ5】 ステップ３でFramePack本体直下にコピーした、run_endframe_ichi.batを実行すればFramePack-eichiが起動するはずです。…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 今回は初心者向けにローカルAI動画生成ツール FramePack(フレームパック)のインストール方法を解説して行きたいと思います。 ターミナル上からのインストール方法を書いている内に、FramePackワンクリック版(One-click Installer)が登場し初心者の方でも簡単にFramePackが実行可能になりました！ 【前提条件スペック】 OS：Windows 10/11 GPU：RTX3060など、CUDA対応GPU（最低VRAM6G必須） ストレージ：最大速度約500MB/s程度のSATA接続かNVMe接続のM.2SSDが必要かと思われます。（読込速度約77.8 MB/s程度の昔のHDDだと起動しませんでした） 空きストレージ：100GB程度 （将来FramePack-eichiもインストールする場合130GB以上） メモリ（RAM）：快適に動作させるためには最低32GB 【ご注意】…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 ローカルAI動画生成が楽しすぎて、仕事が手につかなくなってるここ最近ですが、 フレームパックの問題点として、プロンプトに指示しても主人公の人物は動くけど 背景がまったく動かないというのがFramePack(フレームパック)の弱点として非常に気になっていました。 カメラワークは容易に動かす事はできる、でも人物と同時に背景も自然に動かす事がなかなかできない、、、。 たまたま動かないだけだと思っていたのですが、いろんなパターンを何度生成しても本当に背景が動かない、、、 こんな感じです ↑【プロンプト＝A woman running vigorously, moving naturally with the…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 まだ詳細なデータは取れていませんが、最大速度約500MB/s程度のSATA接続のSSDでも現状ではぎりぎりボトルネックとなりそうです。現状では最低でもNVMe接続のM.2SSD（読込速度最大2200MB/s）を使用する事でボトルネック無しで快適にFramePack(フレームパック)を実行できそうです。
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 FramePack-eichi(フレームパックエイチ)を実行中メモリ48GB(VRAMではないほう)も上限張り付きで、衝撃を受けているローカルAI動画生成初心者ですが、生成動画作成PCを購入した時点で気になっていたのがAI動画生成中の消費電力です。 事前の調べで長時間パソコンを起動させなければならない事は分かっていたのですが、なかなかRTX3060(12GB版)＋Ryzen 7 5700XでGPU常時使用率常時張り付きでどれくらい消費電力がかかるのか紹介しているサイトが引っかからない、でも電源は最低650ｗは絶対いるしかも80PLUS BRONZEて噂情報だけ得てたもんだからビビりながら、 「650W電源、上限ギリギリまで食うんだろうなぁ」と思ってました、、、。 そして実際に検証してみた所、、、 まずアイドル時の消費電力がまさかの約40ｗ となっており、2度見どころか5度見しました（笑）なかなかのスペックのPCなのに10年以上前のノートパソコンより省エネなんじゃないかと目を疑いました。 そもそもが最近のパソコンは超絶省エネ設計になっているのですかね（汗 で肝心のFramePack-eichi(フレームパックエイチ)起動時のGPUフル稼働時の消費電力ですが、なんと最大で210ｗと10年以上前のPCならそれぐらい普通なんじゃないかと思うような省電力で稼働してくれました。（勝手な想像です、、、） ちなみにRyzen 7 5700XCPUはAI動画生成中でも常時10％程度しか使用しておらず、…
AI動画生成界の庶民の味方RTX3060(12GB版)を使用して絶賛実験中。 先日の記事で32GBで余裕で余ると思っていたメモリ（RAM：VRAMではないほうです）ですが、32GBで張り付いたので、16GB追加して48GBにしてFramePack-eichi(フレームパックエイチ)を起動してみました！ なぜ32GB追加して64GBにしないかというと、10年以上パソコンを使わずにスマホ人間になっていた私としては、メモリ32GBで張り付くという現実が未だに信じられないのです、たしか10年以上前に買ったPCではメモリ４GBとかで満足していたような（汗） と言う事でさすがに16GB追加すれば余裕だろと思っていたのですが、現実は甘かったです（笑）生成AI恐るべし、、、 速攻で張り付きました、画像は少し余裕があるように見えますが、47.1GBで長らく張り付いていました、、、。 でも動画生成時間は、短くなったような気がします。 生成時間等の詳細な記事は後日書こうと思いますのでお待ちください。 という事で後日16GB追加します、また出費が増える（汗 これでも張り付いたら、B550マザー上限128GBまで挑戦しなければなりません（笑） 頼む、次はどうか張り付かないで下さい。 ※追記です、64GBに増設してチャレンジしてみた所メモリ使用量は50～55GB前後で推移して安定するようになりました！ですのでシステムのメモリは64GBあれば今の所問題なさそうです。
今まで動画生成にはウン十万もするビデオカードを買わないと自前のPCでは動作しないと思っていました。 しかし、FramePack-eichi(フレームパック)は違いますVRAMの最低動作環境がなんと６GBなんです、公式にも誤植じゃないって書いてあります（笑） という事で、全く予定外の出費ですがあまりの感動に約１５マソほどかけてPCを買いました（笑）というかFramePack(フレームパック)なかったらまともに動作するビデオカードすら１５万でも買えないような、、、。 構成は下記になります。 CPU：Ryzen 7 5700X メモリ：DDR4-3200MHz 16G×2＝32GB ストレージ：NVMe接続のM.2SSD (512GB) VGA：RTX3060 VRAM12GB ←これ超重要です 電源：650ｗ（80PLUS BRONZE） RTX3060にはVRAMが８GBに制限された廉価版が存在しますAI動画生成にとってVRAMは命の源です、なのでこれは12GB版が絶対に必要です。…