最近UEで簡単なゲームを作りながら勉強中です。
ある程度動かせるようになったのでゲームで使う3Dモデルを差し替えようと思いました。
Fabを覗いた感じ、ゲームに合いそうなものがなかったので【生成AIを使って画像から3Dモデルを作る】ことにしました。
本番での使用はいろいろとアレなのでプロトタイピング想定。
なので対象破綻しててもOKとします。
画像生成
ChatGPT
数回画像生成しただけで使えなくなってしまったので利用を中断。
Gemini
ChatGPTに比べて制限が少なく画像生成が出来たので最初の頃、かなり使ってました。
これも上限に来たため、他のモノを検討。
Stability Diffusion(Stability Matrix)
入力されたテキストを元に画像を起こしてくれるAI。
サーバーで動かすものもあるけど、ローカルPCに入れてローカル動作させることもできる。
（電気代だけですむ）
私のPCのスペックは以下。
Operating System: Windows 11 Pro 64-bit (10.0, Build 22631) (22621.ni_release.220506-1250)
Processor: 12th Gen Intel(R) Core(TM) i7-12700 (20 CPUs), ~2.1GHz
Memory: 65536MB RAM
Card name: NVIDIA GeForce RTX 3070いろいろ触ってみて「Stability Matrix」が扱いやすかったです。
作りたいイメージを日本語で用意して「google翻訳」で雑翻訳したものをプロンプトにいれてました。
ちなみに三面図作る際に追加したプロンプトは以下です。
(concept art, official art,full body)(three sided view:1.3), simple background,ControlNet の OpenPose でポーズを変えることが出来る、という話でしたが、安定度にかけたため利用は諦めました。
TポーズやAポーズは直接指定することもできましたが、効かないことも多々。
t-pose
a-poseあとはパラメータを追加して任意のものが出来るまで繰り返す。
画像生成：まとめ
制限に縛られない「Stability Diffusion(Stability Matrix)」が良さそうだったのでこちらにしました。
3Dモデル生成
いろんなサービスがあるので一通り試してみました。
こちらの画像を3Dモデルにする。
Meshy
リグはいい感じ、でも顔がべつもんになってる。そして高い。
ダウンロードは「Pro」でないとダメなので3000円課金。
Tripo
リグがおかしくなってるけど、安い。
CSM
ちょっと使うには辛い・・
Hunyuan3D-2
ローカルPCで動作可能。
「pinokio」をインストールしてそのあとに「Hunyuan3D-2」をインストールする。
私の環境で生成に800秒くらいかかりました。
時間のわりに結構マシなモノが出来上がる感じ。
3Dモデル生成：まとめ
一通り試して「Meshy」と「Hunyuan3D-2」が良さそうでした。
その後、何回か繰り返しますが、どちらもリグがうまくいかないことが判明。
（「Hunyuan3D-2」はリグ機能なし）
画像の段階で「Tポーズ」や「Aポーズ」を取るようにしますが、それでもうまくいかず。
しょうがないので Blender でリグをつけることにします。
リギング
Blender+Rigify
Blender標準のリギングツール。
一応これでも設定は出来ましたが、設定回数が多く今後数が多くなってきたとき大変そう。
Blender+Auto-Rig Pro
ということでメジャーなリギングツールを購入しました。（$50）
さくっといけると思いましたが、ウェイトペイントが付与されない現象に遭遇。
どうやらこのBindする際にエンジンを「Voxelized」にする必要がありました。
あと「体積を維持」も外す。
モデルがアニメチックなものだったからでしょうか・・？
ともあれ設定ができ、ポーズをつけることができました！
これは「Hunyuan3D-2」で作ったものに「Blender+Auto-Rig Pro」したもの。
まとめ
これがベスト！というものは見つかってませんが、プロトタイプで使えそうなレベルにまでは持って行けそうです。
次は実際にUE上で動かす作業だ。
RSS - 投稿