ゲーム開発日誌 #005 ドット絵生成AIにチャレンジ

前回登録したComfyUIのノード構成ではなく、テンプレートの「SDXLシンプル」を使って、ドット絵生成AIにチャレンジしてみたいと思います。

ComfyUI画面構成

まず最初に確認だけしておきます。 テンプレートノードの中の、「ckpt名」という項目を探してください。 ここの値が「sd_xl_base_1.0.safetensors」となっていれば、正常です。 もし、値が入っていなかったり、間違っている場合は、以前ダウンロードしたファイルの設置場所が間違っている可能性があるので、見直してみてください。

ノード追加

画面をダブルクリックして、以下のノードを検索して追加します。

・IPAdapter ・IPAdapter Unified Loader ・Load Image ・Layer Diffusion

ノード接続（切り替え）

以下ように接続します。 【注意】 ・切り替えは、既存の接続を消してから新しい接続先と繋ぎます。 ・-[***]- この接続ポートの左と右の端子を確認して接続してください。

- Load Checkpoint - Base -[モデル]- IPAdapter Unified Loader （切り替え） - IPAdapter Unified Loader -[モデル]- IPAdapter - IPAdapter Unified Loader -[ipadapter]- IPAdapter - LoadI Image -[画像]- IPAdapter - IPAdapter -[モデル]- Layer Diffusion - Layer Diffusion -[モデル]- KSampler

今回追加したノードはこんな感じで接続されました。

値のセット

・Load Imageには、自分が用意した、今回作ってほしい画像のサンプル（形状の見本）をアップします。 ・IPAdapterは、以下の値セット

- weight : 6.0 - start_at : 0.0 - end_at : 1.0 - weight-type : standard

・Layer Diffusionの「重み」には1.0をセットしておきます。

プロンプト（指示文）の設定

続いて、どのような画像を生成するか指示文を入力します。 とりあえず、まずは表示テストとして以下のようなプロンプトを入れてみます。 masterpiece, best quality, orthographic projection, orthographic camera, parallel projection, no perspective, 2:1 dimetric projection, JRPG map perspective, game asset, simple cube, rounded edges, glossy plastic, blender render, studio lighting, clean edges, minimal shadow, technical drawing CAD blueprint engineering illustration, orthographic technical illustration ネガティブプロンプト（下のテキスト入力枠）には、崩れを防ぐために不要な要素を入れておきます。 perspective, perspective camera, vanishing point, camera lens, wide angle, fisheye, foreshortening, isometric, axonometric, low quality, worst quality, 2d,

実行

上記のセットで実行をしてみて、出来上がったのはこちら・・・

試行錯誤の結果・・・

今回のセットで、いくつかの課題が見えてきました。

1. アルファ（透明）処理ができていない。 2. 素材が、ダイメトリック(2:1)ではなく、アイソメトリック(1:1)のサイズで出力されている。 3. 出来上がった画像が画面のサイズに、fitしてくれない。 4. 3面図での質感が思った通りに出せない。

このあと、いろいろなノードを追加したり、あれこれやってみた結果がこちら・・・ 素材を並べただけの結果 素材を並べたものを、サンプル画像でくり抜いたような結果 くり抜きが反転してしまっている結果 模様をサンプル計上でくり抜いただけの結果 形状は合っていて、何か模様を描こうとしているが、サイズなどが不安定な結果 もはや床タイルのチップというよりは、意味不明なオブジェクトの結果 単なる石畳だけの結果 ???

あとがき

実は、この検証、２週間ほどあれやこれややってみたんですが、一向にこちらの望む結果は出ませんでした。 AIは、この結果を提示しても、「やればできる」と言って、次から次へ、ノードの変更やらプロンプトの変更をするだけで、解決の糸口がまるで見えてきません」。 どうやら、AIがこうしたゲームに使う素材を作るのは、本当に苦手だったようだということが深く理解できました。 ということで、ComfyUIを使ったドット絵の素材制作は、ここら辺でやめにすることにします。 もっと別の方法での素材作りを模索してみたいと思います。