画像生成AI Stable Diffusionで遊ぶ

7月にDALL-E2Midjourneyが公開されて以降、画像生成AIの話題が尽きない。
ほんの2,3ヶ月の間に、文章から画像を生成するtext to imageの新しい研究やサービス・ツールへの移植が毎日のように次々と公開されている。
https://note.com/yamkaz/m/mad0bd7dabc99

オイラも8月にMidjourneyを無料枠で試してみた↓



Stability.Aitext to image手法の1つであるStable Diffusionオープンソースで公開したことで、text to imageが色んなサービスやツールに組み込まれて一気に手軽に試せるようになった。
https://huggingface.co/CompVis/stable-diffusion-v1-4
https://github.com/CompVis/stable-diffusion


スポンサーリンク


text to imageを利用できる有料サービスに課金しても良いけど、今はかなり円安なのでできれば自分のPCローカルでtext to image動かして好き放題遊びたい。そこそこ良いスペックのPCはあるので。
デスクトップPCを新調した!
色々と準備していたデスクトップPC新調の準備がようやく整った。 メーカー在庫が欠品しているものもあって、なかなか必要なパーツが揃わなかったのだ。 最終的に以下の構成になった。 ケース:Thermaltake Core V71 TG 電源:S...

NVIDIA GeForce RTX 3080を購入
7月にデスクトップPCを新調したけど、グラフィックスボードだけは新製品が出るのを待っていた。 NVIDIAのGeForce RTX 30シリーズが9月に発表され、 発売と同時にGIGABYTE GV-N3080GAMING OC-10GDを...


少し調べてみると、今のところ最も手軽にtext to imageをローカルで試せるのはStable DiffusionをGUIで包んだこちらのアプリケーション↓

Stable Diffusion GRisk GUI


Stable Diffusionのモデルを実行するためのインターフェイスです。つまり、テキストのpromptを入力するとそれに対応した画像が返ってきます。

これは超アルファ版であるため、多くのバグがある可能性があります。Stable Diffusion GRisk GUI.exeを実行するだけで使用できます。
生成する画像の解像度設定は64の倍数(64, 128, 192, 256など)である必要があり、512×512解像度が最も良い生成結果を得られます。

重要事項:

  • 一部のGTX 1660カードでは、Use Half-Precisionで実行すると問題が発生すると判明しています。(現時点でGUIではこのオプションにしか対応していません)
  • Samples per promptはまだ機能しておらず、promptごとに常に1つの画像が生成されます。同じpromptを複数行繰り返せばSamples per promptと同等の効果を得られます。
  • 512X512で良好な結果を得られますが、他の解像度は品質に影響を与える可能性があります。
  • Step数を多くするとより品質が向上します。Step数を増やしてもメモリ消費量は増えず、処理時間が長くなります。
  • 150 Step以下から始めると良いでしょう。
  • .exeの起動時に以下のエラーが表示されてもアプリは引き続き動作します。


torchvision\io\image.py:13: UserWarning: Failed to load image Python extension:

torch\_jit_internal.py:751: UserWarning: Unable to retrieve source for @torch.jit._overload function: .

warnings.warn(f"Unable to retrieve source for @torch.jit._overload function: {func}.")

torch\_jit_internal.py:751: UserWarning: Unable to retrieve source for @torch.jit._overload function: .

warnings.warn(f"Unable to retrieve source for @torch.jit._overload function: {func}.")

オイラの環境だと640×640解像度まではエラー無く動作したけど、推奨解像度の512×512の方が生成品質は良くなるらしいです。
https://note.com/abubu_nounanka/n/n496a98677201

追記:もっとリッチなGUIアプリがあった↓


スポンサーリンク

NMKD Stable Diffusion GUI


https://github.com/n00mkrad/text2image-gui
https://pajoca.com/stable-diffusion-gui-nmkd/
https://pajoca.com/stable-diffusion-gui-img2img/



promptとパラメータを色々工夫して好みの画像生成を模索してみた結果↓





























ハイスペックなPCを持っていれば、パソコンを起点とした遊びは充実するね。

もはやGANの時代ではないらしい。Stable Diffusionの仕組みについてちゃんと勉強したいなぁ。
https://ja.stateofaiguides.com/20221012-stable-diffusion/

追記:Stable Diffusionをスマホローカルで動作させた例もチラホラ



スポンサーリンク

関連記事

Kaolin:3Dディープラーニング用のPyTorchライブラリ
粘土をこねるようなスカルプトモデリング
参考書
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
Faster R-CNN:ディープラーニングによる一般物体検出手法
科学技術計算向けスクリプト言語『Julia』
NeRF (Neural Radiance Fields):深層学習による未知視点合成
GeoGebra:無料で使える数学アプリ
PowerPointによるプレゼン
Qlone:スマホのカメラで3Dスキャンできるアプリ
Autodesk CompositeとAutodesk MatchMoverが無料
Fast R-CNN:ディープラーニングによる一般物体検出手法
OpenCVの顔検出過程を可視化した動画
PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む
Math.NET Numerics:Unityで使える数値計算ライブラリ
OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
PCの自作
Maya LTのQuick Rigを試す
画像認識による位置情報取得 - Semi-Direct Monocular Visual Odome...
甲虫の色とか
サンライズの勇者シリーズ30周年
第1回 3D勉強会@関東『SLAMチュートリアル大会』
天体写真の3D動画
Alice Vision:オープンソースのPhotogrammetryフレームワーク
ラクガキの立体化 1年半ぶりの続き
オープンソースの物理ベースGIレンダラ『appleseed』
2D→3D復元技術で使われる用語まとめ
HD画質の無駄遣い その2
ドラマ『ファーストクラス』が始まった
ZBrushでアヴァン・ガメラを作ってみる
Arduinoで作るダンボーみたいなロボット『ピッコロボ』
Live CV:インタラクティブにComputer Visionコーディングができるツール
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
偏愛マップ
UnityのAR FoundationでARKit 3
PythonでMayaのShapeノードプラグインを作る
写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
海外ドラマのChromaKey
ラクガキの立体化 3Dプリント注文
ヒトデの骨格のような構造物を作成するシステム『KINEMATICS』

コメント