表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。
クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。
Runway ML
クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。
Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。
要するに、非プログラマーでも機械学習の恩恵を受けられるツール。
まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。
現在は完全なクラウドアプリになりました。
NIPS 2018のセッションでも紹介されていたようですね。
GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。
クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)
Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk
また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。
モノクロ映像のカラー化
ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。
試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationとDeOldifyの2つがヒットした↓
とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。
オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓
昼間のシーンは割と上手くカラー化されたな。
まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。
InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。
Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。
最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935
関連記事
映画『ミュータント・タートルズ』を観てきた
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer...
Phongの表現力パネェ 材質別のPhong Shader用...
ビオゴジがついにS.H.MonsterArts化！
ZBrushのお勉強
海洋堂 20cmシリーズ『モスゴジ』 パーツの洗浄・煮沸 そ...
ビリケン商会 メカゴジラⅡ 電飾を仕込む
ZBrush用トポロジー転送プラグイン『ZWrap Plug...
海洋堂 20cmシリーズ『キンゴジ』 口の塗装と接着
海洋堂 20cmシリーズ『キンゴジ』 全身のグラデーション塗...
ワンダーフェスティバル2024[夏]に行ってきた
ROSでガンダムを動かす
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer...
海洋堂 20cmシリーズ『キンゴジ』 表面処理
MetaHumanの頭部をBlenderで編集できるアドオン
ZBrushで手首のモデリングをリファイン
映画から想像するVR・AR時代のGUIデザイン
OpenCVのfindEssentialMat関数を使ったサ...
BlenderのGeometry Nodeで遊ぶ
薩摩剣八郎のゴジラ剣法
Multi-View Environment：複数画像から3...
Oculus Goを購入！
海洋堂 20cmシリーズ『キンゴジ』 パーツの接着・パテ埋め
シン・ゴジラのファンアート
Seleniumを使ったFXや株の自動取引
ゴジラ 2000 ミレニアムの背びれの塗装
ゴジラ2000ミレニアム 完成 その2
UnityのGameObjectの向きをScriptで制御す...
LuxCoreRender：オープンソースの物理ベースレンダ...
ゴジラのガレージキット組み立て動画
アニメーション映画『GODZILLA -怪獣惑星-』の予告編...
海洋堂 20cmシリーズ『モスゴジ』 全身のグラデーション塗...
After Effects全エフェクトの解説(6.5)
UnrealCV：コンピュータビジョン研究のためのUnrea...
Russian3DScannerのトポロジー転送ツール『Wr...
映画『GODZILLA 星を喰う者』を観た (ややネタバレ)
映画『ゴジラ-1.0』を4DX SCREENで鑑賞 (ネタバ...
Vancouver Film Schoolのデモリール
シン・ゴジラ第5形態雛型がワンダーフェスティバル2017[冬...
海洋堂 20cmシリーズ『キンゴジ』 口内の改造
CGのためのディープラーニング
ゴジラ2000ミレニアムのつや消し仕上げ
コメント