表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。
クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。
Runway ML
クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。
Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。
要するに、非プログラマーでも機械学習の恩恵を受けられるツール。
まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。
現在は完全なクラウドアプリになりました。
NIPS 2018のセッションでも紹介されていたようですね。
GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。
クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)
Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk
また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。
モノクロ映像のカラー化
ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。
試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationとDeOldifyの2つがヒットした↓
とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。
オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓
昼間のシーンは割と上手くカラー化されたな。
まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。
InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。
Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。
最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935
関連記事
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer...
酒井ゆうじ造型工房『20cm ビオゴジ出現』 爪の塗装
ZBrushの練習 手のモデリング
手を動かしながら学ぶデータマイニング
Texturing & Modeling A Pro...
MeshLab：3Dオブジェクトの確認・変換に便利なフリーウ...
ゴジラ2000ミレニアムのつや消し仕上げ
DCGAN (Deep Convolutional GAN)...
Shader.jp：リアルタイム3DCG技術をあつかうサイト
GMKゴジラ完成！
海洋堂 20cmシリーズ『84ゴジラ』 眼・口の周りのレタッ...
酒井ゆうじ造型工房『23cm シン・ゴジラ』 赤のグラデーシ...
CGレンダラ研究開発のためのフレームワーク『Lightmet...
TVML (TV program Making langua...
積みキットの下地処理
頭蓋骨からの顔復元と進化過程の可視化
映画『ゴジラvsコング』を観てきた！ (一応ネタバレ無し)
OpenMayaのPhongShaderクラス
ラクガキの立体化 反省
スクラッチで既存のキャラクターを立体化したい
ガレージキットの「やり過ぎ」の精神
『シン・ゴジラ第4形態 雛型レプリカフィギュア』が届いた！
酒井ゆうじ造型工房『20cm ビオゴジ出現』眼の塗装のやり直...
9月15日(木)に全国26劇場で『シン・ゴジラ』一斉発声可能...
SDカードサイズのコンピューター『Intel Edison』
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
顔のモデリング
『PIXARのひみつ展』に行ってきた
Subsurface scatteringの動画
NeuralNetwork.NET：.NETで使えるTens...
trimesh：PythonでポリゴンMeshを扱うライブラ...
ビリケン商会 メカゴジラⅡ 眼の型取り 再挑戦
アニメーション映画『GODZILLA 怪獣惑星』の特報が公開...
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...
KelpNet：C#で使える可読性重視のディープラーニングラ...
怪獣ガレージキット
ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始...
ゴジラ トレーディングバトル
2012のメイキングまとめ(途中)
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer...
MetaHumanの頭部をBlenderで編集できるアドオン
ゴジラ2000ミレニアム 完成 その2
コメント