クリエイターのための機械学習ツール『Runway ML』

表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。



クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。

Runway ML

Runway ML

クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。

Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。

まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。要するに非プログラマーでも機械学習の恩恵を受けられるツール。
NIPS 2018のセッションでも紹介されていたようですね。


スポンサーリンク


GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。

Models Directory

アプリケーション自体は無料だけど、有料でクラウドのGPU演算リソースを利用することもできる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。

クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)

Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk

また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。

モノクロ映像のカラー化

ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。

試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationDeOldifyの2つがヒットした↓



とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。


スポンサーリンク

DeOldify

オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓





昼間のシーンは割と上手くカラー化されたな。

まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。

InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。

Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。
https://blog.negativemind.com/2018/06/21/densepose/

最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935

Introduction to RunwayML


スポンサーリンク

関連記事

OpenCVで動画の手振れ補正
Structure from Motion (多視点画像からの3次元形状復元)
ZBrush4新機能ハイライト 3DCG CAMP 2010
3Dグラフィックスの入門書
シン・ゴジラのファンアート
ZBrushCoreのTransposeとGizmo 3D
一番くじのシン・ゴジラ ソフビフィギュア
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
IronPythonを使ってUnity上でPythonのコードを実行する
海洋堂 20cmシリーズ『84ゴジラ』 パーツの洗浄・煮沸・下半身にレジン充填
ZBrushのハードサーフェイス用ブラシ
海洋堂 20cmシリーズ『キンゴジ』 パーツの洗浄・煮沸 そして接着
タダでRenderManを体験する方法
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
ブラウザ操作自動化ツール『Selenium』を試す
シン・ゴジラ第5形態雛型がワンダーフェスティバル2017[冬]で展示されるぞ!
リファレンス画像専用ビューア『PureRef』
続・ディープラーニングの資料
大ゴジラ特撮展
酒井ゆうじ造型工房『23cm シン・ゴジラ』 赤のグラデーション塗装 その1
第1回 ゴジラ検定を受けました
ラクガキの立体化 胴体の追加
フォトンの放射から格納までを可視化した動画
機械学習について最近知った情報
プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)
単純に遊びに行くのはだめなのか?
WebGL開発に関する情報が充実してきている
海洋堂 20cmシリーズ『モスゴジ』 パーツの洗浄・煮沸 そして下アゴの加工
FacebookがDeep learningツールの一部をオープンソース化
HD画質の無駄遣い その2
海洋堂の20cm ゴジラ ソフビキットが7月に再販
為替レートの読み方 2WAYプライス表示
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
ゴジラ(2014)のディティール制作の舞台裏
3D復元技術の情報リンク集
1/7 サイズのゴジラが六本木に登場『MIDTOWN meets GODZILLA』
takminさんが機械学習・画像認識の便利ツールを公開しています
アニメーション映画『GODZILLA 怪獣惑星』の特報が公開された!
小説『GODZILLA 怪獣黙示録』読了(ネタバレ無し)
実写と実写の合成時の色の馴染ませテクニック
ワンダーフェスティバル2017[夏]に行ってきた
Unity ARKitプラグインサンプルのドキュメントを読む

コメント