クリエイターのための機械学習ツール『Runway ML』

表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。



クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。

Runway ML

Runway ML

クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。

Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。

まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。要するに非プログラマーでも機械学習の恩恵を受けられるツール。
NIPS 2018のセッションでも紹介されていたようですね。


スポンサーリンク


GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。

Models Directory

アプリケーション自体は無料だけど、有料でクラウドのGPU演算リソースを利用することもできる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。

クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)

Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk

また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。

モノクロ映像のカラー化

ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。

試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationDeOldifyの2つがヒットした↓



とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。

DeOldify


スポンサーリンク

オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓


ゴジラ (1954) のDeOldifyによるカラー化



昼間のシーンは割と上手くカラー化されたな。

まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。

InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。

Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。



最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935

Live Stream #182: Introduction to RunwayML

Introduction to Runway: Machine Learning for Creators (Part 1)

Introduction to Runway: Machine Learning for Creators (Part 2)


スポンサーリンク

関連記事

書籍『開田裕治 怪獣イラストテクニック』
iPhone欲しいなぁ
海洋堂 20cmシリーズ『84ゴジラ』 完成
2016年 観に行った映画振り返り
フリーで使えるスカルプト系モデリングツール『Sculptris 』
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
まだまだ続く空想科学読本
Maya LTのQuick Rigを試す
Vancouver Film Schoolのデモリール
OpenMayaRender
ファンの力
ZBrushの作業環境を見直す
シン・ゴジラの雛型レプリカの予約受付開始
CNN Explainer:畳み込みニューラルネットワーク可視化ツール
ゴジラ(2014)のディティール制作の舞台裏
手を動かしながら学ぶデータマイニング
シン・ゴジラがS.H.MonsterArtsで11月発売予定
OpenGVのライブラリ構成
Open3D:3Dデータ処理ライブラリ
酒井ゆうじ造型工房『23cm シン・ゴジラ』 爪の塗装・全身に黒のグラデーション塗装
海洋堂 20cmシリーズ『84ゴジラ』 背びれの塗装
GODZILLAの映画PR用等身大フィギュアのメイキング記事
小説『GODZILLA プロジェクト・メカゴジラ』読了(ネタバレ無し)
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
薩摩剣八郎のゴジラ剣法
小説『GODZILLA 怪獣黙示録』読了(ネタバレ無し)
シン・ゴジラの最新予告篇映像が解禁されたぞ!
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
複数視点画像から3次元形状を復元するライブラリ『openMVG』
『シン・ゴジラ』の感想 (ネタバレあり)
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
OpenMayaのPhongShaderクラス
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
mentalrayのSubsurface Scattering Shader『misss_fast_...
日本でMakersは普及するだろうか?
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
Raspberry Pi 2を買いました
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
『PIXARのひみつ展』に行ってきた
ビリケン商会 メカゴジラⅡ 眼の注型
書籍『OpenCV 3 プログラミングブック』を購入
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

コメント