Runway ML:クリエイターのための機械学習ツール

表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。



クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。

Runway ML

クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。

Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。

要するに、非プログラマーでも機械学習の恩恵を受けられるツール。
まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。
現在は完全なクラウドアプリになりました。

NIPS 2018のセッションでも紹介されていたようですね。




スポンサーリンク


GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。

アプリケーション自体は無料だけど、有料でクラウドのGPU演算リソースを利用することもできる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。

クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)


Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk

また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。


スポンサーリンク

モノクロ映像のカラー化

ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。

試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationDeOldifyの2つがヒットした↓



とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。

オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓







昼間のシーンは割と上手くカラー化されたな。

まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。

InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。

Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。
DensePose:画像中の人物表面のUV座標を推定する
カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"...


最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935







スポンサーリンク

関連記事

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

映画『GODZILLA 決戦機動増殖都市』を観た (ネタバレ無し)

ZBrushで基本となるブラシ

Physically Based Rendering

Windows Server 2008にAutodesk Maya 2009をインストール

OpenCVの超解像(SuperResolution)モジュールを試す

海洋堂 20cmシリーズ『モスゴジ』 全身のグラデーション塗装

なんかすごいサイト

『シン・ゴジラ』観ました (ネタバレ無し)

映画『Godzilla: King of the Monsters』の予告編が公開された!

2500件以上の応募があれば『シン・ゴジラ』フィギュア付きMOOKが発刊!

SegNet:ディープラーニングによるSemantic Segmentation手法

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...

海洋堂 20cmシリーズ『キンゴジ』 全身の塗装

OpenCVでiPhone6sのカメラをキャリブレーションする

グローバルイルミネーションに手を出す前に、やり残したことがあるんじゃない?

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

Open3D:3Dデータ処理ライブラリ

Vancouver Film Schoolのデモリール

PyMC:Pythonのベイズ統計ライブラリ

フィーリングに基づくタマムシの質感表現

NHKのゴジラ特番

Subsurface scatteringの動画

海洋堂 20cmシリーズ『モスゴジ』 パーツの接着・気泡埋め

海洋堂 20cmシリーズ『84ゴジラ』 気泡の処理 その1

ZBrush 4R8 リリース!

Raspberry Pi 2のGPIOピン配置

今年も怪獣大進撃

オープンソースの顔の動作解析ツールキット『OpenFace』

映画『シン・ゴジラ』のワールドプレミア イベント

ゴジラ2000ミレニアムの口の中の塗装

ワンダーフェスティバル2016[夏]に行ってきた

ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整

酒井ゆうじ造型工房『23cm シン・ゴジラ』 ベース塗装

ワンダーフェスティバル2019[夏]に行ってきた

海洋堂 20cmシリーズ『84ゴジラ』 口内の塗装

積みキットの下地処理

海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. 身体の電飾

OpenCV

オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う

3DCGのモデルを立体化するサービス

大ゴジラ特撮展

コメント