Runway ML:クリエイターのための機械学習ツール

表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。



クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。

Runway ML

クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。

Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。

要するに、非プログラマーでも機械学習の恩恵を受けられるツール。
まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。
現在は完全なクラウドアプリになりました。

NIPS 2018のセッションでも紹介されていたようですね。


スポンサーリンク


GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。

アプリケーション自体は無料だけど、有料でクラウドのGPU演算リソースを利用することもできる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。

クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)


Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk

また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。


スポンサーリンク

モノクロ映像のカラー化

ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。

試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationDeOldifyの2つがヒットした↓



とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。

オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓







昼間のシーンは割と上手くカラー化されたな。

まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。

InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。

Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。
DensePose:画像中の人物表面のUV座標を推定する
カーネギーメロン大学が公開している2D画像からの人体骨格推定ライブラリOpenPoseの元の研究である"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"...


最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935







スポンサーリンク

関連記事

小説『GODZILLA プロジェクト・メカゴジラ』読了(ネタバレ無し)
酒井ゆうじ造型工房 20cm ゴジラ 2000ミレニアムの爪の塗装
ラクガキの立体化 モールドの追加
ゴジラ・フェス オンライン 2020
プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)
ZBrushでUndo Historyを動画に書き出す
映画『キングコング: 髑髏島の巨神』を観た
ドラマ『ファーストクラス』のモーショングラフィックス
マイケル・ベイの動画の感覚
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
書籍『The Art of Mystical Beasts』を購入
FacebookがDeep learningツールの一部をオープンソース化
iPhoneで3D写真が撮れるアプリ『seene』
立体視を試してみた
Google Colaboratoryで遊ぶ準備
Kubric:機械学習用アノテーション付き動画生成パイプライン
Russian3DScannerのトポロジー転送ツール『WrapX』
geometry3Sharp:Unity C#で使えるポリゴン操作ライブラリ
世界一下品なクマと世界一紳士なクマ
ZBrushでゴジラ2001を作ってみる 頭の概形作り
天体写真の3D動画
海洋堂 20cmシリーズ『キンゴジ』 パーツの洗浄・煮沸 そして接着
NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
After Effects全エフェクトの解説(6.5)
OpenSfM:PythonのStructure from Motionライブラリ
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. 電飾のための工作 その3
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
酒井ゆうじ造型工房『20cm ビオゴジ出現』 歯茎の境界に影を入れる
ZBrushの作業環境を見直す
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. LEDテープで面光源を作る
海洋堂 20cmシリーズ『84ゴジラ』 背びれの塗装
海洋堂 20cmシリーズ『84ゴジラ』 眼の塗装
ZBrushでゴジラ2001を作ってみる 姿勢の変更
BlenderのRigifyでリギング
海洋堂 20cmシリーズ『キンゴジ』 完成
Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ
OpenCVでiPhone6sのカメラをキャリブレーションする
『特撮のDNA』を見てきた
PCA (主成分分析)
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整 その2
U-Net:ディープラーニングによるSemantic Segmentation手法
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher

コメント