Runway ML:クリエイターのための機械学習ツール

表現のための機械学習(というかディープラーニング)がじわじわと来ている、と勝手に思っている。実際、グラフィックス系のカンファレンスでもディープラーニングのセッションが大盛況だし。



クリエイターが機械学習の恩恵を受けられるアプリケーションは、Adobe Senseiみたいに既存ツールの拡張機能という形で普及していくと思っていたけど、単独のアプリケーションも登場していますね。

Runway ML

Runway ML

クリエイターのための機械学習ツール。
あなたの創作活動に人工知能の力を、直感的でシンプルなビジュアルインターフェースで提供します。
さあ、今日から新しい創作方法を始めましょう。

Runwayは、あらゆるジャンルのクリエイターが機械学習を直感的に利用できるプラットフォームです。

まだベータ版ですが、Runway MLはMac, Windows, Linux環境で使える機械学習アプリケーション。要するに非プログラマーでも機械学習の恩恵を受けられるツール。
NIPS 2018のセッションでも紹介されていたようですね。


スポンサーリンク


GUI操作だけでModels Directoryから様々な機械学習手法の学習済みモデルを検索でき、アセットとして利用できる。

Models Directory

アプリケーション自体は無料だけど、有料でクラウドのGPU演算リソースを利用することもできる。
現在のBeta Programでは、アカウント登録すると10ドル分のGPUクレジットがもらえる。GPU利用時間1分あたり5セントらしい。

クラウドGPUではなく、ローカルで実行する場合は別途Dockerのインストールが必要。(モデルによってはクラウドGPUでしか実行できないものもあるようです)

Pythonで使えるRunway Model SDKも用意されており、既存のモデルをRunway MLへ持ってくることもできるらしい。
https://github.com/runwayml/model-sdk

また、公式のGitHubリポジトリにはUniy, Processing, TouchDesigner, arduinoなどからRunway MLを利用するサンプルが公開されている。

モノクロ映像のカラー化

ということで、公式ドキュメントを読みながらRunway MLに触ってみた。インストール方法に従ってオイラはWindows環境でインストール。

試しにモノクロ映像のカラー化をやってみよう。Models Directoryで”colorize”と検索してみると、Automatic ColorizationDeOldifyの2つがヒットした↓



とりあえずDeOldifyの方を使ってみよう。Add to Workspaceでワークスペースに追加。
このモデルはクラウドGPUでのみ実行できるようだ。Artistic, Stable, Video,の3つのモデルが選べるらしいけど、とりあえずArtisticで。
InputとOutputの形式を指定して、Run Remotelyボタンを押すだけ。

DeOldify


スポンサーリンク

オイラは手元にある初代ゴジラ (1954)の映像を使ってみた↓


ゴジラ (1954) のDeOldifyによるカラー化



昼間のシーンは割と上手くカラー化されたな。

まだベータ版だからなのか、Runway MLのインストール先ディレクトリを指定できなくて、Cドライブの変な場所を作業ディレクトリとして使われてしまうのが難アリな感じではある。
OutputのExport DirectoryをCドライブとは別のドライブに指定したらエラーで結果が保存されなかった。Export DirectoryにはCドライブ以下のディレクトリを指定しておかないと無駄なGPUクレジットを消費するはめになる。

InputとOutputに動画ファイルを指定することはできるけど、Output形式を動画にするとエンコードが粗くて低画質な動画が吐かれるので、Outputは連番静止画(Image Directory)にした方が無難。
そして、Input形式に動画ファイルを指定すると、Outputがコマ落ちしたりするので、ここも連番静止画の方が安全だ。

Runway MLには他にもモデルが沢山あり、DensePoseも手軽に試せそう。



最近のアップデートで複数のモデルを接続できるようになったらしい↓
https://medium.com/runwayml/adding-support-for-model-chaining-cd507f0fa935

Live Stream #182: Introduction to RunwayML

Introduction to Runway: Machine Learning for Creators (Part 1)

Introduction to Runway: Machine Learning for Creators (Part 2)


スポンサーリンク

関連記事

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込み・身体の形出し
海洋堂 20cmシリーズ『84ゴジラ』 口内の塗装
海洋堂 20cmシリーズ『モスゴジ』 首パーツの接着・爪と全身のベース塗装
ちょっと凝り過ぎなWebキャンペーン:全日本バーベイタム選手権 (MITSUBISHI KAGAKU...
ジュラシック・パークのメイキング
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
自前Shaderの件 解決しました
一番くじのシン・ゴジラ ソフビフィギュア
OpenCVで平均顔を作るチュートリアル
顔モデリングのチュートリアル
ゴジラ三昧
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
『パシフィック・リム: アップライジング』のVFXブレイクダウン まとめ
映画『ゴジラ キング・オブ・モンスターズ』を観てきた (ネタバレ無し)
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. 胸の電飾加工
シン・ゴジラのDVD&Blu-rayは2017年3月22日発売
酒井ゆうじ造型工房『20cm ビオゴジ出現』 歯茎の境界に影を入れる
Maya 2015から標準搭載されたMILA
ZBrushで仮面ライダー3号を造る ベース編
3Dオブジェクトの確認・変換に便利なフリーウェア『MeshLab』
大ゴジラ特撮展
2016年 観に行った映画振り返り
リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』
2012のメイキングまとめ(途中)
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. 口内の塗装
PCA (主成分分析)
S.H.MonsterArts ゴジラ(2017)は8月1日予約開始!
海洋堂 20cmシリーズ『モスゴジ』 背びれパーツの軸打ち
タマムシっぽい質感
3DCGのモデルを立体化するサービス
書籍『GODZILLA GRAPHIC COLLECTION ゴジラ造型写真集』が出るぞ
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. 電飾のための工作 その4
酒井ゆうじ造形コレクション ゴジラ(2016) の予約受付開始
海洋堂 20cmシリーズ『モスゴジ』 パーツの洗浄・煮沸 そして下アゴの加工
映画『ミュータント・タートルズ』を観てきた
takminさんが機械学習・画像認識の便利ツールを公開しています
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer. 身体の電飾
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正
顔のモデリング
Python.NET:Pythonと.NETを連携させるパッケージ
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

コメント