TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

Twitterで知ったブラウザ上でインタラクティブにCNN(Convolutional Neural Network)のネットワーク構造を3Dで可視化できるオープンソースのフレームワークTensorSpace.js。ネットワーク構造だけでなく、特徴マップも可視化できる。
Apache License 2.0だそうです。

TensorSpace.js

TensorSpace.js

TensorSpaceは、TensorFlow.js, Three.js, Tween.jsで構築されたニューラルネットワークの3D視覚化フレームワークです。TensorSpaceは、ディープラーニングのレイヤー構築、訓練済みモデルの読み込み、ブラウザ上での3D可視化できるKerasライクなAPIを提供します。
TensorSpaceなら、モデルの構造とは何なのか、モデルはどのように訓練されているのか、モデルが中間情報に基づいてどのように結果を予測しているのかを直感的に学ぶことができます。
TensorSpaceでは、モデルの前処理を行うことでTensorFlow, Keras, TensorFlow.jsで事前に訓練したモデルの可視化をサポートしています。



例のごとく、ソースコードはGitHubにある↓
https://github.com/tensorspace-team/tensorspace

ドキュメントはこちら↓
https://tensorspace.org/html/docs/startIntro.html
Documentation

ただ、自分で動作環境を構築しなくてもデモページで有名なニューラルネットワーク(LeNet, AlexNet, VGG-16, ResNet-50, MobileNetv1, YOLOv2-tiny, ACGAN)の可視化を試すことができる↓
https://tensorspace.org/html/playground/index.html

LeNet

LeNet

AlexNet

AlexNet

YOLOv2-tiny

YOLOv2-tiny

ResNet-50

ResNet-50

ACGAN

ACGAN

オイラは仕組み・プロセスの可視化が大好物なので、こういう可視化ツールすごく好きです。


畳み込みニューラルネットワーク (CNN: Convolutional Neural Network)
例の書籍「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」を一通り読み終わりました。「あえてPythonを使わずにUnity C#で実装しながら勉強する」とか言っておきながら、結局途中でコーディン...


高橋 啓治郎さんのGANのUnity移植もそうだったけど、この可視化実装の敷居が下がっているのはTensorFlow.jsの存在がかなり効いているんだろうか。
https://qiita.com/keijiro/items/8874c5730feaf80b7943

関連記事

SONY製のニューラルネットワークライブラリ『NNabla』

SSII2014 チュートリアル講演会の資料

海外ドラマのChromaKey

Unityで強化学習できる『Unity ML-Agents』

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

ROMOハッカソンに行ってきた

ZBrushのZScript入門

IronPythonを使ってUnity上でPythonのコードを実行する

Point Cloud Utils:Pythonで3D点群・Meshを扱うライブラリ

Python for Unity:UnityEditorでPythonを使えるパッケージ

Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方

OpenCVの超解像(SuperResolution)モジュールを試す

Kinect for Windows V2のプレオーダー開始

BGSLibrary:OpenCVベースの背景差分ライブラリ

機械学習手法『Random Forest』

GeoGebra:無料で使える数学アプリ

CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』

OpenCVで動画の手ぶれ補正

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

顔追跡による擬似3D表示『Dynamic Perspective』

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

仮想関数

iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~

Transformer Explainer:テキスト生成モデルの可視化ツール

Python拡張モジュールのWindows用インストーラー配布サイト

SONYの自律型エンタテインメントロボット『aibo』

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

ZScript

OpenGVの用語

全脳アーキテクチャ勉強会

サンプルコードにも間違いはある?

UnityのMonoBehaviourクラスをシングルトン化する

Unityの各コンポーネント間でのやり取り

オープンソースの顔の動作解析ツールキット『OpenFace』

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

PythonでBlenderのAdd-on開発

機械学習で遊ぶ

Digital Emily Project:人間の顔をそっくりそのままCGで復元する

3分の動画でプログラミングを学習できるサイト『ドットインストール』

今年もSSII

JavaScriptとかWebGLとかCanvasとか

コメント