TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

Twitterで知ったブラウザ上でインタラクティブにCNN(Convolutional Neural Network)のネットワーク構造を3Dで可視化できるオープンソースのフレームワークTensorSpace.js。ネットワーク構造だけでなく、特徴マップも可視化できる。
Apache License 2.0だそうです。

TensorSpace.js

TensorSpace.js

TensorSpaceは、TensorFlow.js, Three.js, Tween.jsで構築されたニューラルネットワークの3D視覚化フレームワークです。TensorSpaceは、ディープラーニングのレイヤー構築、訓練済みモデルの読み込み、ブラウザ上での3D可視化できるKerasライクなAPIを提供します。
TensorSpaceなら、モデルの構造とは何なのか、モデルはどのように訓練されているのか、モデルが中間情報に基づいてどのように結果を予測しているのかを直感的に学ぶことができます。
TensorSpaceでは、モデルの前処理を行うことでTensorFlow, Keras, TensorFlow.jsで事前に訓練したモデルの可視化をサポートしています。



例のごとく、ソースコードはGitHubにある↓
https://github.com/tensorspace-team/tensorspace

ドキュメントはこちら↓
https://tensorspace.org/html/docs/startIntro.html
Documentation

ただ、自分で動作環境を構築しなくてもデモページで有名なニューラルネットワーク(LeNet, AlexNet, VGG-16, ResNet-50, MobileNetv1, YOLOv2-tiny, ACGAN)の可視化を試すことができる↓
https://tensorspace.org/html/playground/index.html

LeNet

LeNet

AlexNet

AlexNet

YOLOv2-tiny

YOLOv2-tiny

ResNet-50

ResNet-50

ACGAN

ACGAN

オイラは仕組み・プロセスの可視化が大好物なので、こういう可視化ツールすごく好きです。


畳み込みニューラルネットワーク (CNN: Convolutional Neural Network)
例の書籍「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」を一通り読み終わりました。「あえてPythonを使わずにUnity C#で実装しながら勉強する」とか言っておきながら、結局途中でコーディン...


高橋 啓治郎さんのGANのUnity移植もそうだったけど、この可視化実装の敷居が下がっているのはTensorFlow.jsの存在がかなり効いているんだろうか。
https://qiita.com/keijiro/items/8874c5730feaf80b7943

関連記事

SegNet:ディープラーニングによるSemantic Segmentation手法

OpenMesh:オープンソースの3Dメッシュデータライブラリ

PeopleSansPeople:機械学習用の人物データをUnityで生成する

PCA (主成分分析)

Accord.NET Framework:C#で使える機械学習ライブラリ

WordPress on Windows Azure

Faster R-CNN:ディープラーニングによる一般物体検出手法

OpenCVで顔のランドマークを検出する『Facemark API』

3Dスキャンに基づくプロシージャルフェイシャルアニメーション

AR (Augmented Reality)とDR (Diminished Reality)

書籍『イラストで学ぶ ディープラーニング』

pythonもかじってみようかと

Unity Scriptコーディング→Unreal Engine Scriptコーディング

Gource:バージョン管理の履歴を可視化するツール

Fast R-CNN:ディープラーニングによる一般物体検出手法

trimesh:PythonでポリゴンMeshを扱うライブラリ

写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

全脳アーキテクチャ勉強会

オープンソースの顔認識フレームワーク『OpenBR』

Open Shading Language (OSL)

Unityの各コンポーネント間でのやり取り

VCG Library:C++のポリゴン操作ライブラリ

Rerun:マルチモーダルデータの可視化アプリとSDK

OpenCVでPhotoshopのプラグイン開発

WordPressで数式を扱う

Autodesk Mementoでゴジラを3次元復元する

WordPressのテーマを自作する

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

Houdiniのライセンスの種類

Windows10でPyTorchをインストールしてVSCodeで使う

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法

プログラムによる景観の自動生成

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

3D復元技術の情報リンク集

科学技術計算向けスクリプト言語『Julia』

画像認識による位置情報取得 - Semi-Direct Monocular Visual Odome...

第1回 3D勉強会@関東『SLAMチュートリアル大会』

MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト

Manim:Pythonで使える数学アニメーションライブラリ

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

Unityからkonashiをコントロールする

Active Appearance Models(AAM)

コメント