畳み込みニューラルネットワーク (CNN: Convolutional Neural Network)

例の書籍「ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装」を一通り読み終わりました。



ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

「あえてPythonを使わずにUnity C#で実装しながら勉強する」とか言っておきながら、結局途中でコーディングを断念。意外と面倒だったので。。。

書籍のPythonコードをUnity C#で再現しようとしてMNISTデータセットをUnityのテクスチャとして読み込むコードとかも書いたりしたんだけど、lambda式や抽象クラス、インターフェイスあたりで混乱して躓いた。改めてPythonとNumPyの記述の手軽さを理解しましたとさ。抽象度が高い代わりに読みづらくもあるんだけど。

2018年7月 追記:CNNではないけど、mattatzさんがUnity上で動くニューラルネットワークの実装を公開している。

MINISTデータセットをC#で読み込むやり方のサンプルあるのね↓
https://jamesmccaffrey.wordpress.com/2013/11/23/reading-the-mnist-data-set-with-c/

2019年 追記:C#で使えるNumPyライクな数値計算ライブラリを知ったので、今ならコレを使う↓




スポンサーリンク


さて、書籍でCNNの仕組みまでは分かったところで、ちょっとYouTubeで調べてみたら、CNNの動作の様子を可視化してくれてる人がチラホラいる。

畳み込み層 (Convolution Layer)

こちらは畳み込み層の動作を可視化した動画↓






プーリング層 (Pooling Layer)

こちらはプーリング層の動作を可視化した動画。(最大値を取るMax-Poolingの例)



追記:こちらの記事のgifがとても分かりやすい↓
http://pynote.hatenablog.com/entry/dl-convolutional-neural-network

追記:Max Poolingの処理は、要するにモルフォロジー変換であると言われてみれば確かに↓
https://blog.shikoan.com/morphological-transformations-maxpool/

3D Visualization of a Convolutional Neural Network

こちらはWeb上でインタラクティブにCNNの動作を見れるデモ。定番のMNISTデータセットを使った手書き数字認識。
http://scs.ryerson.ca/~aharley/vis/conv/


3D Multilayer Neural Network Simulation



https://tutorials.retopall.com/index.php/2019/02/17/neural-networks/
https://tutorials.retopall.com/index.php/2019/02/24/convolutional-neural-networks/
https://tutorials.retopall.com/index.php/2019/03/01/aieditor-neural-network-editor/


スポンサーリンク

3Blue1Brown

そして、数学をアニメーションで視覚的に解説するYouTubeチャンネルを発見。
https://www.youtube.com/3blue1brown

今月ちょうどニューラルネットワーク(畳み込みではないけど)の動画が公開されたところ。









2022年追記:畳み込みについての解説動画も来た↓



仕組みを理解してからだとネット上の記事も読めるようになるけど、初見だとなかなか。
https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

ところで、探してみると、ニューラルネットワークを可視化している人が結構いることに気づいた↓
http://hhok777.hatenablog.com/entry/2016/11/08/184233



https://www.youtube.com/user/munimunibekkan/



アルゴリズムを物理的な機械構造へ落とし込むスキルがすごい。。。





マインクラフトでの例も↓

Blender_Neural_Network

BlenderのAnimation Nodeでニューラルネットワークを表現したもの。





https://www.youtube.com/channel/UC5bSCGdcE9x9ffqqgJlGp5Q
https://animatedai.github.io/

最近知ったDrawNetというやつ↓
http://people.csail.mit.edu/torralba/research/drawCNN/drawNet.html

2023年 追記:書籍を参考にNNビジュアライザーというのを作った方がいらっしゃいます↓



追記:こういうのもある↓



以前見つけたお勉強ツールのMLDemosは、各機械学習手法による処理結果の違いを可視化するツールだったけど、動作の仕組みそのものを可視化して眺めるともう一段踏み込んで理解ができるね。(MLDemosにDeepLearningは入ってなかったけど)
MLDemos:機械学習について理解するための可視化ツール
たまたま面白いツールを見つけた。機械学習のパラメータをいじるとインタラクティブに学習結果が可視化して見れるお勉強アプリ。MLDemos - A visualization tool for machine learningMLDemosは、...

読書再開

ということで、再びこちらの書籍に戻る。

イラストで学ぶ ディープラーニング (KS情報科学専門書)

階層型ネットワークである畳み込みニューラルネットワークまでは分かったので、グラフィカルモデル系の相互結合型ネットワークから読書再開。
ホップフィールドネットワークの可視化動画も見つけたけど、ちょっと理解できない。。。



スポンサーリンク

関連記事

AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う

OpenCVの顔検出過程を可視化した動画

UnityのTransformクラスについて調べてみた

Mitsuba 3:オープンソースの研究向けレンダラ

画像認識による位置情報取得 - Semi-Direct Monocular Visual Odome...

PCA (主成分分析)

Python.NET:Pythonと.NETを連携させるパッケージ

Facebookの顔認証技術『DeepFace』

疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...

TensorFlowでCGを微分できる『TensorFlow Graphics』

CGAN (Conditional GAN):条件付き敵対的生成ネットワーク

Netron:機械学習モデルを可視化するツール

2021年 観に行った映画振り返り

hloc:SuperGlueで精度を向上させたSfM実装

3Dスキャンに基づくプロシージャルフェイシャルアニメーション

オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』

3Dモデルを立体視で確認できるVRアプリを作っている

SSD (Single Shot Multibox Detector):ディープラーニングによる一般...

UnityでTweenアニメーションを実装できる3種類の無料Asset

全脳アーキテクチャ勉強会

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

viser:Pythonで使える3D可視化ライブラリ

Unityの各コンポーネント間でのやり取り

Deep Fluids:流体シミュレーションをディープラーニングで近似する

PyTorch3D:3Dコンピュータービジョンライブラリ

OpenCVのバージョン3が正式リリースされたぞ

.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...

OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

IronPythonを使ってUnity上でPythonのコードを実行する

UnityのMonoBehaviourクラスをシングルトン化する

読みやすくて高速なディープラーニングのフレームワーク『Caffe』

Unityで強化学習できる『Unity ML-Agents』

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

機械学習手法『Random Forest』

オープンソースの顔の動作解析ツールキット『OpenFace』

FacebookがDeep learningツールの一部をオープンソース化

Zibra Liquids:Unity向け流体シミュレーションプラグイン

Live CV:インタラクティブにComputer Visionコーディングができるツール

Theia:オープンソースのStructure from Motionライブラリ

BGSLibrary:OpenCVベースの背景差分ライブラリ

Accord.NET Framework:C#で使える機械学習ライブラリ

コメント