LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz




3Blue1Brownと有志が日本語訳している3Blue1BrownJapanでもLLMの解説動画が公開されている↓






関連記事

Kubric:機械学習用アノテーション付き動画生成パイプライン

DensePose:画像中の人物表面のUV座標を推定する

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

書籍『伝わる イラスト思考』読了

Accord.NET Framework:C#で使える機械学習ライブラリ

GeoGebra:無料で使える数学アプリ

MVStudio:オープンソースのPhotogrammetryツール

CGのためのディープラーニング

TensorFlowでCGを微分できる『TensorFlow Graphics』

MLDemos:機械学習について理解するための可視化ツール

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

Faster R-CNN:ディープラーニングによる一般物体検出手法

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

Math Inspector:科学計算向けビジュアルプログラミングツール

画像生成AI Stable Diffusionで遊ぶ

Gource:バージョン管理の履歴を可視化するツール

Transformer Explainer:テキスト生成モデルの可視化ツール

Pylearn2:ディープラーニングに対応したPythonの機械学習ライブラリ

手を動かしながら学ぶデータマイニング

PyTorch3D:3Dコンピュータービジョンライブラリ

続・ディープラーニングの資料

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

KelpNet:C#で使える可読性重視のディープラーニングライブラリ

Kaolin:3Dディープラーニング用のPyTorchライブラリ

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

Google Colaboratoryで遊ぶ準備

Windows10でPyTorchをインストールしてVSCodeで使う

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』

機械学習について最近知った情報

Netron:機械学習モデルを可視化するツール

Mitsuba 2:オープンソースの物理ベースレンダラ

hloc:SuperGlueで精度を向上させたSfM実装

オープンソースの顔認識フレームワーク『OpenBR』

OpenCVの顔検出過程を可視化した動画

Zibra Liquids:Unity向け流体シミュレーションプラグイン

UnityプロジェクトをGitHubで管理する

PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...

SVM (Support Vector Machine)

Manim:Pythonで使える数学アニメーションライブラリ

コメント