LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz




3Blue1Brownと有志が日本語訳している3Blue1BrownJapanでもLLMの解説動画が公開されている↓








関連記事

iOSで使えるJetpac社の物体認識SDK『DeepBel...

CGAN (Conditional GAN):条件付き敵対的...

Kubric:機械学習用アノテーション付き動画生成パイプライ...

Google製オープンソース機械学習ライブラリ『Tensor...

hloc:SuperGlueで精度を向上させたSfM・Vis...

AnacondaとTensorFlowをインストールしてVi...

NeuralNetwork.NET:.NETで使えるTens...

書籍『ゼロから作るDeep Learning』で自分なりに学...

pythonの機械学習ライブラリ『scikit-learn』

Polyscope:3Dデータ操作用GUIライブラリ

Perfumeのライブパフォーマンスのビジュアル

畳み込みニューラルネットワーク (CNN: Convolut...

Mask R-CNN:ディープラーニングによる一般物体検出・...

SONY製のニューラルネットワークライブラリ『NNabla』

PyTorch3D:3Dコンピュータービジョンライブラリ

ManimML:機械学習の概念を視覚的に説明するためのライブ...

Open3D:3Dデータ処理ライブラリ

UnityプロジェクトをGitHubで管理する

WebGL開発に関する情報が充実してきている

Fast R-CNN:ディープラーニングによる一般物体検出手...

Googleが画像解析旅行ガイドアプリのJetpac社を買収

Runway ML:クリエイターのための機械学習ツール

Zibra Liquids:Unity向け流体シミュレーショ...

機械学習での「回帰」とは?

Google Colaboratoryで遊ぶ準備

機械学習に役立つPythonライブラリ一覧

Swark:コードからアーキテクチャ図を作成できるVSCod...

Faster R-CNN:ディープラーニングによる一般物体検...

TensorSpace.js:ニューラルネットワークの構造を...

書籍『仕事ではじめる機械学習』を読みました

PGGAN:段階的に解像度を上げて学習を進めるGAN

TensorFlowでCGを微分できる『TensorFlow...

オープンソースのネットワーク可視化ソフトウェアプラットフォー...

Kaolin:3Dディープラーニング用のPyTorchライブ...

機械学習手法『Random Forest』

画像生成AI Stable Diffusionで遊ぶ

Transformer Explainer:テキスト生成モデ...

Unityで強化学習できる『Unity ML-Agents』

続・ディープラーニングの資料

ニューラルネットワークで画像分類

OpenCVの顔検出過程を可視化した動画

Dlib:C++の機械学習ライブラリ

コメント