LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz




3Blue1Brownと有志が日本語訳している3Blue1BrownJapanでもLLMの解説動画が公開されている↓








関連記事

Netron:機械学習モデルを可視化するツール

Accord.NET Framework:C#で使える機械学...

C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...

機械学習手法『Random Forest』

Physics Forests:機械学習で流体シミュレーショ...

PyTorch3D:3Dコンピュータービジョンライブラリ

Transformer Explainer:テキスト生成モデ...

ヘッドマウントディスプレイとビジュアリゼーションの未来

全脳アーキテクチャ勉強会

Mitsuba 2:オープンソースの物理ベースレンダラ

YOLO (You Only Look Once):ディープ...

FCN (Fully Convolutional Netwo...

画像生成AI Stable Diffusionで遊ぶ

SegNet:ディープラーニングによるSemantic Se...

uvでWindows11のPython環境を管理する

Google Colaboratoryで遊ぶ準備

機械学習について最近知った情報

続・ディープラーニングの資料

オープンソースの顔認識フレームワーク『OpenBR』

Windows10でPyTorchをインストールしてVSCo...

Raspberry Pi 2のGPIOピン配置

CGAN (Conditional GAN):条件付き敵対的...

Swark:コードからアーキテクチャ図を作成できるVSCod...

GAN (Generative Adversarial Ne...

CGのためのディープラーニング

Kornia:微分可能なコンピュータービジョンライブラリ

Polyscope:3Dデータ操作用GUIライブラリ

畳み込みニューラルネットワーク (CNN: Convolut...

MVStudio:オープンソースのPhotogrammetr...

TensorFlowでCGを微分できる『TensorFlow...

Runway ML:クリエイターのための機械学習ツール

MLDemos:機械学習について理解するための可視化ツール

D3.js:JavaScriptのデータビジュアライゼーショ...

書籍『イラストで学ぶ ディープラーニング』

hloc:SuperGlueで精度を向上させたSfM・Vis...

GitHub Pagesで静的サイトを作る

ManimML:機械学習の概念を視覚的に説明するためのライブ...

FacebookがDeep learningツールの一部をオ...

BlenderProc:Blenderで機械学習用の画像デー...

OpenFace:Deep Neural Networkによ...

Deep Learningとその他の機械学習手法の性能比較

データサイエンティストって何だ?

コメント