LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz




3Blue1Brownと有志が日本語訳している3Blue1BrownJapanでもLLMの解説動画が公開されている↓








関連記事

画像生成AI Stable Diffusionで遊ぶ

FacebookがDeep learningツールの一部をオ...

SVM (Support Vector Machine)

Kaolin:3Dディープラーニング用のPyTorchライブ...

FCN (Fully Convolutional Netwo...

書籍『伝わる イラスト思考』読了

機械学習のオープンソースソフトウェアフォーラム『mloss(...

AnacondaとTensorFlowをインストールしてVi...

OpenCVの顔検出過程を可視化した動画

YOLO (You Only Look Once):ディープ...

UnrealCV:コンピュータビジョン研究のためのUnrea...

Pylearn2:ディープラーニングに対応したPythonの...

Googleが画像解析旅行ガイドアプリのJetpac社を買収

書籍『イラストで学ぶ ディープラーニング』

書籍『データビジュアライゼーションのデザインパターン20』読...

Iridescence:プロトタイピング向け軽量3D可視化ラ...

Fast R-CNN:ディープラーニングによる一般物体検出手...

GeoGebra:無料で使える数学アプリ

bpy-renderer:レンダリング用Pythonパッケー...

Physics Forests:機械学習で流体シミュレーショ...

UnityプロジェクトをGitHubで管理する

OpenCVで顔のランドマークを検出する『Facemark ...

Transformer Explainer:テキスト生成モデ...

Houdiniのライセンスの種類

U-Net:ディープラーニングによるSemantic Seg...

Dlib:C++の機械学習ライブラリ

DensePose:画像中の人物表面のUV座標を推定する

続・ディープラーニングの資料

D3.js:JavaScriptのデータビジュアライゼーショ...

オープンソースの顔認識フレームワーク『OpenBR』

オープンソースのネットワーク可視化ソフトウェアプラットフォー...

ニューラルネットワークで画像分類

OpenFace:Deep Neural Networkによ...

PGGAN:段階的に解像度を上げて学習を進めるGAN

Mitsuba 3:オープンソースの研究向けレンダラ

ドラマ『ファーストクラス』のモーショングラフィックス

TensorSpace.js:ニューラルネットワークの構造を...

Mask R-CNN:ディープラーニングによる一般物体検出・...

ニューラルネットワークと深層学習

Deep Learningとその他の機械学習手法の性能比較

PyDataTokyo主催のDeep Learning勉強会

pythonの機械学習ライブラリ『scikit-learn』

コメント