LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz


スポンサーリンク



スポンサーリンク

関連記事

データサイエンティストって何だ?
SegNet:ディープラーニングによるSemantic Segmentation手法
CGのためのディープラーニング
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン
書籍『仕事ではじめる機械学習』を読みました
Unityで強化学習できる『Unity ML-Agents』
pythonの機械学習ライブラリ『scikit-learn』
PGGAN:段階的に解像度を上げて学習を進めるGAN
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
Immersive Math:線形代数をインタラクティブに学べるWebサイト
Mayaのプラグイン開発
YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法
Deep Fluids:流体シミュレーションをディープラーニングで近似する
NeRF (Neural Radiance Fields):深層学習による未知視点合成
FCN (Fully Convolutional Network):ディープラーニングによるSema...
PyTorch3D:3Dコンピュータービジョンライブラリ
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
Faster R-CNN:ディープラーニングによる一般物体検出手法
機械学習での「回帰」とは?
CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
Pix2Pix:CGANによる画像変換
Mitsuba 2:オープンソースの物理ベースレンダラ
Google Colaboratoryで遊ぶ準備
Deep Learningとその他の機械学習手法の性能比較
GitHub Pagesで静的サイトを作る
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
ディープラーニング
Netron:機械学習モデルを可視化するツール
Windows10でPyTorchをインストールしてVSCodeで使う
TorchStudio:PyTorchのための統合開発環境とエコシステム
機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...
手を動かしながら学ぶデータマイニング
OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク
WebGL開発に関する情報が充実してきている
Open3D:3Dデータ処理ライブラリ
OpenCVで顔のランドマークを検出する『Facemark API』
画像生成AI Stable Diffusionで遊ぶ
hloc:SuperGlueで精度を向上させたSfM実装
書籍『イラストで学ぶ ディープラーニング』
TensorFlowでCGを微分できる『TensorFlow Graphics』

コメント