LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz




3Blue1Brownと有志が日本語訳している3Blue1BrownJapanでもLLMの解説動画が公開されている↓






関連記事

書籍『伝わる イラスト思考』読了

TorchStudio:PyTorchのための統合開発環境とエコシステム

Dlib:C++の機械学習ライブラリ

.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...

viser:Pythonで使える3D可視化ライブラリ

Mask R-CNN:ディープラーニングによる一般物体検出・Instance Segmentatio...

GitHub Pagesで静的サイトを作る

Pix2Pix:CGANによる画像変換

書籍『仕事ではじめる機械学習』を読みました

Raspberry Pi 2のGPIOピン配置

Rerun:マルチモーダルデータの可視化アプリとSDK

PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...

UnityプロジェクトをGitHubで管理する

機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...

機械学習手法『Random Forest』

Kornia:微分可能なコンピュータービジョンライブラリ

U-Net:ディープラーニングによるSemantic Segmentation手法

フィクションに登場するUIデザインのまとめサイト

FacebookがDeep learningツールの一部をオープンソース化

SVM (Support Vector Machine)

機械学習に役立つPythonライブラリ一覧

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

SegNet:ディープラーニングによるSemantic Segmentation手法

pythonの機械学習ライブラリ『scikit-learn』

続・ディープラーニングの資料

Mitsuba 2:オープンソースの物理ベースレンダラ

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

手を動かしながら学ぶデータマイニング

SONY製のニューラルネットワークライブラリ『NNabla』

MVStudio:オープンソースのPhotogrammetryツール

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

Houdiniのライセンスの種類

機械学習での「回帰」とは?

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

Windows10でPyTorchをインストールしてVSCodeで使う

書籍『データビジュアライゼーションのデザインパターン20』読了

Pylearn2:ディープラーニングに対応したPythonの機械学習ライブラリ

Deep Fluids:流体シミュレーションをディープラーニングで近似する

Perfumeのライブパフォーマンスのビジュアル

SSD (Single Shot Multibox Detector):ディープラーニングによる一般...

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

コメント