LLM Visualization:大規模言語モデルの可視化

以前、ニューラルネットワークによる文字認識の仕組みを可視化した例をまとめたことがあったけど



こちらはBrendan Bycroft氏による、昨今話題のLLM(大規模言語モデル)の仕組みを各プロセスの解説と共にビジュアルで理解できるWebページ↓

LLM Visualization

このプロジェクトは、GPT-styleネットワークの実際に動作する実装の3Dモデルを表示します。このネットワーク構造はOpenAIのGPT-2, GPT-3(そしておそらくGPT-4)で使用されているものです。
OpenAIのChatGPTの裏側にあるLLMアルゴリズムを視覚的にウォークスルーできます。加算と乗算に至るまでアルゴリズムを隈なく探索でき、プロセス全体の動作を確認できます。

最初に表示されるネットワーク(nano-gpt)は、小さなGPT-styleネットワークで、文字A、B、Cで構成された小さなリストの並び替えを行います。これはAndrej KarpathyによるminGPT実装デモのサンプルモデルです。

このレンダラーは、任意のサイズのネットワークの可視化もサポートしており、より小さいGPT-2サイズでも動作しますが、重み(数100MBある)はダウンロードされません。

初学者にとってとても良い教材だ。ソースコードもGitHubで公開されている↓
https://github.com/bbycroft/llm-viz


スポンサーリンク



スポンサーリンク

関連記事

OpenCVの顔検出過程を可視化した動画
CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
手を動かしながら学ぶデータマイニング
U-Net:ディープラーニングによるSemantic Segmentation手法
Unityで強化学習できる『Unity ML-Agents』
hloc:SuperGlueで精度を向上させたSfM実装
フィクションに登場するUIデザインのまとめサイト
OpenCVで顔のランドマークを検出する『Facemark API』
Raspberry Pi 2のGPIOピン配置
ドラマ『ファーストクラス』のモーショングラフィックス
Facebookの顔認証技術『DeepFace』
Dlib:C++の機械学習ライブラリ
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
Accord.NET Framework:C#で使える機械学習ライブラリ
東京オリンピックと案内表示
PeopleSansPeople:機械学習用の人物データをUnityで生成する
Googleが画像解析旅行ガイドアプリのJetpac社を買収
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
Physics Forests:機械学習で流体シミュレーションを近似する
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
Open3D:3Dデータ処理ライブラリ
ヘッドマウントディスプレイとビジュアリゼーションの未来
OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク
RefineNet (Multi-Path Refinement Network):ディープラーニン...
GeoGebra:無料で使える数学アプリ
Polyscope:3Dデータ操作用GUIライブラリ
ニューラルネットワークで画像分類
PGGAN:段階的に解像度を上げて学習を進めるGAN
Mitsuba 2:オープンソースの物理ベースレンダラ
ManimML:機械学習の概念を視覚的に説明するためのライブラリ
Houdiniのライセンスの種類
バージョン管理の履歴を可視化するツール『Gource』
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
PyTorch3D:3Dコンピュータービジョンライブラリ
NeRF (Neural Radiance Fields):機械学習による未知視点合成
畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...
続・ディープラーニングの資料
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン
ニューラルネットワークと深層学習
書籍『データビジュアライゼーションのデザインパターン20』読了
SegNet:ディープラーニングによるSemantic Segmentation手法
Kaolin:3Dディープラーニング用のPyTorchライブラリ

コメント