PSPNet (Pyramid Scene Parsing Network):ディープラーニングによるSemantic Segmentation手法

FCN, SegNet, U-Netに引き続きディープラーニングによるSemantic Segmentation手法のお勉強。


ディープラーニングによるSemantic Segmentationアルゴリズムまとめ
これまで勉強したディープラーニングによるSemantic Segmentation手法のアルゴリズム一覧。


次はPSPNet (Pyramid Scene Parsing Network)について。


スポンサーリンク

PSPNet (Pyramid Scene Parsing Network)

PSPNet (Pyramid Scene Parsing Network)CVPR 2017で発表されたPyramid Scene Parsing Networkで提案されたSemantic Segmentation手法。



SegNetU-Netの登場以降、ディープラーニングによるSemantic SegmentationではEncoderDecoder構造が定番となった。

PSPNetでは、EncoderResNet101(大規模データで学習済み)の特徴抽出層を利用しており、EncoderDecoderの間にPyramid Pooling Moduleを追加している↓

Fast R-CNNの記事で触れたSPPNetで、似た名前のSpatial Pyramid Pooling(空間ピラミッドプーリング)が使われていた。



同じなのは複数の解像度でmax-poolingを行うという点だけです(笑)


スポンサーリンク

Pyramid Pooling Module

Encoderによって入力画像から抽出された特徴マップのサイズは、ダウンサンプリングされて元の入力画像の1/8になる。
Pyramid Pooling Moduleでは、Encoderで抽出された特徴マップに対して、複数の解像度でmax-poolingをかけてそれぞれのスケールで捉えた特徴マップを得る。これによって、画像の大域的なコンテキストと小さな部分の情報の両方を拾うことができる。

Pyramid Pooling Moduleの階層数や各階層での特徴マップのサイズは、入力される特徴マップのサイズに合わせて設計する。Pyramid Pooling Moduleの階層の数をNとすると、削減後の各特徴マップのチャンネル数は1/Nになる。

論文の例では、以下の図のように階層的に4つの異なるカーネルサイズ(1×1, 2×2, 3×3, 6×6)でmax-poolingを行い、得られた複数スケールの特徴マップを1×1で畳み込んでチャンネル数を削減する。

そして、このチャンネル数を削減した特徴マップをバイリニア補間で元の特徴マップと同じサイズにアップサンプリングする。
アップサンプリングしたこれらの特徴マップを元の特徴マップにチャンネルを追加する形で連結し、大域的なコンテキストと局所的な情報の両方を持った特徴マップとする。
最終的に、この連結した特徴マップに対して1×1の畳み込みを行ってSemantic Segmentationの結果を得る。



あれ、何か妙に情報があっさりだぞ。。。

次はRefineNet (Multi-Path Refinement Network)について勉強しよう。
RefineNet (Multi-Path Refinement Network):ディープラーニングによるSemantic Segmentation手法
FCN, SegNet, U-Net, PSPNetに引き続き、ディープラーニングによるSemantic Segmentation手法のお勉強。次はRefineNet (Multi-Path Refinement Network)に...

ディープラーニングによるSemantic Segmentationアルゴリズムまとめ
これまで勉強したディープラーニングによるSemantic Segmentation手法のアルゴリズム一覧。


スポンサーリンク

関連記事

UnityユーザーがUnreal Engineの使い方を学ぶには?
CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
OpenCVの顔検出過程を可視化した動画
2D→3D復元技術で使われる用語まとめ
takminさんが機械学習・画像認識の便利ツールを公開しています
KelpNet:C#で使える可読性重視のディープラーニングライブラリ
NumSharp:C#で使えるNumPyライクな数値計算ライブラリ
第1回 3D勉強会@関東『SLAMチュートリアル大会』
MLDemos:機械学習について理解するための可視化ツール
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
第25回コンピュータビジョン勉強会@関東に行って来た
OpenGVの用語
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
OpenCV 3.3.0-RCでsfmモジュールをビルド
Open3D:3Dデータ処理ライブラリ
AfterEffectsプラグイン開発
OpenCVでiPhone6sのカメラをキャリブレーションする
Kinect for Windows V2のプレオーダー開始
Two Minute Papers:先端研究を短時間で紹介するYouTubeチャンネル
Adobe MAX 2015
PGGAN:段階的に解像度を上げて学習を進めるGAN
書籍『仕事ではじめる機械学習』を読みました
SSII 2014 デモンストレーションセッションのダイジェスト動画
3D復元技術の情報リンク集
WordPressで数式を扱う
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
データサイエンティストって何だ?
hloc:SuperGlueで精度を向上させたSfM実装
OpenCVで動画の手ぶれ補正
OpenCVの三角測量関数『cv::triangulatepoints』
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
SSII2014 チュートリアル講演会の資料
写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Active Appearance Models(AAM)
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
OpenCV3.3.0でsfmモジュールのビルドに成功!
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...

コメント