PSPNet (Pyramid Scene Parsing Network):ディープラーニングによるSemantic Segmentation手法

FCN, SegNet, U-Netに引き続きディープラーニングによるSemantic Segmentation手法のお勉強。


ディープラーニングによるSemantic Segmentationアルゴリズムまとめ
これまで勉強したディープラーニングによるSemantic Segmentation手法のアルゴリズム一覧。


次はPSPNet (Pyramid Scene Parsing Network)について。


PSPNet (Pyramid Scene Parsing Network)

PSPNet (Pyramid Scene Parsing Network)CVPR 2017で発表されたPyramid Scene Parsing Networkで提案されたSemantic Segmentation手法。



SegNetU-Netの登場以降、ディープラーニングによるSemantic SegmentationではEncoderDecoder構造が定番となった。

PSPNetでは、EncoderResNet101(大規模データで学習済み)の特徴抽出層を利用しており、EncoderDecoderの間にPyramid Pooling Moduleを追加している↓

Fast R-CNNの記事で触れたSPPNetで、似た名前のSpatial Pyramid Pooling(空間ピラミッドプーリング)が使われていた。



同じなのは複数の解像度でmax-poolingを行うという点だけです(笑)

Pyramid Pooling Module

Encoderによって入力画像から抽出された特徴マップのサイズは、ダウンサンプリングされて元の入力画像の1/8になる。
Pyramid Pooling Moduleでは、Encoderで抽出された特徴マップに対して、複数の解像度でmax-poolingをかけてそれぞれのスケールで捉えた特徴マップを得る。これによって、画像の大域的なコンテキストと小さな部分の情報の両方を拾うことができる。

Pyramid Pooling Moduleの階層数や各階層での特徴マップのサイズは、入力される特徴マップのサイズに合わせて設計する。Pyramid Pooling Moduleの階層の数をNとすると、削減後の各特徴マップのチャンネル数は1/Nになる。

論文の例では、以下の図のように階層的に4つの異なるカーネルサイズ(1×1, 2×2, 3×3, 6×6)でmax-poolingを行い、得られた複数スケールの特徴マップを1×1で畳み込んでチャンネル数を削減する。

そして、このチャンネル数を削減した特徴マップをバイリニア補間で元の特徴マップと同じサイズにアップサンプリングする。
アップサンプリングしたこれらの特徴マップを元の特徴マップにチャンネルを追加する形で連結し、大域的なコンテキストと局所的な情報の両方を持った特徴マップとする。
最終的に、この連結した特徴マップに対して1×1の畳み込みを行ってSemantic Segmentationの結果を得る。



あれ、何か妙に情報があっさりだぞ。。。

次はRefineNet (Multi-Path Refinement Network)について勉強しよう。
RefineNet (Multi-Path Refinement Network):ディープラーニングによるSemantic Segmentation手法
FCN, SegNet, U-Net, PSPNetに引き続き、ディープラーニングによるSemantic Segmentation手法のお勉強。次はRefineNet (Multi-Path Refinement Network)について。

ディープラーニングによるSemantic Segmentationアルゴリズムまとめ
これまで勉強したディープラーニングによるSemantic Segmentation手法のアルゴリズム一覧。

関連記事

OpenCV 3.1のsfmモジュールを試す

Netron:機械学習モデルを可視化するツール

SONY製のニューラルネットワークライブラリ『NNabla』

ManimML:機械学習の概念を視覚的に説明するためのライブラリ

hloc:SuperGlueで精度を向上させたSfM・Visual Localization

PeopleSansPeople:機械学習用の人物データをUnityで生成する

OpenAR:OpenCVベースのマーカーARライブラリ

Adobeの手振れ補正機能『ワープスタビライザー』の秘密

OpenCV3.3.0でsfmモジュールのビルドに成功!

機械学習での「回帰」とは?

pythonの機械学習ライブラリ『scikit-learn』

Kaolin:3Dディープラーニング用のPyTorchライブラリ

OpenCVのバージョン3が正式リリースされたぞ

Alice Vision:オープンソースのPhotogrammetryフレームワーク

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

OpenCVで顔のモーフィングを実装する

顔追跡による擬似3D表示『Dynamic Perspective』

BGSLibrary:OpenCVベースの背景差分ライブラリ

Mitsuba 2:オープンソースの物理ベースレンダラ

AI英語教材アプリ『abceed』

書籍『仕事ではじめる機械学習』を読みました

TorchStudio:PyTorchのための統合開発環境とエコシステム

Pylearn2:ディープラーニングに対応したPythonの機械学習ライブラリ

OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

機械学習について最近知った情報

Point Cloud Libraryに動画フォーマットが追加されるらしい

AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う

Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

2D→3D復元技術で使われる用語まとめ

MVStudio:オープンソースのPhotogrammetryツール

Physics Forests:機械学習で流体シミュレーションを近似する

「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか

Rerun:マルチモーダルデータの可視化アプリとSDK

GoogleのDeep Learning論文

全脳アーキテクチャ勉強会

Leap MotionでMaya上のオブジェクトを操作できるプラグイン

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』

SVM (Support Vector Machine)

OpenGVの用語

Deep Fluids:流体シミュレーションをディープラーニングで近似する

Blendify:コンピュータービジョン向けBlenderラッパー

コメント