PSPNet (Pyramid Scene Parsing Network):ディープラーニングによるSemantic Segmentation手法

FCN, SegNet, U-Netに引き続きディープラーニングによるSemantic Segmentation手法のお勉強。



次はPSPNet (Pyramid Scene Parsing Network)について。


スポンサーリンク

PSPNet (Pyramid Scene Parsing Network)

PSPNet (Pyramid Scene Parsing Network)CVPR 2017で発表されたPyramid Scene Parsing Networkで提案されたSemantic Segmentation手法。

Pyramid Scene Parsing Network (CVPR 2017)

SegNetU-Netの登場以降、ディープラーニングによるSemantic SegmentationではEncoderDecoder構造が定番となった。

PSPNetでは、EncoderResNet101(大規模データで学習済み)の特徴抽出層を利用しており、EncoderDecoderの間にPyramid Pooling Moduleを追加している↓

Fast R-CNNの記事で触れたSPPNetで、似た名前のSpatial Pyramid Pooling(空間ピラミッドプーリング)が使われていた。



同じなのは複数の解像度でmax-poolingを行うという点だけです(笑)


スポンサーリンク

Pyramid Pooling Module

Encoderによって入力画像から抽出された特徴マップのサイズは、ダウンサンプリングされて元の入力画像の1/8になる。
Pyramid Pooling Moduleでは、Encoderで抽出された特徴マップに対して、複数の解像度でmax-poolingをかけてそれぞれのスケールで捉えた特徴マップを得る。これによって、画像の大域的なコンテキストと小さな部分の情報の両方を拾うことができる。

Pyramid Pooling Moduleの階層数や各階層での特徴マップのサイズは、入力される特徴マップのサイズに合わせて設計する。Pyramid Pooling Moduleの階層の数をNとすると、削減後の各特徴マップのチャンネル数は1/Nになる。

論文の例では、以下の図のように階層的に4つの異なるカーネルサイズ(1×1, 2×2, 3×3, 6×6)でmax-poolingを行い、得られた複数スケールの特徴マップを1×1で畳み込んでチャンネル数を削減する。

そして、このチャンネル数を削減した特徴マップをバイリニア補間で元の特徴マップと同じサイズにアップサンプリングする。
アップサンプリングしたこれらの特徴マップを元の特徴マップにチャンネルを追加する形で連結し、大域的なコンテキストと局所的な情報の両方を持った特徴マップとする。
最終的に、この連結した特徴マップに対して1×1の畳み込みを行ってSemantic Segmentationの結果を得る。

Pyramid Scene Parsing Network (CVPR 2017)

あれ、何か妙に情報があっさりだぞ。。。

次はRefineNet (Multi-Path Refinement Network)について。


スポンサーリンク

関連記事

CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
OpenCVベースの背景差分ライブラリ『BGSLibrary』
コンピュータビジョン研究のためのUnreal Engineプラグイン『UnrealCV』
機械学習に役立つPythonライブラリ一覧
Adobe MAX 2015
オープンソースの汎用レンダラ『Mitsuba 2』
WordPressで数式を扱う
Fast R-CNN:ディープラーニングによる一般物体検出手法
画像処理を基礎から学べるキーエンスのサイト『画像道場』
PCA (主成分分析)
Photogrammetry (写真測量法)
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
オープンソースの顔認識フレームワーク『OpenBR』
GANs (Generative Adversarial Networks):敵対的生成ネットワーク
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
Autodesk Mementoでゴジラを3次元復元する
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ
複数視点画像から3次元形状を復元するライブラリ『openMVG』
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
Kinect for Windows v2の日本価格決定
3D復元技術の情報リンク集
OpenCVのバージョン3が正式リリースされたぞ
機械学習について理解するための可視化ツール『MLDemos』
オープンソースの顔の動作解析ツールキット『OpenFace』
機械学習について最近知った情報
機械学習手法『Random Forest』
Windows10でPyTorchをインストールしてVSCodeで使う
CGのためのディープラーニング
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
クリエイターのための機械学習ツール『Runway ML』
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
Faster R-CNN:ディープラーニングによる一般物体検出手法
OpenCVで顔のランドマークを検出する『Facemark API』
Houdiniのライセンスの種類
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法
Two Minute Papers:最新の研究論文を数分間で紹介するYouTubeチャンネル
Googleが画像解析旅行ガイドアプリのJetpac社を買収
オープンソースのSLAMライブラリ『Cartographer』
takminさんが機械学習・画像認識の便利ツールを公開しています
Paul Debevec
ニューラルネットワークと深層学習

コメント