FCN, SegNet, U-Netに引き続きディープラーニングによるSemantic Segmentation手法のお勉強。
次はPSPNet (Pyramid Scene Parsing Network)について。
PSPNet (Pyramid Scene Parsing Network)
PSPNet (Pyramid Scene Parsing Network)はCVPR 2017で発表されたPyramid Scene Parsing Networkで提案されたSemantic Segmentation手法。
SegNetやU-Netの登場以降、ディープラーニングによるSemantic SegmentationではEncoder–Decoder構造が定番となった。
PSPNetでは、EncoderにResNet101(大規模データで学習済み)の特徴抽出層を利用しており、EncoderとDecoderの間にPyramid Pooling Moduleを追加している↓
Fast R-CNNの記事で触れたSPPNetで、似た名前のSpatial Pyramid Pooling(空間ピラミッドプーリング)が使われていた。
同じなのは複数の解像度でmax-poolingを行うという点だけです(笑)
Pyramid Pooling Module
Encoderによって入力画像から抽出された特徴マップのサイズは、ダウンサンプリングされて元の入力画像の1/8になる。
Pyramid Pooling Moduleでは、Encoderで抽出された特徴マップに対して、複数の解像度でmax-poolingをかけてそれぞれのスケールで捉えた特徴マップを得る。これによって、画像の大域的なコンテキストと小さな部分の情報の両方を拾うことができる。
Pyramid Pooling Moduleの階層数や各階層での特徴マップのサイズは、入力される特徴マップのサイズに合わせて設計する。Pyramid Pooling Moduleの階層の数をNとすると、削減後の各特徴マップのチャンネル数は1/Nになる。
論文の例では、以下の図のように階層的に4つの異なるカーネルサイズ(1×1, 2×2, 3×3, 6×6)でmax-poolingを行い、得られた複数スケールの特徴マップを1×1で畳み込んでチャンネル数を削減する。
そして、このチャンネル数を削減した特徴マップをバイリニア補間で元の特徴マップと同じサイズにアップサンプリングする。
アップサンプリングしたこれらの特徴マップを元の特徴マップにチャンネルを追加する形で連結し、大域的なコンテキストと局所的な情報の両方を持った特徴マップとする。
最終的に、この連結した特徴マップに対して1×1の畳み込みを行ってSemantic Segmentationの結果を得る。
あれ、何か妙に情報があっさりだぞ。。。
次はRefineNet (Multi-Path Refinement Network)について勉強しよう。
関連記事
BlenderProc：Blenderで機械学習用の画像デー...
NumSharp：C#で使えるNumPyライクな数値計算ライ...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
PGGAN：段階的に解像度を上げて学習を進めるGAN
fSpy：1枚の写真からカメラパラメーターを割り出すツール
Kubric：機械学習用アノテーション付き動画生成パイプライ...
SDカードサイズのコンピューター『Intel Edison』
全脳アーキテクチャ勉強会
OpenCVでiPhone6sのカメラをキャリブレーションす...
ツールの補助で効率的に研究論文を読む
書籍『イラストで学ぶ ディープラーニング』
OpenCVで平均顔を作るチュートリアル
Live CV：インタラクティブにComputer Visi...
MeshroomでPhotogrammetry
機械学習に役立つPythonライブラリ一覧
Dlib：C++の機械学習ライブラリ
畳み込みニューラルネットワーク (CNN: Convolut...
機械学習手法『Random Forest』
Adobe MAX 2015
iOSで使えるJetpac社の物体認識SDK『DeepBel...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
OpenCV 3.1から追加されたSfMモジュール
NeRF (Neural Radiance Fields)：...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
ドットインストールのWordPress入門レッスン
ベイズ推定とグラフィカルモデル
Regard3D：オープンソースのStructure fro...
DCGAN (Deep Convolutional GAN)...
OpenCVの顔検出過程を可視化した動画
OpenCV 3.1のsfmモジュールを試す
BlenderでPhotogrammetryできるアドオン
Cartographer：オープンソースのSLAMライブラリ
Kinect for Windows V2のプレオーダー開始
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
オープンソースの顔の動作解析ツールキット『OpenFace』
FacebookがDeep learningツールの一部をオ...
hloc：SuperGlueで精度を向上させたSfM・Vis...
Leap MotionでMaya上のオブジェクトを操作できる...
Pix2Pix：CGANによる画像変換
MLDemos：機械学習について理解するための可視化ツール
OpenAR：OpenCVベースのマーカーARライブラリ
コメント