FCN, SegNet, U-Netに引き続きディープラーニングによるSemantic Segmentation手法のお勉強。
次はPSPNet (Pyramid Scene Parsing Network)について。
PSPNet (Pyramid Scene Parsing Network)
PSPNet (Pyramid Scene Parsing Network)はCVPR 2017で発表されたPyramid Scene Parsing Networkで提案されたSemantic Segmentation手法。
SegNetやU-Netの登場以降、ディープラーニングによるSemantic SegmentationではEncoder–Decoder構造が定番となった。
PSPNetでは、EncoderにResNet101(大規模データで学習済み)の特徴抽出層を利用しており、EncoderとDecoderの間にPyramid Pooling Moduleを追加している↓
Fast R-CNNの記事で触れたSPPNetで、似た名前のSpatial Pyramid Pooling(空間ピラミッドプーリング)が使われていた。
同じなのは複数の解像度でmax-poolingを行うという点だけです(笑)
Pyramid Pooling Module
Encoderによって入力画像から抽出された特徴マップのサイズは、ダウンサンプリングされて元の入力画像の1/8になる。
Pyramid Pooling Moduleでは、Encoderで抽出された特徴マップに対して、複数の解像度でmax-poolingをかけてそれぞれのスケールで捉えた特徴マップを得る。これによって、画像の大域的なコンテキストと小さな部分の情報の両方を拾うことができる。
Pyramid Pooling Moduleの階層数や各階層での特徴マップのサイズは、入力される特徴マップのサイズに合わせて設計する。Pyramid Pooling Moduleの階層の数をNとすると、削減後の各特徴マップのチャンネル数は1/Nになる。
論文の例では、以下の図のように階層的に4つの異なるカーネルサイズ(1×1, 2×2, 3×3, 6×6)でmax-poolingを行い、得られた複数スケールの特徴マップを1×1で畳み込んでチャンネル数を削減する。
そして、このチャンネル数を削減した特徴マップをバイリニア補間で元の特徴マップと同じサイズにアップサンプリングする。
アップサンプリングしたこれらの特徴マップを元の特徴マップにチャンネルを追加する形で連結し、大域的なコンテキストと局所的な情報の両方を持った特徴マップとする。
最終的に、この連結した特徴マップに対して1×1の畳み込みを行ってSemantic Segmentationの結果を得る。
あれ、何か妙に情報があっさりだぞ。。。
次はRefineNet (Multi-Path Refinement Network)について勉強しよう。
関連記事
UnityでPoint Cloudを表示する方法
OpenCVのバージョン3が正式リリースされたぞ
機械学習に役立つPythonライブラリ一覧
DensePose：画像中の人物表面のUV座標を推定する
OpenGVの用語
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
Cartographer：オープンソースのSLAMライブラリ
ドットインストールのWordPress入門レッスン
Kornia：微分可能なコンピュータービジョンライブラリ
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
ZBrushトレーニング
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
Pix2Pix：CGANによる画像変換
openMVG：複数視点画像から3次元形状を復元するライブラ...
SegNet：ディープラーニングによるSemantic Se...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Leap MotionでMaya上のオブジェクトを操作できる...
Alice Vision：オープンソースのPhotogram...
OpenCVの三角測量関数『cv::triangulatep...
SSII2014 チュートリアル講演会の資料
OpenCVのfindEssentialMat関数を使ったサ...
Faster R-CNN：ディープラーニングによる一般物体検...
データサイエンティストって何だ？
画像認識による位置情報取得 - Semi-Direct Mo...
TeleSculptor：空撮動画からPhotogramme...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
コンピュータビジョンの技術マップ
Pylearn2：ディープラーニングに対応したPythonの...
BlenderProc：Blenderで機械学習用の画像デー...
Google製オープンソース機械学習ライブラリ『Tensor...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Paul Debevec
pythonの機械学習ライブラリ『scikit-learn』
UnrealCV：コンピュータビジョン研究のためのUnrea...
CGのためのディープラーニング
PGGAN：段階的に解像度を上げて学習を進めるGAN
OpenCVでPhotoshopのプラグイン開発
OpenCV 3.1から追加されたSfMモジュール
Open3D：3Dデータ処理ライブラリ
畳み込みニューラルネットワーク (CNN: Convolut...
Structure from Motion (多視点画像から...
コメント