U-Net:ディープラーニングによるSemantic Segmentation手法

FCN, SegNetに引き続きディープラーニングによるSemantic Segmentation手法のお勉強。


ディープラーニングによるSemantic Segmentationアルゴリズムまとめ
これまで勉強したディープラーニングによるSemantic Segmentation手法のアルゴリズム一覧。


次はU-Netについて。

U-Net

U-Netは、MICCAI (Medical Image Computing and Computer-Assisted Intervention) 2015で発表されたU-Net: Convolutional Networks for Biomedical Image Segmentationで提案されたSemantic Segmentation手法。(学会に採択されたタイミングで言うとSegNetよりも先ということか?)

学会名や論文タイトルからも分かる通り、医用画像のSegmentationを目的とした研究です。(例にHeLa細胞の画像とかが出てくる)
U-Net2015年の ISBI (IEEE International Symposium on Biomedical Imaging)Dental X-Ray Image Segmentation ChallengeCell Tracking Challengeの2部門で優勝している。


スポンサーリンク


著者による概要動画も公開されている↓

5 Minute Teaser Presentation of the U-net: Convolutional Networks for Biomedical Image Segmentation

U-Netのネットワーク構造

以下がU-Netのネットワーク図。ネットワーク構造がU字に見えるからU-Netと呼ぶらしい↓

青ボックス:画像、特徴マップ
白ボックス:コピーされた特徴マップ
ボックスの上の数字:チャンネル数
ボックスの左下の数字:縦横のサイズ
青矢印:kernel size 3×3, padding0の畳み込み、ReLU
グレー矢印:特徴マップのコピーをクロップ
赤矢印:kernel size 2×2のmax-pooling
緑矢印:kernel size 2×2、stride2の逆畳み込み
青緑矢印:kernel size 1×1の畳み込み

※このネットワーク図では具体例として入力画像と特徴マップのサイズも記載されているが、U-Netは全結合層を持たないため、入力画像サイズを固定する必要はない。
この論文では細胞と背景のセグメンテーションが目的なので出力は2チャンネル(2クラス分類)。

Encoder-Decoder構造

U-NetFCNSegNetと同様に全結合層を持たず、畳み込み層で構成されている。U-NetSegNetのようにほぼ左右対称のEncoderDecoder構造で、Encoderのpoolingを経てダウンサンプリングされた特徴マップをDecoderでアップサンプリングしていく。

U-NetSegNetの大きな違いは、Encoderの各層で出力される特徴マップをDecoderの対応する各層の特徴マップに連結(concatenation)するアプローチを導入した点。このアプローチはスキップ接続と呼ばれているみたいですね。

Encoderの構造はVGGの特徴抽出層とほぼ同様だが、畳み込み時のpaddingが0なため、畳み込み後は特徴マップのサイズは少しだけ小さくなる。(実装ではpaddingしているU-Netも見かけるけど…)


スポンサーリンク

スキップ接続

SegNetでは、EncoderDecoderが直列に接続されていたため、特徴が伝搬する過程でpixelディティールが失われてしまい、元の画像に対してSegmentation結果が粗くなりやすい欠点があった。

U-Netでは、Encoderの各層で出力される特徴マップを、Decoderの対応する層の特徴マップに直接連結することでpixelのディティールを補っている。

前の層の特徴マップと統合するという点ではFCNのアプローチにも似ているが、FCNでは違う層の特徴マップ同士をチャンネルごとの値の足し算で統合しているのに対し、U-NetではEncoderで出力された特徴マップを別チャンネルとしてDecoderの特徴マップに追加する形で連結している。

Encoderではpadding=0の畳み込みを行って特徴マップが少しずつ小さくなっているため、Decoderで2倍にアップサンプリング(逆畳み込み)してもEncoderの特徴マップとサイズが合わない。
そのため、Encoderの特徴マップの中央部分を切り出し(crop)してDecoderの特徴マップとサイズを一致させて連結している。

Encoderでpaddingを行えばEncoderDecoderの特徴マップのサイズが一致するのでそのまま連結することができる。(そういう実装例もある)

論文では電子顕微鏡で撮影された細胞の画像を細胞と背景に分割する2クラスの分類が行われている。また、少ないデータセットで学習するためのData Augmentation方法についても記載されていた。

U-Netはその後改良版のU-Net++というのも発表された。
https://github.com/MrGiovanni/UNetPlusPlus

物体検出のネットワークだと矩形の出力とかで実装が複雑になりがちだけど、畳み込み層のみで構成されたネットワークはそのまま画像が出力される分構造がシンプルで理解しやすい気がする。(学習に委ねる範囲が多いということでもあるのか?)

U-NetPix2PixGeneratorのネットワークにも使用されている。



以前線画の自動着色で話題になったPreferred NetworksPaintsChainerGeneratorネットワークに使用されているのもU-Net
https://qiita.com/taizan/items/cf77fd37ec3a0bef5d9d
https://qiita.com/taizan/items/7119e16064cc11500f32

サンプルコード

例のごとくPyTorchの実装を探す。やっぱりpaddingしてるよなぁ。
https://github.com/hszhao/PSPNet

前も言ったけど、U-Netに限らずSemantic Segmentation系のPyTorch実装をひとまとめにしたリポジトリもある↓
https://github.com/meetshah1995/pytorch-semseg

次はPSPNetについて勉強するかな。


ディープラーニングによるSemantic Segmentationアルゴリズムまとめ
これまで勉強したディープラーニングによるSemantic Segmentation手法のアルゴリズム一覧。


スポンサーリンク

関連記事

ディープラーニングに対応したPythonの機械学習ライブラリ『Pylearn2』
ドットインストールのWordPress入門レッスン
今年もSSII
Kaolin:3Dディープラーニング用のPyTorchライブラリ
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
iPhoneで3D写真が撮れるアプリ『seene』
全脳アーキテクチャ勉強会
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
C++の機械学習ライブラリ『Dlib』
ポイントクラウドコンソーシアム
PCA (主成分分析)
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
Paul Debevec
画像中の人物表面のUV座標を推定する『DensePose』
AfterEffectsプラグイン開発
インタラクティブにComputer Visionコーディングができるツール『Live CV』
SONY製のニューラルネットワークライブラリ『NNabla』
TeleSculptor:空撮動画からPhotogrammetryするツール
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
WordPressで数式を扱う
OpenCVでiPhone6sのカメラをキャリブレーションする
ZBrushトレーニング
画像認識による位置情報取得 - Semi-Direct Monocular Visual Odome...
OpenCVでPhotoshopのプラグイン開発
動画で学ぶお絵かき講座『sensei』
hloc:SuperGlueで精度を向上させたSfM実装
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
スマホのカメラで3Dスキャンできるアプリ『Qlone』
OpenCVで平均顔を作るチュートリアル
Structure from Motion (多視点画像からの3次元形状復元)
Mitsuba 2:オープンソースの物理ベースレンダラ
RefineNet (Multi-Path Refinement Network):ディープラーニン...
Kinect for Windows v2の日本価格決定
OpenCVベースのマーカーARライブラリ『OpenAR』
COLMAP:オープンソースのSfM・MVSツール
Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ
TensorFlowでCGを微分できる『TensorFlow Graphics』
機械学習に役立つPythonライブラリ一覧
CycleGAN:ドメイン関係を学習した画像変換

コメント