AR (Augmented Reality)とDR (Diminished Reality)

最近、UnityのAR Foundation経由でiOSのARKit 3遊びをしていますが、



昨年、書店で「ARの教科書」を立ち読みして、思いの外しっかりした内容だったので購入したのでした。

ARの教科書

https://book.mynavi.jp/ec/products/detail/id=91748

随分ストレートなタイトルなので、世に沢山あるようなプログラミングの入門書みたいなものかと思ったら、割とアカデミックな洋書の翻訳本なんですね。
原著は2016年に出版された”Augmented Reality: Principles and Practice“で、2人の著者はどちらもARを研究する大学教授だ。

書籍のサポートサイトもある↓
https://sites.google.com/view/ar-textbook/

チュートリアル動画↓

Augmented Reality – Principles and Practice Workshop (Part 1)

Augmented Reality – Principles and Practice Workshop (Part 2)

xR Tech Tokyoで輪講会もあったね。
https://www.godis1st.net/2018/12/ar.html


スポンサーリンク


本書の冒頭で書かれている通り、ARは複数の研究分野(主にCGとCV)が複合的に絡み合って発展したため、ARの文脈で理論と実装をバランス良く体系的にまとめた教科書的な書物が長らく存在しなかった。
実装面において、ARは既存の技術分野を横断した開発知識が必要だが、その一方でAR体験を設計するには人間の知覚についても理解が必要だ。
未来を見据えた理想的なビジョンを描くのも大事だが、優れたAR体験を実装するには、今現在の技術的制約と人間の知覚特性のバランスを取って体験を設計(モデル化)できなければならない。

本書の原題にある”Principles and Practice“は日本語で言うと「原理と実践」ということで、まずARという概念の定義、感覚を提示する手段(ディスプレイ)について視覚に限らず音声、触覚、嗅覚・味覚なども紹介した後、最も盛んに実装されている視覚系のARを実現するための画像認識、コンピューターグラフィックスの技術、アプリケーション設計について概観できる構成になっている。

ARのための画像認識

単眼カメラで撮影した2D画像から3Dの情報を得る理屈はこういう分野↓



思えば、ARという言葉が一般に浸透してだいぶ経つ。
ARToolKit全盛の時代はデフォルトのARマーカー「Hiro」をよく見かけた。ARマーカー独特の意匠がARというジャンルのシンボルマーク、アフォーダンスとして機能していた時代があった。

現在この手の矩形マーカーはARコンテンツ向けというより、カメラ画像からの堅牢な位置測位・トラッキングのための手段として定着した気がする。
ArUco:OpenCVベースのコンパクトなARライブラリ
最近、ARToolKit以外にもっとコンパクトなARライブラリがないか調べてる。ARアプリを作りたいわけじゃなくて、アプリケーション開発の部品として、単眼カメラによるマーカー認識で3次元座標を取得する機能が欲しいだけなので、あんまりゴテゴ...


ハリウッド映画のメイキングで、俳優の演技をキャプチャするためのスーツにマーカーがたくさん貼り付けられている。
映画『ミュータント・タートルズ』を観てきた
ガメラからの亀つながりというわけではないけど、実写版のミュータント・タートルズをIMAX3Dで観てきた。「実写版」と言っても、過去に着ぐるみで撮られた実写映画が3作もある。今回のは「CGで実写化したやつ」とでも呼ぶべきか。2007年...


一目でマーカーだと分かる矩形のARマーカーに対して、その後明示的なマーカーを使わずに自然特徴量だけで位置測位・トラッキングを行う手法も登場した。

スマートフォンの時代になり、ここ最近はカメラ位置のトラッキングに撮影画像だけでなくスマホのモーションセンサーも併用するVIO(visual-inertial odometry)で実用面も一応一段落した感じ。(あくまでエンタメ用途のARでは)

追記:ARの歴史についてはこちらの記事が詳しい↓
https://note.com/hato_fun/n/n4ca0e20000cb

Occlusion

今ARの実装でホットな技術課題はOcclusionのようだ。現実のオブジェクトよりも後ろにあるCGオブジェクトは遮蔽されるはず。この現実のオブジェクトとCGオブジェクト表示の前後関係の矛盾をどう解決するか。
アプローチとしては、単眼カメラ動画からDepth Mapを推定したり、もっと大雑把に前後フレームの視差から物体の境界書き割りを推定したり、あるいはSemantic Segmentationで特定の物体についての境界を推定したり。
ここでも機械学習ベースの手法が盛んに研究されている。

Siggraph Asia 2018では、同じセッションでFacebookとGoogleが別々のアプローチでARのOcclusion問題を解決する手法を発表していた。

Facebook

Facebookの研究の方はソースコードも含めてネットで無料公開されている↓
https://homes.cs.washington.edu/~holynski/publications/occlusion/index.html
https://github.com/facebookresearch/AR-Depth


スポンサーリンク
Fast Depth Densification for Occlusion-aware Augmented Reality (Teaser)

Google

GoogleはAndroidのARCoreに実装してくれてる↓
https://developers.googleblog.com/2019/12/blending-realities-with-arcore-depth-api.html

Get Ready for the ARCore Depth API

Niantic

ポケモンGOの開発元で知られるNianticもOcclusion問題に取り組んでいる。
https://nianticlabs.com/ja/blog/nianticrealworldplatform/

Codename: Niantic Occlusion – Real World AR Occlusion featuring Pikachu and Eevee

Niantic LabsとしてDepth推定の論文を発表し、ソースコードも公開している↓
https://arxiv.org/abs/1806.01260
https://github.com/nianticlabs/monodepth2

Digging Into Self-Supervised Monocular Depth Estimation

PoepleOcclusion

オイラが最近遊んでいるiOSのARKit3では、人物領域をSegmentationすることで現実空間の人とCGオブジェクトの重なりを解決するもの。

オイラもこの記事を参考にPoepleOcclusionを試してみた↓



顔が判別できるほど大きく写っている人物に対してはちゃんとSegmentationがかかる。ARで問題となるのは特に手前の物体によるOcclusionなので、これで十分。要件の落としどころが上手い。

DR (Diminished Reality)

現実空間に架空のオブジェクトなどを配置するAR: Augmented Reality(拡張現実感)に対して、オイラが個人的に注目しているのは、現実空間からオブジェクトを消して見せるDR: Diminished Reality(隠消現実感、減損現実感)と呼ばれる概念。

ARが情報の足し算だとすると、DRは情報の引き算と言える。

その概念を初めて知ったのは2015年のSSIIだった↓



あれから4年経って、面白い実装例が増えてきた↓



http://harrischris.com/article/biophillic-vision-experiment-1

Deep Learningで特定の物体領域を検出する精度が上がったから、次の課題はその領域をどうやって加工するかだ。



ARKit 3のPeopleOcclusionはDRの実装にも利用できるね↓


Real-Time Diminished Reality using GPU-accelerated Image Inpainting

https://wired.jp/2019/08/03/leapmotion-blog/


スポンサーリンク

関連記事

OpenCVでPhotoshopのプラグイン開発
ZBrushで手首のモデリングをリファイン
OpenGVのライブラリ構成
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
顔モデリングのチュートリアル
ZBrushで仮面ライダー3号を造る 仮面編
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
プログラミングスキルとは何か?
Shader.jp:リアルタイム3DCG技術をあつかうサイト
物理ベースレンダリングのためのマテリアル設定チートシート
UnityでARKit2.0
2012 昨日のクローズアップ現代を見た
ゴジラ(2014)のメイキング
あの頃で止まった時間
ブログをWordpressに引っ越して1周年
Transformers ”Reference & Bulid” Siggraph 2007
3Dボリュームデータ処理ライブラリ『OpenVDB』
ラクガキの立体化 反省
書籍『仕事ではじめる機械学習』を読みました
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
UnityでLight Shaftを表現する
ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve
Kinect for Windows V2のプレオーダー開始
SFX技術のドキュメンタリー番組『ムービー・マジック』
操演という仕事
携帯電話ロボット『RoBoHoN(ロボホン)』
Raspberry PiでIoTごっこ
エアブラシの思い出
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)
『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が公開された
頭蓋骨からの顔復元と進化過程の可視化
Unityで360度ステレオVR動画を作る
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
ポイントクラウドコンソーシアム
Open3D:3Dデータ処理ライブラリ
OpenCVで顔のモーフィングを実装する
ディープラーニング
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
書籍『OpenCV 3 プログラミングブック』を購入

コメント