顔追跡による擬似3D表示『Dynamic Perspective』

Amazonの新しいスマホに搭載されてちょっと話題になったけど、カメラから画像認識技術を使ってユーザーの視線を計算すれば、2Dの普通のディスプレイでも疑似的に3D映像を表示することができる。Amazonはこの疑似表示方法をDynamic Perspectiveと呼んでいる。
これは、対象ユーザーが1人の場合に可能な方法で、ユーザーの目の移動に合わせてディスプレイに表示する映像を変化させることで、奥行きを感じさせるもの。スマホのように手に持つなど、目とディスプレイの位置関係が手振れなどで常に変動する環境が前提。両者の位置が静止した関係では立体感を表現できない。



https://www.youtube.com/watch?v=RvOIpN7ZiVg

個人的にこの考え方は非常に好き。この考え方というのは、表示を3Dにすることでよりリッチにしようって考えのこと。3Dテレビが盛り上がらなかったせいなのか、割と「3Dは無意味」って認識が根強いんだけど、コンテンツを作りづらいのが普及の一番の足かせだったと思う。日常生活で空間認識している状態に近い情報提示手段の方が、より直観的なUIだとオイラは考えている。
もちろん2Dの方が相応しい場合もあるとは思うけど、3Dだから可能になることもたくさんあるんじゃないだろうか。文書みたいなデスクトップのパラダイムで生まれた情報は確かに2Dの方が良いんだけどさ。

アマゾン初のスマートフォン「Fire Phone」レビュー(前編)–3D効果やデザインなど
アマゾン初のスマートフォン「Fire Phone」レビュー(後編)–アプリや機能、性能など

ちなみに、カメラ画像からの顔追跡には日本のオムロン社のエンジンが使われているらしい。同じ原理でiPadでもソフトウェア的に3D表示を実装することができる。
iPadで実装した例↓



顔や視線でコントロール コンピュータビジョンのセカイ – 今そこにあるミライ

関連記事

TVML (TV program Making language)

FCN (Fully Convolutional Network):ディープラーニングによるSema...

ZBrushで基本となるブラシ

ZBrushでゴジラ2001を作ってみる 側頭部のボリュームを探る

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

ZBrushで手首のモデリングをリファイン

Unreal Engineの薄い本

ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve

Photo Bash:複数の写真を組み合わせて1枚のイラストを制作する

iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』

OpenSfM:PythonのStructure from Motionライブラリ

OpenGVの用語

ZBrushでアマビエを作る その2

HD画質の無駄遣い その2

Oculus Quest 2を購入!

ZBrushでゴジラ2001を作ってみる 頭の概形作り

トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

オープンソースの顔の動作解析ツールキット『OpenFace』

OpenCV 3.1のsfmモジュールを試す

Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

Unityの薄い本

JavaによるCGプログラミング入門サイト (日本語)

統計的な顔モデル

Adobe Photoshop CS5の新機能

Stanford Bunny

Point Cloud Libraryに動画フォーマットが追加されるらしい

レンダラ制作はOpenGL とか DirectX を使わなくてもできるんだぜ

ZBrush 4R7

ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整

UnityのGameObjectの向きをScriptで制御する

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

ZBrushでゴジラ2001を作ってみる 目元だけ作り込んでバランスを見る

ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割

布のモデリング

『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ

参考になりそうなサイト

ZBrushでアヴァン・ガメラを作ってみる 首回りの修正・脚の作り込み

『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ

Open Shading Language (OSL)

iPhoneで3D写真が撮れるアプリ『seene』

『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ

Adobe Photoshop CS4 Extendedの3Dモデル編集機能

コメント