最近全天球カメラ使って遊んでおり（研究）、HMDを用いたコンテンツの可能性が広がらないかなと思い記事にしました
今回は少し趣の違う記事ですが、少しでも参考になれば幸いです。
全天球カメラを用いた没入型コンテンツ
皆さんは全天球カメラって知ってますか？一時期パノラマ写真とか流行ったかと思います。パノラマ写真を撮るときに使うのは全天球カメラですね。
普通のカメラのように前方だけを写すのではなく、自分を中心として360度全方位が取れるカメラです。RICOH社から出ているThetaが有名な例で、自分も研究で使用しています。
Thetaを例として話すと前方と後方に魚眼レンズが付いていて、自分を中心とした天球の前方と後方の映像が別々に出力されます。それを繋ぐと360度映像の完成というわけです。
じゃあこの全天球カメラ使って何するの?何に使われるの?と、まぁ一番はHMDと併用した没入型コンテンツでしょう。
適当に天球作って法線裏返してThetaの映像をシームレスにマッピングすればThetaを中心とした全天球映像が簡単に出来るので、その中央にカメラを置き、ヘッドトラッキングしたHMDに出力してやればあっという間に360度映像を楽しめちゃいます。最近だとUnityなどの無料ゲームエンジンが進化を遂げており、HMDを使った開発が容易なので比較的技術的なハードルも低いです。
Thetaはライブ映像を出力できるので繋いでやれば動画にもできます、例えばThetaを海に放り投げて繋げば海の中を覗いて魚が泳いでいるのを見れますし、ライブ会場に持っていけばライブ体験だって可能です。また、Wi-Fi接続も出来るのでFPSは落ちますが無線での映像提供も可能です。
このように、全天球カメラを使うと360度映像を使って簡単に没入型コンテンツのベースを作ることが可能です。まだまだコンテンツへの応用は少ないですが期待できる分野です。
視野合成とコンテンツの発展性
次に視野合成について話します、視野合成と言うと難しそうに聞こえますが言ってしまえば画像をいい感じにくっつける技術です。
例えばOculusRiftでは立体視を単一映像情報で実現するために、映像を投影する際にシェーダー側で処理し理論的な歪みを左右の画像に付与することで、左右の視差を作っています。
360度映像から視野となる映像を作成すると考えた時、この映像情報を合成することで様々な試みが出来ます。
例えば普段は視界にとらえられていない真横や後ろの情報を正面に投影されるように合成することでカメラなどの物理的な挙動なしで、それらの見えない部分の映像を見ることが出来ますし、高さなどに焦点を当てて合成すれば普段よりも高い視点だったり低い視点だったりが楽しめます。
OculusRift等の視野角が狭いという点をこれらの合成でカバーすることももちろん検討できます、複数台の全天球カメラで360度映像を取得しそれらを合成すれば、理論上どのような位置からどのような角度で見ているか汎用的に表現できるでしょう。
勿論カメラの位置を移動させたりすれば表現はできますが、物理的な制約は付き纏います。映像を合成するというアプローチでカバーすることでコンテンツの表現がより自由になると思います。
現状HMDを用いた没入型コンテンツというのは基本的に1人称視点が多いですが、今とは違う一風変わったコンテンツの進化が求められてきたときに、こういった技術がアプローチ出来ると感じています。(現実空間でTPSとかやってみたいです)
HMDを使ったコンテンツというのは確実に増えてきていて、ちょっとやそっとの内容ではあまり驚かれなくなってきました。
少しでも新しい、面白いコンテンツを提供したい、その心を持ち続けてこういったコンテンツに活かせる技術を学んでいきたいですね
