［SIGGRAPH 2014］HMD向け技術開発に積極的なNVIDIA。“半ピクセルずらし”による高解像度化や広い視野に表示できるAR技術をアピール

　コンピュータグラフィックスとインタラクティブ技術の学会である「SIGGRAPH 2014」が，米国時間8月10日に開幕した。
　今年のSIGGRAPHは米国ではなく，カナダ太平洋岸の都市，バンクーバーで開催されている。「SIGGRAPH ASIA」のような北米以外で開催されるイベントはともかく，SIGGRAPHというイベントは，米国内で開催されるのが常だった。それが初めて米国外で開催されたのは，2011年に開かれたSIGGRAPH 2011のこと。そのときも開催場所は同じバンクーバーであり，SIGGRAPH 2014は3年ぶりの米国外開催となる。ちなみに，SIGGRAPH 2015はロサンゼルス，SIGGRAPH 2016はアナハイムでの開催予定とのこと。

SIGGRAPH 2014の会場となったVancouver Convention Centre。ところが，コンベンションセンターの建物にSIGGRAPHの看板がまったく見当たらないため，戸惑っている来場者も少なからずいたようだ

　さて，SIGGRAPH 2014の展示会場である「Emerging Technologies」には，NVIDIAが広いブースを用意して，力の入った展示を披露していた。そこで今回は，NVIDIAブースに出展されていた2つのHMD技術についてレポートしたい。

2枚の映像パネルで時空間超解像!?

NVIDIAが開発中の新HMD技術「Cascaded Displays」

Emerging TechnologiesのNVIDIAブースにあるCascaded Displays展示コーナー

　SIGGRAPH 2013でNVIDIAは，開発中のヘッドマウントディスプレイ（以下，HMD）「Near-Eye Light Field Displays」（以下，Near-Eye LFD）を発表して，来場者の注目を集めたものだ。そして今年も，ユニークなHMDを出展して，再び注目を集めている。それが「Cascaded Displays」だ。
　直訳すれば「縦続（じゅうぞく）ディスプレイ」といったところだが，展示のサブタイトルには，「Spatiotemporal Superresolution using Offset Pixel Layers」と書かれている。Spatiotemporal Superresolutionとは「時空間超解像」とでも訳せばいいだろうか。

　名前だけでは今ひとつピンとこないかもしれないが，要は「同解像度の液晶パネルを2枚組み合わせ，X軸，Y軸のそれぞれ半ピクセル分ずらして駆動する」技術なのだという。
　半ピクセル分ずらしてできた縦横半分サイズのピクセルを「仮想ピクセル」と呼ぶとする。だが，液晶パネル側は1ピクセル単位でしか駆動できないので，仮想ピクセルの部分だけを任意の色で光らせる，なんてことはできない。ではどうするのか？

半ピクセル分ずらして重ねた2枚の液晶パネルによる仮想ピクセルのイメージ

　右の図を使って説明しよう。この図は，液晶パネル1と液晶パネル2を半ピクセルずらして重ねたものをイメージしている。太い枠で書かれた四角が液晶パネル本来のピクセルで，本来のピクセルを4分割した仮想ピクセルを「1-4」や「A-1」と記述する。「1-4」と「A-1」が重なった部分の仮想ピクセルは，「1-4，A-1」となるわけだ。
　ここで，仮想ピクセルの「1-4，A-1」を輝度40％，「2-3，A-2」を輝度50％，「2-4，B-1」を輝度20％の赤色で光らせる場合を考えよう。液晶パネルは1ピクセル単位でしか駆動できないのだから，仮想ピクセルのすべてを目的の値で光らせるのは難しい，というか本来なら不可能だ。

　しかし，ぴったり正確な値は無理だとしても，仮想ピクセルが目標値に近い輝度に見えるように計算を行い，各液晶パネルで各ピクセルの輝度を調節して光らせることで，目標の輝度に近い値を再現することはできる。図の場合なら，「1-4，A-1」が輝度40％に見えるように計算して，液晶パネル1のピクセル「1」と液晶パネル2のピクセル「A」を光らせるというわけだ。これが半ずらし液晶パネルの重ね合わせによる高解像度表示の基本概念となる。

NVIDIAが公開しているCascaded Displaysの説明図。Conventional Displayが1枚駆動時の映像で，Cascaded Displayが2枚を半ずらし駆動した映像の例。Factorizationsというのが，1枚めの液晶パネル（Layer1）と2枚の液晶パネル（Layer2）に表示している実際の映像だ

半ずらし液晶パネルの重ね合わせによるサンプル画像。左と中央の画像は、合成される2枚のLCDパネルで実際にどのような情報が使用されるのかを示したものだ。そして、実際にそれらをグラフィックスツール上で合成してみたのが右の絵になる

上のサンプルの一部を拡大したもの

　さて，この仕組みを実現するには，すべての仮想ピクセルが目標値に近くなるように2枚分の液晶パネルの画素1つ1つをどう光らせるか計算しなくてはならない。その計算をするのは，当然ながらNVIDIAのGPUというわけだ。ただしこの方式では，すべての仮想ピクセルを理想的な状態で表示するのは不可能であり，必ず誤差が生じてしまう。そのため，この誤差によって，映像は若干ボケたように見えることになる。

Cascaded Displaysを構成する部品。バックライト付きの液晶パネルと，その上に重ねるバックライトなしの液晶パネルの2枚を使う

　ディスプレイ技術に詳しい人なら気付いただろうが，この「半ずらし駆動」方式による高解像度化は，すでに製品にも実装されている技術だ。JVCケンウッドのホームシアター向けLCOS方式4KプロジェクタDLA-Xシリーズは，そうした製品の1つである。
　ただし，DLA-Xシリーズの場合，1枚の表示デバイスを高速で時分割駆動することによって半ずらしを実現していた。あくまでも表示デバイスは1つだけだ。それに対して，NVIDIAのCascaded Displaysは2枚の液晶パネルを使うので，時間方向に安定した高解像表示を実現できるという利点がある。
　NVIDIAの説明員は，「このCascaded Displaysに対して時分割駆動による半ずらしも組み合わせることで，仮想ピクセルの誤差をさらに小さくできる」とも述べていた。


　GPUメーカーであるNVIDIAが，なぜ，Cascaded Displaysのようなディスプレイ技術を開発しているのか。その理由の1つには，2013年に披露されたNear-Eye LFDを実現するためというものがある。

　Near-Eye LFDは，遠近問わず視野の範囲にあるすべての光を再現する「Light Field」（ライトフィールド）を表現するHMDを目指している。それを実現するには，1インチ未満の超高精細ディスプレイパネルが必要になるのだが，そんなディスプレイパネルは当然ながら高コストにならざるを得ない。
　そこでNVIDIAは，安価な高精細液晶パネルの2枚を使ったCascaded Displays技術によって，1枚の超高精細パネルを使うよりも安くNear-Eye LFDを実現したいと考えているのだそうだ。

NVIDIAが試作したCascaded Displays対応HMDを体験している来場者

　NVIDIAブースでは，同社が試作したCascaded Displays対応HMDを使用して，液晶パネル1枚時の映像とCascaded Displaysによる映像を比較体験できるようになっていた。
　体験コーナーには，HMDで体験する映像を通常のディスプレイに表示したイメージ映像も表示されていたが，パネル1枚の映像とCascaded Displaysを使った映像では，解像感が違うことが分かるだろう。ちなみにこのデモでは，液晶パネル1枚の解像度が300×200ドットで，これをCascaded Displaysによって601×401ドットに高解像度化していた。

HMDで体験できる映像を，通常のディスプレイに出力したイメージ映像。左写真は液晶パネル1枚での表示で，右写真は2枚使ったCascaded Displays表示のもの。標識や看板の文字に注目すると，解像度の違いが分かりやすいはずだ

　Cascaded Displaysはまだ研究段階のものであり，製品に応用される時期はまったく未定だが，実用化されればHMDの映像を高解像度化するのに役立ちそうだ。

ピンホールカメラの原理を応用した網膜投写型ARシステム

Pinlight Displays

Pinlight Displaysの展示ブース

　NVIDIAが出展していたもう1つのHMD技術が「Pinlight Displays」という，とてもユニークな技術だ。

　Googleの「Google Glass」やセイコーエプソンの「MOVERIO」（モベリオ）といった拡張現実（Augmented Reality，AR）対応HMDでは，現実世界にCG映像をオーバーラップ表示させるシステムとなっている。
　こうしたAR対応HMDでは，超小型のディスプレイパネルをユーザーに見せているのだが，映し出される映像は，せいぜい数メートル先に狭い範囲で表示されるだけでしかない。MOVERIOの旧モデルである「BT-100」の場合，映像の画角は約23度しかないので，ごく狭い範囲にしか表示できないわけだ。
　また，既存のAR対応HMDでは映像を数メートル先に結像させるので，映像に目を向けるためには，目の焦点（ピント）を数メートル先に合わせる必要がある。遠くを見ていたなら，目のピントを近くに合わせなくてはならないし，近くを見ていたときはその逆というわけで，現実世界から一時的にピントを外さなくてはならない。

　一方で，Oculus VRの「Rift」や，Sony Computer Entertainmentの「Project Morpheus」といった仮想現実（Virtual Reality，VR）対応HMDでは，比較的大きな液晶パネルを使い，視野を映像で覆う仕組みとなっている。
　だが，VR対応HMDでAR的な表現をしようとすると，現実世界を撮影するカメラまで必要になり，システム全体のコストが上がってしまう。また，AR用途で使う場合，撮影映像ではなく「現実の視界」を使うほうが違和感のなさという点で望ましいという意見もある。

　そこでNVIDIAは，こうした問題を解決するために，映像を直接網膜に投射する仕組みを開発している。それが今回発表されたPinlight Displaysというわけだ。
　ピンホールカメラというものをご存じだろうか。簡単に作れるので，子供の頃に工作で作ったことがあるという人もいるだろう。ピンホールカメラとは，極小径の穴（※ピンホール）を通ってきた光を見るカメラで，焦点距離の概念がないためにピント合わせが不要で，近景から遠景までをほぼ均等にくっきりと映せるというものだ。
　この原理を逆に応用することで，焦点距離のない映像を網膜に投射しようというのがPinlight Displaysの基本概念である。NVIDIAによる説明動画を掲載しておくので，ぜひ見てほしい。

無数に見える小さな点々が導光板にあけられたピンホールだ。導光板の縁に配置したバックライトを点灯すると，このピンホールから光が照射される

　ピンホールカメラを逆にした仕組みでVR対応HMDのように広い視界を実現するためには，仮想的なピンホールプロジェクタを無数に並べる必要がある。これを実現するためにPinlight Displaysでは，1枚の液晶パネルを細かく区切り（図のModulation Plane），区切った各部分（以下，リージョン）それぞれが網膜に投射する映像を生成する。
　さらに，ピンホールという言葉どおりに，針で無数の穴を開けた導光板を用意し（図のPinlight Plane）、その導光板に側面から光を当てると，ピンホールから光が照射されるという仕組みを採用した。

Pinlight Displaysの概念図

試作品のディスプレイに表示されているのは，なにやら不可思議な文様に見えるが，実際は文字である。これを視距離数センチで見ると，あら不思議。現実世界の光景にオーバーラップした文字が表示されて見えるわけだ

　ピンホールを通った光は，液晶パネルの各リージョンに照射される。すると，各リージョンはピンホールプロジェクタとなり，そこから投射された映像が網膜に映って映像に見えるというわけだ。
　この仕組みでは，映像が正しく網膜上でに結像できるように，左右の目に合わせたキャリブレーションが必要になる。しかし，一度キャプレーションをすませれば，視力や焦点距離に依存しない鮮明な映像が見えるというのだから面白い。

　筆者も体験してみたが，視野全域に現実世界とオーバーラップした映像が表示されるというのは，新鮮な体験だった。デモでは，現実世界の上にメールの文面を重ねて表示するという体験をしたのだが，狭い範囲にしか表示できない既存のAR対応HMDとは大違いで，まったくストレスなくメールを読めた。
　現実世界と組み合わせて使うことを考えると，たとえば，視界に見える看板すべてに情報タグを付けたり，街路のあちこちにナビゲーション用の矢印を表示するといったこともできそうだ。
　また，表示映像は左右の目ごとに生成するので，もちろん立体視にも応用可能だ。実際，STAR WARSでお馴染み「TIE Fighter」の3Dモデルを，立体表示するというデモも用意されていた。

Pinlight Displaysを体験する来場者（左）。右はPinlight Displaysで表示している映像を，通常の液晶ディスプレイに表示した状態。細かく分解されたワイヤーフレームのような何かが映っているが，これをPinlight Displaysで見ると，ワイヤーフレームの球体が立体的に見える

Pinlight Displaysの全体写真と各パーツの構成（左）。分解して各パーツを並べた状態も展示されていた（右）

　さて，今回披露されたPinlight Displaysの映像は，すべて単色表示になっていた。これは，通常の直視型液晶パネルのように2次元平面でRGBの各画素を配置させるのが難しいためだという。
　それではカラー映像の表現は無理かというと，もちろんそんなことはない。バックライトをRGBそれぞれに時分割で切り替えて光らせたうえ，タイミングを合わせてRGBの単色映像を表示させる，いわゆる「時分割フルカラー表現」を行うというアイデアがあるそうだ。
　時分割フルカラー表現は，色の階調割れが起こりやすいという問題があるが，AR対応HMDは美しい映像を鑑賞するというよりも情報表示が主体なので，そこは妥協できるのではないだろうか。

　NVIDIAでは，Pinlight DisplaysをAR対応HMD用途と説明していたが，航空機や自動車向けのヘッドアップディスプレイ（Head Up Display，HUD）にも使えそうに思えた。NVIDIAは近年，車載情報機器に力を入れているので，もしかすると，そうした分野への展開も考えているのかもしれない。

Cascaded Displaysの情報ページ（英語）

Pinlight Displaysの公式情報ページ（英語）

SIGGRAPH 2014 公式Webページ