Oculus Quest向けのハンドトラッキングを体験。外部センサーなしで余剰な電力消費もないという，頼もしい最新テクノロジー

　カリフォルニア州サンノゼのSan Jose McEnery Convention Centerで開催されたFacebookのイベント「Oculus Connect 6」で，Oculus Quest（以下，Quest）への対応がアナウンスされた新テクノロジー「ハンドトラッキング」を体験したので，紹介したい。

「Oculus Connect 6」公式サイト

　発表されたハンドトラッキングは，腕や指に装着するコントローラや外部センサーなどのハードウェアを必要とせず，Quest前面のカメラだけで実現しているところがポイントで，そのため，余分な電力消費を回避できる。
　このあたりは，10月3日の発売が予定されているHTCの「Vive Cosmos」のハンドトラッキングと似ており，イヤレス環境で，かつ素手で体験できることに大きな可能性を感じずにはいられない。

Oculus Connect 6は関係者のみのリラックスしたイベントだが，参加した人達はぜひハンドトラッキングを体験してみようと，長い列を作っていた。待ち時間は最大で2時間半だったという

　そんなハンドトラッキングの試遊で使われていたのは，Magnopusというデベロッパが開発した「Elixir」というテクノロジーデモだった。
　ちなみに，VR対応ヘッドマウントディスプレイの試遊では通常，デバイスを装着した状態で，握った手を前に突き出していると，スタッフがコントローラのストラップを通してくれるというスタイルが一般的だ。慣れとは怖いもので，筆者もついそのようなポーズで待機していたのだが，ハンドトラッキングのデモではコントローラは不要だった。

Touchコントロ―ラを使ったほかのデモルームと比べて，ハンドトラッキング用のデモルームは，手の認識率を高めるために，心なしが明るく照らされていた……ような気がする

　担当者にうながされて仮想スクリーンのボタンを手で押す仕草をして，「Elixir」デモを始めた。
　どこからともなく聞こえてくる魔女の声に従い，木製の扉の前に出現したタブレットの上に自分の両手を置き，魔法使いになるための契約を行う。すると，扉が開いて中の実験室に通されるのだが，そこはさながらTouch向けにリリースされた「Waltz of the Wizard」のような雰囲気で，毒の入った大鍋を中心に，さまざまなガジェットを並べたテーブルが半円形に広がっていた。


　プレイヤーの手は青く表示されているが，毒に手を浸すと ブクブクと泡を立てながら緑色の皮膚に変化した。魔女の言葉どおり，右側の大樽から出ている水で手を洗うと，その毒が流れ落ちて元の色に戻るという具合だ。
　手をこすり合わせたりする必要はなく，流れる水に手を通すだけで普通の色に戻るので，動作ではなく位置に反応しているようだ。とはいえ，ピアノを弾くように1本ずつ指を動かしたり，チョキやグッドジョブなどのハンドシグナルにもしっかりと反応していた。

　Questのハンドトラッキングは，Vive Cosmosより1つ多い片手あたり22ボーンの動きをカメラで追跡しているらしい。それぞれの指の付け根から先端までの4つが5本の20，手首が1つだが，Questではさらに手のひら（または甲）の中心位置を自動計測しているようだ。
　筆者は，開発者向けのSDKがすでにリリースされているというVive Cosmosのハンドトラッキングデモを体験したことがないので比較はできないのだが，どうやら手のひらを傾けたり縦にしたときにもカメラがフォローしやすくなることが，手のひら（または甲）の中心位置を計測するメリットになるらしい。

基調講演で紹介された映像では，手のひら，または甲にもボーンが1点ある，合計22点で計測が行われていることが示唆された

　デモは，魔女に「クリーチャーの目玉を指でつついちゃいけないよ」と言われていたのに，宝箱の中からこちらを覗くクリーチャーの目玉をつい人差し指でつついたところ，宝箱の中から数体のクリーチャーが飛び出して，てんやわんやの状態になるという流れだった。


　さらに，炎に手をかざすと燃え始め，これでロウソクに火を点けたり，電気がビリビリ発生している機械に手を入れると，両手が光り輝いたり，クリーチャーが持ってきたポーションの中に手を浸してみると，タコの触手のようなグニャグニャの指になったりなど，ハンドトラックを目一杯アピールしていた。

会場で話を聞いたOculusのプロダクトマネージャー，マーク・シリマン氏

　さらに，フラスコを親指と人差し指でつまんで机の上に注いだ紫のポーションに手を浸すと，皮膚が紫色のデーモンのようなものに変化し，さらに握り拳を作るとウルヴァリンのようなかぎ爪が拳から伸びてくる。これを使って暖炉から飛び出してきたオレンジ色のバブルをブツブツとつぶしていると，魔女から「もういい加減にしなさい」と怒られて扉の外に追い出されてしまった。
　ここで契約書が目の前に現れ，ペンを使って自分の名前をサインすると，魔法使い見習いの契約が解除されて終わるという，全部で10分ほどのデモだった。
　Oculusのプロダクトマネージャーであるマーク・シリマン（Mark Silliman）氏に話を聞いたところ，QuestではVive Cosmosの30fpsよりも多い60fpsで画像が表示されているとのこと。

　なめらかで見事なハンドトラッキング体験だったが，まったく問題がないわけではなく，スムーズに追跡できていない場面も少なくなかった。カメラの範囲外はトラッキングできないので，手を横に広げたり腰に当てたりすると青い手は消え，指の動きも感知されなくなる。鳥が飛ぶように両腕をバタバタさせたり，ホルスターからピストルを取り出すといった動きをフォローするのは難しいだろう。


　また，VRデバイスの魅力の1つに，コントロ―ラの振動によるフィードバックがあるが，例えば電気の中に手をかざしたときのビリビリ感が表現されないことも物足りなかった。
　こうした問題に対処するため，グローブのようなデバイスを装着するのもアリだと思うが，「より多くの人にVR体験をしてもらうには，周辺機器は少ないほうが良い」とシリマン氏は語っていた。将来的にどうなるのかは分からないものの，現状，激しい動きを必要とするタイプのゲームでハンドトラッキングがどこまで利用できるのかは未知数だ。

　実際，Oculusは「Elixir」と同時に，保険会社と提携した社員教育用のデモも公開しており，医療や工業からサービス分野にわたる「Oculus for Business」という構想も大々的に発表されている。我々ゲーマーはつい，「VRデバイスはゲーム向け」と考えがちだが，こうした技術革新を進めることで，新たな市場を開拓しようとしているわけだ。

こちらは，アメリカの保険会社Farmers Insuranceとの提携で作られた社員訓練用アプリのデモルーム。どのようなトレーニングをしているのだろうか

　Questのハンドトラッキングは，ボーンのリアルタイム測定によるモデルベースのトラッキングに，ディープニューラルネットワークによる予測結果を加えたものになっている。つまり，より多くのデータが集まることで，トラッキング性能はさらに向上していくことになる。
　Oculusの発表では，2020年のかなり早い時期に，ハンドトラッキング対応のSDKが開発者向けにリリースされ，同年中にQuestユーザー向けの無料アップデートという形で使用が可能になる予定だという。ライバルとなるVive Cosmosよりも定価で約40％安いワイヤレス型のQuestで，Vive Cosmosと同レベルの技術を実現しているところに魅力を感じる人は少なくないはずだ。

2020年の正式アップデート時には，メインメニューもハンズフリーで操作できるようになるはずだ

「Oculus Connect 6」公式サイト