本研究では環境構築のためのヘッドマウンテッドディスプレィ環境としては、HTC ViveおよびHololensを用いた。また手指の操作の認識にはいずれも深度センサとしてLeap Motionを用いた。

　本研究で利用するジェスチャについて我々はその水準を定め、これらのうち最も重要で核となる第3水準のジェスチャ（複合ジェスチャ）について研究を進めた。ここではジェスチャの種類を単に認識するだけでなくジェスチャの開始を認識し、手の動きに合わせて仮想物体やメニューの操作を行う必要がある。そのためジェスチャの開始と終了（クリック動作）を速やかに認識することが重要となる。

　本研究では動的な時系列を扱う機械学習の手法を適用し、より正確にクリックダウンとクリックアップのタイミングを認識し、高速で連続的な操作が可能なようにした。