表題番号：1998A-856 日付：2002/02/25
研究課題ジェスチャによるマン・マシンインタフェースに関する研究
研究者所属（当時） 資格 氏名
（代表者） 理工学部 助手 澤田　秀之
研究成果概要
　ジェスチャは音声とともに、人間どうしのコミュニケーションにおいて重要な役割を果たしている。
特に言語では表せない感情や感覚の表現には、身振り手振りが多様に用いられている。ジェスチャにおける人間の意志や感情は、手腕部などの位置よりもむしろ身体に加えられる力に顕著に現れることに着目し、腕部運動の計測には小型加速度センサを用いた。さらにハンドジェスチャセンシングデバイスGraspComの開発を行った。これらをもとに、日本語手話認識システムの構築および、力覚による双方向コミュニケーションシステムの試作を行い、新しいヒューマン・マシンインタフェースについて検討した。
　身体のダイナミックな動きを計測するために小型３次元加速度センサを、手指の静的な位置や形状の測定には位置センサ及びデータグローブを用いることにより、運動特徴に基づいた、手話の実時間認識システムを構築した。約3000単語ある日本語手話の多くは、いくつかの単純なジェスチャーの組み合わせで表すことができる。そこで１１個の動作方向を基本動作として取り上げ、各手話単語を基本動作の列として記述し、これをＨＭＭ（隠れマルコフモデル）を用いて参照することにより認識を行った。
自己紹介や日常生活でよく使われる３０程度の単語に対し、９０％以上の認識率を得た。
　また、力覚入出力デバイスの開発を行った。本デバイスは人体の皮膚感覚を実現するためにシリコンで整形され、デバイスの変形量の測定には内圧測定センサを、姿勢の計測には小型加速度センサを用いている。更に、ハンドジェスチャ入力に対してリアクションを提示するために、小型振動モータを内蔵している。把持力にともなうデバイスの変形を、内部に埋め込んだ各センサにより計測すると同時に、人間が「もっともらしい」と感じるリアクションを力覚出力として生成することが可能である。GraspComをターミナルデバイスに用いることにより、遠隔地におかれた人どうしの力覚による双方向コミュニケーションシステムを試作し、アンケート結果から好意的な評価を得ることができた。
　今後は、手話動作及びハンドジェスチャに含まれるより細かい感性的表現の解析をおこなっていくと共に、ジェスチャー入出力に基づく新しいマン・マシンインタフェースへの可能性を検討して行きたい。