表題番号：2000A-921 日付：2002/07/04
研究課題仮想コミュニケーション環境のための人物像の認識と生成に関する研究
研究者所属（当時） 資格 氏名
（代表者） 国際情報通信研究センター 教授 大谷　淳
研究成果概要
　現実には距離を隔てた人物同士の仮想的シーンを介したコミュニケーション環境実現のためには、現実の空間における人物の像を画像処理により自動的に認識し、仮想的シーン中の３次元人物モデルにおいて実時間で再現する、人物像の認識・生成法の実現が必要である。本研究課題では、人物像の認識・生成法の研究を立ち上げるため、以下の項目について、環境整備、方式検討および予備的検討を行ったので、その概要を述べる。
（１）人物と物体のインタラクションの認識法の検討
　人物のふるまいを画像処理により認識する従来の方式のほとんどは、人物が単独で存在する状況のみを扱っていた。これに対して、現実の空間では、人物はシーンや物体とのインタラクションを日常的に行う。従って、人間にとって自然なマンマシンインタフェースシステムや、自動監視システムを実現するためには、このような人物と物体とのインタラクションを自動的に認識する方式の開発が必要である。そこで、人物のシルエット像の輪郭解析法、移動物体の追跡法、人物と物体が接する場所周辺の濃淡画像解析を統合的に用いる手法を提案し、現在基本的なプログラムを開発中である。
（２）３次元顔モデルの生成と表情再現法の検討
　従来の３次元顔モデルには、解剖学的な構造を忠実に再現したものはほとんど見られなかった。特に、頭蓋骨、表情筋、脂肪組織、皮膚組織の構造のモデリングは、表情再現のために重要と考えられる。また、表情筋の動作に伴う、皮膚表面の形状変化の再現も重要である。そこで、CT画像データを用いて前述のような顔の構造をモデリングするとともに、実際の人物の表情変化を実現するための表情筋の動的特性パラメータの決定を実写顔画像から行う方法を提案し、現在環境を整備中である。
（３）表情再現のリアリティ向上方式の検討
　実際の人物の表情を画像処理により推定し、その結果を通信回線を用いて受信側の３次元顔モデルに送信し、表情を再現する方式では、３次元顔モデルにおいて再現される表情のリアリティに課題が残っていた。そこで、実人物の顔表面のテクスチャを顔画像から実時間で獲得し、これを３次元顔モデルにマッピングする方式を提案した。ここで、皮膚表面の光学的特性は個人毎に異なるので、これを効率的に推定する手法を開発する必要がある。また、実人物のいる環境の照明条件を、３次元顔モデルにテクスチャをマッピングする際に反映する必要がある。さらに、３次元顔モデルの形状変化や位置・姿勢変化にも対応する必要がある。現在、これらの検討を可能とする実験環境の整備を進めるとともに、アルゴリズムの詳細を検討中である。