表題番号：2024C-707 日付：2025/04/05
研究課題視覚言語モデルを用いた重症児感情推定モデルの構築法に関する研究
研究者所属（当時） 資格 氏名
（代表者） 理工学術院 基幹理工学部 教授 小川　哲司
研究成果概要
重症心身障害児（重症児）の感情状態推定モデルを効率的に構築する手法を検討した．重症児が表出する感情状態やその表現手段は児ごとに大きく異なるため，モデル構築には養育者による個別のアノテーションが不可欠であり，その負担の大きさが課題となっている．この問題に対し，養育者の関与を限定しつつ個別性の高いモデルを構築するための枠組みとして「Parents-in-the-Loop Learning（PITL）」を提案した．PITLは，１）養育者が持つ知識の提供に基づき初期モデルを構築する「教育段階」，および２）初期モデルの推定結果に対し養育者が検証・修正を行うことでモデル性能を向上させる「矯正段階」から成る．本枠組みにより，養育者の関与を限定した中で，効率的かつ高精度に児専用の感情状態推定モデルを構築することを目指した．しかし，PITLの教育段階では使用するサイン検出器の選定などにAI技術者の介入を要する．重症児の感情状態やその表出方法は児ごとに異なるだけでなく，成長に伴い変化・増加する可能性があるため，都度AI技術者に依存せず，養育者自身の意図に沿って柔軟にモデルを構築できることが望ましい．そこで本研究では，AI技術者の関与をさらに削減する手段として，視覚言語モデル（VLM）の活用を提案し，VLMを用いた初期モデル構築の可能性を検討した．これにより，養育者が直感的なプロンプト入力を通じて，モデル構築プロセスを主体的に進められることを目指した．顔表情サインを用いる重症児一名を対象とした実験の結果，PITLにより構築されたモデルが，人手による精密だが労力を要するアノテーションに基づくモデルと同等の性能を示し，その有効性が確認された．さらに，VLMを用いた初期モデル構築については，複数の正解例をプロンプトとして与えることで，重症児感情状態推定モデルの構築に活用可能であることが示唆された．