人間と機械が情報をやり取りする装置やソフトウェアなどの「ヒューマンインタフェース」の研究を専門とする公立はこだて未来大の竹川佳成准教授(40)の研究室では、人間の表情をセンサーで読み取り、モニター内のキャラクターがその表情を再現する「デジタルカメン」の研究を進めている。面接や病院の診察など緊張をやわらげる場面のほか、新型コロナウイルス感染防止を考慮に入れたコミュニケーションでの活用が期待されている。
同研究室で2016年から学生が竹川准教授とともに取り組んでいる研究で、慶応義塾大学や英国のユニバーシティ・カレッジ・ロンドンなど研究者からサポートを受けている。現在は同大4年の新田野乃華さん(21)が卒業研究としてシステムの改良に取り組んでいる。
デジタルカメンは正面に、装着した人の表情をキャラクターで再現し、表示するモニター、内部に人の表情を読み取る約40個のセンサーが取り付けられている。デジタルカメンを着けることで、頬や口元に接するセンサーが筋肉の動きを読み取り、モニターのキャラクターの表情に反映。口角が上がると笑い、頬が膨らむと怒るほか、驚く、泣く、悲しむなどの種類がある。
現状ではそれぞれの表情でセンサーのどの部分が反応しているかという分析ができていないことや、装着者とキャラクターの表情が一致しないなど課題も多いが、新田さんは「プログラミングによる機械学習で認識精度を高めていきたい」と意気込む。
同研究は、コロナ禍でマスク着用者が増えたことで、会話で表情が読み取れず、上手く感情が伝えられないといった課題の解消が活用例として考えられている。竹川准教授は「新しい生活様式への対応のほか、研究を通じ、人が表情をどう作り、どう捉えているかという認知心理学にもアプローチできる。より多くの顔の動きを認識したり、顔にフィットするよう軽量化したりと改良を進めていきたい」と話している。(飯尾遼太)