マスク下の表情を、人はどれくらい読み取れる？
その認知度を脳波で科学的に検証

コロナ禍が収束しても、日本人にはマスクを手放さない人が少なくありません。
マスクをした表情から、その人の感情を他人はどれくらい読み取れているのか。
社会心理学の研究に脳波測定という工学的手法が加わった異分野融合研究をご紹介します。

マスク着用時における表情認知の社会脳研究

マスクを着けた表情の認知しづらさを脳波で確認

表情認知はもともと西川先生のご研究と伺いました。

西川　社会心理学や実験心理学の分野には、表情識別課題という、他人の表情からその感情を読み取れるかを調べる研究があります。マスクを着けた表情が読み取りにくいことに興味を持った学生が、 卒論のテーマとして研究することを希望したことから、マスク着用時の表情認知に関する研究を行うことになりました。これは伊賀崎教授と一緒にやる前に実施した研究です。
　実験では、タブレットに表示されるマスクを着けた女性の顔を見て、「喜び」「悲しみ」「驚き」「怒り」「嫌悪」「恐怖」のいずれかを判断するように求めました。表情は段階的により読み取りづらくなるように設定しておき、その結果を解析。そうすると、マスクの有無に関わらず、「嫌悪」と「恐怖」の表情は読み取りづらいことが明らかになりました。また、「喜び」は、表情の判別が難しくなるにつれて、マスク着用の顔はより認識されにくい傾向が見られました。これは、マスクが「喜び」の感情を伝えづらくしているということ。さらに、被験者の自閉傾向を測定するためのアンケート結果と組み合わせた分析をしたところ、「怒り」の表情認知と「想像力」の間に関連があることがわかりました。つまり、人の感情や架空の出来事に対する想像力を働かせることが難しい人は、周囲の人がマスクを着用していると表情を読み取ることが難しくなり、日常生活において困難を感じやすい可能性があると言えます。

そこに伊賀崎教授のご研究が加わったわけですね。

伊賀崎　西川准教授の研究を、脳波を測るという手法を加えて改めて実施。タブレットパソコンに表示された表情を見て、どんな感情なのかを判断しボタンを押すところまでは同じで、その行動をしているときの脳波を測りました。
　脳波はおもしろいもので、表情を見たことによる刺激を受け、脳の中で高次な処理が行われ、笑顔なのか悲しい顔なのか判断する認知判断まで、ところどころで決まった反応が出ます。測定した結果は、表情を正しく判断する正確性においては、マスクありだと「嫌悪」の表情に関して誤回答が増えること、表情を読み取るまでの反応時間においては、マスクありだと「悲しみ」の表情を読み取るまでにより時間がかかってしまうことがわかりました。
　回答が正解か間違いかは、脳波の差に表れません。誤回答でも、被験者が間違っていないと判断していれば、正解と同じように強くて速い反応が出るためです。脳波に差が出るのは、表情をどう受け取ってよいか迷っているとき。いつものようなはっきりした反応があまり見られず、反応の出方が遅くなったり、弱くなったりする様子が確認されます。それがやはり「怒り」と「嫌悪」。つまりこの２つの感情は顔の表情が似ているため見分けがつきにくく、以前から西川准教授の研究でその難しさが指摘されていました。今回の結果は、そのことを脳の反応の変化からも確かめることができたと言えます。

表情認知のデータ化は教育や医療にも役立つ

このご研究は今後どう広がっていくでしょうか。

西川　例えば特別支援教育を受けている子どもの保護者や先生方が、 自閉スペクトラム症などの発達障がいがある子どもがどれくらい相手の表情を読み取れているのか、そのデータを視覚化できれば、「ここは読み取れている」「 ここは読み取れていない」という判断の材料になり、より効果的なコミュニケーションをとる工夫につながる。そういった部分に役立つようなこともあるかと思います。

伊賀崎　表情を読み取る研究は、障がいがあるなしにかかわらず意義があると思います。特に日本という国は根性論が根強いし、助けてほしいということを単刀直入に言えず、そのシグナルも受け取ってもらえない場面が多々あります。そんな時、脳波などの反応をもとに、その人のストレスや集中状態などを視覚的・数値的に示すことで、周囲の人が状況を把握しやすくなり、適切な対応を取るきっかけになるような仕組みを目指しています。

異分野融合研究の意義とは。

西川　社会心理学の手法にこういった工学的手法を組み合わせることは、やはり一人でやろうとすれば能力もお金も必要。それに対し、熊本大学のような総合大学にはそのリソースを持っている先生方がおられるので、コラボできることは醍醐味ですね。今は感情に関する研究に興味がある人も多く、伊賀崎教授のような工学的手法を用いた感情の研究が融合すれば、また新しい道が拓けるのではないでしょうか。

伊賀崎　感情に関係する脳波も含め、ヒトという生体からの情報を使った工学研究を長年進めていますが、心理学という側面からすれば自分は素人です。例えばある実験をやろうと考えていると相談すれば、「じゃあ、こういったアンケートで被験者の傾向を見ると、こういうことがわかるのでは」と西川准教授からアドバイスを受けたり。自分ができないところを一緒にやっていただけるのは融合研究だからこそ。自分の研究が独りよがりな方向に行かないようにする、それが融合研究の最大のメリットだと考えています。