본문 바로가기

행동관찰분석/얼굴표정분석 리서치 사례

얼굴 표정 FaceReader 연구 사례 - 코로나19 상황, 집에 있으세요!

Stay at Home!

‘코로나 바이러스’때문에 지난 몇 달 동안 우리 모두가 들었던 메시지입니다. 이렇게 중요한 메시지를 전달하는 가장 좋은 방법은 무엇인지 생각해 보셨습니까?

우리는 이탈리아인들에게 “집에 머무르세요”라고 설득하기 위해 “Covid-19”라는 바이러스의 확산으로 이라는 대유행 주제에 접근하기 위해 각각 다른 세 가지의 의사소통 방식으로 말하는 영향력 있는 사람들의 비디오 세 개를 비교했습니다.

 

 

"Stay-at-home" 메시지에 대한 감성적 반응

세 가지 시청각 비디오가 주는 메시지의 효과를 비교한 것은 이 세 개의 영상을 본 사람들의 표정 분석을 통해 감지된 감정적 반응을 바탕으로 한 것입니다.

추측해보십시오. 어떤 비디오가 가장 효과적인 비디오 메시지였을까요?

  1. 이탈리아 초대 장관 Giuseppe Conte의 설명
  2. 저명한 바이러스 학자 Roberto Burioni가 전한 메시지
  3. 이탈리아에서 가장 유명한 과학적인 유명인사 Alberto Angela가 만든 영상

 

이탈리아 사람들에게 “집에 머무르세요”라고 설득하는 방법

유명한 TV 진행자와 인터뷰를 진행하는 전문적인 바이러스학자(Roberto Burioni처럼)가 이야기하는 ‘강력한 방식’으로 메시지를 전하는 것이 더 좋을까요? 이것이 메시지를 더 효과적이고 생생하게 만들까요?

아니면 “비공식적”으로 말하는 과학과 관련된 유명인사(Alberto Angela 등)에 의해 ‘차분한 방식’으로 전달하는 것이 더 좋을까요?

 

아니면 오히려 Giuseppe Conte와 같은 이탈리아의 정치지도자가 ‘심각하고 제도적인 방식’으로 위기와 관리를 책임지는 것이 더 좋을까요?

이 연구에서는 참가자들에게 1분이라는 시간 동안 세 개의 시청각 비디오를 보여주었습니다.

 

만족도와 정서적 반응 측정

본 연구를 설계한 JUNGLES [http://www.jungl.es/]와 함께 SR Labs [http://www.jungl.es/]라는 회사에서 어떤 시청각 비디오가 가장 효과적이었는지는 만족도와 정서적 반응 측면으로 설명합니다 이 프로젝트는 온라인 참여 방식으로 진행되었으며 얼굴의 감정 표현을 자동적으로 분석하여 진행한 혁신적인 방법의 결과에 만족도에 대한 짧은 설문지의 결과를 합하여 결론을 내렸습니다.

이 연구에는 총 34명(주로 밀라노 가톨릭대학교의 “인공 공학, 사용자 및 고객 경험에 응용한 인지과학”이라는 강좌의 대학생들)이 다른 자원봉사자들과 함께 이메일을 통해 모집되었습니다.

링크를 받은 참가자들은 집에 있는 동안 각자 자신의 PC에서 세 개의 영상을 시청하였습니다. 세 개의 시청각 비디오는 각 참가자에게 무작위 순서로 제시되었습니다. 세 비디오의 무작위 재생 순서는 어떤 종류의 “시퀀스 효과”라도 피할 수 있기 때문입니다.

어떤 메시지를 선호했을까요? 만족도를 조사한 설문지를 분석한 결과 다음과 같은 결과가 나타났습니다.

  1. Alberto Angela의 메시지를 가장 높게 평가했습니다. (34명 중 18명) 나머지 두 명의 시청각 비디오에 비해 그의 메시지를 더 선호하는 것으로 나타났습니다.
  2. Roberto Burioni (34명 중 12명)
  3. Giuseppe Conte (34명 중 4명)

제도적인 형식 내에서 심각성을 유지해야 하는 정치 지도자와, 사람들이 왜 집에 머물러야 하는지를 강하게 단언하는 바이러스 학자와 비교하였을 때 꽤 인정받는 과학 분야의 유명인사가 했던 “차분하고 비공식적인 방식”에 대한 선호도가 높았던 것은 사실입니다.

그러나 지금까지 우리는 “Why”가 아닌 “What”을 측정했을 뿐입니다. “Why”를 이해하기 위해서는 신경과학과 실험 심리학을 이용해야 합니다.

 

신경과학에서 얻은 통찰력

신경과학 분야에서 Stephen Porges의 훌륭한 연구와 그의 "polyvagal” 이론 덕분에 얼굴 표정은 신경계의 직접적인 반응(심장계, 호흡계 등에 의해 나타나는 정신 생리학적 반응 등)에 영향을 미친다는 것을 알고 있습니다. 이러한 이유로 얼굴 표정은 설문지에 응답한 언어적이고 논리적인 반응(이유가 있고 덜 자발적인)뿐만 아니라 자발적인 비언어적 반응을 분석하는데 유용할 수 있습니다.

 

실험 심리학에서 얻은 통찰력

실험 심리학에서는 두려움이나 슬픔 같은 부정적인 감정에 기반한 캠페인이 더 효과적이기 위해서는 적당히 높은 수준의 감정을 유도해야 한다고 말합니다. 우리는 이것을 소위 “공포에 의한 호소”라는 이론으로부터 배울 수 있는데, 이것은 캠페인의 메시지를 통해 대중들이 좀 더 건강한 행동을 하도록 설득하려고 할 때 일반적으로 커뮤니케이션 캠페인에 사용하는 이론입니다.

이상적으로 부정적인 감정의 추세는 메시지 초반에 나타나는 두려움(혹은 슬픔)의 감정과 비교하여 (부정적인 감정의 강도가) 증가하기 시작할 때 일종의 반전된 “U” 모양을 나타내야 합니다. 또한 그 감정이 정점에 도달할 때까지 일종의 “안심”이라고 생각하는 감정으로 다시 하강하는 모습을 보입니다.

메시지의 마지막 부분에 해결책이나 설명(심리학적 용어로는 “coping instructions”)을 제공함으로써 부정적인 감정을 만들어내는 위협을 줄이거나 피할 수 있는 방법을 알려줍니다. 이 “안심”은 메시지에 제시된 위험을 직시하거나 관리할 수 있다는 가능성 덕분에 얻어지는 것으로, 위협 자체를 줄이거나 피할 수 있다는 희망을 주기도 합니다.

 

감정 분석

세 시청각 비디오를 보면서 참가자들의 얼굴에 비친 감정들을 분석했습니다. COVID-19 비상사태로 인한 어려운 상황과 집에 장기간 머물러야 한다는 새로운 규칙이라는 무거운 주제로 인해, 슬픔이 중립 다음으로 가장 지배적인 정서적 반응이었습니다.

  1. Burioni의 영상에서는 평균 10%
  2. Conte의 영상에서는 평균 9%
  3. Angela의 영상에서는 평균 8%

 여기서 100 분율은 FaceReader 소프트웨어 상에서 모든 감정 표현(공포, 분노, 기쁨, 슬픔 등)이 0~100%로 표시되는 수치입니다. 예를 들어, 그 사람이 복권에 당첨되었다는 것을 알면 기쁨이 100%로 감지될 것입니다.

분명히 특별한 경우를 제외하고는 100% 최고 강도로 한 감정을 표현하는 경우는 드뭅니다. 대부분의 경우 사람들은 얼굴에 즐거움을 실질적으로 드러내기보다는 좀 더 가벼운 만족감이나 미소를 암시하는 것 같은 표정을 나타냅니다.

이 때문에 10%에 해당하는 즐거움이나 슬픔은 그 순간에 드는 그 감정을 얼굴에 부드럽게 표현하기 위해 움직이는 얼굴 근육의 형상을 통해 알 수 있습니다. (최대 10%)

그러나 다양한 시청각 비디오에 노출되는 동안의 감정의 추세를 연구함으로써 다른 흐름(다른 이야기처럼)을 볼 수 있다.

  • Burioni의 경우 처음부터 끝까지 슬픔의 비율은 항상 10% 전후 또는 그 이상이며, 시청각 메시지의 60초 내내 아래도 위도 아닌 큰 변화를 결코 보여주지 않습니다. [link to video Burioni: https://youtu.be/6G_yxQc4OfU]

Burioni 영상에서의 감정 추세

 

  • Conte의 경우, 처음부터 끝까지 큰 변화, 하방, 상향 없이 같은 추세를 보이며, 10% 이하를 유지하고 있습니다. [link to video Burioni: https://youtu.be/6G_yxQc4OfU]

Conte 영상에서의 감정 추세

 

  • 그러나 Angela의 경우에는 계속해서 하강하는 추세를 보입니다. 처음에는 약 12%로 시작하는데, 시청각 비디오에서 그는 처음에 이렇게 말합니다. “우리는 우리 역사에서 중요한 순간을 겪고 있습니다. 쉽지 않죠. 알고 있습니다…” 그러고 나서 그는 우리는 집에 있어야 합니다”라고 덧붙입니다. 이 비디오에서는 슬픔의 비율이 가장 높은 구간이 나타납니다. 그런 다음 약 20초 후에 평균값의 백분율이 약 10%로 감소합니다. 특히 비디오의 마지막 부분에서는 5%까지 하강하는 모습을 보입니다. 간단히 말해서, Angela의 영상에서 부정적인 감정이 비디오 마지막 부분에서 최소한으로 줄어든다는 것입니다[link to video Burioni: https://youtu.be/6G_yxQc4OfU]

Angela 영상에서의 감정 추세

 

 

슬픈 표정

아래의 그래프는 세 비디오 중 슬픔의 추세를 보여주는데, 상대적인 추세선(일반적인 추세, 즉 상승이나 하락을 계산해주는 간단한 알고리즘)이 있습니다. 그래프를 보면 초록색 선(Angela)이 유일하게 하향 추세를 보이는 것을 보십시오. 참가자들이 영상을 볼수록 슬픔이 감소하는 반면, 나머지 두 추세선(Burioni-빨강, Conte-파랑)은 평균 백분율이 점차 증가합니다. 이는 오히려 슬픔이 증가하고 있다는 것을 말합니다.

그래프의 x축에서 시간은 초당 5회, 즉 60초 동안 300개의 데이터가 기록됨에 따라 표시한 것입니다.

 

기쁨의 감정

또 다른 감정 기쁨은 세 비디오에서 약간씩 도출됩니다. 평균 결과는 다음과 같습니다.

  • Burioni의 영상에서는 1%대
  • Conte의 영상에서는 2% (여기서 흥미로운 것은 Conte가 “이탈리아인들의 건강이 항상 우선에 있을 것이며…”라는 구절에서 기쁨이 4%가 넘었다는 것입니다.)
  • Angela의 영상에서는 4%

하지만 세 비디오 시청 중 기쁨과 관련된 추세를 다시 한번 살펴보는 것도 흥미로울 것입니다.

  • Angela의 비디오는 가장 중요한 변화를 보여줍니다. 아주 낮게 시작하지만(다른 두 비디오와 비슷하게 1~2%) 동영상이 진행될수록 23초까지 증가합니다. (“… 친구들도 소셜 네트워크를 통해 만날 수 있고, 책의 재발견도 할 수 있습니다…”라는 구절) 6~7%를 넘고, 마지막 부분에서 더 상승하여 10%에 이릅니다. (Angela가 “다른 사람을 구하는 한 사람은 영웅이지만, 이 사람이 100명을 구하면 간호사, 의사입니다”라고 주장할 때 녹색 추세선(아래 그래프)이 유일하게 위로 올라가는 것을 볼 수 있습니다.)
  • Conte의 비디오는 일반적으로 감소하는 추세를 보여줍니다. 마지막 몇 초 동안에만 증가하는 것을 볼 수 있습니다. (그가 “모두 함께 우리는 그것을 해낼 것입니다.”라고 주장할 때) 그러나 증가세는 미미하고, 상대적으로 감소가 계속됩니다.
  • Burioni의 비디오는 기쁨이 증가하는 피크점(5초에서 그가 “이 바이러스는 독감이 아니에요.”라고 말할 때 5%까지 증가합니다.) 이후로는 기쁨이 계속해서 증가, 감소가 일어나지 않고 사실상 추세선은 아래쪽으로 기울어져 0%에 가까운 것을 알 수 있습니다.

아래 그래프는 세 비디오의 기쁨에 대한 추세선을 보여줍니다. Angela의 영상의 추세선만 다소 가파른 증가세를 보이며 특히 마지막에 기쁨의 백분율이 현저한 증가 추세를 보입니다.

 

마지막에 Angela가 전한 메시지는 ‘집에 머무르세요’라는 새로운 제안이 줄 수 있는 긍정적인 효과를 이야기해주기 위한 것으로 보입니다. 이는 참가자들의 얼굴 표정에서 즐거움으로 10%까지 나타나 참가자들의 위험에 대한 걱정을 줄이고 희망으로 이어진다고 볼 수 있습니다. ,

그러므로 고도의 섬세한 분석 기술 덕분에 메시지가 불러일으킨 만족감과 참여 의지가 드러날 수 있었고, 이러한 기쁨이 곧 만족도로 이어졌습니다.

 

다른 그룹 내에서의 감정 비교

또 다른 흥미로운 결과는 우리가 참가자들을 두 개의 연령 집단으로 나누었을 때 나타났습니다. 비교적 젊은 사람들은 메시지에 덜 강렬하게 반응하는 반면 25세 이상의 사람들은 더 강한 감정을 보여주었습니다. 앞서 말했듯이 참가자들은 대부분 대학생이었기 때문에, 우리는 무작위로 정한 10명의 어린 참가자들과 25세 이상의 참가자들 만을 비교할 수 있었습니다. 각 연령대별 참가자가 적었음에도 불구하고, 같은 시청각 비디오에 대한 다른 감정 반응이 나타났습니다.

 

얼굴 표정 분석의 유용성

우리는 왜 사람들이 특정한 시청각 비디오를 다른 것들보다 더 많이 보는지를 분석하는 데 있어서 표정 분석이 도움이 됐기 바랍니다. 그것은 단지 한 감정이 다른 두 영상보다 더 많이 나타나서가 아니라, 오히려 더 큰 슬픔으로 시작한 Angela의 비디오를 연구하면서 알게 된 것과 같이, 그 슬픔이 체계적으로 감소하는 것을 알 수 있었기 때문입니다. 새로운 감정의 등장보다는 만족감의 증가에 초점을 맞추는 것입니다. 이 모든 것은 어떤 시청각 비디오에도 적용할 수 있습니다. 실제로 어떤 형태의 경험도 그 경험이 주는 효과를 감정 반응의 관점에서 평가할 수 있을 것입니다.

 

원문

https://www.noldus.com/blog/stay-at-home