음악을 감상하는 동안의 얼굴 표정 분석

음악과 감정의 연결

우리가 음악을 들을 때 뇌에서는 많은 과정들이 일어나고, 이를 통해 음악에 어떻게 반응하는지를 결정합니다. 과학자들은 음악이 사람들에게 영향을 미친다는 것을 알아냈지만, 그것은 한 사람에게 해당하는 정도였습니다. 예를 들어 음악의 음량이 듣는 사람의 감정에 가장 많은 영향을 미칩니다. 그 다음은 음악의 속도가 영향을 줍니다. 물론 멜로디와 악기도 한 몫을 합니다.

 

작은 실험을 할 시간

저는 참가자들이 자신의 컴퓨터나 노트북으로 뮤직 비디오를 보는 동안 FaceReader를 사용하여 표정을 측정하는 실험을 진행하였습니다. 총 세 개의 각기 다른 음악을 선택했습니다.

1. ‘Drummer boy’ Gordo가 거리에서 플라스틱 바구니를 가지고 연주를 하는 뮤직비디오
2. Muppets 출신 Bunsen Honeydew 박사의 조수 Beaker가 베토벤의 “환희의 송가”를 연주하는 뮤직비디오.
3. 슬프고 감성적인 피아노 곡, 순전히 기악곡으로 이루어진 뮤직비디오

FaceReader Online는 전 세계 사람들이 당신의 연구에 관심을 갖고 참여하게 만드는 장점이 있습니다. 이메일을 통해 링크를 보내고, 실험을 시작하기까지 매우 빠르고 간단합니다. 여러 명이 응답하였고, 녹음된 내용들이 하나 둘 결과에 나타나기 시작했습니다.

 

Muppets이 사람들을 웃게 했을까?

참가자들을 쉽게 분류하고, 그 다음 결과를 보았습니다. FaceReader Online에서는 결과를 빠르게 비교할 수 있습니다. 예를 들어 미디어 파일, 참가자 그룹(남성/여성, 연령 또는 국가) 또는 미리 선택한 미디어 파일의 특정 에피소드를 비교할 수 있습니다.

남성들의 표현 강도

대부분 제 기대를 충족시켜주는 결과들이었습니다. “The Muppets” 뮤직비디오를 볼 때 사람들이 가장 행복한 표정을 지었습니다. ‘Drummer boy’와 피아노곡 뮤직비디오는 주로 중립적이 표정으로 관람했습니다. 우리를 놀라게 한 것은, 피아노 곡을 본 참가자들이 전체적으로 슬픈 감정을 표정으로 거의 드러내지 않았다는 것입니다. 어쩌면 이 경우 중립적인 느낌과 슬픈 감정이 충분히 구분되지 않았을지도 모릅니다.

 

여성과 남성을 비교할 때, 두 집단은 약간의 차이를 보였습니다. 남성들은 상대적으로 피아노곡 뮤직비디오에 훨씬 더 높은 흥분감으로 반응했고, ‘Drummer boy’의 말을 들을 때 더 행복한 표정을 지었습니다.

 

FaceReader Online의 간편한 사용

FaceReader Online은 결과를 시각화할 수 있는 대화형 웹 페이지를 제공합니다. 매우 빠르고 쉽게 사용할 수 있습니다. 보다 자세한 분석을 위해 결과를 FaceReader 오프라인 소프트웨어로 내보낼 수 있고, 이렇게 하면 모든 참가자의 기록을 검토하고 더 많은 분석과 시각화가 가능합니다.

이 실험의 결과로 음악과 감정이 복잡하게 연관되어 있다는 것을 알게 되었습니다. 하지만 반면에 FaceReader Online의 사용은 복잡하지 않았습니다. 오히려 그 반대로 매우 쉽고 빠르고 유용했습니다. 제 생각엔 세계 각지의 사람들이 당신의 연구에 참여할 수 있다는 것이 가장 큰 장점인 것 같습니다.

 

References

1. https://www.facereader-online.com/
2. https://www.scientias.nl/waarom-muziek-ons-raakt/ (in Dutch)
3. https://en.wikipedia.org/wiki/Music_and_emotion 

 

원문

https://www.noldus.com/blog/facial-expression-analysis-musical-experiment