인간의 표정 중 '미소'는 가장 보편적인 표현이라고 합니다. 미소에는 놀라운 힘이 있으며, 심지어 자신의 주관적 상태까지 변화시킬 수 있습니다. 예를 들어, 원래 기분이 좋지 않더라도 미소 짓는 것만으로도 주관적으로 느끼는 행복감이 증가한다고 합니다. 즉 '기분이 좋아서 웃는 게 아니라 웃어서 기분이 좋아지는' 거죠. 그런데 여러분은 여느 대중가요의 '내가 웃는 게 웃는 게 아니야~'라는 가사말처럼 '미소가 미소가 아닐 때'에 대해 생각해 본 적이 있었나요? 그렇다면 진짜 미소와 가짜 미소는 어떻게 다를까요?
자동화된 얼굴 표정 분석
1980년대 초 표정 연구의 대가 폴 에크먼(Pual Ekman)과 윌리스 프리즌(Wallace Friesen)은 미소에는 두 가지 종류가 있다고 제안했습니다. 바로 진짜 미소(real/felt smile)와 가짜 미소(false smile)입니다.
진짜 미소는 뒤셴 미소(Duchenne smile)라고 불리며, 이는 프랑스 생리학자 기욤 뒤셴(Guilaume Duchenne)이 처음으로 이 표정을 만드는 데 관여하는 얼굴 근육을 밝혀낸 데서 비롯되었습니다. 그들의 연구에 따르면, 진짜 미소는 눈 주변의 근육까지 활성화되지만, 가짜 미소는 입 주위의 근육만 작동한다고 합니다. 반면에 가짜 미소는 한쪽으로 더 치우치는 경향(unilateral)이 있으며, 입이 한쪽으로 살짝 올라가는 것이 특징입니다. 그러면 상기 내용을 바탕으로 아래의 사진 속 두 명의 '폴 에크먼' 중에서 여러분은 어느 쪽 미소가 진짜인지 구분하실 수 있을까요?
얼굴 부호화 시스템(Facial Action Coding System)
얼굴에는 총 28개의 주요 Action Units(이하 AUs)이 있으며 FaceReader는 이중 20개를 분류할 수 있습니다. 이 가운데 AU6(광대근, cheek raiser), AU7(눈꺼풀 당김, lidtightener), AU12(입꼬리 당김, lip corner puller)는 '행복(happy)'을 표현하는 핵심 근육입니다. 반면 AU14(입꼬리 한쪽 당김, dimpler)은 비대칭 미소(unilateral smile)와 관련이 되어 있습니다.
얼굴표정 자동 분석 소프트웨어 FaceReader는 얼굴 표정으로부터 단순히 'Happy'나 'Sad' 등을 감지하는데 그치지 않고, 각각의 AUs의 사용 여부와 사용 강도를 5단계(A~E) 등급으로 세부적으로 분류합니다. 이러한 분석 툴을 보유하고 있는 FaceReader를 이용하여 사람들이 진짜로 웃고 있는지, 아니면 가짜로 웃고 있는지를 살펴보는 실험을 진행했습니다.
유튜브에서 '실패 영상(fails)'을 모은 유머 영상을 찾아, 온라인 플랫폼인 FaceReader Online을 통해 지원자들에게 보냈습니다. 참가자들의 표정 데이터는 FaceReader 7.1에서 분석되었고, 각각의 액션 유닛이 얼마나 활성화되었는지를 분류했습니다. 그 후 데이터는 The Observer XT로 내보내어 세부 분석 및 구간화(segmentation)를 진행했습니다. 참가자들의 영상을 '중립' '진짜 미소' '가짜 미소'로 분류했으며, 분석은 블라인드 방식으로 수행되었습니다. 이후, 각 액션 유닛의 데이터는 활성화된 시간의 비율(%)로 산출되었습니다.
진짜 미소 vs 가짜 미소
액션 유닛을 활용하여 진짜 미소와 가짜 미소를 판별하기 위한 가설은 아래와 같습니다.
- 진짜 미소 (REAL Smile) → AU6, AU7이 더 강하게 나타난다.
- 가짜 미소 (False Smile) → AU14가 더 자주 나타난다.
결과는 예상대로였습니다. 진짜 미소에서는 AU6과 AU7이 활발히 나타났고, 가짜 미소에서는 AU14가 두드러졌습니다. 또한 각각의 미소 유형에서 해당 근육의 활성 강도 역시 뚜렷하게 차이가 발생했습니다. 결국, 진짜 미소는 "눈으로 웃는다"라는 말이 사실이었습니다.
액션 유닛의 활성화된 시간 비율(%)
가짜 미소(False)에 비해 진짜 미소(Real)가 AU6, AU7, AU12의 활성화된 시간 비율이 상대적으로 높고, AU14는 적은 것을 확인
액션 유닛의 활성 강도 비율(%) : AU6 & AU7
'A:가 가장 적은 활성 강도, D: 가장 높은 활성 강도'를 의미 :
AU6 및 AU7 모두 진짜 미소(Real)에서 활성 강도가 높은(C~D)것으로 나타남
액션 유닛의 활성 강도 비율(%) : AU12 & AU14
AU12는 진짜 미소(Real)에서 활성 강도가 높고, AU14는 가짜 미소(False)에서 활성 강도가 높은 것으로 나타남
아래 이미지는 미소를 짓고 있는 도미닉(Dominic)입니다. 상기의 액션 유닛의 결과를 고려하여 , 어느 쪽이 진짜 미소(Real)인지 구별해 보세요. 
정답은 무엇일까요? 오른쪽 사진이 진짜 미소(Real)입니다. 아래의 액션 유닛 사진을 보면 좀 더 쉽게 이해하실 수 있습니다.
흥미로운 부분은 FaceReader로 분석한 결과, 두 이미지 모두에서 감정은 'Happy'라고 판별했지만 진짜 미소는 오직 오른쪽 사진뿐이었습니다.
FaceReader 분석 화면
아래 이미지는 실제 어느 한국 사람의 웃는 모습을 FaceReader에서 분석한 화면입니다. (*실제 얼굴 표정을 분석하였으며 아래 분석 화면에서는 초상권을 위해 메쉬처리 하였습니다.)
미소 관련 주요 근육의 활용 분야 : AU6, AU7, AU12, AU14
① 소비자 감정 분석 (Consumer Emotion Research)
제품 광고나 브랜드 영상 시청 시 나타나는 진짜 미소(AU6·AU7)와 가짜 미소(AU14)를 구분하여, 소비자의 진정한 호감도와 만족도를 평가할 수 있습니다. 설문 응답의 한계를 보완하고 감정 기반 마케팅 전략 수립에 활용됩니다.
② 사용자 경험(UX) 평가(User Experience Evaluation)
디지털 서비스나 인터페이스를 사용하는 동안의 표정을 분석해, 이용자의 긍정적·부정적 경험을 실시간으로 파악합니다. AU12와 AU6의 활성도를 통해 즐거움·몰입도를 측정하고 UI개선이나 서비스 만족도 향상에 반영할 수 있습니다.
③ 임상심리 및 정신건강 연구 (Clinical Psychology & Mental Health)
우울증, 불안장애, 사회적 위축 등 정서적 상태를 평가할 때 진짜 웃음의 빈도 (AU6·AU7)를 정량화해 정서 표현의 감소를 객관적으로 측정합니다. 감정 표현 결핍이나 정서 회복 과정을 생리·행동 지표로 추적할 수 있습니다.
④ 면접·교육 평가(Interview & Education Assessment)
면접 응답자나 학습자의 표정을 분석해 진심 어린 반응(AU6·AU7)과 형식적 반응(AU14)을 구분합니다. 이를 통해 면접 태도, 몰입도, 학습 동기를 정성적이 아닌 객관적 지표로 평가할 수 있습니다.
⑤ 휴먼-로봇 상호작용(Human-Robot Interaction)
로봇이 인간의 표정을 인식해 진짜 미소(AU6·AU12)와 가짜 미소(AU14)를 구분함으로써, 정서적 공감 및 반응 알고리즘을 개선합니다. 이를 통해 인간과 로봇 간의 상호작용을 보다 자연스럽고 감정 친화적으로 발전시킬 수 있습니다.
원문
https://noldus.com/blog/automated-facial-expression-analysis
References
https://www.psychologytoday.com/us/blog/prefrontal-nudity/201208/smile-powerful-tool
Ekman, P. & Friesen, W.V. J Nonverbal Behav (1982) 6: 238. https://doi.org/10.1007/BF00987191
https://sonnemann.wordpress.com/wp-content/uploads/2012/05/paul-ekman1.png
FaceReader
https://en.wikipedia.org/wiki/Facial_Action_Coding_System
https://www.youtube.com/watch?v=yRB_UBef-sA&t=124s
FaceReader Online
The Observer XT
Patronus Charm By J.K. Rowling on Pottermore
'행동관찰분석 > 리서치 사례' 카테고리의 다른 글
| 인지 부하 연구-인간 행동 연구의 핵심 요소 (0) | 2025.03.07 |
|---|---|
| 효과적인 디브리핑(debriefing)방법 (4) | 2024.08.28 |
| 고객이 지루해하는지 어떻게 알 수 있을까요? (0) | 2024.07.18 |
| 얼굴 표정 분석에서 사용자 정의 표현(Custom Expression) (0) | 2024.05.16 |
| 유아의 감정을 자동 분석하기 위한 Baby FaceReader의 사용 (0) | 2024.05.02 |