Eye Tracker(시선) - FaceReader(감정) 연동 측정

이번 포스트는 오랜만에 흥미로운(?) 내용으로 찾아왔습니다. SMI 본사 미팅을 참석하다보면 SMI 아이트래커와 외부 측정기기를 함께 연동하여 측정, 분석하는 사례를 직접 체험해 보곤 합니다. 예를 들어 시선 데이터와 생체 신호 데이터를 동시에 측정하거나 시선 데이터와 모션을 연동하는 방식이 그 예라 할 수 있습니다.

다양한 연동 측정 사례 가운데 관심을 끌었던 부분이 있었는데요. 바로 시선과 감정을 동시에 측정하는 것이었습니다. 즉, 아이트래커로부터 시선(eye movement)을 측정하고, FaceReader로부터 표정 변화를 측정하여 감정을 분석하는 과정을 연동(synchronization)을 통해 진행하는 것이라 하겠습니다.

본 측정은 간단한 테스트 형식으로 진행됐음을 미리 말씀드립니다. 이를 통해 실무 또는 학술연구 분야에서 프로젝트/연구를 진행할 수 있는지 가늠하기 위한 목적으로 진행하였습니다.

각설하고 테스트를 위해 준비한 부분은 다음과 같습니다. 

• 자극물(동영상 2편, 이미지 3장) 
• RED250mobile
• FaceReader
• The Observer XT

사진을 한 컷에 담기 위해 아래 이미지처럼 기기를 세팅하였습니다(실제 측정 실험에서는 제대로(?) 세팅합니다). 즉 노트북 2대, 모니터 1대 (with 웹카메라 1대)가 측정에 사용되었습니다. 

RED250mobile - FaceReader 세팅

이미지 왼쪽 부분에 모니터와 중간에 놓여진 노트북 A은 시선을 측정하기 위한 아이트래커 파트이며, 이미지 가장 오른쪽에 있는 노트북 B는 표정 측정 및 전체 실험을 컨트롤하는 파트라고 보시면 되겠습니다. 

노트북 B에서 레코딩을 시작하면 모니터에 Calibration이 시작되고 아이트래킹 측정이 진행됩니다. 이후에는 평소 아이트래킹 측정하는 것과 동일하게 Subject는 모니터에 제시되는 자극물(본 측정에서는 동영상 cf 2편과 이미지 3장)을 편안하게 시청(?)하면 됩니다.

측정이 종료된 후, 각 시선 데이터와 감성 정보를 각각 The Observer XT라는 행동 관리 프로그램에서 불러오는 과정을 거치면 아래 동영상과 같은 결과를 얻을 수 있습니다.

(동영상을 전체화면으로 재생해서 보실 것을 권장합니다.)

동영상을 재생하면 총 3개의 창(windows)을 확인할 수 있는데요. 즉, 1) 상단 중간 부분 시선 데이터를 기록한 영상, 2) 상단 왼쪽 참가자의 얼굴 표정을 기록한 영상, 3) 중간-하단에 복잡해 보이는 지표값들과 그래프가 있습니다.

The Observer XT에서 재생(play) 버튼을 누르면 각 동영상이 재생되고 이에 따라 중앙 하단의 세로 바(bar)가 이동하게 됩니다. 이는 자극물이 모니터에 제시되고 이를 시청하는 subject의 표정 변화를 기록하여 감정 상태(Happy, Sad, Angry, Surprised, Scared, Disgusted)의 변화를 확인할 수 있습니다. 

비단 6개의 표정값 뿐만 아니라 측정에 참여한 Subject의 Arousal, Valence, Heart Rate의 데이터를 얻을 수 있었는데요. 즉, subject의 감정 상태와 측정 실험에 대한 태도(얼마나 적극적인지, 즐거움을 느끼는 정도, 받는 스트레스 강도)를 시선 데이터와 동시에 측정하고 분석할 수 있는 것이죠.

이러한 측정 방법으로 고려해 볼 수 있는 연구로는 운전/주행 상황에서 운전자의 태도(적극성 여부, 즐겁게 여기는지, 스트레스 강도)를 측정하고 평가하는데 매우 유용하지 않을까 싶습니다. 그리고 교육 공학 분야 가운데 온라인 학습 상황에서 학습자의 태도 측정, 평가 연구에서도 의미가 있을 것 같습니다. (여기에 관찰 연구가 필요한 부분까지 고려하면... 꽤 다양한 분야에서 활용할 수 있겠네요 ^^)

보유하고 계신 아이트래커로부터 시선 데이터를 분석하는 것도 의미가 있습니다만, 소개해 드린 조합을 고려하여 보다 심층적인 연구를 진행해보는 것도 좋을 것 같습니다.