안경형 아이트래킹 데이터와 실험 환경 동영상 연동

Posted by 베리슨
2018.08.23 09:34 Human Behavior/활용방법


안경방식 아이트래커는 우리가 생활하는 환경을 대상으로 사용자의 시선을 측정, 분석하기 위해 사용합니다. 여기서 언급된 환경의 의미는 백화점, 도서관, 카페 등과 같은 실제 공간 뿐 아니라, 스마트 폰, 테블릿과 같은 전자기기, 세탁기, TV와 같은 가전제품, 세탁기, 건조기, 스탈일러 등의 생활가전 제품, 버거킹에서의 무인주문기(키오스크) 등 다양한 측정 대상을 뜻합니다. 

이와 같은 공간, 제품 및 상품, 기기 등을 대상으로 사용자의 시선을 측정 분석하는 아이트래킹 기법에 있어서 한 가지 아쉬운 점은 사용자의 행동(behavior)과 그 분위기를 알 수 없다는데 있습니다. 다시 말해 리서치 종료 후, 연구자는 사용자의 시선과 관련된 영상과 데이터는 확보할 수 있으나, 리서치 도중에 사용자가 어떠한 행동을 취했는지에 대한 정보는 알 수가 없습니다. 

이러한 한계를 극복하기 위하여 리서치 상황을 관찰, 기록하는 별도의 외부 카메라를 사용하고 이를 보조 데이터로 활용합니다.


상기 내용을 간단한 영상으로 확인해 보겠습니다. 

아래 동영상은 안경형 아이트래커로 측정하여 추출한 시선 동영상으로 오랜지 원(시선 포인트)을 통해 사용자의 시선의 위치를 확인할 수 있습니다.

상기 시선 동영상으로부터 사용자의 행동과 그 분위기를 짐작할 수는 있습니다만, 이를 파악하기는데는 한계가 있습니다. 이를 보완하고자 외부 카메라를 설치하여 리서치 상황을 관찰, 기록합니다.

이와 같은 관찰 영상으로부터 사용자의 구체적인 행동과 리서치 분위기를 파악하여 시선 데이터를 분석하는데 활용합니다.


그런데 이 시점에서 고려해야 할 부분이 있습니다. 

(눈치가 빠른 분들은 이쯤에서 알아차렸을 것 같습니다만..) 사실 기존에는 별 고민없이(?) 각개전투로 진행해왔습니다. 즉, 시선 영상(데이터)을 분석하는 과정에서 별도 동영상 플레이어에서 관찰 영상을 재생하여 나름의 방식으로 분석합니다. 이 경우 시선 영상에서 시간 구간을 전/후로 이동하면 이에 해당하는 관찰 영상의 시간 구간을 찾기 위한 시도(노력)가 수반됩니다. 일명 손가락 노가다라고도 하는데요. 즉, 해당하는 시간 구간을 찾는데 수많은 소모적인 시도와 시간을 사용하는 것입니다. 물론 나름대로 메모를 하거나 주석을 달아서 최대한 동일한 시도와 반복을 줄이는 법(?)을 사용합니다만.. 글쎄요.. 저희로서는 다소 회의적인 입장입니다.


이를 해결할 수 있는 '데이터 연동 플랫폼'을 소개하여 드리고자 합니다.

행동관찰분석에 사용하는 The Observer XT 프로그램을 활용하는 것으로 즉, 서로 다른 레코딩 시점의 영상 및 데이터를 '동일한 시간 범위'에서 올려두고 데이터 분석을 진행하는 방식입니다. Observer XT 플랫폼에서 시간 구간을 전/후로 이동하면 이에 해당하는 동영상 지점과 해당 데이터 값이 연동되어 나타납니다. 이를 확인하기 위해 아래 동영상을 재생해 보세요.
(동영상을 재생하면서 재생 시점을 전/후로 이동했을 때, 시선 영상과 관찰 영상이 서로 연계되어 바로 나타는지 확인해 보세요.)


이와 같이 서로 다른 영상(데이터)를 동일한 시간 범위에 두고 분석할 수 있을 뿐 아니라, 보다 입체적인 분석을 위해 사용자의 행동을 규정하고 코딩하는 과정('부호화')을 추가할 수 있습니다.


사용자의 행동을 코딩(부호화)한 이미지


상기 이미지와 같이 행동 부호화 과정을 마친 후, 동공의 크기 변화를 한 눈에 살펴볼 수 있을 뿐 아니라, 특정 지점에서 동공 크기 변화가 급격히 변화된 것을 확인하고 어떠한 행동이 이러한 변화를 유도하였는지 관찰할 수 있습니다. 

즉, 특정 데이터의 변화 양상을 한 눈에 살펴보고, 그 변화 전 후 발생했던 행동을 관찰함으로써 보다 입체적으로 데이터 간 관계를 분석할 수 있습니다..


데이터 처리 및 분석 방법(노하우)에 있어서 각 연구자마다 선호하는 방식이 있으리라 생각합니다. 다만, 기존 방식에 소개드린 데이터 연동 방식을 적용한다면 심도있고 입체적인 분석이 가능하다는 것을 말씀드리며 '안경형 아이트래킹 데이터와 실험 환경 동영상 연동' 포스트를 마치겠습니다.


이 댓글을 비밀 댓글로

동공확장(Pupil diameter), 각성도/정서가(Arousal/Valence) 데이터 연동: 아이트래커 - FaceReader - Observer XT 사용하여..

Posted by 베리슨
2018.08.16 09:27 Human Behavior/활용방법


지난 포스트 '연동 측정 및 분석에 대한 고찰' 말미에 언급했던 저희 베리슨에서 진행했던 연동 사례를 소개합니다. 본 포스트에서 설명드릴 연동은 서로 다른 측정 기기의 물리적인 연동을 일컫는 것이 아닌 '데이터 연동 및 분석'에 중점을 둔 것임을 염두하시기 바랍니다.


이전 포스트를 미처 못 보신 분들은 잠시 읽어보시고 오시는 것이 본 내용을 이해하시는데 도움이 될 것 같습니다.

2018/08/11 - [Human Behavior/기본개념] - 연동 측정 및 분석에 대한 고찰

2018/08/11 - [Human Behavior/기본개념] - 연동 측정 및 분석에 대한 고찰



우선 독자분들은 아래 2개의 동영상을 동시에 재생해 보세요.


 


동영상은 측정 상황을 다른 각도에서 녹화한 것으로 실험 참가자가 바라보는 모니터 화면에 순차적으로 총 5개의 컨텐츠가 나타나며 실험 참가자는 모니터에 제시되는 컨텐츠를 성실히 읽도록 안내받았습니다.

연구자는 컨텐츠 각각에 대하여 실험 참가자의 각성(arousal) 정도를 측정하고 비교함으로써 어떤 컨텐츠가 실험 참가자에게 긍정적인 의미를 전달하여 관심을 유발시키는지 살펴보고자 하는 것이 본 측정의 목적입니다.


각성을 측정, 평가하는 요소 가운데 (일정한 조도 조건일 때) 동공 확장(pupil dilation)이 있으며, 이 값은 아이트래커의 Pupil diameter로 측정할 수 있습니다.  (아래 이미지는 SMI BeGaze에서 추출한 Pupil diameter 데이터이며, 동영상은 시선의 움직임이 기록된 Scan Path 입니다.)


SMI BeGaze에서 추출한 Pupil diameter 데이터  




아울러 실험이 진행되는 동안 얼굴 표정을 측정한 동영상을 FaceReader에서 분석하여 Arousal, Valence 데이터를 추출합니다. 


 


FaceReader에서 분석한 Arousal 그래프


FaceReader에서 분석한 Valence 그래프



기존에는 개별적으로 데이터를 처리하여 결과값을 서로 비교해야 했는데요. 특정 부분을 세부적으로 살펴볼 경우에는 개별 데이터에서 해당 지점을 일일이 찾아보고 이를 비교하는 매우 번거로운 과정을 따라야 했습니다. 본 실험에서는 기존 방식을 탈피하여 The Observer XT 플랫폼으로 모든 데이터를 불러들여 동일한 타임라인에서 데이터를 연동하였습니다.


동영상을 재생하면 측정 환경을 기록한 영상, 시선의 움직임의 Scan Path 동영상, 왼쪽 눈에 대한 동공 지름(L Pupil Diameter), 오른쪽 눈에 대한 동공 지름(R Pupil Diameter), Arousal, Valence 데이터를 The Observer XT 플랫폼에 모두 불러들여 동일한 시간 선상에서 모든 데이터 변화 양상을 그래프로 표현되는 것을 확인할 수 있습니다.

이러한 플랫폼에서 연구자는 여러 데이터의 변화 양상을 쉽고 빠르게 확인할 수 있는데요. 즉, Pupil diameter 값이 증가, 감소하는 구간을 한 눈에 살펴보고 동영상을 통해 이에 해당하는 실험 모습을 확인하며, 그 시점에서 참가자의 시선이 머물렀던 구체적인 컨텐츠를 찾아낼 수 있습니다. 뿐만 아니라 해당 시점에서의 Arousal, Valence 값을 확인함으로써 Pupil diameter 값을 한 층 더 보완, 검증할 수 있는 것이지요.

한 눈에 데이터 추이를 살펴보는데 그치지 않고 이러한 데이터를 표와 그래프 형식으로 변환하여 컨텐츠(Samsung5G, Makeup, Bingsu, Sports, Yongsan) 별 각성도(arousal)를 명확하게 비교, 분석합니다.


L/R Pupil Diameter, Valence Intensity, Arousal Intensity 값이 수치화되어 제시됩니다.     


  컨텐츠별 L/R Pupil diameter, Arousal, Valence 비교 그래프


이와 같이 데이터 연동을 통하여 개별 데이터의 의미를 보완, 다중 검증함으로써 신뢰도 높은 결과를 도출할 수 있습니다. 본 포스트를 통해 연동 측정 및 방법에 관심있는 분들께 조금이나마 도움이 되었길 바라며, 본 측정값에 대한 그래프의 의미를 정리하면서 『정서-시선 데이터 연동 사례』 포스트를 마치겠습니다.


 

 1순위

 2순위

3순위 

4순위 

5순위 

 L Pupil Diameter

Makeup

Samsung5G 

Bingsu 

Yongsan 

Sports 

 R Pupil Diameter

 Makeup 

Samsung5G 

Sports 

Bingsu 

Yonsan 

 Arousal

Samsung5G 

Makeup 

Bingsu 

Yongsan 

Sports 

 Valence

 Makeup 

Bingsu 

Samsung5G 

Yongsan 

Sports 

Makeup 컨텐츠가 L/R Pupil Diameter, Valence 에서 1순위를 차지하였습니다. 따라서 본 측정에서 실험 참가자는 Makeup 컨텐츠를 읽을 때 각성도가 가장 높다고 결론을 내릴 수 있습니다. 





이 댓글을 비밀 댓글로
    • 김세림
    • 2018.08.21 11:22 신고
    안녕하세요.
    저희 연구실에 모니터형 토비 아이트래커를 사용하고 있습니다. 토비에서 측정된 데이터를 가지고 블로그 내용처럼 데이터 분석이 가능할까요?
    • 안녕하세요.
      네, 토비(Tobii)에서 측정된 데이터도 연동 가능합니다. ^^