The Observer XT를 활용한 생리신호 · 행동 데이터 통합 분석 : Stroop Test

다양한 생리적 신호와 행동 데이터를 통합하여 분석하는 것은 인간의 인지 및 감정 반응을 이해하는 데 중요한 접근 방식입니다. 특히, 여러 장비를 동시에 사용해야 하는 멀티 모달 리서치에서는 데이터 동기화 및 통합 분석은 핵심 과제가 됩니다.

 

이번 포스트에서는 Noldus사의 The Observer XT 소프트웨어를 활용하여, FaceReader,  BIOPAC, Tobii 측정기기에서 수집된 데이터를 하나의 타임라인에 통합 및 분석 사례를 소개하는 것으로 실험은 인지 부하와 감정 반응을 측정할 수 있는 대표적인 심리검사인 Stroop Test를 기반으로 설계되었습니다.

 

 

Stroop Test란 화면에 단어가 제시되었을 때 제시된 단어의 인쇄된 색상(color)를 말하는 것으로 과제의 난이도는 단어와 색상의 일치 여부 및 감정 표현의 혼란 정도에 따라 구분됩니다. 구체적인 실험은 3개의 Task로 구성되었습니다.

 

• Task 1 (쉬운 난도): 단어의 의미와 색상이 동일한 화면이 제시될 때, '단어의 색상'을 발화 
• Task 2 (중간 난도): '색상'이 포함된 '감정'을 나타내는 단어가 제시할 때, '단어의 색상'을 발화  
• Task 3 (상위 난도): 단어의 의미와 색상이 동일하지 않은 화면이 제시될 때, '단어의 색상'을 발화

이것은 전형적인 Stroop 효과를 유도하기 위한 구조로 단어의 의미와 시각적 속성이 서로 충돌할 때, 인지 처리에 소요되는 시간과 이에 따른 생리 반응을 측정할 수 있도록 설계된 실험입니다.

 

 

실험 절차 및 데이터 수집 방식

측정 기기 및 소프트웨어는 Noldus사에서 제공하는 N-Link 프로토콜을 통해 The Observer XT를 통해 제어하였으며 각 측정 기기로부터 다음과 같은 신호 혹은 데이터가 수집됩니다. 

• The Observer XT : 실험 이벤트(Task 시작, 반응 시간 등)를 수동 코딩 및 시각화
• Media Recorder : 2개의 IP 카메라로부터의 영상 및 Tobii Studio의 Gaze Path 동영상 
• FaceReader : 실험 참가자의 표정으로부터 기본 감정 및 감정 상태 데이터  
• Tobii Stuido : 아이트래커로 측정된 동공 데이터 
• BIOPAC AcqKnowledge : 피부전도도(EDA), 피부전도반응(SCR) 데이터  

 

 

데이터 분석

Task별 구간 분석

: 실험이 Task 1, 2, 3으로 나뉘어 있기 때문에 각 Task에 해당하는 시간 구간을 기준으로 데이터가 분할됩니다.

 

행동 분석

자극 제시 시점과 참가자의 반응 사이의 시간 간격(Word-Answer Interval Duration)을 분석하여 인지 반응 속도를 비교합니다

Task별 구간 및 행 실험 참가자의 인지 반응 시간 기록

 

 

수집된 데이터 그래프

• FaceReader: 중립, 행복, 슬픔, 분노, 놀람, 공포, 혐오 등의 감정별 추이를 시각화하고, valence와 arousal 값도 함께 분석합니다.
  

  

  
  
• Tobii Studio: 좌·우 동공 크기의 시간별 변화를 시각화하여 인지 부하가 반영된 생리적 반응을 살펴봅니다.
  

  

  
  
  
• BIOPAC 데이터 : SCR(피부전도반응)의 진폭과 tonic EDA 값을 통해 스트레스 반응을 확인할 수 있습니다.

 

 

 

수치 분석 

The Observer XT의 Numerical Analysis을 사용하여 Task 구간별 수치 데이터를 정리하였습니다.

• Tobii 데이터: Task별 동공 크기(PupilLeft, PupilRight)의 평균값 변화
• BIOPAC 데이터: Tonic EDA 값 및 SCR Amplitude 변화 분석
• FaceReader 데이터: 감정별 표현 강도, valence/arousal 지표 수치 비교
• 반응 시간: 각 Task의 평균 응답 시간 및 분산 비교

 

Task의 난도가 높을수록 동공 크기와 SCR(피부전도반응)이 증가하고, 반응 시간이 지연되는 양상을 확인할 수 있었습니다 

 

 

결론

The Observer XT를 사용하여 FaceReader, BIOPAC, Tobii 측정기기에서 수집된 데이터를 하나의 동일한 타임라인 상에서 통합하고, 시각화 및 데이터 분석을 진행하였습니다. Task 구간별로 생리적 반응을 정량적으로 분석 및 비교함으로써 인지 부하와 생리적 반응 간의 상관관계를 규명하고자 하였으며, 결과적으로 Stroop 효과에 의해 유발되는 인지 부하 및 정서 반응을 생리·행동 지표를 통해 객관적으로 입증하는 데 효과적인 접근이었습니다.

 

※ The Observer XT 소프트웨어는 행동 이벤트 코딩 분석이라는 기본적인 기능 이외에 서로 다른 측정 기기에서 수집된 신호 및 데이터(EDA, SCR, Pupil Size, Facial expressions...)를 통합하여 분석하는 멀티모달 리서치 플랫폼으로 활용할 수 있음을 다시 한 번 확인하는 실험이었습니다.