웨어러블 형태의 신경인터페이스 시스템은 주로 뇌파를 측정하는데, 사용자의 주의집중, 심신안정도, 감정, 스트레스 등과 같은 뇌 상태 정보는 주로 전전두엽(prefrontal) 영역에서 측정되는 뇌파 신호를 분석하여 획득하게 된다. 그런데 전전두엽 영역은 안구와 인접해 있기 때문에 눈에서 발생하는 전기신호인 안구전도(electrooculogram, EOG)의 영향을 크게 받는다. 특히 눈깜빡임은 전두엽 부근에서 측정되는 광범위한 뇌파 신호에 영향을 주며, 적은 개수의 전극을 활용하는 웨어러블 뉴로인터페이스 시스템은 신호처리 방법을 통해 눈깜빡임 신호를 제거하는 것이 매우 어렵다. 따라서 일반적으로는 눈깜빡임 신호를 검출한 다음, 검출된 부분의 신호를 인접 신호를 이용해서 추정 및 복원하는 방식을 사용하는 것이 일반적이다. 그런데, 눈깜빡임 신호도 개인별로 매우 큰 편차를 가질 뿐만 아니라 측정된 신호의 특성에 따라서는 검출이 매우 어려운 경우가 존재한다. 한양대학교 계산신경공학연구실에서는 단일 뇌파 신호에 포함되어 있는, 눈깜빡임에 의해 발생한 안구전도 신호를 매우 높은 정확도로 검출하는 새로운 알고리즘을 개발하였으며(Chang et al., Comput. Meth. Prog. Biomed., 2016) (왼쪽 아래 동영상), 최근에는 개인별로 문턱치를 별도로 설정할 필요 없이 100% 자동으로 눈깜빡임에 의한 신호를 검출하는 획기적인 방법론을 개발하기도 했다 (Chang et al., Physiol. Meas., 2016) (오른쪽 아래 동영상). 이러한 눈깜빡임 검출 기술은 잡음 제거를 위해서 활용이 될 수도 있지만 뇌-컴퓨터 인터페이스 시스템을 켜고 끄는 스위치 시스템(Han et al., Sensors, 2020)이나 문화 콘텐츠 상영 중 시청자의 집중도 변화 모니터링(Shin et al., PLoS ONE, 2015), 운전/학습 중 졸음 모니터링(Kim et al., submitted) 등 다양한 인터페이스 구현을 위해 활용될 수 있다. 

뇌 신호로부터 개인의 집중력과 감정을 추적하는 기술은 엔터테인먼트와 교육 분야에 적용 가능성이 매우 높은 기술이다. 본 연구실에서는 뇌파로부터 집중력 유지 능력(vigilance)을 읽어 내고 이를 이용한 인터랙티브한 교육에 적용하기 위한 기술을 연구하고 있다. 특히 ADHD 진단에 주로 활용되어 온 D2 테스트를 세계 최초로 컴퓨터 기반 테스트로 변형한 다음, 시간에 따른 집중도 변화와 상관도가 높은 뇌 영역을 탐색하고, 이를 이용한 LORETA 뉴로피드백 시스템을 개발하는데 성공했다 (Kim et al., Brain Topogr., 2017). 왼쪽 아래 그림은 컴퓨터 기반 D2 테스트를 이용해서 얻은 시간에 따른 집중도 변화와 높은 상관도를 가지는 뇌 영역을 추정한 결과를 보여준다. 본 연구실에서는 이 방법을 기반으로 집중력, 감정 추정을 위해 특화된 뇌파 헤드셋을 제안하였다(Park et al., Sensors, 2020; 오른쪽 아래 그림). 최근에는 (주)현대모비스와 산학과제를 통해 뇌파를 이용한 운전 중 주의력 저감 검출 기술에 대한 연구를 수행하였으며 (주)삼성SDI와 산학과제를 통해 학습 중 주의력의 변화를 모니터링하는 기술을 개발하기도 했다. 

(그림) (왼쪽) 집중도 변화와 상관도가 높은 뇌 영역 탐색 결과 및 이를 이용한 LORETA 뉴로피드백 시스템, (오른쪽) 집중력 측정에 특화된 8채널 웨어러블 뇌파 측정 시스템의 전극 배치 설계안 2가지 (Park et al., 2020)

호흡률(respiratory rate) 정보는 질환 진단이나 뉴로피드백을 위한 유용한 생체 정보로 활용된다. 호흡률을 측정하기 위해서는 주로 CO2의 분압 변화를 모니터링하거나 호흡 벨트를 착용하는 방식을 사용하는데, 두 방식 모두 웨어러블 시스템에는 적합하지 않다. 최근에는 웨어러블 형태로 간편하게 측정이 가능한 광용적맥파(photoplethysmography: PPG)로부터 호흡률을 추정해 낼 수 있는 방법들이 연구되고 있는데 Fusion이라고 불리는 방법이나 ALRE라고 불리는 방법 등이 대표적이다. 본 연구실에서는 최근 기존 방법들보다 더 빠른 추정 시간에, 더 정확하게 호흡률을 실시간 추정할 수 있는 새로운 방법(AIIRE)을 개발하는데 성공했다(Kim et al., Sensors, 2016). 이 방법은 수동형 BCI의 신뢰도를 향상시키는 데 활용 가능할 것으로 기대된다(왼쪽 아래 동영상). 또한, 본 연구실에서는 PPG로부터 호흡 신호를 검출하는 기술을 바탕으로 하여 의도적인 호흡 변화(특히 숨참기)를 통해 시스템을 켜고 끄는 생체신호 기반 스위치 시스템(biosignal-based switching system)을 새롭게 개발하였다. 이 시스템을 사용하면 파라미터의 조절에 따라 별도의 훈련 없이도 100%의 정확도로 시스템의 on/off가 가능하므로 이 기술은 손을 사용할 수 없는 다양한 환경(예를 들어 전장에서 부상을 입은 군인) 하에서 활용될 것으로 기대된다(Han et al., Sensors, 2020; 오른쪽 아래 동영상). 본 연구실에서는 PPG 이외에도 피부전도도(GSR), 안구전도(EOG), 심전도(ECG) 등의 다양한 생체신호를 활용하여 수동형 BCI의 정확도를 향상시키기 위한 연구를 진행하고 있다(Han et al., Front. Hum. Neurosci., 2017; Kim et al., Sensors, 2018). 

(그림) (왼쪽) 실시간 호흡률 추정 시스템 (오른쪽) PPG 호흡추정 기술을 이용한 스위칭 시스템 (각 그림을 클릭하면 동영상이 재생됩니다)

뇌파 지표의 큰 개인차는 웨어러블 신경인터페이스의 대중화를 가로막는 가장 큰 장애물이다. 계산지능 및 뇌공학 연구실에서는 뉴로피드백에서 데이터베이스 기반으로 사용자에게 부여되는 피드백의 변화 범위를 최적화하는 새로운 방법을 제안(Han et al., BioMed Res. Intern., 2016)하였으며, 뇌파 지표의 개인차를 극복하고 신경인터페이스 시스템의 성능을 극대화하기 위한 개인화(individualization/customization) 기술을 개발하고 있다. 왼쪽 아래 그림은 수동형 BCI에서 개인화를 적용하는 개념을 나타내고 있으며 오른쪽 아래 그림은 실제 집중력 패러다임을 통한 개인화 세션을 도입하여 최적의 지표를 선정한 사례(위)와 33명의 피험자를 대상으로 개인화를 적용한 결과(아래)를 보여준다. 개인화된 뇌파 지표를 사용할 경우, 모두에게 획일화된 지표를 사용하는 경우보다 약 2.8배 성능이 향상됨을 확인하였다. 이 외에도 본 연구실에서는 라이프로깅(Lifelogging) 개념을 바탕으로 웨어러블 기기를 지속적으로 활용하면서 최적의 뇌파 지표를 적응적으로 변화시켜주는 기술과 함께 기기를 본격적으로 활용하기 전에 짧은 측정 신호만으로 개인화 과정의 필요성을 판별하는 '수동형 BCI 적합성 판별' 기술 등을 개발하였다 (Cha et al., Sensors, 2020). 

(그림) (왼쪽) 뇌파 지표 개인화의 개념, (오른쪽) 집중력 지표에 대해 개인화를 적용한 결과 

수동형 BCI와 웨어러블 신경인터페이스의 응용 가능 분야는 다양한 가능성이 거론되고 있지만 (예시: 신경재활의 적극적인 참여도 모니터링 - Han et al., J. Neuroeng. Rehab., 2018) 머리에 접촉식 뇌파 측정 장비를 장착하는 번거로움을 감수하면서까지 수동형 BCI를 사용하게 할, 소위 "킬러 어플리케이션(Killer App)"을 발굴하는 것이 매우 중요한 이슈이다. 많은 BCI 연구자들은 다양한 응용 분야 중, 교육 및 학습에 적용하는 뉴로에듀케이션(Neuroeducation)과 오락/여가에 활용하는 뉴로엔터테인먼트(Neuroentertainment)가 시장에서의 수요가 클 뿐만 아니라 사용자가 불편함을 감수하고 사용할 만한 요소를 갖추고 있기 때문에 가장 먼저 상용화가 될 것으로 예상하고 있다. 계산신경공학 연구실에서는 특히 뉴로에듀케이션 분야에 큰 관심을 가지고 연구를 진행하고 있는데, 본 연구실이 보유한 개인의 집중력 및 감정 추정 기술, 그리고 수동형 BCI의 개인화 기술을 바탕으로 학습 도중 학습자의 정신적 상태를 웨어러블 기기를 이용하여 실시간으로 읽어내고 이를 바탕으로 어댑티브 러닝(Adaptive Learning - 위키피디아 링크) 콘텐츠를 제공할 수 있는 인터랙티브한 콘텐츠 저작 도구를 개발하고 있다. 이러한 어댑티브 러닝 방식을 실제 학습에 적용하여 효과를 검증한 연구 결과물을 교육공학 분야 최상위 학술지에 게재하기도 했다 (Kim et al., IEEE Trans. Learning Technol., 2023). 또한 본 연구실에서는 뇌 상태 지표의 변화를 반영하여 학습 전략을 제시하는 어플리케이션 소프트웨어도 개발하고 있다(오른쪽 아래 그림). 본 연구실에서는 다양한 생체신호 데이터도 함께 활용하여 사용자의 뇌 상태를 보다 정확하게 파악하기 위한 다양한 기술을 개발하고 있으며 이를 게임 등의 엔터테인먼트 분야에 활용하기 위한 소프트웨어 플랫폼을 개발하고 있다. 

(그림) (왼쪽) 본 연구실에서 개발 중인 뇌 상태를 반영한 인터랙티브한 학습 콘텐츠 저작 도구, (오른쪽) 뇌 상태 지표 추적 앱 개념도