뇌상태 모니터링을 위한 수동형 BCI 기술 및 웨어러블 신경인터페이스

 기술 중심’에서 ‘인간 중심’으로 산업 패러다임이 변화함에 따라 인터페이스 분야에서 ‘감성’이 화두로 떠오르고 있으며 이미 선진국에서는 뇌과학 및 인지과학 기술을 바탕으로 인간과 기계가 감성을 매개로 상호 교류할 수 있는 인터페이스 플랫폼을 개발하는데 박차를 가하고 있다. ‘터치’라는 감성 인터페이스를 강조한 애플社의 성공을 계기로 제스쳐 인식(MS의 Kinect), 음성 인식(Apple의 Siri) 등의 새로운 방식의 사용자 인터페이스가 등장하고 있으며 뇌-컴퓨터 접속(Brain-Computer Interface: 이후 BCI) 기술이 차세대 인터페이스 방식으로 연구되고 있다. 실제로 마이크로소프트의 키넥트(Kinect) 개발 총책임자인 앤드류 블레이크(Andrew Blake) 교수는 이미 뇌파 기반 뉴로인터페이스를 새로운 입력 인터페이스 방식으로 활용하기 위한 연구를 진행하고 있다고 밝히기도 했다. 과거에는 BCI 기술이 언어를 생성하지 못하는 신경계 손상 환자의 의사소통 대체 수단이나 뇌졸중 장애인의 재활 훈련 보조 도구, 사지마비 장애인의 신경보철을 위해 주로 연구됐으나, 적용 대상이 제한돼 있어 기업의 관심이 낮았다. 하지만 최근 들어, 구글, 필립스, 삼성전자, LG전자, SONY 등 다국적 대기업에서 일반 대중을 대상으로 한 BCI 기술의 적용에 관심을 보이기 시작하면서 전통적인 BCI 분야에서도 사용자의 뇌 상태, 인지, 감성을 추론하는 이른바 수동형 뇌-컴퓨터 접속(Passive BCI) 기술에 대한 관심이 폭발적으로 증가하고 있다. 계산지능 및 뇌공학 연구실에서는 기업 및 정부 프로젝트를 통해 다양한 형태의 웨어러블 신경인터페이스 시스템 및 수동형 BCI 기반 요소 기술을 개발하고 있다.

(왼쪽) CoNE Lab에서 개발 중 또는 공동 개발한 다양한 형태의 웨어러블 신경인터페이스 시스템, (오른쪽) 본 연구실에서 자체 개발한 헤드셋 타입의 뇌파 측정 시스템 설계 도면 및 착용예

‘기계로 사람의 생각이나 감정을 읽는다’는 개념은 이미 100여 년 전에 소개되었다. 독일의 한스 베르거(Hans Berger) 박사가 최초로 인간 뇌파를 측정한 것으로 알려진 1924년보다 5년 앞선 1919년, 미국의 지방 일간지인 ‘시러큐스 헤럴드’에 ‘이 기계는 당신의 모든 생각을 기록한다(This Machine Records All Your Thoughts)’라는 제목의 기사가 실렸으며, 이 기사의 일러스트에는 헤드밴드 타입의 뇌파 측정기를 착용한 남자의 모습이 그려져 있다(기사 링크). 100여 년이 지난 현재, 1919년의 아이디어가 현실화되어 전 세계적으로 50여 종 이상의 헤드밴드 타입의 휴대용 뇌파측정 시스템이 판매되고 있다. 하지만 뉴로마케팅, 뉴로엔터테인먼트, 감성 인터페이스, 뉴로에듀케이션, 뇌건강 모니터링, 수면뇌공학 등 광범위한 응용 분야가 예상되는 웨어러블 뉴로인터페이스의 대중화를 가로막고 있는 가장 큰 장애물은 극심한 개인차와 신경신호의 변동성으로서 실제로 대기업이 시장 진출을 꺼리는 가장 중요 요인 중 하나다. 한양대학교 계산지능 및 뇌공학 연구실에서는 뇌파의 개인차를 저감하기 위한 다양한 연구를 진행 중에 있으며 개인이 웨어러블 뉴로인터페이스 장치를 사용하는 과정에서 적응적으로 개인에게 가장 적합한 뇌파 지표를 찾아 주는 라이프로깅(Lifelogging) 방식의 수동형 BCI 기술을 개발하고 있다. 이 외에도 웨어러블 뉴로인터페이스 시스템의 실용화를 위해 가장 중요한 기술 중 하나인 실시간 잡음 제거 기술, 뇌파 이외의 다른 생체신호를 동시에 활용하기 위한 생체신호 처리 원천기술, 그리고 수동형 BCI의 응용 기술 등을 연구하고 있다. 아래에 본 연구실의 관련 연구 활동을 정리하였다.

2020년 이후 종료된 수동형 BCI 기술과 웨어러블 신경인터페이스 관련 연구과제 목록

웨어러블 신경인터페이스를 위한 실시간 잡음 검출 및 제거 기술

웨어러블 형태의 신경인터페이스 시스템은 주로 뇌파를 측정하는데, 사용자의 주의집중, 심신안정도, 감정, 스트레스 등과 같은 뇌 상태 정보는 주로 전전두엽(prefrontal) 영역에서 측정되는 뇌파 신호를 분석하여 획득하게 된다. 그런데 전전두엽 영역은 안구와 인접해 있기 때문에 눈에서 발생하는 전기신호인 안구전도(electrooculogram, EOG)의 영향을 크게 받는다. 특히 눈깜빡임은 전두엽 부근에서 측정되는 광범위한 뇌파 신호에 영향을 주며, 적은 개수의 전극을 활용하는 웨어러블 뉴로인터페이스 시스템은 신호처리 방법을 통해 눈깜빡임 신호를 제거하는 것이 매우 어렵다. 따라서 일반적으로는 눈깜빡임 신호를 검출한 다음, 검출된 부분의 신호를 인접 신호를 이용해서 추정 및 복원하는 방식을 사용하는 것이 일반적이다. 그런데, 눈깜빡임 신호도 개인별로 매우 큰 편차를 가질 뿐만 아니라 측정된 신호의 특성에 따라서는 검출이 매우 어려운 경우가 존재한다. 한양대학교 계산신경공학연구실에서는 단일 뇌파 신호에 포함되어 있는, 눈깜빡임에 의해 발생한 안구전도 신호를 매우 높은 정확도로 검출하는 새로운 알고리즘을 개발하였으며(Chang et al., Comput. Meth. Prog. Biomed., 2016) (왼쪽 아래 동영상), 최근에는 개인별로 문턱치를 별도로 설정할 필요 없이 100% 자동으로 눈깜빡임에 의한 신호를 검출하는 획기적인 방법론을 개발하기도 했다 (Chang et al., Physiol. Meas., 2016) (오른쪽 아래 동영상). 이러한 눈깜빡임 검출 기술은 잡음 제거를 위해서 활용이 될 수도 있지만 뇌-컴퓨터 인터페이스 시스템을 켜고 끄는 스위치 시스템(Han et al., Sensors, 2020)이나 문화 콘텐츠 상영 중 시청자의 집중도 변화 모니터링(Shin et al., PLoS ONE, 2015), 운전/학습 중 졸음 모니터링(Kim et al., submitted) 등 다양한 인터페이스 구현을 위해 활용될 수 있다.

(그림) 왼쪽 그림 - 실시간으로 눈깜빡임 신호를 높은 정확도로 검출할 수 있는 새로운 알고리즘 (그림을 클릭하면 동영상 플레이), 오른쪽 그림 - 개인별 문턱치 설정 필요 없는 새로운 눈깜빡임 검출 알고리즘 (그림을 클릭하면 동영상 플레이)

수동형 BCI를 이용한 개인의 집중력과 감정 추적 기술

뇌 신호로부터 개인의 집중력과 감정을 추적하는 기술은 엔터테인먼트와 교육 분야에 적용 가능성이 매우 높은 기술이다. 본 연구실에서는 뇌파로부터 집중력 유지 능력(vigilance)을 읽어 내고 이를 이용한 인터랙티브한 교육에 적용하기 위한 기술을 연구하고 있다. 특히 ADHD 진단에 주로 활용되어 온 D2 테스트를 세계 최초로 컴퓨터 기반 테스트로 변형한 다음, 시간에 따른 집중도 변화와 상관도가 높은 뇌 영역을 탐색하고, 이를 이용한 LORETA 뉴로피드백 시스템을 개발하는데 성공했다 (Kim et al., Brain Topogr., 2017). 왼쪽 아래 그림은 컴퓨터 기반 D2 테스트를 이용해서 얻은 시간에 따른 집중도 변화와 높은 상관도를 가지는 뇌 영역을 추정한 결과를 보여준다. 본 연구실에서는 이 방법을 기반으로 집중력, 감정 추정을 위해 특화된 뇌파 헤드셋을 제안하였다(Park et al., Sensors, 2020; 오른쪽 아래 그림). 최근에는 (주)현대모비스와 산학과제를 통해 뇌파를 이용한 운전 중 주의력 저감 검출 기술에 대한 연구를 수행하였으며 (주)삼성SDI와 산학과제를 통해 학습 중 주의력의 변화를 모니터링하는 기술을 개발하기도 했다.

(그림) (왼쪽) 집중도 변화와 상관도가 높은 뇌 영역 탐색 결과 및 이를 이용한 LORETA 뉴로피드백 시스템, (오른쪽) 집중력 측정에 특화된 8채널 웨어러블 뇌파 측정 시스템의 전극 배치 설계안 2가지 (Park et al., 2020)

멀티모달 수동형 BCI를 위한 생체신호 처리 기술 개발

호흡률(respiratory rate) 정보는 질환 진단이나 뉴로피드백을 위한 유용한 생체 정보로 활용된다. 호흡률을 측정하기 위해서는 주로 CO2의 분압 변화를 모니터링하거나 호흡 벨트를 착용하는 방식을 사용하는데, 두 방식 모두 웨어러블 시스템에는 적합하지 않다. 최근에는 웨어러블 형태로 간편하게 측정이 가능한 광용적맥파(photoplethysmography: PPG)로부터 호흡률을 추정해 낼 수 있는 방법들이 연구되고 있는데 Fusion이라고 불리는 방법이나 ALRE라고 불리는 방법 등이 대표적이다. 본 연구실에서는 최근 기존 방법들보다 더 빠른 추정 시간에, 더 정확하게 호흡률을 실시간 추정할 수 있는 새로운 방법(AIIRE)을 개발하는데 성공했다(Kim et al., Sensors, 2016). 이 방법은 수동형 BCI의 신뢰도를 향상시키는 데 활용 가능할 것으로 기대된다(왼쪽 아래 동영상). 또한, 본 연구실에서는 PPG로부터 호흡 신호를 검출하는 기술을 바탕으로 하여 의도적인 호흡 변화(특히 숨참기)를 통해 시스템을 켜고 끄는 생체신호 기반 스위치 시스템(biosignal-based switching system)을 새롭게 개발하였다. 이 시스템을 사용하면 파라미터의 조절에 따라 별도의 훈련 없이도 100%의 정확도로 시스템의 on/off가 가능하므로 이 기술은 손을 사용할 수 없는 다양한 환경(예를 들어 전장에서 부상을 입은 군인) 하에서 활용될 것으로 기대된다(Han et al., Sensors, 2020; 오른쪽 아래 동영상). 본 연구실에서는 PPG 이외에도 피부전도도(GSR), 안구전도(EOG), 심전도(ECG) 등의 다양한 생체신호를 활용하여 수동형 BCI의 정확도를 향상시키기 위한 연구를 진행하고 있다(Han et al., Front. Hum. Neurosci., 2017; Kim et al., Sensors, 2018).

(그림) (왼쪽) 실시간 호흡률 추정 시스템 (오른쪽) PPG 호흡추정 기술을 이용한 스위칭 시스템

(각 그림을 클릭하면 동영상이 재생됩니다)

수동형 BCI의 개인차 극복 기술

뇌파 지표의 큰 개인차는 웨어러블 신경인터페이스의 대중화를 가로막는 가장 큰 장애물이다. 계산지능 및 뇌공학 연구실에서는 뉴로피드백에서 데이터베이스 기반으로 사용자에게 부여되는 피드백의 변화 범위를 최적화하는 새로운 방법을 제안(Han et al., BioMed Res. Intern., 2016)하였으며, 뇌파 지표의 개인차를 극복하고 신경인터페이스 시스템의 성능을 극대화하기 위한 개인화(individualization/customization) 기술을 개발하고 있다. 왼쪽 아래 그림은 수동형 BCI에서 개인화를 적용하는 개념을 나타내고 있으며 오른쪽 아래 그림은 실제 집중력 패러다임을 통한 개인화 세션을 도입하여 최적의 지표를 선정한 사례(위)와 33명의 피험자를 대상으로 개인화를 적용한 결과(아래)를 보여준다. 개인화된 뇌파 지표를 사용할 경우, 모두에게 획일화된 지표를 사용하는 경우보다 약 2.8배 성능이 향상됨을 확인하였다. 이 외에도 본 연구실에서는 라이프로깅(Lifelogging) 개념을 바탕으로 웨어러블 기기를 지속적으로 활용하면서 최적의 뇌파 지표를 적응적으로 변화시켜주는 기술과 함께 기기를 본격적으로 활용하기 전에 짧은 측정 신호만으로 개인화 과정의 필요성을 판별하는 '수동형 BCI 적합성 판별' 기술 등을 개발하였다 (Cha et al., Sensors, 2020).

(그림) (왼쪽) 뇌파 지표 개인화의 개념, (오른쪽) 집중력 지표에 대해 개인화를 적용한 결과

수동형 BCI의 응용 기술 개발 - 뉴로에듀케이션과 뉴로엔터테인먼트

수동형 BCI와 웨어러블 신경인터페이스의 응용 가능 분야는 다양한 가능성이 거론되고 있지만 (예시: 신경재활의 적극적인 참여도 모니터링 - Han et al., J. Neuroeng. Rehab., 2018) 머리에 접촉식 뇌파 측정 장비를 장착하는 번거로움을 감수하면서까지 수동형 BCI를 사용하게 할, 소위 "킬러 어플리케이션(Killer App)"을 발굴하는 것이 매우 중요한 이슈이다. 많은 BCI 연구자들은 다양한 응용 분야 중, 교육 및 학습에 적용하는 뉴로에듀케이션(Neuroeducation)과 오락/여가에 활용하는 뉴로엔터테인먼트(Neuroentertainment)가 시장에서의 수요가 클 뿐만 아니라 사용자가 불편함을 감수하고 사용할 만한 요소를 갖추고 있기 때문에 가장 먼저 상용화가 될 것으로 예상하고 있다. 계산신경공학 연구실에서는 특히 뉴로에듀케이션 분야에 큰 관심을 가지고 연구를 진행하고 있는데, 본 연구실이 보유한 개인의 집중력 및 감정 추정 기술, 그리고 수동형 BCI의 개인화 기술을 바탕으로 학습 도중 학습자의 정신적 상태를 웨어러블 기기를 이용하여 실시간으로 읽어내고 이를 바탕으로 어댑티브 러닝(Adaptive Learning - 위키피디아 링크) 콘텐츠를 제공할 수 있는 인터랙티브한 콘텐츠 저작 도구를 개발하고 있다. 이러한 어댑티브 러닝 방식을 실제 학습에 적용하여 효과를 검증한 연구 결과물을 교육공학 분야 최상위 학술지에 게재하기도 했다 (Kim et al., IEEE Trans. Learning Technol., 2023). 또한 본 연구실에서는 뇌 상태 지표의 변화를 반영하여 학습 전략을 제시하는 어플리케이션 소프트웨어도 개발하고 있다(오른쪽 아래 그림). 본 연구실에서는 다양한 생체신호 데이터도 함께 활용하여 사용자의 뇌 상태를 보다 정확하게 파악하기 위한 다양한 기술을 개발하고 있으며 이를 게임 등의 엔터테인먼트 분야에 활용하기 위한 소프트웨어 플랫폼을 개발하고 있다.

(그림) (왼쪽) 본 연구실에서 개발 중인 뇌 상태를 반영한 인터랙티브한 학습 콘텐츠 저작 도구, (오른쪽) 뇌 상태 지표 추적 앱 개념도