사용자의 운동 의도를 파악하여 외부 기기를 제어하는 것은 BCI의 가장 오랜 응용 분야 중 하나이다. 본 연구실의 초창기 BCI 연구도 주로 뇌파로부터 사용자의 운동 의도를 파악하는 운동심상(motor imagery) 기반의 BCI에 맞춰져 있었다. 그런데 운동심상 기반의 BCI 시스템은 시스템의 사용자 개인이 시스템에 적응하기 위한 일련의 훈련 과정이 필요한데, 운동심상은 일반인들뿐만 아니라 장애인들의 경우에도 매우 체득하기 어려운 정신적 과제(mental task)이다. 계산지능및뇌공학 연구실에서는 BCI 연구에서 많이 사용되어 온 운동심상을 효율적으로 수행할 수 있도록 도와줌으로써 BCI 시스템의 효율을 향상시키는 <실시간 뇌활동 모니터링 시스템을 기반으로 한 운동심상 훈련 시스템>을 제안하여 구현하였다 (Hwang et al., J. Neurosci. Meth., 2009). 이 연구 결과는 BCI 논문으로서는 국내 최초로 SCI 학술지에 게재되었는데 (왼쪽 아래 그림을 클릭하면 동영상 플레이) 연구 결과가 실린 논문은 세계적으로도 큰 파급효과를 나타냈으며 2023년 현재 300회 이상의 피인용수를 자랑하고 있다(Google Scholar 링크).

 한 편, 뇌파를 이용한 BCI를 사용하기 위해서는 전극을 매번 탈부착해야 하는데, 부착할 때마다 조금씩의 부착 위치 오차가 발생하게 된다. 계산지능및뇌공학 연구실에서는 전극의 미세한 위치 변화에 보다 강건한 특징 추출 방식을 탐색하기 위하여 피험자가 왼손-오른손 운동심상 과제를 수행할 때, 기준 3개의 전극 이외에 1 cm 떨어진 위치에 6개의 추가 전극을 부착하고, 기준 전극에서 측정된 뇌파 신호를 이용하여 만든 데이터베이스를 추가 전극 신호에 적용했을 때, 가장 변화에 강건하면서 높은 정확도를 보이는 특징을 추출하는 연구를 수행하였다 (Park et al., Med. Biol. Eng. Compt., 2013).

 본 연구실에서는 이 연구 이후에는 주로 외부기기의 제어 응용보다는 사지마비 환자와의 의사소통 연구에 집중하였으나, 운동심상은 의사 전달에 활용되는 다양한 정신적 과제 중 하나로 여전히 활용되고 있다(예, Shin et al., Front. Neuroinform., 2018; Han et al., J. Neuroeng. Rehabil., 2019).

<(왼쪽) 동영상 - 운동심상 훈련 시스템의 시연:그림 클릭하면 동영상 플레이, (오른쪽) 왼손 운동심상, 혀 운동심상, 수학 계산 시에 완전감금증후군 환자에게서 측정된 뇌파 패턴 비교 (Han et al., 2019)>

본 연구실에서는 정상상태시각유발전위(steady-state visual evoked potential: SSVEP)에 기반한 정신적 타자기(mental typewriter)를 개발하였으며 본 연구실의 알고리즘을 활용하여 분당 12타, 정확도 80-90 %에 이르는, 당시 최고 수준의 성능을 보고하였다 (Hwang et al., J. Neurosci. Meth., 2012). 이 연구 역시 세계적으로 큰 파급효과를 유발하였으며 300회 이상의 많은 피인용을 기록하였다(Google Scholar 링크). 다음의 그림은 실험 장면을 캡춰한 것으로 그림을 클릭하면 유튜브에 게시된 동영상을 볼 수 있다. 이 타자기는 사지마비인 사용자가 타이핑을 하고자 하는 글자를 단순히 집중하여 응시함으로써 원하는 글자를 타이핑할 수 있게 하는 시스템으로서 모두 30개의 LED를 사용하여 제작하였고, LED의 최적 배치, 자간 간격, 자판과 사용자 간의 거리 등을 최적화하여 발표 당시 세계에서 가장 빠른 수준의 정보전달률 (ITR: Information Trasnfer Rate)을 달성할 수 있었다. 또한 후속 연구에서는 타이핑의 정확도를 향상시키기 위하여 눈동자 움직임 정보를 동시에 활용하는 하이브리드 타입의 정신적 타자기를 개발하였다 (Lim et al., BSPC, 2015). 정신적 타자기는 퇴행성 신경질환 환자들이 질환의 후기에 도달하면 눈동자의 움직임이 어려워 안구마우스를 사용하지 못하는 경우가 많다는 점에서 안구마우스를 대체할 수 있는 새로운 의사소통 기술로 각광받을 것으로 기대된다. 또한 본 연구실에서는 정신적 타자기 기술과 관련하여 4개의 자극 주파수를 이용하여 10개의 서로 다른 시각 자극을 만들 수 있는 새로운 시각 자극 제시 방법을 제안하였다 (Hwang, et al., Brain Research, 2013). 현재의 SSVEP 기반 BCI 시스템은 컴퓨터 모니터를 사용할 때 사용할 수 있는 주파수에 제약이 따른다는 점을 감안할 때, 다중 클래스의 BCI 시스템을 구현할 때 매우 유용하게 활용될 수 있는 기술이다 (시연 동영상 - 링크). 

(왼쪽) 동영상 - QWERTY 자판을 채용한 SSVEP 기반의 정신적 타자기 (오른쪽) 동영상 - 웹캠 기반 아이트래커를 활용한 하이브리드 정신적 타자기 각 그림 클릭하면 동영상 플레이 (볼륨을 켜세요)

계산지능및뇌공학 연구실에서는 새로운 패러다임의 BCI 시스템 개발 이외에도 기존 BCI 시스템 또는 패러다임을 구현하고 개선하는 연구를 지속적으로 수행하고 있다. 그 중, BCI에서 즐겨 사용되고 있는 P300은 사상관련전위(event-related potential: ERP)의 성분 중 하나로서 빈번히 발생하는 반복 자극 중 특이한 자극이 섞여서 제시될 때나 혹은 피험자가 특정 자극에 집중하고 있을 경우 그 자극이 제시될 때 자극 제시 이후 300 ms 부근에서 머리의 중앙 부위와 두정엽 부위 전극에서 측정되는 양의 값을 가진 전위를 의미한다. 오른쪽 그림은 본 연구실에서 수행한 P300 기반 BCI 테스트 실험 결과 중 일부를 보여주고 있다. 그림에서 보여진 방식은 현재 사용되고 있는 가장 전형적인 P300기반 BCI 패러다임이다. 그림 좌측 상단에 나타나 있는 알파벳 대문자 A~I로 구성된 3 by 3 형태의 배열은 BCI 사용자에게 보여지는 시각 자극으로서 가로행과 세로 열들은 랜덤하게 한번씩 순간적으로 나타났다가 사라지게 된다. 그림에 보여진 사례는 일종의 정신적 타자기로서 사용자가 만약 ‘F’라는 문자를 타이핑하기를 원한다면 단순히 F라는 문자에 시선을 집중하기만 하면 된다. 이 경우, ‘F’라는 문자가 포함된 행이나 열이 깜빡일 때, 이 문자가 포함되지 않은 행이나 열에 비해 더 큰 수준의 P300이 발생하게 되며 특정 문턱치 이상의 P300이 발생하는 행과 열이 교차하는 지점에 있는 문자를 최종적으로 화면 상에 타이핑하게 된다. 첨부된 동영상은 P300 기반의 정신적 타자기 패러다임을 응용한 로봇팔 제어 동영상으로서 일본 RIKEN 연구진과 공동으로 구현에 성공한 것이다. 본 연구실에서는 P300 기반의 정신적 타자기 구현 시 효율을 높이기 위한 방안으로 많이 쓰는 단어를 기반으로 눈동자를 움직이는 거리를 최소로 하는 새로운 자판 배열 방법을 제안하였다(오른쪽 아래 그림). 이 자판을 활용할 경우 평균 시선 이동 거리가 기존의 2.68에서 1.85로 크게 감소하는 결과를 확인할 수 있었다(Hwang et al., 2018). 

<(왼쪽) 동영상 - P300 기반 BCI를 이용한 로봇팔의 제어 - 그림 클릭하면 동영상 플레이, (오른쪽) P300 자판 배열 최적화 결과>

본 연구실에서는 중증 ALS 환자나 완전감금증후군(completely locked-in states: CLIS) 환자와 같이 시각 기능까지도 소실된 사지마비 환자의 의사소통을 위한 다양한 BCI 시스템 및 패러다임을 개발하고 있다. 2011년, 본 연구실에서는 이진선택(binary decision) 기반의 의사소통이 가능한 세계 최초의 청각 정상 상태 반응(ASSR: Auditory Steady State Response) 기반의 온라인 vision-free BCI 시스템을 제안하고 구현하였다. 2개의 스피커에서 생성되는 다른 beat frequency를 가지는 두 소리 자극 중 특정 소리 자극에 집중할 경우 발생하는 청각 정상 상태 반응을 측정함으로써 피험자가 집중하고 있는 소리 자극을 검출하는 방식으로서 별도의 신호 전처리 과정이 없이도 평균 6 bit/min의 정보전달율(ITR)에 80% 이상의 분류 정확도를 나타내었다 (Kim et al., J. Neurosci. Meth., 2011). 이 방식은 청각 BCI의 주요 패러다임 중 하나로 분류되어 많은 파생연구를 유도했다 (Google Scholar 링크). 본 연구실에서는 최근까지도 이진 의사소통을 위한 다양한 BCI 패러다임을 지속적으로 개발하고 있으며(예, Hwang et al., J. Biomed. Optics, 2016, Shin et al., Sci. Rep., 2017) 최근에는 세계 최초로 완전감금증후군 환자를 대상으로 정신적 과제를 이용한 온라인 BCI 시스템을 구현하는데 성공했다(Han et al., J. Neuroeng. Rehabil., 2019) (관련 기사 링크). 

(왼쪽) 동영상 - 세계 최초의 ASSR 기반의 vision-free BCI 시스템 (오른쪽) 동영상 - 완전감금증후군 환자 대상 실험 장면 각 그림 클릭하면 동영상 플레이 (볼륨을 켜세요)

본 연구실에서는 국내에서 최초로 다수의 루게릭병(ALS) 환자를 대상으로 하여 의사소통을 위한 실용적인 BCI 시스템을 구현하고 그 결과를 국제적으로 보고하였다. 특히 2017년 발표된 논문(Hwang et al., Psychophysiol., 2017)에서는 5명의 루게릭 환자를 대상으로 4-class SSVEP BCI를 반복 적용하여 시간에 따른 정확도 변화 및 개인화의 영향, 지속 사용 가능성 등을 타진하였으며, 구현된 시스템을 이용하여 환자들의 BCI 시스템에 대한 요구 정도를 설문조사하는 결과까지도 획득하였다(왼쪽 그림 클릭하면 동영상 플레이). 그런가 하면, 최근에는 SSVEP를 이용한 정신적 스위치(mental switch) 시스템을 개발하였는데, 이 시스템은 다른 공간에 떨어져 있는 보호자를 호출하는 데 사용될 수 있다(Lim et al., Psychophysiol., 2017). 이 시스템은 5인의 루게릭 환자에게 적용되어 우수한 성능을 보였다. 오른쪽 아래 그림을 클릭하면 본 연구실에서 개발한 정신적 스위치의 개념과 작동 모습을 확인할 수 있다(참고 - KBS 미래기획에서 방송된 영상임). 최근에는 BCI 기술을 이용하여 TV, 조명, 에어컨 등 주변 기기를 제어할 수 있는 시스템을 구현하여 환자 대상 실험을 완료하였으며 결과를 보고하기 위해 준비하고 있다. 

(왼쪽) 동영상 - SSVEP BCI의 루게릭 환자 적용 모습(Hwang et al., 2017), (오른쪽) 동영상 - KBS에서 방영된 BCI 응급 호출 시스템의 시연 모습 (Lim et al., 2017) 각 그림 클릭하면 동영상 플레이

본 연구실에서는 세계 최초로 증강현실(AR) 기기와 BCI를 결합하고 IoT 기술을 접목하여 주변기기를 자유롭게 제어할 수 있는 기술을 개발하였다 (Park et al., IEEE Access, 2019). 이 기술은 see-through display 상에 시각자극을 제시하여야 하므로 눈에 부담이 적으면서 뚜렷한 뇌파 패턴을 생성하기 위해서 점멸하는 시각자극 대신 크기가 변하는 시각자극을 채택하고 이를 통해 발생하는 SSMVEP를 검출하여 사용자의 의도를 빠르고 정확하게 인식하는 시스템을 구현하였다. 본 연구 성과는 2020년 1월 라스베이거스에서 개최된 CES에 출품되기도 하였다. 왼쪽 그림은 전체적인 시스템의 구성도를 나타내고 있으며 왼쪽 아래 스크린샷을 클릭하면 유튜브에 게시된 동영상을 플레이할 수 있다. 2023년에 발표된 후속 연구에서는 이 시스템의 실제 사용자인 65세 이상의 노인 피험자를 대상으로 시스템의 신뢰도 및 사용성을 객관적으로 평가하였으며 그 결과 매우 우수한 성능 및 사용성을 확인할 수 있었다 (Park et al., IEEE Trans. Neural Syst. Rehabil. Eng., 2023: 오른쪽 아래 동영상 참고). 

(왼쪽) 동영상 - AR-IoT-BCI를 결합한 주변기기 제어 시스템 시연, (오른쪽) 동영상 - 노인을 대상으로 하는 멀티모달 주변기기 제어 시스템 시연 각 그림 클릭하면 동영상 플레이

한양대학교 계산지능 및 뇌공학 연구실에서는 빛을 이용해서 뇌활성도 변화를 관찰할 수 있는 뇌기능영상 방법인 기능적 근적외선 분광(functional near-infrared spectroscopy: fNIRS)을 이용한 BCI 연구도 활발하게 수행하고 있다. fNIRS 기반 BCI는 뇌파를 이용한 BCI에 비해 변동성이 낮아 신뢰도가 높고 웨어러블 형태로 만들 수 있어 앞으로가 주목되는 기술이다. 본 연구실에서 수행한 대표적인 최근 연구 성과들은 다음과 같다.

(Hwang et al., J. Biomed. Opt., 2014) fNIRS 기반 BCI 구현을 위한 다양한 인지 과제 최적 조합을 탐색하여 보고함

(Hwang et al., J. Biomed. Opt., 2016) fNIRS 기반 BCI를 이용하여 직관적인 yes/no 이진 의사소통이 가능함을 싫증함

(Shin et al., Sci. Rep. 2017) 서로 다른 깊이의 뇌활성도 신호를 얻을 수 있는 새로운 fNIRS 시스템을 이용한 BCI 최초 구현

(Shin et al., IEEE Access, 2018) 최초로 3가지 서로 다른 인지과제를 수행할 때의 뇌 활성도를 분류하는 BCI 시스템 구현

(Shin et al., Front. Neuroinform., 2018) 뇌파와 fNIRS의 하이브리드 방식의 BCI 시스템을 구현하고 성능을 향상시킴

(Shin et al., Int. J. Neural Syst., 2018) fNIRS 기반 BCI의 문맹(illiteracy)을 사전에 평가할 수 있는 바이오마커를 제안

(Han et al., J. Neuroeng. Rehabil., 2018) 신경재활 시 사용자의 능동적인 재활 참여도를 정량적으로 평가할 수 있는 기계학습 방법 제안

(Kwon et al., PLoS One, 2018) 웨어러블 방식의 compact fNIRS를 이용한 BCI의 가능성을 최초로 타진함

(Kwon et al., IEEE Trans. Neural Syst. Rehabil. Eng., 2020) fNIRS 기반 BCI의 광자극 효과 탐색

(Kwon et al., Front. Hum. Neurosci., 2021) 최신 딥러닝 기술을 적용하여 사용자 독립적인 fNIRS BCI를 최초로 구현함

<2017년부터 현재까지 발표한 fNIR기반 BCI 논문의 대표 결과 모음 - 그림 클릭하면 확대>

본 연구실에서는 10년 이상의 BCI 개발 경험을 바탕으로 새로운 BCI 어플리케이션을 개발하기 위한 연구에 주력하고 있다. 대표적으로 2021년에는 (주)현대자동차와 함께 ‘BCI 기반 전동휠체어 제어 기술 개발’ 과제를 수행하였으며 2022년에는 역시 (주)현대자동차와 ‘사용자 의도 기반 착용 로봇 제어 적용을 위한 시각자극제시기법 및 알고리즘 개발’ 과제를 성공적으로 수행하였다. 최근에는 AR/VR 환경에서 뇌파 기반 BCI를 구현하기 위한 다양한 연구를 진행하고 있는데 예를 들어 VR 환경에서 아바타의 움직임을 제어한다거나 (Choi et al., Comput. Intel. Neurosci., 2019) VR 환경에서 SSVEP기반 BCI의 성능을 향상시키기 위한 하이브리드 BCI를 구현(Ha et al., Front. Neuroinform., 2022)하는 연구가 대표적이다. 2022년부터는 (주)한화시스템과 함께 ‘전투원의 생체신호 인식 기술 연구’를 수행하고 있는데 이 연구에서는 전투원의 뇌파 신호를 이용하여 의사를 전달하는 BCI 기술이 핵심 기술로 활용되고 있다. 최근에는 뇌파 기반 BCI를 이용하여 차량 주행 중 HUD에 제시된 시각 자극을 응시하는 것만으로 차량 환경을 제어함으로써 안전운전에 도움을 줄 수 있는 신기술을 개발하였다 (Park et al., submitted). 아래 왼쪽 그림은 뇌파 기반 BCI를 이용하여 전동휠체어를 제어하는 실험 장면을 보여주고 있으며 가운데 그림은 차량 주행 중 차량 환경 제어를 위한 BCI 시스템의 실험 장면, 오른쪽 그림은 VR 환경 하에서 아바타를 제어하는 실험 장면을 보여주고 있다. 

<왼쪽부터 BCI를 이용한 휠체어 제어, 차량 내부 환경 제어, VR 아바타 제어 실험 장면 - 그림 클릭하면 동영상 플레이> 

본 연구실에서는 상기의 연구 결과들 이외에도 보다 정확도가 향상된 특징 추출 기술, 새로운 시각, 청각자극 제시 방법, 인간 의도를 인지하고 이를 바탕으로 적절한 피드백을 부여하는 방법, 감정 상태를 인지하는 기술 등 다양한 세부 기술들을 연구하고 있을 뿐만 아니라 이를 실제 환자에게 적용하고 재활 등의 용도로 활용하기 위한 지속적인 시도를 하고 있다. 특히 최근에는 반침습적인 방식인 피질전도(ECoG)를 이용하여 뇌파로부터 사용자의 음성을 추출하는 스피치 BCI 연구를 시작하여 가시적인 성과를 내고 있다.

또한 최근에는 GAN, LSTM 등 딥러닝 기반 인공지능(AI) 기술을 이용하여 BCI의 정확도를 높이고 훈련 시간을 단축하는 새로운 방법을 개발하고 있다. 이미 긍정적인 결과물을 다수 도출하여 논문이 게재되고 있다 (AI를 이용한 생체신호처리 연구 참고).

한편 뇌파는 의사소통 수단 이외에도 다양한 응용 분야에 적용이 가능한데 최근에는 과거의 단순한 뇌파 파형 분석 위주의 응용에서 벗어나 심리상태를 간접 측정하여 게임이나 엔터테인먼트에 활용한다거나 신경정신질환을 자가 진단하고, 사용자 스스로가 뇌파의 상태를 파악한 다음 자신이 필요로하는 상태로 조절하는 휴대용 시스템들도 개발되고 있다. 이러한 응용 분야를 최근 뉴로툴(Neuro-Tool)이라는 용어로 부르며 휴대용, 보급형 시스템을 통해 정신 건강을 증진하고, 교육 및 엔터테인먼트, 뉴로마케팅 등에 활용하고자 하는 사회적 관심이 크게 증대되고 있다. 본 연구실에서도 BCI 관련 원천 기술들을 바탕으로 하여 새로운 뉴로툴의 개발을 위한 연구를 지속적으로 수행할 계획이다 (수동형 BCI 연구 참고).