임창환 교수의 BCI 연구 History
2019.11.19 작성
· 대한민국 BCI 연구를 선도하다: 대한민국을 넘어 세계로
저는 지난 15여 년 간 대한민국의 BCI 연구를 선도해 왔으며 거의 불모지나 다름없던 국내 BCI 연구 수준을 세계적인 수준으로 끌어올리는 데 기여해 왔다고 자부합니다. 제가 처음 BCI 기술을 접하게 된 것은 박사후연구원으로 일하던 University of Minnesota, Department of Biomedical Engineering의 Bin He 교수 연구실에서였습니다. 당시 국내에서도 BCI 관련 연구 과제가 소규모로 수행된 적이 있기는 했지만 그 흔한 국제학술대회 논문 한 편 발표하지 못했을 정도로 제대로 된 연구 성과가 없었습니다. 2006년 귀국하여 저의 연구실을 세팅한 후, 미국에서 습득한 기술을 바탕으로 국내 최초의 BCI 연구팀을 구성했습니다. 그리고 2009년에는 SCI 등재 학술지에 국내 연구진 최초로 BCI 논문을 게재합니다. ‘세계 최초의 뉴로피드백(neurofeedback) 기반 운동심상(motor imagery) BCI 훈련 소프트웨어’를 보고한 이 논문은 2019년 현재 Google Scholar 기준 213회 인용되었습니다. 당시 SCI급 학술지에 연간 게재되는 BCI 논문 수가 불과 100편 미만이었다는 사실을 고려한다면 첫 연구 결과로서 매우 만족스러운 성과가 아닐 수 없습니다.
저는 이 분야의 연구를 지속하며 지난 15여 년 동안 모든 면에서 대한민국 뇌-컴퓨터 인터페이스 분야를 대표해 왔습니다. 2012년 발표한 청각정상상태반응(ASSR)을 이용한 새로운 방식의 BCI 패러다임은 2013년 국제 BCI 미팅(International BCI Meeting 2013)에서 BCI의 분류 카테고리 중 하나로 확정되었습니다. 새로운 BCI 방식을 만들어 냈음을 공식적으로 인정받은 것입니다. 이뿐만 아니라, 국내 최초로 루게릭병(ALS) 환자를 대상으로 한 의사소통 실험을 성공적으로 실시하였고 ‘eyes-closed BCI’라는 개념을 새롭게 제안하여 2013년 국제 BCI 미팅에서 약 500여 편의 논문 중 단 20편만을 선정하는 구연 발표 논문에 선정되기도 했습니다. 그런가 하면 2012년 발표된, 새로운 LED 배치 방법을 적용한 정신적 타자기(mental speller)는 세계 최고의 주파수 분해능을 갖추고 최고의 성능을 자랑했으며 이 결과가 보고된 논문은 2019년 현재 Google Scholar 기준 201회 인용되고 있습니다. 이 같은 우수한 성과를 인정받아 2013년 창간된 BCI/BMI 분야 유일한 국제 학술지인 Brain-Computer Interfaces(Springer; 현재 emerging SCI 등재)의 초대 Associate Editor로 선임되어 현재까지도 활발히 활동하고 있습니다. 2018년부터는 Frontiers in Human Neuroscience(SCI-E 등재지)의 8개 분과 중 Brain-Computer Interface 분과의 Associate Editor 12명 중 한 명으로 세계적인 BCI 연구자들과 함께 활동하고 있습니다.
· BCI 연구의 프론티어에서: 실생활 기기 제어 시스템부터 유사 식물인간과 의사소통까지
최근 5년 사이에는 새로운 BCI 응용 기술의 개발에 집중하고 있습니다. 사지마비 장애인의 응급상황 보호자 호출 시스템, 뇌파와 웹캠 기반 시선추적 기술을 결합하여 정확도를 크게 향상시킨 하이브리드 정신적 타자기, AR 환경에서 SSVEP를 이용한 주변 환경기기 제어 시스템 등과 같이 다양한 형태의 혁신적 BCI 응용 기술을 개발해오고 있으며, 이외에도 뇌파 기반 BCI 기술을 다수의 중증 루게릭병 환자에게 적용하여 BCI 시스템의 신뢰도를 평가하는 연구 및 근적외선 분광(NIRS)을 이용한 강건한 BCI 시스템의 개발 연구를 수행하여 신경공학 분야 저명 학술지에 다수의 논문을 발표하였습니다. 특히 2019년에는 세계 최초로 1년 이상 외부와 의사소통이 완전하게 단절된 완전감금증후군(Completely Locked-in Syndrome: CLIS) 환자와 뇌파를 이용해 능동적으로 실시간 의사소통을 하는 데 성공하여 언론 및 전 세계 연구자들의 주목을 받기도 했습니다.
· BCI 기술의 대중화를 위하여: 대중적 애플리케이션을 위한 BCI 기술 개발
사용자 인터페이스(UI)가 터치에서 목소리를 포함한 생체 신호로 확장되면서 뇌-컴퓨터 인터페이스 기술을 새로운 UI 방식으로 채용하려는 시도가 확산되고 있습니다. 특히 SoC 기술의 발전에 힘입어 저가이면서 저전력, 고성능의 웨어러블 뇌파 측정 인터페이스 기기가 출시되고 있습니다. 기존에는 장애인의 의사소통이나 외부기기 제어를 목적으로 했던 BCI 기술도 사용자의 뇌 상태, 즉 감정이나 주의집중력, 심신 안정도 등을 읽어내는, 소위 ‘수동형 BCI(passive BCI: 이후 pBCI)’로 발전하고 있습니다.
pBCI 기술은 특히 교육이나 엔터테인먼트 분야의 혁신을 가져올 것으로 기대되고 있습니다. 예를 들어 pBCI가 인공지능 기술과 결합한다면 개별 학생들의 뇌 상태(집중도, 지루함, 이해도 등)를 반영하여 보다 인터랙티브한 교육 콘텐츠를 지능적으로 제공하는 새로운 형태의 학습방법이 가능해집니다. 실제로 제가 수행한 최신 연구에서는 pBCI 기술을 이용하여 인터넷 강의를 수강하는 학습자의 집중 지속력(vigilance)을 모니터링하고 집중력이 하락할 때 적절히 콘텐츠를 바꿔주는, ‘어댑티브 뉴로러닝’이라는 개념을 최초로 구현한 결과, 평균 50점대였던 점수가 90점대로 상승하는 놀라운 효과를 관찰하기로 했습니다. 이 선행연구를 바탕으로 2019년 9월부터 연구재단으로부터 “뇌파 및 안면부 생체신호 기반 인간-컴퓨터 인터페이스 원천 기술 및 이를 이용한 사용자 맞춤형 뉴로-에듀케이션 응용 기술 개발” 과제를 수주하여 수행하고 있습니다.
pBCI 연구 역시 제가 국내에서 최초로 시작하였으며 지난 10여 년 간 다수의 정부/산업체 프로젝트 수행을 통해 이 분야의 경쟁력을 확보해 왔습니다. 예를 들어 ㈜LG전자와의 산학 과제인 ‘장시간 집중 시 뇌파 특징 추출을 통한 집중도 추적 및 패턴화’ 수행을 통해 pBCI를 이용한 교육 콘텐츠 개발을 위한 원천 기술을 개발하였고, 산업통상자원부의 ‘다수 이용객 중심의 실시간 생체신호 기반 문화콘텐츠 평가기술 개발’ 과제 수행을 통해 뇌파를 이용한 영화 등 문화콘텐츠 평가 지표를 개발하였습니다. 또한 표준과학연구원의 ‘신경전자기 신호를 이용한 뉴로마케팅 및 뇌건강진단 응용기술 개발’ 과제를 통해 웨어러블 뇌파 측정의 새로운 응용 분야를 탐색하기도 했습니다.
특히 뉴로마케팅은 뇌 활동을 읽어 제품의 디자인이나 마케팅에 활용하는 pBCI의 최신 응용 분야 중 하나로서 저는 국내 유수 기업인 ㈜LG전자, ㈜바디프랜드, ㈜아모레퍼시픽 등과 뇌파를 통한 제품의 최적화 산학과제를 수행해 왔습니다. 그런가 하면, 2018년에는 저의 신경신호처리 분야에서의 전문성과 수월성을 인정받아 Springer에서 ‘Computational EEG Analysis’라는 교재를 단독 편저로 출간하기도 했습니다.
· 뇌-컴퓨터 인터페이스의 새로운 도전: AR/VR과 결합된 BCI, 하이브리드 BCI
저는 2017년 4월에 과기정통부 산하 정보통신산업진흥원의 지원으로 ‘생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지컴퓨팅 SW 플랫폼 기술 개발’ 과제에 주요 참여기관으로 참여하여 2023년 12월까지 7년 간 연구비를 지원받고 있습니다. 이 과제를 통해 뇌파를 통한 AR/VR 환경에서의 주변 기기 제어, pBCI 기반 개인의 뇌 상태 파악을 통한 주변 환경 제어와 같은 실용적인 연구를 수행하고 있습니다.
최근 뇌-컴퓨터 인터페이스 분야의 주요 주제 중 하나는 신경신호뿐만 아니라 다양한 생체신호를 동시에 활용하여 BCI의 신뢰도를 높이는 하이브리드 BCI(hybrid BCI) 기술입니다. 예를 들면, 비동기적 BCI(asynchronous BCI)의 구현을 위해 광용적맥파(PPG)로부터 호흡 신호를 추출하여 BCI 시스템을 켜고 끄는 스위치로 활용할 수가 있습니다. 이 연구는 최근 본 연구팀에서 발표하여 세계적으로도 주목받고 있는 기술입니다. BCI와 동시에 활용 가능한 생체신호 중에는 특히 안면부에서 생성되는 신호가 많은데, 가장 대표적인 것이 안구에서 생성되는 안구전도(electrooculogram: EOG)와 안면부 근육 움직임에서 발생하는 안면부 근전도(facial electromyogram: fEMG)입니다. 본 연구팀에서는 2016년부터 안구전도를 이용한 적응형 눈 깜빡임 인식 알고리즘과 눈동자 추적 알고리즘을 개발하였고 이를 바탕으로 2017년에는 세계 최초의 ‘안구전도를 이용한 안구마우스’를 개발하여 눈으로 쓴 글씨를 90% 이상 정확도로 인식하는데 성공했습니다. 이 결과는 국내 언론에 크게 보도되기도 했으며 이를 바탕으로 2018년에는 루게릭 환자의 의사소통 수단을 개발하기도 했습니다.
또한 2016년에는 fEMG를 이용해서 8가지의 입모양을 90% 이상의 정확도로 실시간 분류하는데 성공했습니다. 이와 같은 선행연구를 바탕으로 2016년에는 ㈜삼성전자로부터 ‘웨어러블 디바이스를 위한 생체신호 분석’이라는 산학과제를 수주하여 VR 환경에서 안구추적 및 무성 언어 인식(silent speech recognition) 연구를 수행하였으며 2017년부터는 삼성미래기술육성센터의 지원을 받아 ‘인터랙티브한 VR 어플리케이션을 위한 안면부 근전도 기반 표정 인식’ 연구를 수행하고 있습니다. 이 연구의 궁극적인 목표는 VR 기기 착용 시 눈 주위 피부와 닿는 부위에 전극을 부착하여 안면부에서 발생하는 안구전도와 안면 근전도 신호를 측정하고, 이를 이용한 새로운 휴먼-컴퓨터 인터페이스(HCI) 애플리케이션을 개발하는 것입니다. 최근에는 딥러닝 기술을 활용하여 아바타의 자연스러운 얼굴 표정을 추정하고 7가지 서로 다른 단어의 무성 언어 인식 시스템을 구현하는 데 성공했습니다. 최근에는 안구전도를 이용한 난독증(dyslexia)의 진단 기술을 개발하여 상용화를 진행하고 있습니다. 저희가 개발한 기술은 기존 적외선 카메라 기반 진단 장비보다 저렴하지만 훨씬 우수한 진단 민감도를 보여주고 있습니다.