빠른 메뉴


탑메뉴


Title


본문내용

Research Topics

Passive BCI and Wearable Neurointerface: 수동형 BCI 및 웨어러블 신경인터페이스

 

뇌상태 모니터링을 위한 수동형 BCI 기술 및 웨어러블 신경인터페이스

 기술 중심’에서 ‘인간 중심’으로 산업 패러다임이 변화함에 따라 인터페이스 분야에서 ‘감성’이 화두로 떠오르고 있으며 이미 선진국에서는 뇌과학/인지과학 기술을 바탕으로 인간과 기계가 감성을 매개로 상호 교류할 수 있는 인터페이스 플랫폼을 개발하는데 박차를 가하고 있다. ‘터치’라는 감성 인터페이스를 강조한 애플社의 성공을 계기로 제스쳐 인식(MS의 Kinect), 음성 인식(Apple의 Siri) 등의 새로운 방식의 사용자 인터페이스가 등장하고 있으며 뇌-컴퓨터 접속(Brain-Computer Interface: 이후 BCI) 기술이 차세대 인터페이스 방식으로 연구되고 있다. 실제로 마이크로소프트의 키넥트(Kinect) 개발 총책임자인 앤드류 블레이크(Andrew Blake) 교수는 이미 뇌파 기반 뉴로인터페이스를 새로운 입력 인터페이스 방식으로 활용하기 위한 연구를 진행하고 있다고 밝히기도 했다. 과거에는 BCI 기술이 언어를 생성하지 못하는 신경계 손상 환자의 의사소통 대체 수단이나 뇌졸중 장애인의 재활 훈련 보조 도구, 사지마비 장애인의 신경보철을 위해 주로 연구됐으나, 적용 대상이 제한돼 있어 기업의 관심이 매우 낮았다. 하지만 최근 들어, 구글, 필립스, 삼성전자, LG전자, SONY 등 다국적 대기업에서 일반인(정상인)을 대상으로 한 BCI 기술의 적용에 관심을 보이기 시작하면서 전통적인 BCI 분야에서도 사용자의 뇌 상태, 인지, 감성을 추론하는 이른바 수동형 뇌-컴퓨터 접속(Passive BCI) 기술에 대한 관심이 폭발적으로 증가하고 있다. 계산신경공학연구실에서는 다수의 기업과 정부 프로젝트를 통해 다양한 형태의 웨어러블 신경인터페이스 시스템 및 기반 요소 기술을 개발해 오고 있다.

 

(그림) 계산신경공학연구실에서 개발 중 또는 공동 개발한 다양한 형태의 웨어러블 신경인터페이스 시스템

 

‘기계로 사람의 생각이나 감정을 읽는다’는 개념은 이미 100여 년 전에 소개되었다. 독일의 한스 베르거(Hans Berger) 박사가 최초로 인간 뇌파를 측정한 것으로 알려진 1924년보다 5년 앞선 1919년, 미국의 지방 일간지인 ‘시러규스 헤럴드’에 ‘이 기계는 당신의 모든 생각을 기록한다(This Machine Records All Your Thoughts)’라는 제목의 기사가 실렸으며, 이 기사의 일러스트에는 헤드밴드 타입의 뇌파 측정기를 착용한 남자의 모습이 그려져 있다. 100여 년이 지난 현재, 1919년의 아이디어가 현실화되어 전 세계적으로 50여 종 이상의 헤드밴드 타입의 휴대용 뇌파측정 시스템이 판매되고 있다. 뉴로마케팅, 뉴로엔터테인먼트, 감성 인터페이스, 뉴로에듀케이션, 뇌건강 모니터링, 수면뇌공학 등 광범위한 응용 분야가 예상되는 웨어러블 뉴로인터페이스의 대중화를 가로막고 있는 가장 큰 장애물은 극심한 개인차와 신경신호의 변동성으로서 실제로 대기업이 하드웨어 기술을 보유하고 있으면서도 시장 진출을 꺼리는 가장 중요한 요인 중 하나다. 한양대학교 계산신경공학연구실에서는 뇌파의 개인차를 저감하기 위한 다양한 연구를 진행 중에 있으며 (예 - Han et al., BioMed Res. Intern., 2016) 개인이 웨어러블 뉴로인터페이스 장치를 사용하는 과정에서 적응적으로 개인에게 가장 적합한 뇌파 지표를 찾아 주는 라이프로깅(Lifelogging) 방식의 수동형 BCI 기술을 개발하고 있다 (Han et al., in prep.). 이 외에도 웨어러블 뉴로인터페이스 시스템의 실용화에 가장 중요한 기술 중 하나인 실시간 잡음 제거 기술, 뇌파 이외의 다른 생체신호를 동시에 활용하기 위한 생체신호 처리 원천기술, 그리고 수동형 BCI를 이용한 응용 기술을 연구하고 있다.

 

웨어러블 신경인터페이스를 위한 실시간 잡음 검출 및 제거 기술

웨어러블 형태의 신경인터페이스 시스템은 주로 뇌파를 이용하는데, 주의집중, 심신안정도, 감정, 스트레스 등과 같은 뇌 상태 정보는 주로 전전두엽 영역에서 측정되는 뇌파 신호를 분석하여 얻게 된다. 그런데 전전두엽 영역은 안구와 인접해 있기 때문에 눈에서 발생하는 전기신호인 안구전도(electrooculogram)의 영향을 크게 받는다. 특히 눈깜빡임(eye blink)은 전두엽 부근에서 측정되는 광범위한 뇌파 신호에 영향을 주며, 적은 개수의 전극을 활용하는 웨어러블 뉴로인터페이스 시스템은 BSS와 같은 신호처리 방법을 통해 눈깜빡임 신호를 제거하는 것이 매우 어렵다. 따라서 일반적으로는 눈깜빡임 신호를 검출한 다음, 검출된 부분의 신호를 인접 신호를 이용해서 보간(interpolation)하는 방식을 사용하는 것이 일반적이다. 그런데, 눈깜빡임은 개인별로 매우 큰 편차를 가질 뿐만 아니라 측정된 신호의 특성에 따라서는 검출이 매우 어려운 경우가 존재한다. 한양대학교 계산신경공학연구실에서는 단일 뇌파 신호에 포함되어 있는 눈깜빡임에 의한 안구전도 신호를 매우 높은 정확도로 검출하는 알고리즘을 개발하였으며(Chang et al., Comput. Meth. Prog. Biomed., 2016), 최근에는 개인별 문턱치(threshold)를 설정할 필요 없이 자동적으로 눈깜빡임에 의한 신호를 검출하는 새로운 방법론을 개발하기도 했다 (Chang et al., Physiol. Meas., 2016).

 

   

(그림) 왼쪽 그림 - 실시간으로 눈깜빡임 신호를 높은 정확도로 검출할 수 있는 새로운 알고리즘 (그림을 클릭하면 동영상 플레이), 오른쪽 그림 - 개인별 문턱치 설정 필요 없는 새로운 눈깜빡임 검출 알고리즘 (그림을 클릭하면 동영상 플레이)

 

멀티모달 수동형 BCI를 위한 새로운 생체신호 처리 기술

호흡률(respiratory rate) 정보는 질환 진단이나 뉴로피드백을 위한 유용한 생체 정보로 활용된다. 호흡률을 측정하기 위해서는 주로 CO2의 분압 변화를 모니터링하거나 호흡 벨트를 착용하는 방식을 사용하는데, 두 방식 모두 웨어러블 시스템에는 적합하지 않다. 최근에는 웨어러블 형태로 간편하게 측정이 가능한 광용적맥파(photoplethysmography: PPG)로부터 호흡률을 추정해 낼 수 있는 방법들이 연구되고 있는데 Fusion이라고 불리는 방법이나 ALRE라고 불리는 방법 등이 대표적이다. 본 연구실에서는 최근 기존 방법들보다 더 빠른 추정 시간에, 더 정확하게 호흡률을 실시간 추정할 수 있는 새로운 방법(AIIRE)을 개발하는데 성공했다(Kim et al., Sensors, 2016). 이 방법은 뇌파를 이용한 수동형 BCI이 중요한 부가 정보를 제공할 수 있을 것으로 기대된다.

(그림) 실시간 호흡률 추정 시스템의 구성 (그림을 클릭하면 동영상 플레이)

 

수동형 BCI를 이용한 개인의 집중력과 감정 추적 기술

뇌 신호로부터 개인의 집중력과 감정을 추적하는 기술은 엔터테인먼트와 교육 분야에 적용 가능성이 매우 높은 기술이다. 본 연구실에서는 뇌파로부터 집중력 유지 능력(vigilance)을 읽어 내고 이를 이용한 인터랙티브한 교육에 적용하기 위한 기술을 연구하고 있다. 특히 ADHD 진단에 주로 활용되어 온 D2 테스트를 최초로 컴퓨터 기반 테스트로 변형한 다음, 시간에 따른 집중도 변화와 상관도가 높은 뇌 영역을 탐색하고, 이를 이용한 LORETA 뉴로피드백 시스템을 개발하는데 성공했다 (Kim et al., Brain Topogr., 2017). 다음 그림은 컴퓨터 기반 D2 테스트를 이용해서 얻은 시간에 따른 집중도 변화와 높은 상관도를 가지는 뇌 영역을 신호원 분석 기법을 이용해서 알아낸 결과를 보여준다.

 

(그림) 집중도 변화와 상관도가 높은 뇌 영역 탐색 결과 및 이를 이용한 LORETA 뉴로피드백 시스템

 

수동형 BCI의 응용 기술 - 뉴로엔터테인먼트와 뉴로에듀케이션

Under Construction - 곧 내용을 준비하겠습니다.

 

수동형 BCI의 개인차 극복 기술

Under Construction - 곧 내용을 준비하겠습니다.

 

 

 References

- Jung-Hoon Kim, Do-Won Kim, and Chang-Hwan Im, "Brain areas responsible for vigilance: An EEG source imaging study," Brain Topography, in press, 2017.

- Hodam Kim, Jeong-Youn Kim, and Chang-Hwan Im "Fast and Robust Real-time Estimation of Respiratory Rate from Photoplethysmography ," Sensors, vol. 16, Art.No. 1494, 2016.

- Chang-Hee Han, Jeong-Hwan Lim, Jun-Hak Lee, Kangsan kim, and Chang-Hwan Im "Data-driven user feedback: An improved neurofeedback strategy considering the inter-individual variability of EEG features," BioMed Research International, vol. 2016, Art.ID.3939815, 2016.

- Won-Du Chang, Jeong-Hwan Lim, and Chang-Hwan Im, "An unsupervised eye blink artifact detection method for real-time electroencephalogram processing"  Physiological Measurement, vol. 37, pp. 401-417, 2016.

- Won-Du Chang, Ho-Seung Cha, Kiwoong Kim, and Chang-Hwan Im, "Detection of Eye Blink Artifacts from Single Prefrontal Channel Electroencephalogram,"  Computer Methods and Programs in Biomedicine, vol. 124, pp. 19-30, 2016.

- Won-Du Chang and Chang-Hwan Im, "Enhanced Template Matching Using Dynamical Positional Warping for Identification of Specific Patterns in Electroencephalogram," Journal of Applied Mathematics, vol. 2014, art. ID. 528071, 2014.


Web Site Hit Counters visits since 05-19-2007 Webmaster E-mail: ich@hanyang.ac.kr
2011 (c) All rights are reserved. Computational NeuroEngineering Laboratory, Hanyang University