빠른 메뉴


탑메뉴


Title


본문내용

Research Topics

Brain-Computer Interface: 뇌-컴퓨터 인터페이스 - 뇌로 컴퓨터(기계)를 조작한다

 

뇌-컴퓨터 인터페이스란

뇌-컴퓨터(또는 기계) 인터페이스(이후 BCI)는 뇌신경계로부터의 신호를 측정, 분석하여 컴퓨터 또는 외부기기를 제어하거나 사용자의 의사, 의도를 외부에 전달하기 위한 기술을 통칭한다. 특히 BCI는 근위축성측삭경화증(amyotrophic lateral sclerosis: ALS, 흔히 루게릭병으로 불림), 뇌줄기졸중(brainstem stroke), 척수 손상, 뇌성마비 등의, 선천적 혹은 후천적 요인들로 인하여 뇌와 근육 사이의 신경 연결성이 끊어진 환자들이 외부와 소통할 수 있는 인터페이스를 제공할 수 있다는 점에서 매우 큰 사회적, 경제적 파급효과를 창출할 것으로 기대되고 있다. 현재 미국에서만 200만명 이상의 신경계 손상 환자들이 보고되고 있으며 세계적으로는 훨씬 많은 숫자의 환자들이 BCI 기술의 보급을 고대하고 있다. 현재 전세계적으로 100여개 이상의 연구 그룹에서 BCI와 관련된 활발한 연구가 수행되고 있으며 최근 급속히 발전하고 있는 첨단 학문 분야이다. 본 연구실에서는 이미 BCI와 관련된 다수의 가시적인 성과물들을 대외적으로 발표하고 있으며 빠르게 세계적 연구실로 성장해 나가고 있다. 특히 본 연구실은 국내에서 유일하게 사지마비 환자를 대상으로 한 뇌-컴퓨터 인터페이스 시스템을 지속적으로 발표하고 있으며, 유수한 국제 저널에 논문을 게재하고 있다 (Hwang et al., Psychophysiol., 2017 등). 아래에 본 연구실에서 수행한 대표적인 연구 성과들을 나타내었다.

 

 

SSVEP를 이용한 정신적 타자기 (Mental Speller)

 본 연구실에서는 최근 정상상태시각유발전위(steady-state visual evoked potential: SSVEP)에 기반한 정신적 타자기(mental typewriter)를 개발하였으며 본 연구실의 알고리즘을 활용하여 분당 12타, 정확도 80-90 %에 이르는 놀라운 성능을 확인하였다 (Hwang et al., J. Neurosci. Meth., 2012). 다음의 그림은 실험 장면을 캡춰한 것으로 그림을 클릭하면 유투브에 게시된 동영상을 볼 수 있다. 이 타자기는 사지마비인 사용자가 타이핑을 하고자 하는 글자를 단순히 집중하여 응시함으로써 원하는 글자를 타이핑할 수 있게 하는 시스템으로서 모두 30개의 LED를 사용하여 제작하였고, LED의 최적 배치, 자간 간격, 자판과 사용자 간의 거리 등을 최적화하여 (아래 오른쪽 그림) 세계에서 가장 빠른 수준의 ITR(Information Trasnfer Rate)을 달성할 수 있었다. 또한 최근에는 타이핑의 정확도를 향상시키기 위하여 눈동자 움직임 정보를 동시에 활용하는 하이브리드 타입의 정신적 타자기를 개발하였다 (Lim et al., BSPC, 2015). 정신적 타자기는 퇴행성 신경질환 환자들이 질환의 후기에 도달하면 눈동자의 움직임이 어려워 안구마우스를 사용하지 못하는 경우가 많다는 점에서 안구마우스를 대체할 수 있는 새로운 의사소통 기술로 각광받을 것으로 기대된다.

SSVEP_BCI.jpg       

<동영상 - QWERTY 자판을 채용한 SSVEP 기반의 정신적 타자기 - 왼쪽 그림 클릭하면 동영상 플레이, 볼륨을 켜세요!!>

 

 


소리 자극에 대한 선택적 집중을 이용한 새로운 BCI 패러다임

 본 연구실에서는 최근 중증 ALS 환자나 completely locked-in states (CLIS) 환자의 경우에서와 같이 시각이 온전하지 못한 신경 손상 환자에게 적용하여 이진선택(binary decision) 기반의 교신이 가능한 세계 최초의 온라인 vision-free BCI 시스템을 제안하고 구현하였다. 2개의 스피커에서 생성되는 다른 beat frequency를 가지는 두 소리 자극 중 특정 소리 자극에 집중할 경우 발생하는 청각 정상 상태 반응(ASSR: Auditory Steady State Response)을 측정함으로써 피험자가 집중하고 있는 소리 자극을 검출하는 방식으로서 별도의 신호 전처리 과정이 없이도 평균 6 bit/min의 정보전달율(ITR)에 80% 이상의 분류 정확도를 나타내었다 (Kim et al., J. Neurosci. Meth., 2011).

      ASSRBCI.jpg

<동영상 - 세계 최초의 ASSR 기반의 vision-free BCI 시스템 - 오른쪽 그림 클릭하면 동영상 플레이, 볼륨을 켜세요!!>

 

 


P300 speller를 이용한 로봇팔 제어

 현재 본 연구실에서는 새로운 패러다임의 BCI 시스템 이외에도 기존 BCI 시스템 또는 패러다임을 구현하고 개선하는 연구를 지속적으로 수행하고 있으며 현재 다수의 아이디어들을 대상으로 지속적인 연구 활동을 진행하고 있다. 그 중, 최근 많이 연구되고 있는 P300은 사상관련전위(event-related potential: ERP)의 component 중 하나로서bci1.jpg 빈번히 발생하는 반복 자극 중 특이한 자극이 섞여서 제시될 때나 혹은 피험자가 특정 자극에 집중하고 있을 경우 그 자극이 제시될 때 자극 제시 이후 300 ms 부근에서 머리의 중앙 부위와 두정엽 부위 전극에서 측정되는 양의 값을 가진 전위를 의미한다. 오른쪽 그림은 본 연구실에서 수행한 P300 기반 BCI 테스트 실험 결과를 나타내는데 그림에서 보여진 방식이 현재 사용되고 있는 가장 전형적인 P300기반 BCI 패러다임이다. 그림 좌측 상단에 나타나 있는 알파벳 대문자 A~I로 구성된 3 by 3 형태의 배열은 BCI 사용자에게 보여지는 시각 자극으로서 가로행과 세로 열들은 랜덤하게 한번씩 순간적으로 나타났다가 사라지게 된다. 그림에 보여진 사례는 일종의 정신적 워드프로세서로서 사용자가 만약 ‘F’라는 문자를 타이핑하기를 원한다면 단순히 F라는 문자에 시선을 집중하기만 하면 된다. 이 경우, 'F'라는 문자가 포함된 행이나 열이 깜빡일 때, 이 문자가 포함되지 않은 행이나 열에 비해 더 큰 수준의 P300이 발생하게 되며 특정 문턱치 이상의 P300이 발생하는 행과 열이 교차하는 지점에 있는 문자를 최종적으로 화면 상에 타이핑하게 된다. 첨부된 동영상은 P300 기반의 speller 패러다임을 응용한 로봇팔 제어 동영상으로서 일본 RIKEN 연구진과 공동으로 구현에 성공하였다 (Hwang et al.).

p300robot.jpg

<동영상 - P300 기반 BCI를 이용한 로봇팔의 제어 - 그림 클릭하면 동영상 플레이, 시연자: 황한정(박사과정)>

 

 


뮤리듬 기반 BCI를 위한 운동심상 훈련 시스템

 BCI 시스템은 시스템의 사용자 개인이 시스템에 적응하기 위한 훈련 과정이 필요한데, 가장 널리 사용되고 있는 뮤(mu)-리듬 기반의 BCI 시스템을 구현할 때 활용되는 운동심상(Motor Imagery)은 일반인들 뿐만 아니라 장애인들의 경우에도 매우 체득하기 어려운 정신적 과제(mental task)이다. 계산신경공학 연구실에서는 BCI 연구에서 많이 사용되어 온 운동심상을 효율적으로 수행할 수 있도록 도와줌으로써 BCI 시스템의 효율을 향상시키는 <실시간 뇌활동 모니터링 시스템을 기반으로 한 운동심상 훈련 시스템>을 제안하여 구현하였다 (Hwang, Kwon, and Im, J. Neurosci. Meth., 2009 - pdf 1120k, supplementary movie file). 제안된 시스템은 자신의 뇌 활동, 특히 운동 영역의 활성도를 실시간으로 모니터링을 하면서 팔 혹은 다리를 움직이지 않으면서도 운동 영역을 활성화하는 것을 훈련하는 일종의 뉴로피드백(neurofeedback) 시스템이다. 운동심상 훈련의 효과를 보기 위한 실험 결과로부터 훈련의 결과로 왼손과 오른손의 운동심상에 있어서 차이가 유의미하게 많이 발생하는 시간-주파수 bin의 개수가 크게 증가한 것을 확인할 수 있었으며 (아래 오른쪽 그림) 훈련 전, 후의 왼손, 오른손의 운동심상 분류 정확도의 경우, 평균 58.8%에서 71.4%로 증가하는 것이 관찰되었다. 본 연구 결과를 토대로 실제 신경 재활에서 많이 사용되고 있는 운동심상의 효율적인 적용에 있어서도 도움을 줄 수 있을 것으로 기대된다. 

motorimagery2.jpg      

<동영상 - Motor Imagery Traning 시스템의 시연 동영상 - 왼쪽 그림 클릭하면 동영상 플레이>

 

 


뇌 지문(Brain-Fingerprinting): 공간-주파수 정보를 이용한 인간 의도 분류 시스템

 본 연구실에서는 뇌지문(brain fingerprinting)이라는 개념을 도입하여 측정 데이터의 공간-주파수 특성을 2차원적으로 표현하고 이를 기반으로 다양한 정신 활동들을 분류할 때의 분류 정확도를 획기적으로 향상시키는 새로운 방법을 제안하였다. 아래 그림은 4가지 다른 정신적인 과제들(한자 획 머리로 따라 쓰기, 혀의 운동심상, 애국가 속으로 따라 부르기, 두자리 숫자 암산으로 곱하기)에 대해서 서로 다른 시도들에 대한 뇌지문을 도시한 것으로서 각 정신 활동들에 대해서 일정한 패턴을 가지는 것을 확인할 수 있다. 이를 기반으로 패턴 인식 방법을 적용하여 4가지 의도들을 분류하였을 때, 기존에 가장 높은 정확도를 나타낸 방법과 비교하여 모든 피험자들에게서 크게 향상된 분류 정확도를 보임을 확인하였다 (아래 그림 참조, Hwang, et al., J. Biomed. Eng. Res., 2012). 이 결과는 피험자의 의도를 뇌파를 이용하여 매우 높은 정확도로 읽어낼 수 있다는 점에서 사지마비 환자들의 의사소통에서 뿐만 아니라 거짓말 탐지, 뉴로피드백 등 다양한 분야에서 유용하게 활용될 수 있을 것으로 기대된다. 최근에는 이 방식을 근적외선분광을 이용한 BCI에도 적용하여 큰 주목을 받고 있다 (Hwang et al., J. Biomed. Opt., 2014; 2016).

fingerprinting1.jpg

<뇌지문 개념을 이용한 인간 인지의 분류: (왼쪽) 4가지 mental task의 특징적인 2차원 패턴>

 


전극 위치 변화에 강건한 BCI 특징 추출

뇌파를 이용한 BCI를 사용하기 위해서는 전극을 매번 탈부착해야 하는데, 이 때, 부착할 때마다 조금씩의 부착 위치 오차가 발생하게 된다. 최근 계산신경공학 연구실에서는 전극의 미세한 위치 변화에 보다 강건한 특징 추출 방식을 탐색하기 위하여 총 9명의 피험자가 왼손-오른손 운동심상 과제를 수행할 때, 기준 3개의 전극 이외에 1 cm 떨어진 위치에 6개의 추가 전극을 부착하고, 기준 전극에서 측정된 뇌파 신호를 이용하여 만든 데이터베이스를 추가 전극 신호에 적용했을 때, 가장 변화에 강건하면서 높은 정확도를 보이는 특징을 추출하는 연구를 수행하였다 (Park et al., Med. Biol. Eng. Compt., 2013). 연구에 사용한 4가지 특징 추출 방식들 중에서 Cross-correlation coefficient(CCC)로부터 특징을 추출하는 방식이 가장 높은 정확도와 강건함을 나타내었으며, 본 연구 결과는 실용적인 BCI 시스템을 구현하기 위해서 사용될 수 있을 것으로 기대된다. 아래 그림은 뇌파 전극의 부착 위치 및 뇌파 전극 위치 변화에 따른 CCC의 값 변화를 나타낸다.

CCC_feature.jpg
<뇌파 전극의 부착 위치 및 뇌파 전극 위치 변화에 따른 CCC의 값 변화>

 


눈을 감은 상태에서의 환자의 이진 의도 분류

많은 수의 퇴행성 신경질환 환자들(특히 루게릭병 환자)은 증상이 심해짐에 따라 눈의 움직임이 어려워지는 경우가 많다. 이런 환자들은 눈동자를 자유롭게 움직일 수 없거나 장시간 눈을 뜬 상태에서 시각자극을 응시할 수 없거나, 심지어는 눈을 뜨고 감는 것이 어렵기 때문에 시각 자극을 이용하는 P300이나 SSVEP를 이용한 BCI 시스템을 사용하기 어렵다. 본 연구팀에서는 이러한 상태의 환자들이 눈을 감은 상태에서 눈꺼풀을 통해 눈에 들어오는 빛 자극을 선택적으로 주의집중하는 것을 검출하여 이진 의도 인식을 하는 시스템을 개발하였다 (Lim et al., Journal of Neural Engineering, 2013). 외부와의 의사소통이 단절된 환자들의 경우, 이진 의도 인식 만으로도 삶의 질을 크게 향상시킬 수 있다는 점에서 본 개발 결과가 다수 환자들에게 유용하게 활용될 것으로 기대된다. 아래 동영상은 정상인 및 환자에게 적용하는 실험 장면을 보여준다.

supplementary1.jpg supplementary2.jpg

<동영상 - 눈을 감은 상태에서의 환자의 이진 의도 분류 - 각 그림 클릭하면 동영상 플레이>

 

 


기타 관심 연구 주제 및 BCI의 미래

본 연구실에서는 상기의 연구 결과들 이외에도 보다 정확도가 향상된 특징 추출 기술, 새로운 시각, 청각자극 제시 방법, 인간 의도를 인지하고 이를 바탕으로 적절한 피드백을 부여하는 방법, 감정 상태를 인지하는 기술 등 다양한 세부 기술들을 연구하고 있을 뿐만 아니라 이를 실제 환자에게 적용하고 재활 등의 용도로 활용하기 위한 지속적인 시도를 하고 있다. 오른쪽의 그림은 본 연구실에서 최근 제안한 4개의 자극 주파수를 이용하여 10개의 서로 다른 시각 자극을 만들 수 있는 새로운 시각 자극 제시 방법의 결과 중 일부를 나타내고 있으며 (Hwang, et al., Brain Research, 2013), 현재의 SSVEP 기반 BCI 시스템의 경우, 컴퓨터 모니터를 사용할 때 사용할 수 있는 주파수에 제약이 따른다는 점을 감안할 때, 향후 다중 클래스의 BCI 시스템을 SSVEP를 활용하여 구현하는 데 있어 매우 큰 기여를 할 것으로 기대된다 (시연 동영상 - 링크). 뇌파는 의사소통 수단 이외에도 다양한 응용 분야에 적용이 가능한데 최근에는 과거의 단순한 뇌파 파형 분석 위주의 응용에서 벗어나 심리상태를 간접 측정하여 게임이나 엔터테인먼트에 활용한다거나 신경정신질환을 자가 진단하고, 사용자 스스로가 뇌파의 상태를 파악한 다음 자신이 필요로하는 상태로 조절하는 휴대용 시스템들도 개발되고 있다. 이러한 응용 분야를 최근 뉴로툴(Neuro-Tool)이라는 용어로 부르며 휴대용, 보급형 시스템을 통해 정신 건강을 증진하고, 교육 및 엔터테인먼트, 뉴로마케팅 등에 활용하고자 하는 사회적 관심이 크게 증대되고 있다. 본 연구실에서도 BCI 관련 원천 기술들을 바탕으로 하여 새로운 뉴로툴의 개발을 위한 연구를 지속적으로 수행할 계획이다.

 

 

References

- Han-Jeong Hwang, Chang-Hee Han, Jeong-Hwan Lim, Yong-Wook Kim, Soo-In Choi, Kwang-Ok An, Jun-Hak Lee, Ho-Seung Cha, Seung Hyun Kim, and Chang-Hwan Im, "Clinical Feasibility of Brain-Computer Interface Based on Steady-State Visual Evoked Potential in Patients with Locked-in Syndrome: Case Studies," Psychophysiology, in press., 2017.

- Han-Jeong Hwang, Han Choi, Jeong-Youn Kim, Won-Du Chang, Do-Won Kim, Kiwoong Kim, Sungho Jo, and Chang-Hwan Im, "Toward More Intuitive Brain-Computer Interfacing: Classification of Binary Covert Intentions Using Functional Near-Infrared Spectroscopy," Journal of Biomedical Optics, vol. 21, no. 9, Art.No. 091303, 2016.

- Jeong-Hwan Lim, Jun-Hak Lee, Han-Jeong Hwang, Dong Hwan Kim, and Chang-Hwan Im, "Development of a hybrid mental spelling system combining SSVEP-based brain-computer interface and webcam-based eyetracking," Biomedical Signal Processing & Control, vol. 21, pp. 99-104, 2015.

- Han-Jeong Hwang, Jeong-Hwan Lim, Do-Won Kim, and Chang-Hwan Im, "Evaluation of Various Mental Task Combinations for Near-Infrared Spectroscopy-based Brain-Computer Interfaces," Journal of Biomedical Optics, vol. 19, no. 7, art. ID. 077005, 2014.

- Chang-Hee Han, Han-Jeong Hwang, and Chang-Hwan Im, "Classification of visual stimuli with different spatial patterns for single-frequency, multi-class SSVEP BCI," Electronics Letters, vol. 49, no. 22, pp. 1374-1376, 2013.

- Han-Jeong Hwang, Soyoun Kim, Soobeom Choi, and Chang-Hwan Im, "EEG-based Brain-Computer Interfaces (BCIs): A Thorough Literature Survey," International Journal of Human-Computer Interaction, vol. 29, pp. 814-826, 2013.

- Sun-Ae Park, Han-Jeong Hwang, Jeong-Hwan Lim, Jong-Ho Choi, Hyun-Kyo Jung, and Chang-Hwan Im, "Evaluation of feature extraction methods for EEG-based brain-computer interfaces in terms of robustness to slight changes in electrode locations,"  Medical & Biological Engineering & Computing, vol. 51, pp. 571-579, 2013.

- Jeong-Hwan Lim, Han-Jeong Hwang, Chang-Hee Han, Ki-Young Jung, and Chang-Hwan Im, "Classification of binary intentions for individuals with impaired oculomotor function: "Eyes-closed" SSVEP-based brain-computer interface (BCI),"  Journal of Neural Engineering, vol. 10, no. 2, Art.no. 026021, 2013.

- Han-Jeong Hwang, Jeong-Hwan Lim, Young-Jin Jung, Han Choi, Sang Woo Lee, and Chang-Hwan Im, "Development of an SSVEP-based BCI Spelling System Adopting a QWERTY-Style LED Keyboard," Journal of Neuroscience Methods, vol. 208, pp. 59-65, 2012.

- Do-Won Kim, Han-Jeong Hwang, Jeong-Hwan Lim, Yong-Ho Lee, Ki-Young Jung, and Chang-Hwan Im, "Classification of Selective Attention to Auditory Stimuli: Toward Vision-free Brain-Computer Interfacing," Journal of Neuroscience Methods, vol. 197, pp. 180-185, 2011.

- Han-Jeong Hwang, Kiwoon Kwon, and Chang-Hwan Im, "Neurofeedback-Based Motor Imagery Training for Brain-Computer Interface (BCI)," Journal of Neuroscience Methods, vol. 179, no. 1, pp. 150-156, 2009.

 


Web Site Hit Counters visits since 05-19-2007 Webmaster E-mail: ich@hanyang.ac.kr
2011 (c) All rights are reserved. Computational NeuroEngineering Laboratory, Hanyang University