생체신호 기반 인간-컴퓨터 인터페이스

본 연구실에서는 연구실의 주요 연구 주제인 뇌-컴퓨터 인터페이스(BCI) 뿐만 아니라 뇌파 이외의 다양한 생체신호들을 이용하여 인간과 컴퓨터(또는 기계)가 소통할 수 있는 새로운 인터페이스(Neo-Interface) 시스템들을 개발하고 있다. 이 기술들은 장애인의 의사소통을 보조하는 보조기술(assistive technology)로 활용될 수 있을 뿐만 아니라 가상현실(VR), 증강현실(AR) 시대에 새로운 입력 디바이스로서 활용될 가능성을 보여주고 있다. 한 편, 본 연구실에서는 생체신호를 이용한 인간-컴퓨터 인터렉션의 응용 분야로서 뉴로마케팅(Neuromarketing) 분야도 연구하고 있는데, 주로 기업들과의 협업을 통해 뇌파를 비롯한 다양한 생체신호가 제품의 디자인, 상품이나 기업의 로고 디자인 등에 실질적으로 활용될 수 있도록 다양한 기술을 연구 개발하고 있다. 아래에 본 연구실의 연구 결과들을 일부 나열하였다.

안구전도(EOG)를 이용한 안구 마우스 및 문자 인식 시스템

안구의 전면은 양의 포텐셜을, 후면은 음의 포텐셜을 가지고 있어서 눈동자가 움직이면 눈 주변부위에 부착된 전극에 전위 변화가 측정된다. 이러한 원리를 이용해서 한양대 계산신경공학연구실에서는 카메라를 사용하지 않고도 눈동자의 움직임을 추적할 수 있는 안구마우스를 최초로 개발하였다. 기존의 안구마우스는 위-아래-좌-우 정도의 이산(discrete) 정보만을 추출하는데 그쳤으나, 새롭게 개발한 안구마우스는 연속적인 눈동자의 움직임을 추적하고, 눈동자 움직임으로 문자를 쓰도록 하여, 사용자가 어떤 문자를 눈으로 썼는지를 인식하는 새로운 방식을 고안하였다 (Lee et al., IEEE TNSRE, 2017). 본 연구실에서는 안구마우스 개발 과정에 가로방향 및 세로방향 안구전도 성분 사이의 간섭을 제거하기 위한 새로운 방법을 제안(Chang et al., Sensors, 2016)하고 눈깜빡임을 자동으로 인식하는 새로운 방법을 개발(Chang et al., Physiol. Meas., 2016)하는 등 여러 가지 새로운 방법들을 개발하여 반영하였다. 개발된 안구마우스는 현재 사지마비 장애인을 대상으로 적용하여 우수한 결과를 도출하였으며 VR, AR 시스템과의 접목을 위한 기초 연구를 진행하고 있다.

안구전도(EOG) 신호를 이용한 사지마비 장애인의 의사전달 시스템

본 연구실은 안구전도 신호 분석 원천 기술을 바탕으로 하여 사지마비 장애인의 의사전달을 위한 새로운 시스템을 다수 개발하여 국제 저명 학술지에 다수 논문을 게재하였다. 우선 안구 마우스 기술을 바탕으로 한 눈으로 그린 패턴 인식 기술을 이용하여 안구 운동 기능이 일부 소실된 루게릭병에 걸린 환자가 90% 이상의 정확도로 10가지 의사를 표현하는 시스템을 구현하는 데 성공하였다(Chang et al., J. Neuroeng. Rehabil., 2017). 아래 왼쪽 그림은 이 연구에서 새롭게 개발한 눈 글 패턴 보정 알고리즘을 보여주고 있다. 또한 본 연구실에서는 서로 다른 방향으로 회전하는 두 개의 소리 자극 중에서 특정 소리 자극에 집중할 경우 특정한 위상을 가지는 안구전도 신호가 측정된다는 점에 착안하여 소리 자극에 대한 반응을 안구전도로부터 측정하여 사지마비 장애인의 이진 의사 전달에 활용하는 새로운 방법론을 제안하였다(Kim et al., Sci. Rep., 2018). 아래 오른쪽 그림은 제안된 방법의 개념을 나타내고 있으며, 이 방법을 중증 루게릭 환자에게 적용한 결과 90% 이상의 높은 정확도를 얻을 수 있었다.

<안구전도를 이용한 중증 사지마비 장애인의 의사 전달을 위한 새로운 보조 의사소통 시스템 사례: Chang et al., 2017 & Kim et al., 2018>

안면부 근전도 신호를 이용한 AI 기반 Slient Speech Recognition

공공장소에서 사적인 대화를 나눌 때, 목소리가 들리지 않으면서 내 의사를 상대방에게 전달하면 좋겠다는 생각을 한 번 쯤은 한 적이 있었을 것이다. 한양대 계산신경공학연구실에서는 얼굴에 부착한 근전도(EMG - 근육의 움직임이 만들어 내는 전기신호) 신호를 측정하여 사용자의 입모양과 단어를 실시간으로 인식하는 시스템을 구현하였다. 이 시스템에서는 7개 단어 또는 입모양을 90%에 달하는 높은 정확도로 실시간 분류하는데 성공하였으며(아래 왼쪽 동영상)(Cha et al., 2016), 이 시스템을 발전시켜서 VR 환경에서 입모양만으로 사용자의 의도를 인식하는 시스템을 (주)삼성전자와 함께 개발하였다 (아래 오른쪽 동영상) (YouTube Link) 최근에는 VR환경에서 측정한 안면부 근전도 신호에 LSTM 등 딥러닝 기술을 적용하여 적은 수의 트레이닝 데이터 만으로 높은 분류 정확도를 얻을 수 있는 기술을 개발하여 대한의용생체공학회 2019년 추계학술대회에서 최우수논문상을 수상하기도 하였다(차호승, 임창환, "VR 환경에서의 핸즈프리 인터랙션을 위한 눈 주위에서 측정된 안면부 근전도를 활용한 딥러닝 기반 무성 언어 인식 기술 개발")

VR 환경에서 근전도 신호를 이용한 사용자의 표정 인식

가상현실과 실제 세계 사이의 경계가 허물어진 미래 세상을 보여주는 영화 <레디 플레이어 원(Ready Player One)>을 보면 VR 사용자의 표정이 가상현실 속의 아바타 표정에 그대로 반영되는 설정이 등장한다. 이처럼 보다 실제적인 VR 환경 구현을 위해서는 VR 환경 내에서 사용자의 표정을 인식하여 표현하는 것이 매우 중요한 기술인데, 현재까지는 주로 얼굴 앞에 위치한 카메라를 이용하는 것이 보통이었다. 본 연구실에서는 VR에 사용하는 헤드마운트 디스플레이(HMD)가 눈 주위 부분과 닿는 부분이 있다는 점에 착안하여 눈 주위에서 측정되는 근전도(EMG) 신호를 이용한 표정인식 시스템을 구현하였다. 사용 전 4-5회의 트레이닝 과정을 거쳐야 하는 기존 시스템과 달리 본 연구실에서 개발한 시스템은 단 1회의 표정 등록만으로도 90% 이상의 높은 정확도로 10개 내외의 서로다른 표정을 인식하고 이를 아바타의 표정에 반영하는 기술을 개발하였으며, 궁극적으로는 딥러닝(deep learning) 기술을 적용하여 보다 자연스러운 사용자의 얼굴 표정을 근전도만으로 추정하고 사용자에 독립적인 표정 인식 시스템을 구현하는 것을 목표로 연구를 진행하고 있다. 본 연구는 삼성미래기술육성재단의 지원을 통해 진행되고 있으며 아래 동영상은 2018년 12월 현재까지 구현된 시스템의 시연 장면을 보여주고 있다.

아래 링크된 동영상은 현재 진행 중인 연구의 중간 결과물로서 딥러닝을 이용하여 자연스러운 얼굴 표정 변화를 연속적으로 인식할 수 있게 한 결과물이다. 왼쪽에 있는 아바타 얼굴 표정은 카메라를 이용하여 표정 변화를 감지한 것이며 오른쪽에 있는 아바타 얼굴 표정은 안면부 근전도 신호를 이용하여 표정 변화를 연속적으로 추정한 결과이다. 향후 인식 정확도와 사용성을 높이기 위한 연구를 지속적으로 진행할 예정이다.

인간-컴퓨터 인터렉션 기반 뉴로마케팅

한양대학교 계산신경공학연구실에서는 다수의 기업들과의 협업을 통해 뉴로마케팅 연구를 수행하고 있다. 뉴로마케팅(neuromarketing)이란 마케팅과 관련된 자극에 대한 뇌의 반응을 연구하는 학문으로서 실제 기업에서의 제품 디자인이나 마케팅 과정에 실질적으로 활용될 수 있다. 랩에서 수행한 대표적인 뉴로마케팅 연구로는 (주)LG 전자와 수행한 "정량적 뇌파 분석을 통한 시각 피드백의 시간 지연 차이에 따른 뇌 신경 반응 연구"와 (주)바디프렌드와 수행한 "안마 전-후의 뇌상태 변화 모니터링 기술 개발", (주)아모레퍼시픽과 수행한 "뇌파를 이용한 뉴로마케팅 응용 기술 연구"등이 있다(아래 오른쪽 그림). 연구 결과는 모두 제품의 개발 과정 및 마케팅에서 중요한 정보로 활용되었다. 회사와의 협업 연구와는 별개로 생체신호, 뇌파, 근적외선분광 등의 신호 분석을 기반으로 제품에 대한 선호도를 측정하는 연구(Kim et al., JNIRS, 2016; 아래 왼쪽 그림)나 소비자의 의사결정 과정에서의 뇌파 및 생체신호 변화 추적(Kim et al., submitted) 등과 같은 보다 기초적인 신경과학 레벨의 뉴로마케팅 주제들에 대해서도 연구를 수행하고 있다.

신경과학 기법을 이용한  영화 및 문화콘텐츠 연구 - 뉴로시네마틱스(Neurocinematics)

본 연구실에서는 뉴로마케팅의 한 분야인 뉴로시네마틱스(Neurocinematics) 연구도 수행하고 있는데, 이 연구의 목적은 영화 자극에 대한 뇌 반응을 살펴봄으로써 궁극적으로는 영화를 객관적으로 평가할 수 있는 새로운 척도를 개발하는 것이다(Cha et al., BCI, 2015; Shin et al., PLoS ONE, 2015). 아래 왼쪽 그림은 영화('추격자')를 시청하는 동안 남녀에게서 측정된 생체신호의 시간에 따른 변화를 나타내고 있으며 오른쪽 그림은 감정을 유발하는 동영상을 시청하는 동안 다수의 시청자에게서 측정된 뇌파의 전역 동기화 지표의 변화를 추적한 결과를 나타내고 있다 (Han et al., Front. Hum. Neurosci., 2017). 이러한 지표를 활용하면 영화 및 문화콘텐츠의 효과적인 감정 유발 여부를 보다 객관적으로 평가할 수 있어 영화의 편집 과정이나 CF, 영화 예고편 등의 제작에 큰 도움이 될 수 있다. 본 연구실에서는 이 외에도 뇌파 및 다양한 생체신호를 이용하여 사용자의 감정 변화를 추적하는 새로운 기술을 개발하기 위해 다양한 영상 자극을 활용하고 있다.

References

- Do Yeon Kim, Chang-Hee Han, and Chang-Hwan Im, "Development of an electrooculogram-based human-computer interface using involuntary eye movement by spatially rotating sound for communication of locked-in patients," Scientific Reports, vol. 8, Art.No. 9505, 2018.

- Hodam Kim, Jihyeon Ha, Won-Du Chang, Wanjoo Park, Laehyun Kim, and Chang-Hwan Im, "Detection of Craving for Gaming in Adolescents with Internet Gaming Disorder Using Multimodal Biosignals,"Sensors, vol. 18, Art.No. 102, 2018.

- Chang-Hee Han, Jun-Hak Lee, Jeong-Hwan Lim, Yong-Wook Kim, and Chang-Hwan Im, "Global electroencephalography synchronization as a new indicator for tracking emotional changes of a group of individuals during video watching," Frontiers in Human Neuroscience, vol. 11, Art.No. 577, 2017.

- Won-Du Chang, Ho-Seung Cha, Do Yeon Kim, Seung Hyun Kim, and Chang-Hwan Im, "Development of an electrooculogram-based eye-computer interface for communication of individuals with amyotrophic lateral sclerosis," Journal of Neuroengineering and Rehabilitation, vol. 14, Art.No. 89, 2017.

- Kwang-Ryeol Lee, Won-Du Chang, Sungkean Kim, and Chang-Hwan Im, "Real-time "Eye-Writing" Recognition Using Electrooculogram," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 25, no. 1, pp. 37-48, 2017.

- Do-Won Kim, Dae-Woon Lee, Jurgen Schreiber, Chang-Hwan Im, and Han Sung Kim, "Integrative evaluation of automated massage combined with thermotherapy: Physical, physiological, and psychological viewpoints," BioMed Research International, vol. 2016, Art.ID.2826905, 2016.

- Hodam Kim, Jeong-Youn Kim, and Chang-Hwan Im "Fast and Robust Real-time Estimation of Respiratory Rate from Photoplethysmography ," Sensors, vol. 16, Art.No. 1494, 2016.

- Ho-Seung Cha, Won-Du Chang, and Chang-Hwan Im, "A real-time lip gesture recognition system using facial EMG," proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (IEEE EMBC), Orlando, US, August, 2016.

- Jeong-Youn Kim, Kun-Il Kim, Chang-Hee Han, Jeong-Hwan Lim, and Chang-Hwan Im "Estimating Consumer’s Subjective Preference Using Functional Near-infrared Spectroscopy: A Feasibility Study ," Journal of Near Infrared Spectroscopy, in press, 2016.

- Won-Du Chang, Ho-Seung Cha, and Chang-Hwan Im, "Removing Interdependency between Horizontal and Vertical Eye-Movement Components in Electrooculograms" Sensors, vol. 16, no. 2, Art.No. 227, 2016.

- Won-Du Chang, Jeong-Hwan Lim, and Chang-Hwan Im, "An unsupervised eye blink artifact detection method for real-time electroencephalogram processing"  Physiological Measurement, vol. 37, pp. 401-417, 2016.

- Ho-Seung Cha, Won-Du Chang, Young Seok Shin, Dong Pyo Jang, and Chang-Hwan Im, "EEG-based neurocinematics: challenges and prospects," Brain-Computer Interfaces, vol. 2, no. 4, pp. 186-192, 2015.

- Young Seok Shin, Won-Du Chang, Jinsick Park, Chang-Hwan Im, Sang In Lee, In Young Kim, Dong Pyo Jang, "Correlation between Inter Blink Interval and Episodic Encoding during Movie Watching," PLoS ONE, vol. 10, no. 11, Art.ID. e0141242, 2015.