생체신호 기반 인간-컴퓨터 인터렉션

본 연구실에서는 연구실의 주요 연구 주제인 뇌-컴퓨터 인터페이스(BCI) 뿐만 아니라 뇌파 이외의 다양한 생체신호들을 이용하여 인간과 컴퓨터(또는 기계)가 소통할 수 있는 새로운 인터페이스 시스템들을 개발하고 있다. 이 기술들은 장애인의 의사소통을 보조하는 보조기술(assistive technology)로 활용될 수 있을 뿐만 아니라 가상현실(VR), 증강현실(AR) 시대에 새로운 입력 디바이스로서 활용될 가능성을 보여주고 있다. 한 편, 본 연구실에서는 생체신호를 이용한 인간-컴퓨터 인터렉션의 응용 분야로서 뉴로마케팅(Neuromarketing) 분야도 연구하고 있는데, 주로 기업들과의 협업을 통해 뇌파를 비롯한 다양한 생체신호가 제품의 디자인, 상품이나 기업의 로고 디자인 등에 실질적으로 활용될 수 있도록 다양한 기술을 연구 개발하고 있다. 아래에 본 연구실의 대표적인 연구 성과들을 나열하였다.

안구전도를 이용한 안구 마우스 및 문자 인식 시스템

안구의 전면은 양의 포텐셜을, 후면은 음의 포텐셜을 가지고 있어서 눈동자가 움직이면 눈 주변부위에 부착된 전극에 전위 변화가 측정된다. 이러한 원리를 이용해서 한양대 계산신경공학연구실에서는 카메라를 사용하지 않고도 눈동자의 움직임을 추적할 수 있는 안구마우스를 세계 최초로 개발하였다. 기존의 안구마우스는 위-아래-좌-우 정도의 이산(discrete) 정보만을 추출하는데 그쳤으나, 새롭게 개발한 안구마우스는 연속적인 눈동자의 움직임을 추적하고, 눈동자 움직임으로 문자를 쓰도록 하여, 사용자가 어떤 문자를 눈으로 썼는지를 인식하는 새로운 방식을 고안하였다 (Lee et al., IEEE TNSRE, 2016). 본 연구실에서는 안구마우스 개발 과정에 가로방향 및 세로방향 안구전도 성분 사이의 간섭을 제거하기 위한 새로운 방법을 제안(Chang et al., Sensors, 2016)하고 눈깜빡임을 자동으로 인식하는 새로운 방법을 개발(Chang et al., Physiol. Meas., 2016)하는 등 여러 가지 방법들을 개발하여 반영하였다. 개발된 안구마우스는 현재 사지마비 장애인을 대상으로 적용하여 우수한 결과를 도출하였으며 VR, AR 시스템과의 접목을 위한 기초 연구를 진행하고 있다.

안면부 근전도 신호를 이용한 Slient Speech Recognition

공공장소에서 사적인 대화를 나눌 때, 목소리가 들리지 않으면서 내 의사를 상대방에게 전달하면 좋겠다는 생각을 한 번 쯤은 한 적이 있었을 것이다. 계산신경공학연구실에서는 얼굴에 부착한 근전도(EMG - 근육의 움직임이 만들어 내는 전기신호) 신호를 측정하여 사용자의 입모양과 단어를 실시간으로 인식하는 시스템을 구현하고 있다. 현재 7개 단어 또는 입모양을 90%에 달하는 높은 정확도로 실시간 분류하는데 성공하고 있으며 (Cha et al., 2016), 이 시스템을 발전시켜서 VR 환경에서 사용자 아바타의 표정이나 입모양을 조절하거나 전시 군사 작전에서 조용하게 의사소통을 가능하게 하는 등의 다양한 HCI 응용 분야에 활용하고자 연구를 진행하고 있다.

인간-컴퓨터 인터렉션 기반 뉴로마케팅

한양대학교 계산신경공학연구실에서는 다수의 기업들과의 협업을 통해 뉴로마케팅 연구를 수행하고 있다. 뉴로마케팅(neuromarketing)이란 마케팅과 관련된 자극에 대한 뇌의 반응을 연구하는 학문으로서 실제 기업에서의 제품 디자인이나 마케팅 과정에 실질적으로 활용될 수 있다. 랩에서 수행한 대표적인 뉴로마케팅 연구로는 (주)LG 전자와 수행한 "정량적 뇌파 분석을 통한 시각 피드백의 시간 지연 차이에 따른 뇌 신경 반응 연구"와 (주)바디프렌드와 수행한 "안마 전-후의 뇌상태 변화 모니터링 기술 개발" 등이 있다. 연구 결과는 모두 제품의 개발 과정에서 중요한 정보로 활용되었다. 회사와의 협업 연구와는 별개로 생체신호, 뇌파, 근적외선분광 등의 신호 분석을 기반으로 제품에 대한 선호도를 측정하는 연구(Kim et al., JNIRS, 2016)나 소비자의 의사결정 과정에서의 뇌파 및 생체신호 변화 추적(Kim et al., in prep.) 등과 같은 신경과학적 연구 주제들에 대해서도 깊이 있는 연구를 수행하고 있다. 또한 뉴로마케팅의 한 분야인 뉴로시네마틱스(Neurocinematics) 연구도 수행하고 있는데, 이 연구의 목적은 영화 자극에 대한 뇌 반응을 살펴봄으로써 영화를 객관적으로 평가할 수 있는 새로운 척도를 개발하는 것이다 (Cha et al., BCI, 2015; Shin et al., PLoS ONE, 2015).

References

- Ho-Seung Cha, Won-Du Chang, and Chang-Hwan Im, "A real-time lip gesture recognition system using facial EMG," proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (IEEE EMBC), Orlando, US, August, 2016.

- Jeong-Youn Kim, Kun-Il Kim, Chang-Hee Han, Jeong-Hwan Lim, and Chang-Hwan Im "Estimating Consumer’s Subjective Preference Using Functional Near-infrared Spectroscopy: A Feasibility Study ," Journal of Near Infrared Spectroscopy, in press, 2016.

- Kwang-Ryeol Lee, Won-Du Chang, Sungkean Kim, and Chang-Hwan Im, "Real-time 'eye-writing' recognition using electrooculogram (EOG)," IEEE Transactions on Neural Systems and Rehabilitation Engineering, in press, 2016.

- Won-Du Chang, Ho-Seung Cha, and Chang-Hwan Im, "Removing Interdependency between Horizontal and Vertical Eye-Movement Components in Electrooculograms" Sensors, vol. 16, no. 2, Art.No. 227, 2016.

- Won-Du Chang, Jeong-Hwan Lim, and Chang-Hwan Im, "An unsupervised eye blink artifact detection method for real-time electroencephalogram processing"  Physiological Measurement, vol. 37, pp. 401-417, 2016.

- Ho-Seung Cha, Won-Du Chang, Young Seok Shin, Dong Pyo Jang, and Chang-Hwan Im, "EEG-based neurocinematics: challenges and prospects," Brain-Computer Interfaces, vol. 2, no. 4, pp. 186-192, 2015.

- Young Seok Shin, Won-Du Chang, Jinsick Park, Chang-Hwan Im, Sang In Lee, In Young Kim, Dong Pyo Jang, "Correlation between Inter Blink Interval and Episodic Encoding during Movie Watching," PLoS ONE, vol. 10, no. 11, Art.ID. e0141242, 2015.