Eye Typing

농아나 뇌성마비환자와 같은 장애우를 위해 의사소통 보조기구를 개발해보자는 목적에서 이 프로젝트는 시작되었습니다. 언어구사에 어려움이 있는 장애우들은 수화를 많이 이용하는데, 수화가 사투리처럼 지역마다 조금씩 다르고 심지어 다른나라의 수화와는 아예 뜻이 통하지 않는 경우도 있습니다. 또한 수화로 표현할 수 있는 문장에는 한계가 존재하여 구체적이고 복잡한 의사를 나타내기에는 부적합합니다. 뿐만 아니라 자유로운 손의 움직임에 제약이 있는 장애우들은 수화를 사용하기 어렵습니다. 그래서 이러한 사람들을 위해서 눈의 움직임만으로 의사소통을 할 수 있게끔 하고자 하였습니다. Eye-typing이라고 불리는 이 연구분야에서는 기존에 외부 모니터와 외부 카메라를 이용하여 사용자의 시선을 추적함으로써 문장을 입력할 수 있도록 연구가 진행되었습니다. 외부모니터와 외부카메라가 필요하기 때문에 실생활을 하면서 동시에 이용하기에는 부적합하여 실제로 현실성이 떨어졌습니다. 그래서 본 연구실에서는 최근에 VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality)로 잘 알려진 HMD(Head Mounted Display)를 이용하여 Eye-typing을 구현하기로 연구계획을 수립하였습니다.

주요 연구내용은 다음과 같습니다.

  • HMD환경에서 사용자의 시선 추적
  • 사용자의 시선을 입력받아 빠르고 정확하게 타이핑이 가능한 알고리즘 개발
  • 언어학적 데이터를 기반으로 머신러닝을 이용하여 사용자의 의도를 반영함으로써 문장 정확도 개선
  • 실생활에 이용가능하도록 사용자 친화 UI개발

 

 

 


Seongje Jang

Email : tjdwp90 at snu dot ac dot kr

Office : +82-2-880-7447