수화를 음성으로 실시간 변환하는 웨어러블 기술 장갑을 개발한 연구원들

LOS ANGELES, CALIFORNIA -  미, UCLA 바이오 엔지니어는 스마트 폰 앱을 통해 미국 수화를 영어로 실시간 번역 할 수있는 장갑과 같은 장치를 설계했습니다. 그들의 연구는 Nature Electronics 저널에 실렸습니다.

 

"우리의 희망은 수화를 사용하는 사람들이 다른 사람의 번역을 필요로 하지 않고 서명을 하지 않는 사람들과 직접 의사 소통할 수 있는 쉬운 방법을 열어 주는 것입니다." 라고 UCLA 사무엘리 엔지니어링 학교의 생명 공학 조교수이자 연구 책임 연구원인 Jun Chen은 말했습니다. "게다가, 우리는 이것이 더 많은 사람들이 수화를 스스로 배우는 것을 도울 수 있기를 바랍니다."

 

이 시스템은 다섯개의 손가락 길이를 각각 얇고 고정 가능한 센서가 장착된 장갑 한쌍을 포함하고 있습니다. 전기적으로 전도성이 있는 실로 만들어진 이 센서들은 손의 움직임과 개별 문자, 숫자, 단어, 구를 나타내는 손가락 위치를 잡습니다.

 

그런 다음 이 장치는 손가락 움직임을 전기 신호로 변환하여 손목에 착용한 달러-코인 크기의 회로판으로 전송합니다.다보드는 이러한 신호를 초당 약 한 단어의 속도로 음성 단어를  변환하여 스마트 폰에 무선으로 전송합니다.

 

연구원들은 또한 미국 수화의 일부인 얼굴 표정을 포착하기 위해 눈썹 사이와 입 한쪽 면에 부착된 접착 센서를 테스터의 얼굴에 추가했습니다.

이전에 미국 수화를 번역할 수 있었던 착용 가능한 시스템은 부피가 크고, 무거운 장치 디자인으로 인해 제한되거나 착용하기 불편했다고 Chen은 말했습니다.

 

UCLA 팀이 개발 한이 장치는 가볍고 저렴하지만 오래 지속되고 신축성이 있는 폴리머로 만들어졌습니다. 전자 센서는 또한 매우 유연하고 저렴합니다.

이 장치를 테스트 할 때 연구원들은 청각 장애인이며 미국 수화를 사용하는 4명을 연구했습니다. 착용자는 각각의 손 동작을 15번 반복했습니다. 맞춤형 기계 학습 알고리즘은 이러한 제스처를 문자, 숫자 및 단어로 변환했습니다.

 

시스템은 각 알파벳 문자와 숫자 0~9를 포함하여 660개의 기호를 인식했습니다.

 

Chen 이외에 이 연구의 UCLA 저자는 공동 저자 Zhihao Zhao, Kyle Chen, Songlin Zhang, Yihao Zhou 및 Weili Deng입니다. 모두  UCLA에 있는 Chen의 Wearable Bioelectronics Research Group(웨어러블 생명공학 연구 그룹) 회원입니다. 또 다른 해당 저자는 중국 충칭 대학교의 Jin Yang입니다.

 

UCLA는이 기술에 대한 특허를 출원했으며,. Chen은이 기술을 기반으로 하는 상용 모델에는 추가 어휘와 더 빠른 번역 시간이 필요할 것이라고 말했습니다.

 

출처 : UCLA, 이미지 제공 Jun Caen lab / UCLA

 

---

 

이편한보청기 청각센터 031-994-2544