[보청기] 마스크를 통한 입술읽기(립리딩), 움직임을 식별하는 새로운 기술 개발

---

화자가 안면 마스크를 착용한 상태에서도 놀라운 정확도로 입술을 읽을 수 있는 새로운 시스템은 차세대 보청기를 만드는 데 도움이 될 수 있습니다. 연구를 자세히 설명하는 기사는 University of Glasgow 웹사이트에 게재되어 있습니다.

 

엔지니어와 컴퓨팅 과학자로 구성된 국제 팀은 무선 주파수 감지와 인공 지능을 처음으로 결합하여 입술 움직임을 식별하는 기술을 개발했습니다.

 

 

이 시스템은 기존 보청기 기술과 통합되면 기존 보청기의 일반적인 단점인 "칵테일 파티 효과"를 해결하는 데 도움이 될 수 있습니다. 현재 보청기는 주변의 모든 소리를 증폭하여 난청이 있는 사람들을 돕습니다. 이는 일상 생활의 여러 측면에서 도움이 될 수 있습니다. 그러나 칵테일 파티와 같은 시끄러운 상황에서는 보청기의 광범위한 증폭으로 인해 사용자가 특정 사람과의 대화와 같은 특정 소리에 집중하기 어려울 수 있습니다.

 

칵테일 파티 효과에 대한 한 가지 잠재적인 솔루션은 성능 향상을 위해 추가 데이터를 수집하기 위해 두 번째 장치와 기존 오디오 증폭을 결합하는 "스마트" 보청기를 만드는 것입니다.

 

다른 연구자들은 입술을 읽는데 도움을 주기 위해 카메라를 사용하는 데 성공했지만, 명시적인 동의 없이 사람들의 비디오 영상을 수집하는 것은 개인의 사생활에 대한 우려를 불러일으킵니다. 카메라는 또한 마스크를 통해 입술을 읽을 수 없으며, 문화적 또는 종교적 목적을 위해 얼굴 가리개를 착용하는 사람들의 일상적인 도전이자 COVID-19 시대에 더 광범위한 이슈입니다.

 

Nature Communications 저널에 게재된 새로운 논문에서 글래스고 대학이 이끄는 팀은 최첨단 센싱 기술을 사용하여 입술을 읽는 방법을 개략적으로 설명합니다. 이 시스템을 개발하기 위해 남녀 지원자들에게 마스크를 벗은 상태에서 5가지 모음(A, E, I, O, U)을 반복하도록 했습니다.

 

지원자들이 모음 소리를 반복하면서, 그들의 얼굴은 전용 레이더 센서와 와이파이 송신기로부터의 무선 주파수 신호를 사용하여 스캔되었습니다. 입술은 움직이지 않은 상태에서 얼굴도 스캔했습니다. 그런 다음, 스캔하는 동안 수집된 3,600개의 데이터 샘플을 사용하여 각 모음 소리와 관련된 특징적인 입술과 입의 움직임을 인식하는 방법을 머신러닝 및 딥 러닝 알고리즘에 '학습'시켰습니다.

 

무선 주파수 신호는 지원자의 마스크를 쉽게 통과할 수 있기 때문에 알고리즘은 마스크된 사용자의 모음 형성을 읽는 것도 학습할 수 있었습니다. 이 시스템은 대부분의 시간 동안 지원자들의 입술을 정확하게 읽을 수 있는 것으로 입증되었습니다. 와이파이 데이터는 마스크되지 않은 입술의 경우 최대 95%까지 학습 알고리즘에 의해 올바르게 해석되었고, 마스크된 입술의 경우 최대 80%까지 해석되었습니다. 한편, 레이더 데이터는 마스크를 착용하지 않은 경우 최대 91%, 마스크를 착용한 경우 83%까지 정확하게 해석되었습니다.

 

Glasgow 대학의 James Watt School of Engineering의 Qammer Abbasi 박사는 이 논문의 주 저자입니다. 그는 다음과 같이 말했습니다. “세계 인구의 약 5%인 약 4억 3천만 명이 일종의 청력 장애를 가지고 있습니다. 보청기는 많은 청각 장애가 있는 사람들에게 획기적인 이점을 제공했습니다. 광범위한 데이터를 수집하여 소리의 증폭을 강화하고 향상시키는 차세대 기술은 청각 장애인의 삶의 질을 향상시키는 또 다른 주요 단계가 될 수 있습니다"

 

“이 연구를 통해 우리는 무선 주파수 신호를 사용하여 입을 가리고 있는 경우에도 입술의 모음 소리를 정확하게 읽을 수 있음을 보여주었습니다. 레이더 신호를 사용한 입술 판독 결과가 약간 더 정확하지만 WiFi 신호도 인상적인 정확도를 보여주었습니다"

 

WiFi 기술의 보편성과 경제성을 고려할 때 결과는 매우 고무적이며, 이 기술이 독립형 기술과 미래의 다중 모드 보청기의 구성 요소로서 가치가 있음을 시사합니다.

 

 

글래스고 대학의 커뮤니케이션, 센싱 및 이미징 연구 그룹의 수장이자 이 논문의 공동 저자인 Muhammad Imran 교수는 다음과 같이 덧붙였습니다. "이 기술은 COG-MHEAR 및 QUEST라고 합니다. 두 가지 모두 차세대 의료 기기를 만드는 새로운 방법을 찾는 것을 목표로 하고 있으며 이 개발은 그 목표를 지원하는 데 중요한 역할을 할 것입니다.”
 
영국의 글래스고 대학교와 에든버러 네이피어 대학의 연구원들은 파키스탄의 라호르 공과대학과 중국의 난징의 남동대학 동료들과 함께 이 논문에 기고했습니다.

 

 

논문 원본 :  Hameed H, Usman M, Tahir A, et al. Pushing the limits of remote RF sensing by reading lips under the face mask. Nature Communications. 2022;13(1568):1-9.

 

출처 : University of Glasgow, Nature Communications

 

이편한보청기 청각센터

문의, 상담 (전화연결) 031-994-2544

 

---

 

 

[이편한보청기 일산청각센터 찾아오시는 길]

일산서구보청기, 고양시보청기, 화정보청기, 주엽동보청기, 백석동보청기

---

※ 방문예약을 남겨주신 분들께는 추가 할인혜택을 제공해드립니다.