청력 향상을 위한 증강 현실 글라스(Reality Glasses)에 투자하는 페이스북(Facebook)

Facebook Reality Labs Research의 오디오 팀은 미래의 AR Glasse를 사용하여 시끄러운 환경에서 더 잘 들을 수 있도록 하는 새로운 기술을 개발하고 있습니다.다시 말해, 증강 현실(AR)과 가상현실(VR)의 미래를 구축하고 있으며, FRL Research는 연구 과학자, 엔지니어, 디자이너 등으로 구성된 고도로 학제적인 오디오 팀을 모아 급진적인 오디오 혁신을 통해 인간 커뮤니케이션을 개선하기 위해 노력하고 있습니다. 

 

팀의 업무는 두가지로 요약됩니다. 지각적으로 현실과 구분할 수 없는 가상의 소리를 만들고 인간의 청력을 재정의하는 것입니다. 이를 위해, 팀은 두 가지 새로운 기능을 제공하는 데 초점을 맞추고 있습니다.

 

첫째, 오디오(음성)의 존재 : 듣는 사람과 같은 공간에 가상 사운드 소스가 물리적으로 존재한다는 느낌과 실제 세계와 구별할 수 없는 높은 충실도를 제공합니다. 둘째, 초능력적인 지각력 : 시끄러운 환경에서 원하지 않는 배경 소음을 줄이면서 우리의 맞은편에 앉아 있는 사람의 볼륨을 높임으로써 우리가 더 잘 들을 수 있게 해 주는 기술적 발전입니다.

 

Ravish Mehra가 이끄는 FRL Research 오디오 팀은 새로운 연구 문제를 해결하고, 개념 증명 설루션을 개발하고, 입증하며, 6년 만에 세계적인 전문가들로 구성된 팀으로 성장하는 다양한 상호 연결된 연구 문제를 다루고 있습니다. 

 

AR 안경 및 지각 초능력

인간의 청력을 재정의하는 FRL Research 오디오 팀 임무의 두 번째 부분은 확실히 야심찬 목표입니다. 그러나 그것은 또한 AR 안경을 제공하는 Facebook의 작업과 직접적으로 관련되어 있습니다.

 

팀의 하드웨어 연구를 이끌고있는 Tony Miller는 "인간의 청력은 우리가 구어와 음악적 표현을 통해 연결될 수 있는 놀라운 감각입니다."라고 설명합니다. “FRL Research에서는 청력을 확장, 보호 및 향상할 수 있는 새로운 기술을 연구하고 있습니다. 집중력과 집중력을 높이는 동시에 관심 있는 사람 및 정보와 원활하게 상호 작용할 수 있도록 합니다. 이 작업의 핵심은 청각 지각에 깊이 뿌리를 내리고 신호 처리 및 인공 지능의 최신 개발로 강화된 하드웨어 구축에 초점을 맞추는 것입니다.”

 

［이미지출처］Ｆａｃｅｂｏｏｋ

사람들이 붐비는 식당이나 바에서 목소리를 높이거나 다른 사람들의 말을 이해하기 위해 긴장하지 않고도 대화를를 할 수 있다고 상상해보십시오. 안경에 여러 개의 마이크를 사용하여 주변 소리를 캡처할 수 있습니다. 그런 다음 머리와 눈의 움직임 패턴을 사용하여 로봇을 쳐다보지 않고도 가장 관심이 있는 소리를 파악할 수 있습니다. 이를 통해 사용자에게 적합한 사운드를 향상하고 다른 사람 은 어둡게 하여 큰 배경 소음에서도 사용자가 정말로 듣고 싶은 내용을 선명하게 할 수 있습니다.

 

이 연구에는 빔 포밍, 적응형 소음 제거 및 머신러닝이 포함되며, 페이스북 대변인은 "청각 강화"와 같은 "지각력 슈퍼파워"를 가능하게 하는 목표를 가지고 "우리가 막 탐구하기 시작한 영역"으로 묘사되고 있습니다. Facebook에 따르면 가능한 경로 중 하나는 "당신이 듣고 싶어 하는 소리를 자동으로 높이고, 원하지 않는 배경 소음을 희미하게 하기 위해"머리와 눈의 움직임 패턴을 사용하는 것입니다.

 

Facebook의 또 다른 연구라인은 "귀 사진처럼 간단한 것을 통해 조작 가능한 개인화된 HRTF알고리즘"을 잠재적으로 사용하여 귀의 개별적인 모양을 설명하는 머리 관련 전달 기능(HRTF)을 사용하는 개인화 오디오의 사용을 연구하고 있습니다.

 

오디오 팀의 목표는 인간이 들을 수 있는 20 ~ 20,000Hz의 모든 소리를 다루는 것입니다. 그들은 현재 능동형 소음 제거 기술을 사용하여 원치 않는 배경 소음의 볼륨을 효과적으로 낮추고 소음이있는 환경에서 사람들이 보다 명확하고 안전하게 들을 수 있도록 하는 출력 프로토 타입인 특수 인 이어 모니터 (IEM)를 개발하고 있습니다. 그리고 이것을 마이크 어레이를 포함한 FRL Research의 입력 프로토 타입과 연결하면 청각 초능력의 완전한 경험을 제공할 수 있다고 말합니다．

 

페이스북의 한 관계자는 "오디오 연구 팀은 사람들의 독특한 HRTFS를 파악하기 위한 몇가지 새로운 접근법을 고려하고 있다"라고 덧붙였습니다．

 

이편한보청기 청각센터

---