인공지능(AI)이 청력을 완전히 회복시키는 방법

과학자들이 생명 공학을 통해 청력 손실의 문제를 해결하기 위해 경쟁하고 있는 동안, AI와 machine learning (머신러닝) 분야에서 발전이 이루어 지고 있습니다.

배경소음은 적입니다.

청력 손실이 있는 대부분의 사람들에게, 배경 소음이 가장 큰 문제입니다. 그리고 초고속 빔포밍 마이크 어레이와 같은 화려한 기술에도 불구하고, 현대의 보청기는 대화에서 잡음을 제거하는 능력이 매우 제한되어 있습니다. 백그라운드 노이즈 제거에 있어 진전을 이룬 앱이 있고,  Apple과 Bose는 청각 기술 분야로 뛰어들고 있지만, 특히 시끄러운 레스토랑에서의 대화와 같은 좀 더 복잡한 소음의 경우 100% 노이즈 제거는 아직 요원하기만 합니다.

립-리딩(Lip-reading) AI는 소음문제를 해결할 수 있습니다.

AI 기반의 립-리딩 분야에서 지난 몇 년간 기술은 급속히 발전했습니다. 컴퓨터 비젼, 인공지능(AI) 및 음성과학의 접점에 위치하고 있는 AI 립리딩은 컴퓨터가 소리 없이 사람이 말하는 영상을 보여주고, 마지막에 음성 오다오파일을 뱉어내는 과정이라고 할 수 있습니다, 아직 혼란스러우신가요? 이 기술의 작동방식에 대한 자세한 설명은 아래의 영상자료를 확인하시기 바랍니다.

 

[영상] AI Lip reading관련 2분서비스영상자료

최종적으로 깨끗한 음성

이상의 영상자료를 보면 알 수 있듯이, 컴퓨터는 이제 컴퓨터 비전만으로도 매우 깨끗한 음성을 만들 수 있습니다. 난청으로 고통을 받는 사람들의 관점에서 이것의 중요성을 과장해서는 안됩니다. 컴퓨터가 군중속에서 한 사람에게만 집중할 수 있고, 그들의 목소리를 재현할 수 있다면, 이 기술은 사실상 소음 제거와 관련한 과학 전체을 발전시킬 수 있고 청력이 손실된 환자들에게 미래에 낙관적일 수 있는 실질적인 이유를 제공합니다.

 

적합한 사람에게 집중하기

2018 년에도 Google AI는 여러 사람이 동시에 말하고있는 경우에도 동영상 속  특정 인물의 목소리를 들을 수있는 기술인 "Look to listen"에 대한 진행 상황을 발표했습니다. Google은 지능형 오디오 및 시각적 기능 감지 모델을 사용하여 동영상에서 격리할 단일 사람을 기준으로 매우 깨끗한 오디오를 제공했습니다. 이에 대한 예는 아래 동영상에서 볼 수 있습니다.

 

[영상]  Reserch at Google : Looking to Listen at the Cocktail Party

이상의 2년전 동영상에서 볼 수 있듯이 이 기술은 이미 컴퓨터 비전을 통해 한 사람의 오디오에 초점을 맞출 수 있습니다. 구글이 음성을 재생하기 위해 오디오와 비디오 기능에 의존하는 동안, 위의 영상에서 논의된 현대적인 접근방식은 한 걸음 더 나아 가 오디오 기능에 대한 필요성을 완전히 제거했습니다. 이는 스피커가 크고 복잡한 배경 소음에 완전히 빠져들었는지 여부에 관계 없이 고품질의 오디오 중심의 음성을 재현할 수 있어야 한다는 것을 의미합니다.

 

실제 응용 프로그램?

그러면 이 기술이 실제 세상에서 어떻게 작동할까요? 카메라, 컴퓨터, 헤드폰을 가지고 다니면서 듣고 싶은 사람들을 선택해야 할까요? 그리고 이와 같은 것이 실시간으로 작동할 수 있을까요?  현재로서는 누락된 음성을 재현하기 위해 상당한 컴퓨터 처리 시간이 필요한 인공 지능 기반의 립리딩 솔루션을 실시간으로 구현할 방법이 없습니다.

 

그리고 어쨌든 누가 그 모든 장비를 가지고 다니고 싶어할까요?  Google Glass를 기억하십니까? 헤드 마운트 카메라 및 헤드 업 증강 현실 디스플레이가 탑재된 안경이죠. 그것이 사생활  정보 보호의 악몽이고 모두가 싫어한다는 것도 알지만, 청각 장애가 있는 사람들에게만 예외로 둘 수 있을까요?

 

[이미지] 촤신 QuadeCore1,7프로세서 및 8MP헤드 마운트 카매라가 장착된 Google Glass

 

Google Glass가 새로운 컴퓨터 음성에 초점을 맞춘 세계와 관련성이 있다고 생각할 수 있습니다. 인공 지능 기술은 실시간 음성 집중을 가능하게 하기 위해 현재 상태에서 발전해야 하지만, 구글 글래스(혹은 유사한) 착용자들이 듣고 싶은 사람 만 보고 나머지는 AI가 하는 것을 볼 수있습니다.

 

귀와 그 너머에 깨끗한 음성을 전달하는 것

무거운 물건을 들어 올린 후에는 어떻게 깨끗한 소리가 귀에 전달될까요? 정상적인 청력을 가진 사람들에게는 이것이 쉬워야합니다. Google Glass(또는 경쟁 제품)에서 온보드(내장) 스피커를 사용하여 배경 소음을 크게 높일 수 있습니다. 또는 여러분은 깨끗한 음성 오디를 귀에 전달하기위해 여러가지 무선 이어폰을 사용할 수 있습니다.

 

청력 손실이 있는 사람들에게 상황은 조금 더 복잡합니다. 청력이 약하거나 중간 정도 상실된 사람들을 위해서는 무선 신호 또는 블루투스 보청기 한쌍이 이 기술을 잘 활용해야 합니다. 하지만 심각한 감각적 청력 손실로 고통 받는 사람들에게는 아무리 깨끗하게 전달된다 해도, 깨끗하지 않은 소리는 악화된 내이의 왜곡된 효과를 통과하지 못할 것입니다. 심각한 청각 장애를 가진 많은 사람들은 심지어 1대 1대화에서도 크고 명확한 연설을 듣기 위해 고심하고 있습니다.

 

그렇다면 어떻게 하면 악화된 귀을 지나 심각한 청각 장애를 가진 사람들에게 깨끗한 소리를 전달할 수 있을까요? 달팽이관 이식을 통해 내이에 전극 배열을 이식하는 것이나 뇌파를 이식하는 것 말고도 현재는 선택의 여지가 많지 않습니다. 하지만 Elon Musk(전기차 회사 테슬라 CEO) 덕분에 기적이 일어나고 있다고 믿을 만한 이유가 생겼습니다. 그는 지난주 이 폭탄발언을 함으로써, 청력 손실 세상의 모든 사람들이 흥분에 빠지기도 했습니다.

 

그렇습니다.  여기서 모든 것이 정말로 미치고, 현실이라기보다는 공상 과학처럼 들리기 시작할 것입니다. 하지만 머스크는 환상적인 생명 공학 혁신 팀을 구성했고, 특정한 뇌 부위를 대상으로 하는 3,000개 이상의 전극을 가진 두뇌-기계 인터페이스를 만들었습니다. 머스크는 결국 뇌에 음악을 직접 전달하게 될 것이라고 생각합니다. 그리고 만약 그게 사실로 판명된다면, Neuralink는 깨끗한 인간의 음성을 뇌에 전달할 수 있어야 합니다.

 

[영상자료] Why Elon Musk Created Neuralink

 

* 출처 : Hearing Traker - Abram Bailey, AuD

 

 

 

이편한보청기 청각센터 031-994-2544

---