뇌파를 활용하는 보청기의 새로운 실험 - 혁신적인 보청기 개발 가능할까?

우리의 두뇌에는 붐비는 커피숍이나 번잡한 도시 거리와 같이 시끄러운 환경에서 개별 목소리를 골라내는 데 탁월한 능력이 있습니다. 이것은 심지어 가장 진보된 보청기 조차도 어려운 일 입니다. 그러나 지금 기술자들은 많은 음성 중 하나의 음성을 감지하고 증폭시키는 두뇌의 타고난 능력을 모방한 실험 기술을 발표하고 있습니다.

 

많은 사람들의 목소리를 감지하고 증폭시키는 것이죠. 인공지능으로 작동하는 이 뇌 조절 보청기는 자동필터 역할을 하며, 착용자의 뇌파를 모니터링하고 그들이 집중하고 싶어하는 목소리를 높여줍니다.

 

아직 개발 초기단계이긴 하지만 착용자가 주변 사람들과 원할하고 효율적으로 대화할 수 있도록 도와 주는 보청기를 만드는 중요한 단계입니다. 이 성과는 오늘날 Science Advances에 설명되어 있습니다.

 

[과학저널] Science Advances 온라인 표지

컬럼비아 Mortimer B. Zuckerman Mind의 수석 연구원 인 Nima Mesgarani 박사는 "소리를 처리하는 뇌의 영역은 매우 민감하고 강력하여 이것은 겉보기에는 쉽게 다른 사람들보다 한 목소리를 증폭시킬 수 있습니다. 반면에 오늘날의 보청기는 비교적 무색합니다." 뇌 행동 연구소 (Brain Behavior Institute)와 논문의 수석 저자는 "우리는 뇌의 힘을  이용하는 장치를 만들어 냄으로써, 우리의 연구가 전 세계 수억명의 청각 장애인들이 친구들이나 가족들처럼 쉽게 의사 소통할 수 있는 기술의 향상으로 이어지기를 바랍니다."라고 했습니다.

 

현대의 보청기는 교통과 같은 특정한 종류의 배경 소음을 억제하면서도 음성을 증폭시키는 데 탁월합니다.하지만 그들은 개인의 목소리를 다른 사람들보다 더 크게 하기위해 노력합니다. 과학자들은 이것을 '칵테일 파티' 문제라고 부르는데, 이는 성대한 파티 중에 함께 섞이는 목소리의 불협화음의 이름을 따서 지은것입니다.

 

[영상] A New Party Trick : A Hearing Aid That Reads Minds : 칵테일파티 문제

컬럼비아 엔지니어링의 전기 공학 부교수 인 Mesgarani 박사는 "파티와 같은 사람들이 많은 장소에서 보청기는 모든 스피커를 한 번에 증폭시키는 경향이 있습니다."라고 말했습니다. "이것은 착용자가 효과적으로 대화하는 능력을 심각하게 방해하여 본질적으로 주변 사람들로과 격리시킵니다."

 

컬럼비아 팀의 뇌 제어 보청기는 다릅니다. 마이크와 같은 외부 음향 증폭기에만 의존하는 것이 아니라, 듣는 사람의 뇌파도 모니터링합니다.

 

Mesgarani박사는  "이전에 우리는 두 사람이 서로 이야기할 때, 화자의 뇌파가 듣는 사람의 뇌파와 닮기 시작한다는 것을 발견했다."라고 말했습니다.

 

이 지식을 이용해서 연구팀은 강력한 음성 분리 알고리즘을 뇌의 자연적인 계산능력을 모방한 복잡한 수학적 모델인 신경 네트워크와 결합 시겼습니다. 그들은 우선 개별 스피커의 목소리를 그룹에서 분리한 다음 각 스피커의 목소리를 듣고있는 사람의 뇌파와 비교하는 시스템을 만들었습니다. 그리고 나서, 자신의 목소리 패턴이 듣는 사람의 뇌파와 가장 일치하는 스피커는 나머지 부분에 걸쳐 증폭됩니다.

 

 

연구원들은 2017년에 이 시스템의 초기 버전을 발표했는데, 이 시스템에는 다음과 같은 중요한 한계가 있었습니다.  특정한 화자를 인식하도록 미리 계획해야 했습니다.

 

"만약 여러분이 가족과 함께 식당에 있다면, 그 장치는 여러분을 위해 그 목소리를 인식하고 해독할 것입니다."라고 Mesgarani박사가 설명했습니다. " 하지만 웨이터와 같은 새로운 사람이 도착하자마자, 시스템은 실패할 것입니다."

 

오늘날의 발전은 그 문제를 크게 해결합니다. Mesgarani박사와 첫번째 저자 CongHan, JamesO'Sullivan박사는 콜럼비아 TechnologyVentures로부터 자금 지원을 받아, 원래 알고리즘을 개선함으로써 듣는 사람이 마주친 모든 잠재적 화자에게 일반화될 수 있는 좀 더 정교한 모델을 만들었습니다.

 

"우리의 최종 결과는 이전 버전과 유사하게 수행되었지만 중요하게 개선된 것은 음성 분리 알고리즘이었습니다."라고 Mesgarani박사가 말했습니다. "그것은 어떤 음성이든 즉시 인식하고 해독할 수 있었습니다."

 

이 알고리즘의 효과를 시험하기 위해 연구원들은 노르트웰 신경학 및 신경 외과의이자 오늘날 논문의 공동 집필자인 애쉬시 디네쉬 메타, MD, PhD와 팀을 이루었다. Mehta박사는 간질 환자들을 치료하는데, 그들 중 일부는 정기적으로 수술을 받아야 합니다.

 

"이 환자들은 자발적으로 다른 스피커(화자)의 소리를 들었고 우리는 환자들의 뇌에 이식된 전극을 통해 그들의 뇌파를 직접 모니터 했습니다. 그런 다음 새로 개발된 알고리즘을 데이터에 적용했습니다."라고 Mesgarani박사는 말했습니다. 

 

연구 팀의 알고리즘은 환자들이 이전에 들어 보지 못 했던 다른 스피커의 소리를 들을 때 환자들의 주의를 추적했습니다. 환자가 스피커 하나에 초점을 맞추면 시스템이 자동으로 그 목소리를 증폭시켰습니다. 그들의 주의가 다른 스피커로 옮겨 갔을 때, 그 변화를 반영하도록 볼륨 레벨이 변경되었습니다.

 

그들의 결과에 고무된 연구원들은 현재 이 시제품을 두피나 귀 주변에 외부적으로 놓을 수 있는 비 침습성 장치로 변형시키는 방법을 연구하고 있습니다. 그들은 또한 알고리즘이 더 넓은 범위의 환경에서 기능할 수 있도록 알고리즘을 더 개선하기를 기대하고 있습니다.

 

"지금까지, 우리는 실내 환경에서만 그것을 실험했습니다. 하지만 우리는 혼잡한 도시의 거리나 시끄러운 식당에서도 잘 작동할 수 있기를 바랍니다. 그래서 착용자들이 어디를 가든 그들 주변의 사람들과 세상을 완전히 경험할 수 있기를 바랍니다."라고 Mesgarani박사가 말했습니다.

 

 

* 연구논문 : "Speaker-independent auditory attention decoding without access to clean speech sources"

* 출처/저널참조 : The Zuckerman Institute at Columbia University (컬럼비아대학, 주커만연구소)

 

science advances_reserch article.pdf

0.71MB

 

이편한보청기청각센터

---

 

[이전글 더보기]

 

[청력리포트 (Hearing Report)] - 육체적 또는 정신적 운동은 수술이후, 섬망이 발생할 가능성을 낮춘다.

육체적 또는 정신적 운동은 수술이후, 섬망이 발생할 가능성을 낮춘다.

[청력리포트 (Hearing Report)] - [청력리포트] 나이가 들수록 청력손실과 인지기능 저하의 위험이 커진다.

[청력리포트] 나이가 들수록 청력손실과 인지기능 저하의 위험이 커진다.