미 캘리포니아공대 연구진이 생각만으로 떠올린 단어를 해독하는 장치를 개발했다. 캘리포니아공대 동영상 갈무리

<이미지를 클릭하시면 크게 보실 수 있습니다>

속말을 읽을 수 있는 뇌-컴퓨터 인터페이스(BCI)가 개발됐다.

아직은 정확도가 일정하지 않고 문장이 아닌 단어를 읽어내는 초기 단계이지만, 말을 할 수 없는 사람들에게 유용한 의사소통 도구로 발전해갈 수 있을 잠재력을 보여준 것으로 평가된다.

미국 캘리포니아공대(칼텍) 연구진은 사람 뇌의 개별 뉴런에서 나오는 신호를 실시간으로 기록해 단어로 해독하는 장치를 개발했다고 국제학술지 ‘네이처 인간 행동’에 발표했다.

뇌-컴퓨터 인터페이스는 행동이나 말과 관련한 뇌 신호를 해석해 로봇 팔다리를 작동시키거나 음성이나 문자로 전환해 줌으로써 사지 마비 환자나 말을 할 수 없는 사람들을 돕는 장치를 말한다.

지금까지 개발된 언어 해독 장치는 대부분 발성에 사용되는 뇌 부위의 신호를 읽어냈다는 점에서 일종의 음성 해독 장치라고 볼 수 있다. 반면 칼텍 연구진이 이번에 개발한 것은 사람이 생각만으로 떠올린 단어 자체를 잡아낸다.

연구진은 이번 실험에서 기존 장치들에서는 시도하지 않았던 두정엽(마루엽)의 모서리위이랑(supramarginal gyrus, 연상회)을 뇌 신호 해독 부위로 선택했다. 두정엽은 촉감, 통증 등 신체감각 기능을 관장하는 뇌 영역이다.

속말 읽는 전극을 심은 모서리위이랑 위치. 좌우 양쪽에 있는 모서리위이랑 중 왼쪽에 전극을 부착했다. 캘리포니아공대 동영상

<이미지를 클릭하시면 크게 보실 수 있습니다>

뇌 이식 칩을 심을 최고의 뇌 부위를 가려내는 것은 속말을 해독하는 데서 가장 중요한 과제 가운데 하나다. 연구진이 모서리위이랑의 뉴런 신호를 잡아내기로 한 이유는 과거 100여건의 기능적 자기공명영상(fMRI) 연구를 통해 소리를 내지 않고 말할 때, 그리고 두 단어의 각운(어절의 끝소리가 일치하는 것)을 맞출 때 이 영역이 활성화하는 것으로 확인됐기 때문이다. 또 이 영역은 미국 뉴욕대 의대 연구진이 2022년 발표한 연구에서 말을 의도한 대로 잘 하도록 돕는 3가지 뇌 영역 가운데 하나로 확인한 곳이기도 하다.

모서리위이랑은 두정엽 내에 좌우 양쪽으로 2개가 있다. 연구진은 척수를 다친 두 실험참가자의 왼쪽 모서리위이랑에 전극을 이식한 뒤 2주 후부터 실험을 시작했다. 실험참가자들은 팔다리는 움직이지 못하지만 말은 할 수 있는 상태였다.

연구진은 우선 참가자들에게 6개의 단어(전투지, 카우보이, 비단뱀, 숟가락, 수영, 전화기)와 아무런 뜻이 없는 유사단어 2개를 말하도록 하면서 비엠아이를 훈련시켰다. 두 가지 유형의 단어를 훈련한 것은 의미의 유무가 뇌 신호에 영향을 끼치는지 알아보기 위해서였다.

그런 다음 이번엔 3일 동안 두 참가자에게 말을 하지 않고, 화면에 표시된 단어를 말하는 상상을 하도록 했다. 실험참가자들은 단어마다 몇차례씩 반복적으로 이런 훈련을 했다. 연구진은 참가자의 뇌 활동 측정치와 컴퓨터 모델을 결합해 속말을 실시간으로 해독했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

결과가 어떻게 나왔을까? 첫번째 참가자의 경우엔 모든 단어의 뇌 신호가 뚜렷이 구분돼 비시아이가 79%의 정확도로 식별해낼 수 있었다. 그러나 두번째 참가자는 숟가락과 수영이라는 단어 정도만 뚜렷하게 반응해 정확도가 23%에 그쳤다. 각 단어마다 활성화하는 뉴런 수도 적었다.

연구진은 “모서리위이랑 내에서 속말을 처리하는 과정에 관여하는 영역이 사람마다 다를 수 있다”고 말했다. 네덜란드 마스트리흐트대 크리스티아 헤르프 교수(컴퓨터신경과학)는 “이전 연구를 보면 사람마다 주어진 과제를 상상하는 능력과 장치를 제어하는 능력이 다르다”고 말했다.

연구진은 또 속말을 하는 동안 활성화하는 뉴런의 82~85%는 참가자들이 입말을 할 때도 활성화하는 걸 발견했다. 그러나 일부 뉴런은 속말을 할 때만 활성화하거나 특정 단어에 실험 때마다 다르게 반응했다.

이번 연구는 단일 뉴런을 통해 복수의 사람한테서 속말을 해독하는 성과를 보였지만 실제 임상에 적용하기까지는 아직 갈 길이 멀다.

속말을 해독하는 데서 가장 큰 어려움은 뇌 안에서 일어나는 일을 어떻게 해석해야 할지 모른다는 점이다. 예컨대 뇌가 속말을 음성으로 표현하는지 아니면 의미로 표현하는지 확인할 수가 없다. 이를 가려내려면 더 많은 실험이 필요할 것이라고 헤르프 교수는 말했다.

또 이번 실험참가자들은 말을 할 수 있고 뇌의 언어 영역도 온전하다는 점에서, 이 기술이 말을 할 수 없는 사람들에게도 통할 수 있을지도 실험을 통해 확인해 봐야 한다. 연구진은 다음 단계로 이 장치가 알파벳 문자를 구별할 수 있는지 실험할 계획이다.

*논문 정보

https://doi.org/10.1038/s41562-024-01867-y

Representation of internal speech by single neurons in human supramarginal gyrus.

곽노필 선임기자 nopil@hani.co.kr