La tecnología podría conducir a una comunicación más natural para las personas que han experimentado la pérdida del idioma

El resultado, que fue desarrollado en colaboración con el primer participante en un estudio de investigación clínica, se basa en más de una década de esfuerzos del neurocirujano de UCSF Edward Chang, MD, para desarrollar una tecnología que permite a las personas con parálisis comunicarse incluso si no pueden para hablar por sí mismos. El estudio aparece el 15 de julio en Revista de Medicina de Nueva Inglaterra.

«Hasta donde sabemos, esta es la primera demostración exitosa de decodificación directa de palabras completas de la actividad cerebral de alguien que está paralizado y no puede hablar», dijo Chang, presidente de cirugía neurológica de Joan y Sanford Weill en la UCSF, profesor Jeanne Robertson. y autor principal del estudio. «Muestra una gran promesa de restaurar la comunicación al aprovechar el mecanismo natural del habla del cerebro».

Cada año, miles de personas pierden la capacidad de hablar debido a accidentes cerebrovasculares, accidentes o enfermedades. Con un mayor desarrollo, el enfoque descrito en este estudio puede algún día permitir que estas personas se comuniquen plenamente.

Traducir señales cerebrales en palabras

Anteriormente, el trabajo en el campo de la neuroprótesis de comunicación se ha centrado en restaurar la comunicación a través de enfoques basados ​​en la ortografía para escribir letras una por una en el texto. El estudio de Chang difiere críticamente de estos esfuerzos: su equipo está traduciendo señales destinadas a controlar los músculos del sistema del habla para pronunciar palabras, en lugar de señales para mover el brazo o la mano para permitir la escritura. Chang dijo que este enfoque se basa en los aspectos naturales y fluidos del habla y promete una comunicación más rápida y orgánica.

«Con el habla, normalmente comunicamos información a una velocidad muy alta, hasta 150 o 200 palabras por minuto», dijo, y señaló que los enfoques basados ​​en la ortografía que usan mecanografía, escritura y control de un cursor son considerablemente más lentos y laboriosos. «Ir directo a las palabras, como lo estamos haciendo aquí, tiene grandes ventajas porque está más cerca de cómo hablamos normalmente».

Durante la última década, el progreso de Chang hacia este objetivo se ha visto facilitado por pacientes del Centro de Epilepsia de UCSF que se sometieron a neurocirugía para identificar el origen de sus convulsiones utilizando conjuntos de electrodos colocados en la superficie del cerebro. Estos pacientes, todos con habla normal, se ofrecieron como voluntarios para analizar sus grabaciones cerebrales en busca de actividad relacionada con el habla. Los primeros éxitos con estos pacientes voluntarios allanaron el camino para el estudio actual de personas con parálisis.

Anteriormente, Chang y sus colegas del Instituto Weill de Neurociencias de la UCSF mapearon los patrones de actividad cortical asociados con los movimientos del tracto vocal que producen cada consonante y vocal. Para traducir estos resultados en reconocimiento de voz de palabra completa, David Moses, PhD, ingeniero postdoctoral en el laboratorio de Chang y uno de los autores principales del nuevo estudio, desarrolló métodos novedosos para la decodificación en tiempo real de esos patrones y modelos lingüísticos estadísticos. para mejorar la precisión.

Pero su éxito en la decodificación del habla en participantes que podían hablar no garantizaba que la tecnología funcionara en una persona cuyo tracto vocal está paralizado. «Nuestros modelos necesitaban aprender el mapeo entre patrones complejos de actividad cerebral y el habla predicha», dijo Moses. «Esto presenta un gran desafío cuando el participante no puede hablar».

Además, el equipo no sabía si las señales cerebrales que controlan el tracto vocal seguirían intactas para las personas que no han podido mover sus músculos vocales durante muchos años. «La mejor manera de averiguar si podía funcionar era probarlo», dijo Moses.

Las primeras 50 palabras

Para investigar el potencial de esta tecnología en pacientes con parálisis, Chang se asoció con su colega Karunesh Ganguly, MD, PhD, profesor asociado de neurología, para lanzar un estudio conocido como «BRAVO» (Restauración de interfaz de computadora de brazo y cerebro). El primer participante en el ensayo es un hombre de unos treinta años que sufrió un devastador accidente cerebrovascular hace más de 15 años que dañó gravemente la conexión entre su cerebro, el tracto vocal y las extremidades. Desde su lesión, ha tenido movimientos de cabeza, cuello y extremidades extremadamente limitados y se comunica usando un puntero sujeto a una gorra de béisbol para marcar letras en una pantalla.

El participante, que pidió ser referido como BRAVO1, trabajó con los investigadores para crear un vocabulario de 50 palabras que el equipo de Chang pudo reconocer a partir de la actividad cerebral utilizando algoritmos informáticos avanzados. El vocabulario, que incluye palabras como «agua», «familia» y «bueno», fue suficiente para crear cientos de oraciones que expresan conceptos aplicables a la vida diaria de BRAVO1.

Para el estudio, Chang implantó quirúrgicamente una serie de electrodos de alta densidad en la corteza motora del habla de BRAVO1. Después de la recuperación completa del participante, su equipo registró 22 horas de actividad neuronal en esta región del cerebro durante 48 sesiones y varios meses. En cada sesión, BRAVO1 intentó repetir cada una de las 50 palabras del vocabulario muchas veces mientras los electrodos registraban las señales cerebrales de su corteza vocal.

Traducir un intento de voz en texto

Para traducir los patrones de actividad neuronal registrada en palabras específicas predichas, los otros dos autores principales del estudio, Sean Metzger, MS y Jessie Liu, BS, ambos estudiantes de doctorado en bioingeniería en Chang Lab, utilizaron modelos de redes neuronales personalizados, que son formas de inteligencia artificial. Cuando el participante intentó hablar, estas redes distinguieron patrones sutiles en la actividad cerebral para detectar intentos de palabras e identificar qué palabras estaba tratando de decir.

Para probar su enfoque, el equipo primero le presentó a BRAVO1 frases cortas construidas a partir de las 50 palabras del vocabulario y le pidió que intentara repetirlas varias veces. Mientras hacía sus intentos, las palabras fueron decodificadas por su actividad cerebral, una por una, en una pantalla.

Así que el equipo pasó a hacerle preguntas como «¿Cómo estás hoy?» y «¿Quieres un poco de agua?» Como antes, el intento de hablar sobre BRAVO1 apareció en la pantalla. «Estoy muy bien» y «No, no tengo sed».

El equipo descubrió que el sistema podía decodificar palabras de la actividad cerebral a una velocidad máxima de 18 palabras por minuto con una precisión de hasta el 93% (mediana del 75%). Para contribuir al éxito fue un modelo lingüístico aplicado por Moses que implementó una función de «autocorrección», similar a la utilizada por el software de reconocimiento de voz y mensajes de texto para consumidores.

Moisés caracterizó los primeros resultados del juicio como una prueba de principio. «Nos emocionó ver la decodificación precisa de una variedad de oraciones significativas», dijo. «Hemos demostrado que, de hecho, es posible facilitar la comunicación de esta manera y que tiene el potencial de usarse en entornos de conversación».

De cara al futuro, Chang y Moses dijeron que ampliarán el estudio para incluir a más participantes con parálisis severa y déficits de comunicación. Actualmente, el equipo está trabajando para aumentar la cantidad de palabras en el vocabulario disponible, así como para mejorar la velocidad del habla.

Ambos afirmaron que si bien el estudio se centró en un solo participante y un vocabulario limitado, tales limitaciones no disminuyen el resultado. «Este es un hito tecnológico importante para una persona que no puede comunicarse de forma natural», dijo Moses, «y demuestra el potencial de este enfoque para dar voz a personas con parálisis severa y pérdida del lenguaje».

Los coautores del artículo incluyen a Sean L. Metzger, MS; Jessie R. Liu; Gopala K. Anumanchipalli, PhD; Joseph G. Makin, PhD; Pengfei F. Sun, PhD; Josh Chartier, PhD; Maximilian E. Dougherty; Patricia M. Liu, MA; Gary M. Abrams, médico; y Adelyn Tu-Chan, DO, todos de UCSF. Las fuentes de financiación incluyeron los Institutos Nacionales de Salud (U01 NS098971-01), filantropía y un acuerdo de investigación patrocinado con Facebook Reality Labs (FRL), completado a principios de 2021.

Los investigadores de la UCSF llevaron a cabo el diseño, la ejecución, el análisis de datos y la presentación de informes de todos los ensayos clínicos. Los datos de los participantes en la investigación fueron recopilados exclusivamente por UCSF, se mantienen confidenciales y no se comparten con terceros. FRL proporcionó comentarios de alto nivel y consejos de aprendizaje automático.