El daño vivo de la crisis Compartir datos de Text Line

Otra semana, otra Espectáculo de terror de privacidad: Crisis Text Line, un servicio de mensajería de texto sin fines de lucro para personas que experimentan crisis graves de salud mental, usó datos de conversación «anonimizados» para impulsar una herramienta de aprendizaje automático con fines de lucro para el equipo de atención al cliente. (Después de la reacción violenta, CTL anunció que se detendría). La respuesta de Crisis Text Line a la reacción violenta se centró en los datos en sí y si incluía información de identificación personal. Pero esa respuesta usa los datos como una distracción. Imagínese esto: suponga que envió un mensaje de texto de Crisis Text Line y recibió un mensaje que decía «Oye, solo para que lo sepas, vamos a usar esta conversación para ayudar a nuestra subsidiaria con fines de lucro a crear una herramienta de aprendizaje automático para empresas que tratar con el servicio al cliente «. ¿Seguirías enviando mensajes de texto?

Esta es la parodia real, cuando el precio de obtener ayuda de salud mental en una crisis se está convirtiendo en un problema para una fábrica de aprendizaje automático. Y no son solo los usuarios de CTL los que pagan; son todos aquellos que buscan ayuda cuando más la necesitan.

Los estadounidenses necesitan ayuda y no pueden obtenerla. La enorme demanda insatisfecha de asesoramiento y asistencia críticos ha dado lugar a una nueva clase de organizaciones y herramientas de software que existen en un área gris regulatoria. Ayudan a personas con quiebras o desalojos, pero no son abogados; ayudan a las personas con crisis de salud mental, pero no son proveedores de atención. Invitan a la gente común a confiar en ellos y, a menudo, brindan ayuda real. Pero estos servicios también pueden evitar asumir la responsabilidad de sus consejos o incluso abusar de la confianza que las personas han depositado en ellos. Pueden cometer errores, promover publicidad depredadora y desinformación, o simplemente vender datos. Y no se han respetado las protecciones al consumidor que normalmente protegerían a las personas de malas acciones o errores por parte de abogados o médicos.

Esta zona gris regulatoria también puede limitar a las organizaciones que tienen nuevas soluciones para ofrecer. Tome Upsolve, una organización sin fines de lucro que desarrolla software para guiar a las personas a través de la bancarrota. (A la compañía le cuesta decir que no ofrece asesoramiento legal). Upsolve quiere capacitar a los líderes de la comunidad de Nueva York para que ayuden a otros a navegar por los notorios tribunales de deuda de la ciudad. Un problema: estos aspirantes a pasantes no son abogados, por lo que según la ley de Nueva York (y casi todos los demás estados), la iniciativa de Upsolve sería ilegal. Upsolve ahora está demandando para hacer una excepción. La empresa argumenta acertadamente que la falta de asistencia jurídica significa que las personas se ven efectivamente privadas de los derechos que les otorga la ley.

El fracaso de la profesión legal para otorgar a los estadounidenses acceso a apoyo está bien documentado. Pero la causa de Upsolve también plantea preguntas nuevas e importantes. ¿Quién es responsable en última instancia de los consejos que se brindan en un programa como este y quién es responsable de un error: un aprendiz, un capacitador, ambos? ¿Cómo enseñamos a las personas sobre sus derechos como clientes de este servicio y cómo apelar? Estas son eminentemente preguntas de respuesta. Existen muchas herramientas de políticas para construir relaciones con un alto nivel de responsabilidad: podríamos asignar a los consultores un estatus legal especial, establecer un deber de lealtad para las organizaciones que manejan datos confidenciales o crear entornos de prueba de políticas para probar y aprender de nuevos modelos para brindar asesoramiento.

Pero en lugar de usar estas herramientas, la mayoría de los reguladores parecen contentarse con enterrar la cabeza en la arena. Oficialmente, no se puede brindar asesoría legal o de salud sin credencial profesional. Extraoficialmente, las personas pueden obtener ese tipo de asesoramiento en todo menos en nombre de herramientas y organizaciones que operan al margen. Y si bien las credenciales pueden ser importantes, los reguladores no interactúan con las formas en que el software ha cambiado fundamentalmente la forma en que nos asesoramos y cuidamos unos de otros, y lo que significa para las responsabilidades de los consultores.

Y necesitamos ese compromiso más que nunca. Las personas que buscan ayuda de expertos o cuidadores son vulnerables. Es posible que no puedan distinguir entre un servicio bueno y uno malo. No tienen tiempo para repasar los términos de servicio, las advertencias y los descargos de responsabilidad llenos de jerga. Y tienen poco o ningún poder de negociación para establecer mejores condiciones, especialmente cuando están llegando a la mitad de la crisis. Es por eso que los deberes fiduciarios que tienen los abogados y los médicos son en primer lugar tan necesarios: no solo para proteger a una persona que busca ayuda una vez, sino para dar a las personas la confianza de que pueden pedir ayuda a los expertos para los casos más críticos. y temas sensibles que hay que afrontar. En otras palabras, el deber de un abogado para con su cliente no es solo proteger a ese cliente de ese abogado en particular; es para proteger la confianza de la empresa en los abogados.

Y ese es el verdadero daño: cuando las personas no se comunican con una línea directa de suicidio porque no confían en que la línea directa tenga su único interés en el corazón. Esta desconfianza puede ser contagiosa: las acciones de Crisis Text Line pueden no solo evitar que las personas usen Crisis Text Line. Podría evitar que la gente lo use ningún servicio similar. ¿Qué es peor que no poder encontrar ayuda? No se puede confiar.