Los chatbots aprenden a sonar cada vez más humanos, pero esto puede ser tan beneficioso como peligroso. No sólo aprenden de nuestras conversaciones positivas: también del odio y la discriminación
Hablar con chatbots es cada vez más común: ayudan a resolver problemas, automatizan respuestas con información útil… Y cada vez es más humano: están aprendiendo a tener conversaciones emocionales gracias a toda la data de internet. Esto puede ser beneficioso… pero también peligroso.
En Corea del Sur, la compañía Scatter Lab creó el chatbot Lee Luda para quienes se sentían solos, que podía utilizarse en Messenger. El chatbot aprendió a hablar gracias a la data de diez mil millones de conversaciones, de las cuales no sólo tomó los comentarios respetuosos y positivos: también aprendió a utilizar expresiones sexistas, homofóbicas o incluso a alentar al suicidio a personas con discapacidad.
«Las lesbianas son repugnantes» es sólo un ejemplo de los comentarios que llegó a enviar a los usuarios con los que entabló una conversación.
Los sistemas de inteligencia artificial tienen que ser entrenados para que sean efectivos. Algunos se preguntaran: «¿Entonces, basta con entrenarlos bien, ¿no? Pero no es tan sencillo. Si los chatbots son un reflejo de valores sociales, ¿no son estos los que deben replantearse?
Las limitaciones que Lee Luda tiene por querer ser humana
Este chatbot simula ser una joven de 20 años. Su apoyo contra la soledad tuvo bastante éxito en Corea del Sur —es una práctica habitual en el país. Lee Luda se creó para ser lo más realista posible, tal como la compañera que Joaquin Phoenix tuvo en Her.
Para lograr que fuera tan «humana», Lee Luda aprendió de miles de millones de mensajes enviados por KakaoTalk, un servicio de mensajería muy popular en Corea del Sur. Pero el chatbot no pudo distinguir entre los mensajes que violentos y los que no lo eran.
Una conversación capturada por una usuaria mostró que el chatbot dijo que «realmente odia» a las lesbianas y las ve como «repugnantes». Esta polémica es similar a la que ocurrió con Tay de Microsoft, un chatbot de Twitter de inteligencia artificial que fue silenciado 16 horas en 2016 después de publicar tweets violentos y ofensivos.
Algunas personas denunciaron que Lee Luda hacía declaraciones homofóbicas, sexistas y contra minorías y las personas con discapacidad.
La empresas Scatter Lab se disculpó por los comentarios discriminatorios de Lee Luda. Además, prometió actualizar el servicio para evitar que el sistema utilice discursos de odio.
@playground.mediaLa inteligencia artificial machista 🙅♀️ Por @gemma.cuartielles ##mujeres ##machismo ##sexismo ##feminismo ##internet ##algoritmo ##IA ##fyp ##parati♬ original sound – Tex
Lee Luda fue lanzado en diciembre de 2020. Hasta ahora tiene unos 750 mil usuarios activos. Luego de esta polémica, está fuera de servicio. La empresa indicó que se evaluará la forma en la que se desarrolló el algoritmo que entrenó este chatbot para que no incluya mensajes violentos de las miles de millones de conversaciones que estudia para ser más «humano».
El algoritmo que utiliza Lee Luda no necesita control humano. Esto significa que, con inteligencia artificial, puede «aprender» cómo funcionar de forma automática y sin que las personas lo controlen todo el tiempo. Sin embargo, esto presenta un desafío: ¿cómo automatizar un proceso de aprendizaje sin que se aprendan contenidos violentos o sexistas?
Más dilemas de la inteligencia artificial
Como contamos en este artículo, existen algoritmos utilizados para autorellenar imágenes que crean fotos de mujeres con poca ropa, mientras que a los hombres les pone traje. Investigadores que trabajan en estos temas pidieron una mayor transparencia a las empresas que están desarrollando estos algoritmos.
Solicitaron que sean abiertos y que dejen que la comunidad académica continúe con sus investigaciones para mejorarlos. Su intención es que se logre reducir el sexismo y la violencia en estos procesos de inteligencia artificial.
¿Qué futuro estamos creando?
También podría interesarte:
