¿Qué hace que los chatbots "alucinen" o digan algo incorrecto?
El curioso caso de un software alucinante.
CreditCredit...Ilustraciones de Mathieu LabrecqueEn la IA actual. boletín, el tercero de una serie de cinco partes, discuto algunas de las formas en que los chatbots puede salir mal.
Pocas horas después de la publicación del boletín de ayer, un grupo de expertos en inteligencia artificial y líderes tecnológicos, incluido Elon Musk, instó a los laboratorios de IA para suspender el trabajo en sus sistemas más avanzados, advirtiendo que representan "riesgos profundos para la sociedad y la humanidad".
El grupo solicitó una pausa de seis meses en los sistemas más potentes que GPT-4, presentado este mes por OpenAI, que Musk cofundó. Una pausa daría tiempo para implementar "protocolos de seguridad compartidos", dijo el grupo en una carta abierta. "Si tal pausa no se puede promulgar rápidamente, los gobiernos deberían intervenir e instituir una moratoria".
Muchos expertos no están de acuerdo sobre la gravedad de los riesgos citados en la carta, y exploraremos algunos de ellos más adelante esta semana. Pero un número de A.I. las desventuras ya han aflorado. Pasaré el boletín de hoy explicando cómo suceden.
A principios de febrero, Google presentó un nuevo chatbot, Bard, que respondió preguntas sobre el telescopio espacial James Webb. Solo había un problema: una de las afirmaciones del robot, que el telescopio había capturado las primeras imágenes de un planeta fuera de nuestro sistema solar, era completamente falsa.
Bots como Bard y ChatGPT de OpenAI brindan información con una destreza asombrosa. Pero también dicen mentiras plausibles o hacen cosas realmente aterradoras, como insistir en que están enamorados de los reporteros del New York Times.
¿Cómo es eso posible?
Internet basura y alucinacionesEn el pasado, las empresas tecnológicas definían cuidadosamente el comportamiento del software línea por línea de código. Hoy en día, diseñan chatbots y otras tecnologías que aprenden habilidades por sí mismos mediante la identificación de patrones estadísticos en cantidades masivas de información.
Muchos de estos datos provienen de sitios como Wikipedia y Reddit. Internet está lleno de información útil, que va desde hechos históricos hasta consejos médicos. Pero también está lleno de falsedades, discursos de odio y otras basuras. Los chatbots absorben todo, incluidos los sesgos explícitos e implícitos del texto que absorben.
Y debido a la forma sorprendente en que mezclan y combinan lo que han aprendido para generar un texto completamente nuevo, a menudo crean un lenguaje atractivo que es francamente incorrecto o que no existe en sus datos de entrenamiento. Los investigadores de inteligencia artificial llaman a esta tendencia a inventar cosas una "alucinación", que puede incluir respuestas irrelevantes, absurdas o objetivamente incorrectas.
Ya estamos viendo las consecuencias en el mundo real de la alucinación de la IA. Stack Overflow, un sitio de preguntas y respuestas para programadores,
El curioso caso de un software alucinante.
CreditCredit...Ilustraciones de Mathieu LabrecqueEn la IA actual. boletín, el tercero de una serie de cinco partes, discuto algunas de las formas en que los chatbots puede salir mal.
Pocas horas después de la publicación del boletín de ayer, un grupo de expertos en inteligencia artificial y líderes tecnológicos, incluido Elon Musk, instó a los laboratorios de IA para suspender el trabajo en sus sistemas más avanzados, advirtiendo que representan "riesgos profundos para la sociedad y la humanidad".
El grupo solicitó una pausa de seis meses en los sistemas más potentes que GPT-4, presentado este mes por OpenAI, que Musk cofundó. Una pausa daría tiempo para implementar "protocolos de seguridad compartidos", dijo el grupo en una carta abierta. "Si tal pausa no se puede promulgar rápidamente, los gobiernos deberían intervenir e instituir una moratoria".
Muchos expertos no están de acuerdo sobre la gravedad de los riesgos citados en la carta, y exploraremos algunos de ellos más adelante esta semana. Pero un número de A.I. las desventuras ya han aflorado. Pasaré el boletín de hoy explicando cómo suceden.
A principios de febrero, Google presentó un nuevo chatbot, Bard, que respondió preguntas sobre el telescopio espacial James Webb. Solo había un problema: una de las afirmaciones del robot, que el telescopio había capturado las primeras imágenes de un planeta fuera de nuestro sistema solar, era completamente falsa.
Bots como Bard y ChatGPT de OpenAI brindan información con una destreza asombrosa. Pero también dicen mentiras plausibles o hacen cosas realmente aterradoras, como insistir en que están enamorados de los reporteros del New York Times.
¿Cómo es eso posible?
Internet basura y alucinacionesEn el pasado, las empresas tecnológicas definían cuidadosamente el comportamiento del software línea por línea de código. Hoy en día, diseñan chatbots y otras tecnologías que aprenden habilidades por sí mismos mediante la identificación de patrones estadísticos en cantidades masivas de información.
Muchos de estos datos provienen de sitios como Wikipedia y Reddit. Internet está lleno de información útil, que va desde hechos históricos hasta consejos médicos. Pero también está lleno de falsedades, discursos de odio y otras basuras. Los chatbots absorben todo, incluidos los sesgos explícitos e implícitos del texto que absorben.
Y debido a la forma sorprendente en que mezclan y combinan lo que han aprendido para generar un texto completamente nuevo, a menudo crean un lenguaje atractivo que es francamente incorrecto o que no existe en sus datos de entrenamiento. Los investigadores de inteligencia artificial llaman a esta tendencia a inventar cosas una "alucinación", que puede incluir respuestas irrelevantes, absurdas o objetivamente incorrectas.
Ya estamos viendo las consecuencias en el mundo real de la alucinación de la IA. Stack Overflow, un sitio de preguntas y respuestas para programadores,
What's Your Reaction?
