Por qué DeepMind no está implementando su nuevo chatbot de IA y qué significa para la IA responsable

¿No pudiste asistir a Transform 2022? ¡Vea todas las sesiones de la cumbre en nuestra biblioteca a pedido ahora! Mira aquí.

El nuevo chatbot de inteligencia artificial de DeepMind, Sparrow, es aclamado como un paso importante hacia la creación de sistemas de aprendizaje automático más seguros y menos sesgados, gracias a su aplicación de aprendizaje por refuerzo basada en las contribuciones de los participantes a la investigación humana para la capacitación.

La filial británica de la empresa matriz de Google, Alphabet, afirma que Sparrow es un "agente de diálogo que es útil y reduce el riesgo de respuestas peligrosas e inapropiadas". El agente está diseñado para "hablar con un usuario, responder preguntas y buscar en Internet usando Google cuando sea útil buscar evidencia para informar sus respuestas".

Pero DeepMind ve a Sparrow como un modelo de prueba de concepto basado en la investigación que no está listo para su implementación, dijo Geoffrey Irving, investigador de seguridad en DeepMind y autor principal del artículo que presenta a Sparrow.

"No hemos implementado el sistema porque creemos que tiene muchos sesgos y fallas de otros tipos", dijo Irving. “Creo que la pregunta es, ¿cómo sopesas los pros de la comunicación, como comunicarse con humanos, contra los contras? Tiendo a creer en las necesidades de seguridad de hablar con humanos... Creo que esta es una herramienta para eso a largo plazo.

Evento

MetaBeat 2022

MetaBeat reunirá a líderes de opinión para asesorar sobre cómo la tecnología del metaverso transformará la forma en que todas las industrias se comunican y hacen negocios el 4 de octubre en San Francisco, CA.

registrarse aquí

Irving también señaló que aún no comentaría sobre el posible camino para las aplicaciones empresariales que usan Sparrow, ya sea que, en última instancia, sea más útil para los asistentes digitales generales, como Google Assistant o Alexa, o para aplicaciones verticales específicas.

"No estamos ni cerca de llegar", dijo.

DeepMind aborda las dificultades del diálogo

Uno de los mayores desafíos con cualquier IA conversacional es el diálogo, dijo Irving, porque hay mucho contexto que considerar.

"Un sistema como AlphaFold de DeepMind está integrado en una tarea científica clara, por lo que tiene datos como el aspecto de la proteína plegada y tiene una noción rigurosa de cuál es la respuesta, por ejemplo, ¿ha acertado?" forma”, dijo. Pero en los casos generales, "se trata de preguntas blandas y humanos; no habrá una definición completa de éxito".

Para resolver este problema, DeepMind recurrió a una forma de aprendizaje por refuerzo basado en la retroalimentación humana. Usó las preferencias de los participantes del estudio pagado (usando una plataforma de crowdsourcing) para entrenar un modelo sobre qué tan útil fue una respuesta.

Para garantizar que el comportamiento del modelo sea seguro, DeepMind ha determinado un conjunto inicial de reglas para el modelo, como "no haga declaraciones amenazantes" y "no haga comentarios de odio o insultos", así como reglas en torno a consejos potencialmente peligrosos y otras reglas informadas por el trabajo existente sobre los daños del lenguaje y la consulta de expertos. Se ha entrenado un "patrón de reglas" separado para indicar cuándo el comportamiento de Sparrow viola una de las reglas.

Sesgo en el "bucle humano"

Eugenio Zuccarelli, científico de datos de innovación de CVS Health e investigador del MIT Media Lab, señaló que siempre puede haber un sesgo en el "bucle humano"; después de todo, lo que podría ser ofensivo para una persona podría no serlo. a otro.

Además, agregó, los enfoques basados ​​en reglas pueden crear reglas más estrictas, pero carecen de escalabilidad y flexibilidad. "Es difícil codificar todas las reglas que se nos ocurren, especialmente a medida que pasa el tiempo, estas pueden cambiar y ejecutar un sistema basado en reglas fijas podría...