El CEO de Lightning AI denuncia el documento GPT-4 de OpenAI como una "investigación de enmascaramiento"

Poco después del lanzamiento sorpresa de OpenAI de su tan esperado modelo GPT-4 ayer, hubo una oleada de críticas en línea sobre lo que acompañó al anuncio: un informe técnico de 98 páginas sobre el "desarrollo de GPT-4".

Muchos dijeron que el informe se destacaba principalmente por lo que no incluía. En una sección titulada Alcance y limitaciones de este informe técnico, está escrito: "Dado el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala como GPT-4, este informe no contiene más detalles sobre la arquitectura (incluido el tamaño del modelo). , hardware, cálculo de entrenamiento, construcción de conjuntos de datos, método de entrenamiento o similar".

"Creo que podemos decir que está cerrado en IA 'abierta': el documento de 98 páginas que muestra GPT-4 afirma con orgullo que no revelan *nada* sobre el contenido de su conjunto de entrenamiento ", tuiteó Ben Schmidt, vicepresidente de diseño de información en Nomic AI.

Y David Picard, investigador de inteligencia artificial en Ecole des Ponts ParisTech, tuiteó: "Por favor, @OpenAI, cambie su nombre lo antes posible. Es un insulto a nuestra inteligencia decirle 'abierto' y publicar este tipo de 'informe técnico'. que no contiene ninguna información técnica".

Un revisor notable del informe es William Falcon, director ejecutivo de Lightning AI y creador de PyTorch Lightning, una biblioteca Python de código abierto que proporciona una interfaz de alto nivel para el popular marco de aprendizaje profundo PyTorch. Después de publicar el siguiente meme, contacté a Falcon para hacer un comentario. Esta entrevista ha sido editada y resumida para mayor claridad.

VentureBeat: Hay muchas críticas en este momento sobre el trabajo de investigación GPT-4 publicado recientemente. ¿Cuáles son los mayores problemas?

William Falcon: Creo que lo que molesta a todos es que OpenAI ha escrito un artículo completo de unas noventa páginas. Hace que parezca que es de código abierto y académico, pero no lo es. Literalmente no describen nada allí. Cuando un artículo académico dice puntos de referencia, dice "Oye, lo hemos hecho mejor que eso y aquí hay una manera de que lo valides". No hay manera de validar eso aquí.

Está bien si eres una empresa y dices: "Mi cosa es 10 veces más rápida que eso". Lo tomaremos con pinzas. Pero cuando intentas hacerte pasar por investigador, ese es el problema.

Lorsque je publie, ou que quelqu'un de la communauté publie un article, je le compare à des choses que les gens ont déjà, et ils sont publics et je mets le code là-bas et je leur dis exactement quelles sont los datos. Por lo general, hay un código en GitHub que puede ejecutar para reproducir esto.

VB: ¿Es esto diferente de cuando salió ChatGPT? ¿O DALL-E? ¿Estaban disfrazados de investigación de la misma manera?

Halcón: No, no lo eran. Recuerde que GPT-4 se basa en la arquitectura Transformer, que Google ha abierto durante muchos años. Así que todos sabemos que eso es exactamente lo que usan. Por lo general, tenían un código para verificar. No era del todo repetible, pero podías lograrlo si sabías lo que estabas haciendo. Con GPT-4 no puedes hacer eso.

Mi empresa no compite con OpenAI. Así que realmente no nos importa. Muchas otras personas que tuitean son competidores. Entonces, su problema es principalmente que no podrán replicar los resultados. Lo cual es totalmente justo: OpenAI no quiere que sigas copiando sus modelos, eso tiene sentido. Tiene todo el derecho de hacerlo como empresa. Pero te estás haciendo pasar por una investigación. Este es el problema.

Desde GPT hasta ChatGPT, lo que ha hecho que funcione realmente bien es RLHF, o aprendizaje reforzado a partir de comentarios humanos. OpenAI ha demostrado que esto funciona. No necesitaban escribir un artículo sobre cómo funciona porque es una técnica de investigación conocida. Si cocinamos, es como si todos supiéramos saltear, así que probemos esto. Por esta razón, muchas empresas como Anthropic en realidad replicaron muchos resultados de OpenAI porque sabían cuál era la receta. Entonces, creo que lo que OpenAI está tratando de hacer ahora, para evitar que GPT-4 se vuelva a copiar, es no dejarle saber cómo sucede.

Pero hay algo más que hacen, una versión de RLHF que no está abierta, por lo que nadie sabe qué es. Lo más probable es que sea una técnica ligeramente diferente la que hace...