Cómo 2022 se convirtió en el año de la IA generativa

Eche un vistazo a las sesiones bajo demanda de Low-Code/No-Code Summit para aprender cómo innovar con éxito y obtener eficiencias al mejorar y escalar a los desarrolladores ciudadanos. Ver ahora.

Ha habido mucho entusiasmo (y exageración) en torno a la IA generativa (inteligencia artificial) en 2022. Las plataformas de redes sociales como Twitter y Reddit están llenas de imágenes creadas por modelos de aprendizaje automático como DALL-E y Stable Diffusion. . Las empresas emergentes que crean productos en modelos generativos están atrayendo fondos a pesar de la recesión del mercado. Y las grandes empresas tecnológicas están integrando modelos generativos en sus productos de consumo.

La IA generativa no es nueva. Con algunas excepciones notables, la mayor parte de la tecnología que vemos hoy existe desde hace varios años. Sin embargo, la convergencia de varias tendencias ha permitido producir modelos generativos y llevarlos a aplicaciones cotidianas. El campo todavía tiene muchos desafíos por delante, pero no hay duda de que el mercado de IA generativa crecerá en 2023.

Mejoras en la ciencia de la IA generativa

L'IA générative est devenue populaire en 2014 avec l'avènement des réseaux antagonistes génératifs (GAN), un type d'architecture d'apprentissage en profondeur capable de créer des images réalistes, telles que des visages, à partir de cartes de ruido. Luego, los científicos crearon otras variantes de GAN para realizar otras tareas, como transferir el estilo de una imagen a otra. Las GAN y los codificadores automáticos variacionales (VAE), otra arquitectura de aprendizaje profundo, marcaron el comienzo de la era de las falsificaciones profundas, una técnica de IA que altera imágenes y videos para intercambiar la cara de una persona con otra.

2017 vio el advenimiento de Transformer, una arquitectura de aprendizaje profundo que subyace en modelos de lenguaje extenso (LLM) como GPT-3, LaMDA y Gopher. El transformador se utiliza para generar texto, código de software e incluso estructuras de proteínas. Una variante del transformador, el "transformador de visión", también se utiliza para tareas visuales como la clasificación de imágenes. Una versión anterior de DALL-E de OpenAI usaba el transformador para generar imágenes a partir de texto.

Los transformadores son escalables, lo que significa que su rendimiento y precisión mejoran a medida que se amplían y reciben más datos. Pero lo que es más importante, los modelos de transformadores se pueden entrenar a través del aprendizaje no supervisado o autosupervisado, lo que significa que requieren muy pocos o ningún dato anotado por humanos, lo que ha sido uno de los principales cuellos de botella del aprendizaje profundo.

El entrenamiento previo de imagen de lenguaje contrastivo (CLIP), una técnica introducida por OpenAI en 2021, se ha vuelto esencial en los generadores de texto a imagen. CLIP es muy bueno para aprender integraciones compartidas entre imágenes y texto aprendiendo de pares de imágenes y subtítulos recopilados de Internet. CLIP y difusión (otra técnica de aprendizaje profundo para generar imágenes a partir de ruido) se utilizaron en DALLE-2 de OpenAI para generar imágenes de alta resolución con detalles y calidad sorprendentes.

A medida que nos acercamos a 2022, mejores algoritmos, modelos más grandes y conjuntos de datos más grandes han ayudado a mejorar el resultado de los modelos generativos, crear mejores imágenes, escribir código de software de alta calidad y generar largos tramos de (en su mayoría) texto coherente.

Descubre las aplicaciones adecuadas

Los modelos generativos se introdujeron por primera vez como sistemas que podían admitir una gran cantidad de trabajo creativo. Las GAN se han hecho famosas por generar imágenes completas con pocas entradas. Los LLM como GPT-3 han aparecido en los titulares por escribir artículos completos.

Pero a medida que el campo evolucionó, quedó claro que los modelos generativos no son confiables cuando se los deja solos. Muchos científicos están de acuerdo en que los modelos actuales de aprendizaje profundo, independientemente de su tamaño, carecen de algunos de los