Cómo refinar la alternativa de IA de código abierto ChatGPT de Llama 2 Meta

Meta está subiendo el listón en IA con la presentación de su última versión de Llama, un modelo de lenguaje de código abierto. Su último lanzamiento, Llama 2, ofrece una actualización significativa, brindando a los usuarios un conjunto completo de herramientas para impulsar la innovación y expandir los límites de sus creaciones digitales. Sumerjámonos en las características destacadas de Llama 2 y exploremos cómo ajustar este modelo de última generación.

Llama 2, desarrollado principalmente con una amplia gama de recursos en línea disponibles públicamente, se destaca por su increíble destreza y habilidades mejoradas. Llama-2-chat, el modelo refinado, es producto de la integración de datos educativos disponibles públicamente y más de un millón de anotaciones humanas. Este meticuloso enfoque dio como resultado que los modelos de Llama 2 tuvieran el doble de la longitud de contexto de Llama 1, con una impresionante base de entrenamiento de 2000 billones de tokens.

La capacidad de Llama 2 para eclipsar a otros modelos de lenguaje de código abierto en muchos criterios externos, incluidos la codificación, el razonamiento, las habilidades y las pruebas de conocimiento, es testimonio de su rendimiento de primer nivel.

El entrenamiento del modelo Llama-2-gato es un proceso complejo, impulsado por la fusión de varias estrategias tecnológicas. Inicialmente, Llama 2 usa datos en línea disponibles públicamente para el entrenamiento previo, seguido de un ajuste fino supervisado para crear una versión inicial de Llama-2-chat. Luego, el modelo se refina iterativamente a través del aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF), utilizando técnicas como el muestreo de rechazo y la optimización de políticas proximales (PPO).

Cuando descargue un modelo de Llama 2, su paquete incluirá lo siguiente: código del modelo, peso del modelo, archivo LÉAME (guía del usuario), guía de uso responsable, licencia, política de uso aceptable y tarjeta del modelo.

Uno de los principales atractivos de Llama 2 es su potencial de perfeccionamiento. Hay un tutorial completo disponible que guía a los usuarios a través de cómo ajustar el modelo Llama 2 utilizando la aproximación de rango bajo cuantificada (QLoRA) y luego cargar el modelo en el centro de modelos Hugging Face.

Por ejemplo, el tutorial integrado a continuación demuestra este proceso utilizando un conjunto de datos en francés, lo que permite que el modelo Llama 2 genere texto en francés. Esto implica refinar el modelo usando comillas francesas, un proceso inspirado en un tutorial de Hugging Face, que reduce la precisión del modelo y los requisitos de memoria usando QLoRA.

En este tutorial de ejemplo, el ajuste fino del modelo Llama 2 requiere Google Colab, una herramienta ventajosa que permite menos de 15 GB de uso de memoria gracias al modelo cuantificado. También implica el uso de cuatro bibliotecas principales: Accelerate, PiFT, Transformers y Datasets. Además, los pesos y sesgos se utilizan para la cuantificación de 4 bits y el control del proceso de entrenamiento.

Mira este video en YouTube.

El conjunto de datos, disponible en el centro de modelos Hugging Face, contiene indicaciones y respuestas formateadas para el entrenamiento de modelos. A lo largo del proceso de formación, es fundamental hacer un seguimiento de la convergencia, previendo que la pérdida de formación disminuirá con el tiempo. Al final del entrenamiento, el modelo se puede guardar y usar para generar texto. En el video de arriba, también aprenda cómo autenticar el cuaderno con el centro de plantillas Hugging Face y descargue la plantilla para usarla en el futuro.

El ajuste fino del modelo Llama 2 amplía sus capacidades, lo que le permite manejar una variedad de tareas de manera más eficiente. Permite a particulares, creadores, investigadores y empresas experimentar, innovar y desarrollar sus ideas de forma responsable. Ya sea que sea nuevo en el juego o un profesional experimentado, tomarse el tiempo para aprender a pulir Llama 2 seguramente mejorará su...