Hugging Face y ServiceNow abren la IA generativa para la codificación con StarCoder

Únase a altos ejecutivos en San Francisco los días 11 y 12 de julio para conocer cómo los líderes están integrando y optimizando las inversiones en IA para lograr el éxito. Más información

El panorama de la IA generativa para la generación de código se llenó un poco hoy con el lanzamiento del nuevo modelo de lenguaje amplio (LLM) de StarCoder.

StarCoder es parte del proyecto BigCode, un esfuerzo conjunto de ServiceNow y Hugging Face. BigCode se anunció originalmente en septiembre de 2022 con el objetivo de crear una comunidad abierta en torno a herramientas de generación de código para IA. StarCoder LLM es un modelo de 15 000 millones de parámetros que se entrenó en un código fuente con licencia permisiva y está disponible en GitHub.

El modelo ha sido entrenado en más de 80 lenguajes de programación, aunque tiene una fortaleza particular con el popular lenguaje de programación Python, que se usa ampliamente para la ciencia de datos y el aprendizaje automático (ML).< /p> El mercado se está calentando

El esfuerzo por crear una herramienta de generación de código de IA generativa abierta trae nueva competencia al OpenAI Codex, que impulsa el servicio copiloto de GitHub, así como a los esfuerzos de otros proveedores, incluida la herramienta CodeWhisper de Amazon. Tanto las herramientas de OpenAI como las de Amazon se basan en código propietario, mientras que StarCoder está disponible bajo licencias de IA responsable abierta (OpenRAIL).

Evento

Transformar 2023

Únase a nosotros en San Francisco los días 11 y 12 de julio, donde los altos ejecutivos hablarán sobre cómo han integrado y optimizado las inversiones en IA para lograr el éxito y cómo evitar errores comunes.

Regístrate ahora

"Existen modelos de código poderosos, pero todos son de código cerrado, nadie sabe exactamente cómo entrenarlos", dijo a VentureBeat Leandro von Werra, ingeniero de aprendizaje automático en Hugging Face y codirector de BigCode.

Von Werra agregó que la idea detrás de BigCode y StarCoder es crear poderosos modelos de generación de código al aire libre. Aunque el esfuerzo ahora está dirigido por Hugging Face and Service, señaló que hay una comunidad activa de alrededor de 600 personas en la comunidad que están ayudando a que el proyecto sea un éxito.

BigCode es el sucesor espiritual de BigScience

El esfuerzo de BigCode no es la primera vez que HuggingFace ha ayudado a construir una comunidad para abrir el desarrollo de IA.

Von Werra llamó a BigCode un "sucesor espiritual" del esfuerzo de BigScience, que comenzó en 2021. En 2022, se lanzó BigScience Large Open-science Open-access Multilingual Language Model (BLOOM), que proporciona un modelo de compilación multilingüe de texto destinado a ser una alternativa abierta a GPT-3 de OpenAI.

BigCode ha tenido algunos pasos iterativos en el camino hacia el lanzamiento de StarCoder. En octubre de 2022, el proyecto anunció "The Stack", una colección de código con licencia permisiva recopilado de GitHub como un conjunto de datos de entrenamiento para la generación de código LLM. En diciembre de 2022, BigCode lanzó su primer "regalo" con SantaCoder, un modelo precursor de la tradición StarCoder...