Meta busca acelerar la inferencia de IA con AITemplate de código abierto
¿No pudiste asistir a Transform 2022? ¡Vea todas las sesiones de la cumbre en nuestra biblioteca a pedido ahora! Mira aquí.
Sin inferencia, un modelo de inteligencia artificial (IA) es solo matemático y no realiza ni predice mucho, si acaso.
Hasta la fecha, los motores de inferencia de IA están vinculados en gran medida al hardware específico para el que están diseñados. Este grado de bloqueo de hardware significa que los desarrolladores tendrán que crear software específico para hardware diferente y también podría ralentizar el ritmo general de innovación de la industria.
El desafío de administrar material de inferencia no se le ha escapado al gigante de las redes sociales Meta (anteriormente Facebook). Meta usa una gran cantidad de hardware diferente en su infraestructura y tiene una buena cantidad de desafíos al implementar soluciones de inferencia. Para ayudar a resolver este desafío, Meta ha estado trabajando en una tecnología que llama AITemplate (AIT), que define como un sistema de inferencia unificado que inicialmente admitirá el hardware de inferencia Nvidia TensorCore y AMD MatrixCore. Meta anunció ayer que es AITemplate de código abierto bajo una licencia Apache 2.0.
"Nuestra versión actual de AIT se centra en admitir las GPU de Nvidia y AMD, pero la plataforma es escalable y podría admitir las GPU de Intel en el futuro si hay demanda", dijo Ajit Mathews, director de ingeniería de Meta. Venture Beat. "Ahora que tenemos un AIT de código abierto, invitamos a todos los proveedores de silicio interesados a contribuir".
EventoMetaBeat 2022
MetaBeat reunirá a líderes de opinión para asesorar sobre cómo la tecnología del metaverso transformará la forma en que todas las industrias se comunican y hacen negocios el 4 de octubre en San Francisco, CA.
registrarse aquíLa idea de bloqueo para el hardware de IA no se limita solo a los motores de inferencia; también es una preocupación que otros actores de la industria, incluido Intel, también tienen sobre las GPU para computación acelerada.
Intel es un importante partidario de la especificación SYCL de código abierto, cuyo objetivo es ayudar a crear una capa de programación unificada para las GPU. El esfuerzo AIT liderado por Metal es similar en concepto, aunque diferente en lo que permite. Mathews explicó que SYCL está más cerca del nivel de programación de GPU, mientras que AITemplate se centra en las primitivas de IA TensorCore/MatrixCore de alto rendimiento.
"AIT es una alternativa a TensorRT, que es el motor de inferencia de Nvidia", dijo Mathews. "A diferencia de TensorRT, esta es una solución de código abierto compatible con backends de GPU de Nvidia y AMD".
Mathews señaló que AIT primero caracteriza la arquitectura del modelo y luego trabaja en la fusión y optimización de capas y operaciones específicas de esa arquitectura.
AIT no se trata solo de crear una capa de software común para la inferencia, también se trata de rendimiento. En las primeras pruebas realizadas por Meta, ya se están viendo mejoras en el rendimiento con respecto a los modelos que no utilizan la inferencia AIT en las GPU de Nvidia y AMD.
"El objetivo de AIT es brindar una inferencia de IA flexible, abierta y más eficiente desde el punto de vista energético a los usuarios de GPU", dijo Mathews.
Meta no solo crea AIT para servir al bien común, sino también para satisfacer sus propias necesidades de IA. Mathews dijo que las cargas de trabajo de Meta están cambiando y, para satisfacer esas necesidades cambiantes, necesita soluciones abiertas y de alto rendimiento. También señaló que Meta tiende a querer que las capas superiores de sus pilas tecnológicas sean independientes del hardware. AIT hace esto hoy con GPU AMD y Nvidia.
"Vemos oportunidades con muchas de nuestras cargas de trabajo de inferencia actuales y futuras para beneficiarse de AIT", dijo. "Creemos que AIT tiene el potencial de ser ampliamente adoptado como el motor de inferencia unificado más exitoso".
La misión de VentureBeat es ser un mercado digital para que los responsables de la toma de decisiones técnicas aprendan sobre tecnologías empresariales transformadoras y realicen transacciones comerciales.
¿No pudiste asistir a Transform 2022? ¡Vea todas las sesiones de la cumbre en nuestra biblioteca a pedido ahora! Mira aquí.
Sin inferencia, un modelo de inteligencia artificial (IA) es solo matemático y no realiza ni predice mucho, si acaso.
Hasta la fecha, los motores de inferencia de IA están vinculados en gran medida al hardware específico para el que están diseñados. Este grado de bloqueo de hardware significa que los desarrolladores tendrán que crear software específico para hardware diferente y también podría ralentizar el ritmo general de innovación de la industria.
El desafío de administrar material de inferencia no se le ha escapado al gigante de las redes sociales Meta (anteriormente Facebook). Meta usa una gran cantidad de hardware diferente en su infraestructura y tiene una buena cantidad de desafíos al implementar soluciones de inferencia. Para ayudar a resolver este desafío, Meta ha estado trabajando en una tecnología que llama AITemplate (AIT), que define como un sistema de inferencia unificado que inicialmente admitirá el hardware de inferencia Nvidia TensorCore y AMD MatrixCore. Meta anunció ayer que es AITemplate de código abierto bajo una licencia Apache 2.0.
"Nuestra versión actual de AIT se centra en admitir las GPU de Nvidia y AMD, pero la plataforma es escalable y podría admitir las GPU de Intel en el futuro si hay demanda", dijo Ajit Mathews, director de ingeniería de Meta. Venture Beat. "Ahora que tenemos un AIT de código abierto, invitamos a todos los proveedores de silicio interesados a contribuir".
EventoMetaBeat 2022
MetaBeat reunirá a líderes de opinión para asesorar sobre cómo la tecnología del metaverso transformará la forma en que todas las industrias se comunican y hacen negocios el 4 de octubre en San Francisco, CA.
registrarse aquíLa idea de bloqueo para el hardware de IA no se limita solo a los motores de inferencia; también es una preocupación que otros actores de la industria, incluido Intel, también tienen sobre las GPU para computación acelerada.
Intel es un importante partidario de la especificación SYCL de código abierto, cuyo objetivo es ayudar a crear una capa de programación unificada para las GPU. El esfuerzo AIT liderado por Metal es similar en concepto, aunque diferente en lo que permite. Mathews explicó que SYCL está más cerca del nivel de programación de GPU, mientras que AITemplate se centra en las primitivas de IA TensorCore/MatrixCore de alto rendimiento.
"AIT es una alternativa a TensorRT, que es el motor de inferencia de Nvidia", dijo Mathews. "A diferencia de TensorRT, esta es una solución de código abierto compatible con backends de GPU de Nvidia y AMD".
Mathews señaló que AIT primero caracteriza la arquitectura del modelo y luego trabaja en la fusión y optimización de capas y operaciones específicas de esa arquitectura.
AIT no se trata solo de crear una capa de software común para la inferencia, también se trata de rendimiento. En las primeras pruebas realizadas por Meta, ya se están viendo mejoras en el rendimiento con respecto a los modelos que no utilizan la inferencia AIT en las GPU de Nvidia y AMD.
"El objetivo de AIT es brindar una inferencia de IA flexible, abierta y más eficiente desde el punto de vista energético a los usuarios de GPU", dijo Mathews.
Meta no solo crea AIT para servir al bien común, sino también para satisfacer sus propias necesidades de IA. Mathews dijo que las cargas de trabajo de Meta están cambiando y, para satisfacer esas necesidades cambiantes, necesita soluciones abiertas y de alto rendimiento. También señaló que Meta tiende a querer que las capas superiores de sus pilas tecnológicas sean independientes del hardware. AIT hace esto hoy con GPU AMD y Nvidia.
"Vemos oportunidades con muchas de nuestras cargas de trabajo de inferencia actuales y futuras para beneficiarse de AIT", dijo. "Creemos que AIT tiene el potencial de ser ampliamente adoptado como el motor de inferencia unificado más exitoso".
La misión de VentureBeat es ser un mercado digital para que los responsables de la toma de decisiones técnicas aprendan sobre tecnologías empresariales transformadoras y realicen transacciones comerciales.
What's Your Reaction?
