TruEra lleva las pruebas de IA automatizadas a los flujos de trabajo de desarrollo para la implementación acelerada de modelos

Regístrese ahora para obtener su pase virtual gratuito para la Cumbre Low-Code/No-Code del 9 de noviembre. Escuche a los líderes de Service Now, Credit Karma, Stitch Fix, Appian y más. Obtenga más información.

La capacidad de habilitar una inteligencia artificial (IA) responsable con modelos que ayuden a mitigar los sesgos y funcionen de manera confiable y consistente no es una tarea fácil.

La IA responsable implica tanto probar como explicar la IA. Entre los proveedores que brindan herramientas de prueba para IA se encuentra TruEra, que recientemente se unió al programa disruptor de Intel para ayudar a avanzar en la IA explicable. Hasta ahora, las organizaciones se han enfrentado a un desafío con herramientas como la de TruEra. La mayoría de las veces, las pruebas han sido un ejercicio de una sola vez en lugar de un enfoque continuo y automatizado.

Se realizaron pruebas continuas en software y desarrolladores con canalizaciones de integración/implementación continuas (CI/CD). Pero este enfoque generalmente no está disponible para cargas de trabajo de IA y aprendizaje automático (ML).

"Si encuentra un error, ¿cómo prueba, depura e identifica el problema y luego escribe una prueba para que el error no vuelva a aparecer?" Will Uppington, cofundador y director ejecutivo de TruEra, le dijo a VentureBeat. "Los desarrolladores de aprendizaje automático no tienen estas herramientas hoy, no tienen formas sistemáticas de evaluar y probar sus modelos, y luego depurar sistemáticamente esos modelos".

Evento

Vértice de código bajo/sin código

Únase a los principales líderes de hoy en Low-Code/No-Code Summit virtualmente el 9 de noviembre. Regístrese para obtener su pase gratis hoy.

registrarse aquí

Con ese fin, TruEra anunció hoy el lanzamiento de la versión 2.0 de su plataforma de diagnóstico, TruEra Diagnostics, que brinda a los científicos de datos una prueba automatizada que integra pruebas continuas en el flujo de trabajo de desarrollo de IA/ML.

Qué aporta un arnés de prueba automatizado al desarrollo de ML

Un flujo de trabajo de desarrollo común para los científicos de datos es usar un cuaderno Jupyter para crear modelos.

Uppington explicó que TruEra Diagnostics 2.0 puede integrarse directamente en las computadoras portátiles. Al agregar varias líneas de código, un científico de datos puede crear una prueba que se ejecutará automáticamente cada vez que se entrene un modelo. También pueden configurar una serie de reglas para probar automáticamente un sistema cuando se alcanzan ciertos umbrales o restricciones.

Por ejemplo, si un modelo, en desarrollo o en producción, genera un error o falla, TruEra Diagnostics 2.0 puede proporcionar un enlace que permitirá a un desarrollador depurar los resultados de la prueba.

La interfaz de usuario del sistema TruEra también proporciona recomendaciones para ayudar a los científicos de datos a determinar qué pruebas ejecutar. Upington explicó que las pruebas a menudo dependen del modelo específico, pero existen varias categorías comunes. Una de estas categorías es la prueba de sesgo.

Los usuarios pueden realizar pruebas con métricas de sesgo y ver si el resultado está por encima o por debajo del umbral que la organización ha considerado aceptable. Si el sesgo está por encima del umbral, un enlace proporciona un análisis detallado del motivo, incluidas las características del modelo que realmente causan el sesgo.

TruEra también agrega la capacidad de comparar las iteraciones del modelo para ayudar a identificar la degradación. Los paneles de resumen de modelos visualizan las pruebas de una versión de un modelo frente a las pruebas de otro, y muestran los resultados de las pruebas de cada modelo en un gráfico de comparación.

"Una de las principales cosas que hace con el aprendizaje automático es volver a entrenar su modelo", dijo Uppington. "Y una de las cosas que...