¿La deriva de datos en los modelos de IA causó el problema de puntaje crediticio de Equifax?

¿No pudiste asistir a Transform 2022? ¡Vea todas las sesiones de la cumbre en nuestra biblioteca a pedido ahora! Mira aquí.

A principios de este año, del 17 de marzo al 6 de abril de 2022, la agencia de informes crediticios Equifax encontró un problema con sus sistemas que resultó en informes crediticios incorrectos para los consumidores.

El problema ha sido descrito por Equifax como un "problema de codificación" y ha dado lugar a acciones legales y una demanda colectiva contra la empresa. Ha habido especulaciones de que el problema está relacionado de alguna manera con los sistemas de inteligencia artificial de la empresa que ayudan a calcular los puntajes de crédito. Equifax no respondió a una solicitud de comentarios sobre el problema de VentureBeat.

"Cuando se trata de Equifax, no faltan las acusaciones", dijo a VentureBeat Thomas Robinson, vicepresidente de asociaciones estratégicas y desarrollo corporativo de Domino Data Lab. "Pero desde la perspectiva de la IA, lo que salió mal parece un problema clásico, se cometieron errores en los datos que alimentan el modelo de aprendizaje automático".

Robinson agregó que los errores podrían provenir de una serie de situaciones diferentes, incluidas las etiquetas que no se actualizaron correctamente, los datos que se ingirieron manualmente de forma incorrecta desde la fuente o una fuente de datos inexacta.

MetaBeat 2022

MetaBeat reunirá a líderes de opinión para asesorar sobre cómo la tecnología del metaverso transformará la forma en que todas las industrias se comunican y hacen negocios el 4 de octubre en San Francisco, CA.

Otra posibilidad planteada por Krishna Gade, cofundador y director ejecutivo de Fiddler AI, es un fenómeno conocido como deriva de datos. Gade señaló que, según los informes, los puntajes crediticios a veces cambiaban 20 puntos o más en cualquier dirección, lo suficiente como para cambiar las tasas de interés ofrecidas a los consumidores o hacer que sus solicitudes fueran rechazadas por completo.

Gade explicó que la deriva de datos se puede definir como cambios inesperados e indocumentados en la estructura, la semántica y la distribución de datos en un modelo.

Notó que la deriva puede ser causada por cambios en el mundo, cambios en el uso del producto o problemas de integridad de datos, como errores y rendimiento degradado de la aplicación. Los problemas de integridad de datos pueden surgir en cualquier etapa de la canalización de un producto. Gade comentó que, por ejemplo, un error en el front-end podría permitir que un usuario ingrese datos en el formato incorrecto y distorsione los resultados. Alternativamente, un error en el backend puede afectar la forma en que estos datos se transforman o cargan en el modelo.

La deriva de datos tampoco es un fenómeno del todo infrecuente.

“Creemos que esto sucedió en el caso del incidente de Zillow, donde no pudieron predecir con precisión los precios inmobiliarios y terminaron invirtiendo cientos de millones de dólares”, dijo Gade a VentureBeat.

Gade explicó que, desde su perspectiva, los incidentes de deriva de datos ocurren porque, implícitamente, en el proceso de aprendizaje automático de creación de conjuntos de datos, modelos de entrenamiento y evaluación de modelos, se supone que el futuro será igual que el pasado. .

"En efecto, los algoritmos de ML buscan en el pasado patrones que puedan generalizarse en el futuro", dijo Gade. "Pero el futuro está sujeto a cambios constantes y la precisión de los modelos de producción puede deteriorarse con el tiempo debido a la deriva de datos".

Gade sugiere que si una organización nota una deriva de datos, un buen lugar para comenzar la remediación...