Cómo la IA puede aliviar estos problemas de gestión de datos

Los datos son el nuevo petróleo, pero los datos sin procesar no son buenos por sí solos. Al igual que el petróleo, los activos de datos deben ensamblarse de forma completa y precisa y enviarse a través de varios procesos de refinación para crear valor para los usuarios finales. Este es el ciclo de vida general de los datos, un área donde la inteligencia artificial (IA) jugará un papel importante para las empresas.

Al principio, la gestión del ciclo de vida de los datos era una tarea lo suficientemente pequeña como para que un equipo de expertos la hiciera manualmente. El volumen de información no era tan grande, las fuentes eran pocas y las posibles aplicaciones también limitadas. Pero con la transición a la nube y la introducción de nuevas fuentes, el volumen y la diversidad de datos ha aumentado.

"La gestión de datos ya no se trata solo de datos relacionales", dijo a VentureBeat Adam Ronthal, vicepresidente de investigación del grupo de datos y análisis de ITL de Gartner. “Documentos, gráficos, series temporales, columnas anchas, valores clave, registros y otros almacenes de datos específicos proporcionan optimizaciones específicas para diferentes tipos de datos y diferentes casos de uso. A veces, estos se combinan en una única plataforma de gestión de datos: una base de datos de varios modelos; a veces siguen siendo las soluciones puntuales más apropiadas y específicas. »

Este aumento en el volumen y la diversidad de la información ha hecho que los métodos tradicionales de gestión de datos sean ineficaces. Hoy en día, una empresa que selecciona, gestiona y optimiza (limpieza y mejora) cada componente del conjunto de datos de forma individual terminará desperdiciando mucho tiempo (la limpieza y la transformación por sí solas pueden llevar días o semanas) y capital. .

La situación es comparable a cuando Yahoo contrató a expertos humanos para evaluar y catalogar manualmente una avalancha de páginas web. La empresa dedicó muchos recursos, pero solo pudo calificar una pequeña parte de Internet y tuvo problemas para mantener las calificaciones actualizadas.

Integre la IA en la gestión de datos

Al igual que Google, con sus algoritmos automatizados, se apoderó de Internet de Yahoo, evaluando las páginas web de forma más rápida y económica, la IA actual está preparada para revolucionar el ciclo de vida de los datos.

Según Ronthal, las aplicaciones de la IA en la gestión de datos se basan en el análisis y la activación de metadatos. Esto permite que el modelo detecte desviaciones en el uso de datos del diseño del sistema y (idealmente, automáticamente) las corrija. Se trata de la gestión de datos aumentada: el uso de IA/ML para automatizar y optimizar la gestión de datos, lo que permite a las organizaciones dedicar menos tiempo a gestionar y optimizar la infraestructura y más tiempo a crear valor comercial esencial.

Muchas organizaciones ya han comenzado a usar técnicas basadas en IA y ML para tocar varios componentes de la gestión de datos, lo que brinda mejoras en la velocidad y la rentabilidad.

Por ejemplo, en enero de 2023, Google y Aible, una empresa que ofrece un enfoque basado en inteligencia artificial para el viaje de datos, trabajaron con una empresa de Fortune 500 y le permitieron analizar más de 75 conjuntos de datos con más de 100 millones de filas de datos en 150 millones de combinaciones variables. El costo computacional total: $80, menos de una milésima parte del costo de los métodos tradicionales.

Aible también publicó 25 estudios de casos con Intel, que destacan cómo las empresas de todas las geografías y verticales se beneficiaron de la IA en menos de 30 días y generaron valor en todas las funciones.

En general, señala Ronthal, el auge de la IA puede afectar múltiples disciplinas de la gestión de datos, entre ellas:

Gestión de metadatos: aquí se pueden utilizar AI y ML para explorar y definir los metadatos de los datos, evaluando los metadatos de forma más rápida y precisa, con redundancia reducida. De manera similar, las funciones de administración de datos aumentadas pueden catalogar automáticamente elementos de datos durante la recuperación, el acceso y el procesamiento de datos. Integración de datos: la IA se puede utilizar para automatizar el proceso de desarrollo de integración, recomendar o implementar