Cómo la observabilidad creada para los equipos de datos puede desbloquear la promesa de DataOps

Consulte todas las sesiones bajo demanda de Smart Security Summit aquí.

Hoy en día, no es exagerado decir que cada negocio es un negocio de datos. Y si no lo son, deberían serlo. Es por eso que cada vez más organizaciones están invirtiendo en la pila de datos moderna (piense en Databricks y Snowflake, Amazon EMR, BigQuery, Dataproc).

Sin embargo, estas nuevas tecnologías y la creciente importancia comercial de sus iniciativas de datos presentan desafíos importantes. Los equipos de datos de hoy en día no solo tienen que administrar el gran volumen de datos que se incorporan diariamente desde una amplia variedad de fuentes, sino que también deben poder administrar y monitorear la maraña de miles de aplicaciones interconectadas y datos interdependientes.

El mayor desafío es administrar la complejidad de los sistemas entrelazados que llamamos la pila de datos moderna. Y como sabe cualquiera que haya pasado tiempo en las trincheras de datos, descifrar el rendimiento de las aplicaciones de datos, contener los costos de la nube y mitigar los problemas de calidad de los datos no es tarea fácil.

Cuando algo falla en estas canalizaciones bizantinas de datos, sin una única fuente de verdad a la que referirse, la acusación comienza cuando los científicos de datos culpan a las operaciones, las operaciones culpan a la ingeniería, la ingeniería culpa a los desarrolladores, y así sucesivamente a perpetuidad. .

Evento

Cumbre de seguridad inteligente bajo demanda

Obtenga más información sobre el papel esencial de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.

mira aquí

¿Es este el código? ¿Recursos de infraestructura insuficientes? ¿Un problema de programación? Sin una fuente única de verdad a la que todos puedan unirse, todos usan su propia herramienta, trabajando en silos. Y diferentes herramientas dan diferentes respuestas, y desenredar los hilos para llegar al corazón del problema lleva horas (o incluso días).

Por qué los equipos de datos modernos necesitan un enfoque moderno

Los equipos de datos de hoy enfrentan muchos de los mismos desafíos que los equipos de software: un equipo fragmentado que trabaja en silos, bajo presión para mantenerse al día con el ritmo acelerado de entregar más, más rápido, sin suficientes personas, en un entorno cada vez más complejo.

Los equipos de software han superado con éxito estos obstáculos a través de la disciplina de DevOps. Una gran parte de lo que permite que los equipos de DevOps tengan éxito es la capacidad de observación proporcionada por la próxima generación de gestión del rendimiento de aplicaciones (APM). Los equipos de software pueden diagnosticar con precisión y eficiencia la causa raíz de los problemas, trabajar en colaboración desde una única fuente de información y permitir que los desarrolladores solucionen los problemas antes de que el software entre en producción, sin tener que lanzar los problemas al otro lado de la cerca. equipo de operaciones

Entonces, ¿por qué los equipos de datos tienen dificultades mientras que los equipos de software no? Básicamente usan las mismas herramientas para resolver básicamente el mismo problema.

Porque, a pesar de las similitudes genéricas, la observabilidad para los equipos de datos es un animal completamente diferente a la observabilidad para los equipos de datos.

El control de costes es fundamental

Primero, considere que además de comprender el rendimiento y la confiabilidad de una canalización de datos, los equipos de datos también deben abordar la cuestión de la calidad de los datos: ¿cómo pueden estar seguros de que están alimentando sus motores de análisis con datos de alta calidad? Y, a medida que más y más cargas de trabajo se trasladan a una variedad de nubes públicas, también es fundamental que los equipos puedan comprender sus canalizaciones de datos desde una perspectiva de costos.

Lamentable...