Wie die für Datenteams entwickelte Beobachtbarkeit das Versprechen von DataOps freisetzen kann

Sehen Sie sich hier alle On-Demand-Sitzungen des Smart Security Summit an.

Heutzutage ist es keine Übertreibung zu sagen, dass jedes Unternehmen ein Datenunternehmen ist. Und wenn sie es nicht sind, sollten sie es sein. Aus diesem Grund investieren immer mehr Unternehmen in den modernen Datenstapel (denken Sie an: Databricks und Snowflake, Amazon EMR, BigQuery, Dataproc).

Diese neuen Technologien und die zunehmende geschäftskritische Bedeutung ihrer Dateninitiativen stellen jedoch erhebliche Herausforderungen dar. Die Datenteams von heute müssen nicht nur die schiere Menge an Daten verwalten, die täglich aus einer Vielzahl von Quellen aufgenommen werden, sondern auch in der Lage sein, das Gewirr von Tausenden von miteinander verbundenen Anwendungen und voneinander abhängigen Daten zu verwalten und zu überwachen.

Die größte Herausforderung besteht darin, die Komplexität der miteinander verflochtenen Systeme zu verwalten, die wir den modernen Datenstapel nennen. Und wie jeder weiß, der Zeit in den Datengräben verbracht hat, ist es keine leichte Aufgabe, die Leistung von Datenanwendungen zu entschlüsseln, Cloud-Kosten einzudämmen und Probleme mit der Datenqualität zu mindern.

Wenn in diesen byzantinischen Datenpipelines etwas zusammenbricht, ohne dass es eine einzige Wahrheitsquelle gibt, auf die man sich beziehen kann, beginnen die Schuldzuweisungen damit, dass Data Scientists den Betrieb beschuldigen, der Betrieb die Technik beschuldigt, die Technik die Entwickler beschuldigt – und so weiter und so fort .

Fall

Smart Security Summit auf Abruf

Erfahren Sie mehr über die wesentliche Rolle von KI und ML in der Cybersicherheit und branchenspezifische Fallstudien. Sehen Sie sich noch heute die On-Demand-Sitzungen an.

Schau hier

Ist das der Code? Unzureichende Infrastrukturressourcen? Ein Terminproblem? Ohne eine einzige Quelle der Wahrheit, um die sich jeder scharen kann, verwendet jeder sein eigenes Tool und arbeitet in Silos. Und unterschiedliche Tools geben unterschiedliche Antworten - und es dauert Stunden (oder sogar Tage), die Fäden zu entwirren, um zum Kern des Problems zu gelangen.

Warum moderne Datenteams einen modernen Ansatz brauchen

Datenteams stehen heute vor vielen der gleichen Herausforderungen wie Softwareteams: ein zersplittertes Team, das in Silos arbeitet und unter Druck steht, um mit dem beschleunigten Tempo Schritt zu halten, mehr, schneller und ohne genügend Personal in einer zunehmend komplexen Umgebung zu liefern.

Softwareteams haben diese Hindernisse durch die Disziplin von DevOps erfolgreich überwunden. Ein großer Teil dessen, was DevOps-Teams zum Erfolg verhilft, ist die Beobachtbarkeit, die die nächste Generation von Application Performance Management (APM) bietet. Softwareteams sind in der Lage, die Grundursache von Problemen genau und effizient zu diagnostizieren, von einer einzigen Quelle der Wahrheit aus zusammenzuarbeiten und es Entwicklern zu ermöglichen, Probleme frühzeitig zu beheben – bevor die Software in Schwierigkeiten gerät – ohne Probleme über den Zaun werfen zu müssen Ops-Team.

Warum haben Datenteams Probleme, Softwareteams jedoch nicht? Sie verwenden im Grunde die gleichen Tools, um im Grunde das gleiche Problem zu lösen.

Denn trotz der generischen Ähnlichkeiten ist die Beobachtbarkeit für Datenteams ein völlig anderes Tier als die Beobachtbarkeit für Datenteams.

Kostenkontrolle ist unerlässlich

Bedenken Sie zunächst, dass sich Datenteams neben dem Verständnis der Leistung und Zuverlässigkeit einer Datenpipeline auch mit der Frage der Datenqualität befassen müssen: Wie können sie sicher sein, dass sie ihre Analyse-Engines mit qualitativ hochwertigen Daten versorgen? Und da immer mehr Workloads in verschiedene öffentliche Clouds verlagert werden, ist es auch wichtig, dass Teams ihre Datenpipelines aus Kostensicht verstehen können.

Leider...