Die unbequeme Wahrheit über operative Datenpipelines
Sie konnten nicht an der Transform 2022 teilnehmen? Sehen Sie sich jetzt alle Summit-Sessions in unserer On-Demand-Bibliothek an! Schau mal hier.
Die Welt ist voll von Situationen, in denen es keine Einheitsgröße gibt: Schuhe, Gesundheitspflege, die Anzahl der Streusel, die Sie auf einem Fudge-Eisbecher haben möchten, um nur einige zu nennen. Sie können der Liste Datenpipelines hinzufügen.
Traditionell verwaltet eine Datenpipeline die Konnektivität zu Geschäftsanwendungen, steuert Anfragen und den Datenfluss in neuen Datenumgebungen und verwaltet dann die Schritte, die zum Bereinigen, Organisieren und Präsentieren eines verfeinerten Datenprodukts für Verbraucher innerhalb oder außerhalb der Unternehmensmauern erforderlich sind . Diese Ergebnisse sind unverzichtbar geworden, um Entscheidungsträgern dabei zu helfen, ihr Unternehmen voranzubringen.
Lehren aus Big DataJeder kennt die Erfolgsgeschichten von Big Data: wie Unternehmen wie Netflix Pipelines erstellen, die täglich über ein Petabyte an Daten verarbeiten, oder wie Meta über 300 Petabyte an Clickstream-Daten in seinen Analyseplattformen analysiert. Es ist leicht anzunehmen, dass wir alle schwierigen Probleme bereits gelöst haben, sobald wir diese Größenordnung erreicht haben.
Leider ist es nicht so einfach. Fragen Sie einfach jeden, der mit Pipelines arbeitet, nach Betriebsdaten – er wird Ihnen als erster sagen, dass eine Größe definitiv nicht für alle passt.
VorfallMetaBeat 2022
MetaBeat wird am 4. Oktober in San Francisco, CA, Vordenker zusammenbringen, um darüber zu beraten, wie die Metaverse-Technologie die Art und Weise verändern wird, wie alle Branchen kommunizieren und Geschäfte machen.
hier registrierenFür operative Daten, d. h. die Daten, die kritische Elemente eines Unternehmens wie Finanzen, Lieferkette und Personalwesen untermauern, schaffen es Unternehmen regelmäßig nicht, Wert aus Analysepipelines zu generieren. Dies gilt, obwohl sie so konzipiert wurden, dass sie Big-Data-Umgebungen ähneln.
Warum? Weil sie versuchen, ein grundlegend anderes Datenproblem mit im Wesentlichen demselben Ansatz zu lösen, und es nicht funktioniert.
Das Problem ist nicht die Größe der Daten, sondern ihre Komplexität.
Große soziale oder digitale Streaming-Plattformen speichern oft große Datensätze als eine Reihe einfacher, geordneter Ereignisse. Eine Datenzeile wird in einer Datenpipeline für einen Benutzer erfasst, der sich eine Fernsehsendung ansieht, und eine andere erfasst jede „Gefällt mir“-Schaltfläche, die auf einem Social-Media-Profil angeklickt wird. All diese Daten werden mithilfe von Cloud-Technologie mit enormer Geschwindigkeit und Skalierbarkeit durch Datenpipelines verarbeitet.
Die Datensätze selbst sind groß, und das ist großartig, weil die zugrunde liegenden Daten von Anfang an sehr gut geordnet und verwaltet sind. Die hochorganisierte Struktur von Clickstream-Daten bedeutet, dass Milliarden und Abermilliarden von Datensätzen in kürzester Zeit analysiert werden können.
Datenpipelines und ERP-PlattformenFür operative Systeme, wie z. B. ERP-Plattformen (Enterprise Resource Planning), die die meisten Unternehmen für ihre wesentlichen täglichen Prozesse verwenden, ist es dagegen eine ganz andere Datenlandschaft.
Seit ihrer Einführung in den 1970er-Jahren haben sich ERP-Systeme dahingehend weiterentwickelt, jedes Quäntchen Leistung zu optimieren, um die Rohtransaktionen der Geschäftsumgebung zu erfassen. Jeder Verkaufsauftrag, jeder Hauptbucheintrag und jeder Bestandsartikel in der Lieferkette sollte so schnell wie möglich erfasst und verarbeitet werden.
Um diese Leistung zu erreichen, wurden ERP-Systeme so entwickelt, dass sie Zehntausende von einzelnen Datenbanktabellen verwalten, die Geschäftsdatenelemente und noch mehr Beziehungen zwischen diesen Objekten nachverfolgen. Diese Datenarchitektur ist effektiv, um die Konsistenz der Datensätze eines Kunden oder Lieferanten im Laufe der Zeit sicherzustellen.
Aber wie sich herausstellt, ist das Tolle an der Transaktionsgeschwindigkeit innerhalb dieses Geschäftsprozesses normalerweise nicht ...
Sie konnten nicht an der Transform 2022 teilnehmen? Sehen Sie sich jetzt alle Summit-Sessions in unserer On-Demand-Bibliothek an! Schau mal hier.
Die Welt ist voll von Situationen, in denen es keine Einheitsgröße gibt: Schuhe, Gesundheitspflege, die Anzahl der Streusel, die Sie auf einem Fudge-Eisbecher haben möchten, um nur einige zu nennen. Sie können der Liste Datenpipelines hinzufügen.
Traditionell verwaltet eine Datenpipeline die Konnektivität zu Geschäftsanwendungen, steuert Anfragen und den Datenfluss in neuen Datenumgebungen und verwaltet dann die Schritte, die zum Bereinigen, Organisieren und Präsentieren eines verfeinerten Datenprodukts für Verbraucher innerhalb oder außerhalb der Unternehmensmauern erforderlich sind . Diese Ergebnisse sind unverzichtbar geworden, um Entscheidungsträgern dabei zu helfen, ihr Unternehmen voranzubringen.
Lehren aus Big DataJeder kennt die Erfolgsgeschichten von Big Data: wie Unternehmen wie Netflix Pipelines erstellen, die täglich über ein Petabyte an Daten verarbeiten, oder wie Meta über 300 Petabyte an Clickstream-Daten in seinen Analyseplattformen analysiert. Es ist leicht anzunehmen, dass wir alle schwierigen Probleme bereits gelöst haben, sobald wir diese Größenordnung erreicht haben.
Leider ist es nicht so einfach. Fragen Sie einfach jeden, der mit Pipelines arbeitet, nach Betriebsdaten – er wird Ihnen als erster sagen, dass eine Größe definitiv nicht für alle passt.
VorfallMetaBeat 2022
MetaBeat wird am 4. Oktober in San Francisco, CA, Vordenker zusammenbringen, um darüber zu beraten, wie die Metaverse-Technologie die Art und Weise verändern wird, wie alle Branchen kommunizieren und Geschäfte machen.
hier registrierenFür operative Daten, d. h. die Daten, die kritische Elemente eines Unternehmens wie Finanzen, Lieferkette und Personalwesen untermauern, schaffen es Unternehmen regelmäßig nicht, Wert aus Analysepipelines zu generieren. Dies gilt, obwohl sie so konzipiert wurden, dass sie Big-Data-Umgebungen ähneln.
Warum? Weil sie versuchen, ein grundlegend anderes Datenproblem mit im Wesentlichen demselben Ansatz zu lösen, und es nicht funktioniert.
Das Problem ist nicht die Größe der Daten, sondern ihre Komplexität.
Große soziale oder digitale Streaming-Plattformen speichern oft große Datensätze als eine Reihe einfacher, geordneter Ereignisse. Eine Datenzeile wird in einer Datenpipeline für einen Benutzer erfasst, der sich eine Fernsehsendung ansieht, und eine andere erfasst jede „Gefällt mir“-Schaltfläche, die auf einem Social-Media-Profil angeklickt wird. All diese Daten werden mithilfe von Cloud-Technologie mit enormer Geschwindigkeit und Skalierbarkeit durch Datenpipelines verarbeitet.
Die Datensätze selbst sind groß, und das ist großartig, weil die zugrunde liegenden Daten von Anfang an sehr gut geordnet und verwaltet sind. Die hochorganisierte Struktur von Clickstream-Daten bedeutet, dass Milliarden und Abermilliarden von Datensätzen in kürzester Zeit analysiert werden können.
Datenpipelines und ERP-PlattformenFür operative Systeme, wie z. B. ERP-Plattformen (Enterprise Resource Planning), die die meisten Unternehmen für ihre wesentlichen täglichen Prozesse verwenden, ist es dagegen eine ganz andere Datenlandschaft.
Seit ihrer Einführung in den 1970er-Jahren haben sich ERP-Systeme dahingehend weiterentwickelt, jedes Quäntchen Leistung zu optimieren, um die Rohtransaktionen der Geschäftsumgebung zu erfassen. Jeder Verkaufsauftrag, jeder Hauptbucheintrag und jeder Bestandsartikel in der Lieferkette sollte so schnell wie möglich erfasst und verarbeitet werden.
Um diese Leistung zu erreichen, wurden ERP-Systeme so entwickelt, dass sie Zehntausende von einzelnen Datenbanktabellen verwalten, die Geschäftsdatenelemente und noch mehr Beziehungen zwischen diesen Objekten nachverfolgen. Diese Datenarchitektur ist effektiv, um die Konsistenz der Datensätze eines Kunden oder Lieferanten im Laufe der Zeit sicherzustellen.
Aber wie sich herausstellt, ist das Tolle an der Transaktionsgeschwindigkeit innerhalb dieses Geschäftsprozesses normalerweise nicht ...
What's Your Reaction?
