Як спостережливість, створена для груп обробки даних, може розкрити перспективи DataOps

Перегляньте всі сеанси Smart Security Summit за запитом тут.

Сьогодні без перебільшення можна сказати, що кожен бізнес є бізнесом даних. А якщо ні, то мають бути. Ось чому все більше організацій інвестують у сучасний стек даних (згадайте: Databricks і Snowflake, Amazon EMR, BigQuery, Dataproc).

Однак ці нові технології та зростаюча важливість для бізнесу їхніх ініціатив щодо обробки даних створюють значні проблеми. Сучасним командам обробки даних доводиться не тільки керувати величезним обсягом даних, які щодня надходять із різноманітних джерел, їм також потрібно мати можливість керувати та контролювати клубок тисяч програм, які взаємопов’язані та взаємозалежні дані.

Найбільшою проблемою є керування складністю переплетених систем, які ми називаємо сучасним стеком даних. І, як знає будь-хто, хто проводив час у траншеях даних, розшифровка продуктивності додатків для обробки даних, обмеження витрат на хмару та пом’якшення проблем із якістю даних – непросте завдання.

Коли щось ламається в цих візантійських конвеєрах даних, без єдиного джерела правди, на яке можна було б посилатися, починають вказувати пальцем із того, що вчені з обробки даних звинувачують операцій, оператори звинувачують інженерів, інженери звинувачують розробників – і так далі, і так далі нескінченно .

Подія

Саміт Smart Security за запитом

Дізнайтеся про важливу роль штучного інтелекту та машинного навчання в кібербезпеці та практичні приклади для окремих галузей. Дивіться сеанси за запитом сьогодні.

Послухайте

Це код? Недостатньо інфраструктурних ресурсів? Проблема з плануванням? Без єдиного джерела правди, навколо якого всі могли б об’єднатися, кожен користується власним інструментом, працюючи роз’єднано. І різні інструменти дають різні відповіді – і розплутування ниток, щоб дістатися до суті проблеми, займає години (чи навіть дні).

Чому сучасні команди обробки даних потребують сучасного підходу

Сьогодні команди обробки даних стикаються з багатьма проблемами, що й команди програмного забезпечення: роздроблена команда, яка працює окремо, під прицілом, щоб не відставати від прискореного темпу надання більше, швидше, без достатньої кількості людей у ​​дедалі складнішому середовищі.

Команди програмного забезпечення успішно подолали ці перешкоди завдяки дисципліні DevOps. Значною частиною того, що дозволяє командам DevOps досягти успіху, є спостережливість, яку забезпечує нове покоління керування продуктивністю додатків (APM). Команди програмного забезпечення можуть точно й ефективно діагностувати першопричину проблем, співпрацювати з єдиного джерела правди та дозволяти розробникам вирішувати проблеми на ранній стадії – до того, як програмне забезпечення виникне проблема. Оперативна команда.

То чому команди обробки даних відчувають труднощі, а команди програмного забезпечення – ні? В основному вони використовують однакові інструменти для вирішення тієї самої проблеми.

Оскільки, незважаючи на загальну схожість, спостережливість для груп даних є зовсім іншою твариною, ніж спостережливість для команд даних.

Важливо контролювати витрати

По-перше, візьміть до уваги, що окрім розуміння продуктивності та надійності конвеєра даних, командам обробки даних також потрібно вирішити питання якості даних: як можна бути впевненим, що вони забезпечують свої аналітичні механізми високоякісними даними? І оскільки все більше робочих навантажень переміщується в асортимент загальнодоступних хмар, також важливо, щоб команди могли розуміти свої канали даних з точки зору вартості.

На жаль...