Corraling Kafka: нова екосистема спрощує та демократизує дані трансляції подій для підприємств

Для подальшого зміцнення нашої відданості забезпеченню передових технологій обробки даних VentureBeat із задоволенням вітає Ендрю Браста та Тоні Бера як постійних учасників. Слідкуйте за їхніми публікаціями в каналі даних.

Aiven, платформа хмарних даних у Гельсінкі, розробила екосистему з відкритим кодом для Apache Kafka, популярної платформи потокового передавання подій. Нові пропозиції обіцяють допомогти компаніям консолідувати свою інфраструктуру Kafka за допомогою компонентів з відкритим кодом.

«Потокове передавання подій стає основою ІТ-інфраструктури», — сказав VentureBeat Філіп Йонов, директор із управління потоковими даними в Aiven. «У Aiven ми спостерігаємо найшвидше зростання трансляції подій з усіх інших продуктів».

Apache Kafka надає інфраструктуру для підключення потоків даних із баз даних, програм, пристроїв Інтернету речей і сторонніх джерел. Kafka допомагає організовувати необроблені дані в потоки подій, що зменшує розмір даних і їх легше інтегрувати в програми й аналітику на основі подій. Компанії використовують його для покращення взаємодії з клієнтами, створення промислового метавсесвіту та моніторингу пацієнтів.

Однак створення фреймворку Kafka включає багато рухомих частин. Aiven зібрав усі необхідні інструменти в одному місці, щоб спростити цей процес. Ключові нові вдосконалення включають підтримку Apache Flink і управління даними. Вони доповнюють існуючі інструменти для підключення служб, копіювання даних і керування схемами для розгортання Kafka.

Подія

Smart Security Summit

Дізнайтеся про важливу роль штучного інтелекту та машинного навчання в кібербезпеці та галузевих практичних прикладах 8 грудня. Підпишіться на безкоштовний абонемент сьогодні.

Зареєструватися зараз Потреба в простоті

LinkedIn спочатку розробила Kafka для інтеграції даних у свою розгалужену інфраструктуру мікросервісів і відкрила її в 2011 році. З тих пір великі підприємства налаштували інструменти відповідно до власних потреб, а кілька постачальників розгорнули власні вдосконалення для управління та інтеграції прогалини. Багато організацій використовують Kafka для різних сценаріїв конвеєра даних, наприклад для передачі даних між програмами в реальному часі або переміщення даних із бази даних до сховища даних.

Йонов сказав VentureBeat, що коли кластери Kafka стають більшими та складнішими, їм потрібні додаткові інструменти та керування для забезпечення належної роботи та керування. «На відміну від існуючих рішень Kafka, пропозиція Aiven не змушує організації вибирати між пропрієтарними інструментами та технологіями з відкритим кодом або заблокованими постачальниками без підтримки», — сказав він.

Покращення досвіду розробників із потоковою трансляцією подій

Важливим аспектом є демократизація досвіду роботи з даними трансляції подій. Інструмент з відкритим вихідним кодом Klaw надає інтерфейс самообслуговування для керування кластерами Kafka. Компанія Kafkawize, яка розробляє Klaw, нещодавно приєдналася до відділу розробки Aiven з відкритим кодом у вересні, щоб допомогти інтегрувати їхні інструменти. Тепер вони разом працюють над покращенням самообслуговування, спрощенням керування користувачами та зміцненням управління даними.

Іншою важливою подією стало підключення потокових даних до запитів SQL, знайомих розробникам даних. Нові інструменти Aiven для Apache Flink дозволяють командам обробляти більші обсяги подій і запускати аналітику в реальному часі за допомогою SQL. Aiven надає це як повністю керовану послугу, яка зменшує складність розгортання кластера Flink. Це також спрощує інтеграцію з Aiven для Apache Kafka для фільтрації, збагачення та агрегування подій на льоту.

Айвен сподівається повторити успіх інших фреймворків з відкритим кодом, таких як PostgreSQL, Kubernetes і Linux, створених за допомогою здорового поєднання внесків різних...